III. NGUYấN TẮC, PHƯƠNG PHÁP VÀ QUY TRèNH XÂY DỰNG
2. Xõy dựng ngõn hàng đề thi kỹ năng cho modul thực hành trang bị
2.6.3. Phõn tớch bài thi đỏnh giỏ kỹ năng
Sau khi học sinh làm bài kiểm tra, nhúm giỏo viờn tiến hành cụng việc chấm thi. Mỗi đề cú 2 giỏo viờn chấm độc lập, cỏc nội dung đỏnh giỏ được căn cứ theo cỏc
tiờu chớ và thang điểm quy định trong cỏc bài thi đỏnh giỏ kỹ năng. Cỏc kết quả chấm độc lập của hai giỏo viờn được đối chiếu và đi đến thống nhất chung, kết quả cỏc bài thi kỹ năng (xem phụ lục 14, tr.338).
Căn cứ kết quả chấm thi, việc phõn tớch cỏc bài thi đỏnh giỏ kỹ năng được thực hiện trờn cơ sở phõn tớch và đỏnh giỏ những yếu tố liờn quan đến quỏ trỡnh thử nghiệm như sau:
- Tớnh rừ ràng, chớnh xỏc của nội dung hướng dẫn và cỏc yờu cầu của bài thi. - Sự phự hợp về thời gian thực hiện bài thi.
- Sự phự hợp của cỏc dụng cụ, thiết bị sử dụng để thực hiện bài thi. - Những chỳ ý trong quỏ trỡnh thực hiện cụng việc.
* Tớnh rừ ràng, chớnh xỏc của nội dung hướng dẫn và cỏc yờu cầu của bài thi
Để phõn tớch và đỏnh giỏ tớnh rừ ràng, chớnh xỏc của của nội dung hướng dẫn và cỏc yờu cầu của bài thi một cỏch khỏch quan cần phải căn cứ vào sự phản hồi của học sinh và cỏc giỏo viờn chấm thi trong quỏ trỡnh thử nghiệm cỏc bài thi.
- Đối với học sinh: Việc thu thập những thụng tin phản hồi từ phớa học sinh thụng qua kết quả ghi nhận những ý kiến thắc mắc của học sinh trong quỏ trỡnh làm bài và kết quả của cỏc bài thi. Cụ thể như sau :
+ Sau khi phỏt đề thi, trước khi làm bài học sinh cú thời gian 05 phỳt để đọc và nờu cõu hỏi yờu cầu giải thớch những nội dung chưa rừ trong đề thi. Cú một số học sinh đề nghị giải thớch rừ nội dung đỏnh giỏ số 2.5 trong thang điểm : “Dõy dẫn đi gọn gàng đảm bảo tớnh thẩm mỹ”.
+ Kết quả chấm thi được trỡnh bày trong bảng 3.19.
Bảng 3.19. Kết quả cỏc bài thi kỹ năng nghề
Khoảng điểm Số bài Tỷ lệ
≥ 70 77 92%
Từ 50 69 7 8%
< 50 0 0%
Số học sịnh chưa hoàn thành bài thi (mạch điện khụng hoạt động)
03 4%
Kết quả trờn cho thấy: Cú 77 bài đạt mức điểm quy định trở lờn (≥ 70 điểm), 07 bài cú mức điểm từ 50 69, trong đú cú 03 bài chưa hoàn thành (mạch điện khụng hoạt động). Kết quả trờn cũng chứng tỏ rằng đa số học sinh hiểu rừ nội dung, yờu cầu của đề thi cũng như cỏc tài liệu phỏt tay.
Riờng nội dung đỏnh giỏ số 2.5 trong thang điểm : “Dõy dẫn đi gọn gàng đảm bảo tớnh thẩm mỹ”, thuật ngữ “ Dõy dẫn đi gọn gàng ”cú thể gõy khú hiểu đối với học sinh. Người nghiờn cứu sẽ tham khảo thờm ý kiến của cỏc giỏo viờn chuyờn mụn trước khi quyết định điều chỉnh nội dung đỏnh giỏ này.
- Đối với người chấm thi:
Để đỏnh giỏ đỳng kết quả của từng bài thi, ngoài sản phẩm thi của học sinh và biờn bản coi thi, người chấm phải sử dụng cỏc tài liệu và cụng cụ hướng dẫn chấm và đỏnh giỏ như: Bài thi, sản phẩm mẫu, phiếu cụng nghệ và sơ đồ mạch điện. Toàn bộ cỏc sản phẩm này cần phải đảm bảo tớnh rừ ràng, chớnh xỏc về nội dung, cỏc bài thi phải đảm bảo cỏc yờu cầu đỏnh giỏ kỹ năng thực hiện cụng việc đó được quy định trong tiờu chuẩn kỹ năng nghề.
Để thu thập những thụng tin phục vụ cho việc phõn tớch và đỏnh giỏ nội dung của cỏc tài liệu hướng dẫn và cỏc bài thi, người nghiờn cứu đó thực hiện phỏng vấn cỏc giỏo viờn tham gia coi và chấm thi. Nội dung phỏng vấn tập trung vào 04 nội dung chớnh:
Cỏc yờu cầu của bài thi đó đảm bảo tớnh rừ ràng, chớnh xỏc, cần bổ sung hoặc điều chỉnh yờu cầu nào?
Cỏc nội dung đỏnh giỏ trong thang điểm đó đảm bảo tớnh rừ ràng, chớnh xỏc, cần bổ sung hoặc điều chỉnh nội dung đỏnh giỏ nào?
Cỏc nội dung trong phiếu cụng nghệ, cỏc bản vẽ đó đảm bảo tớnh rừ ràng, chớnh xỏc, cần bổ sung hoặc điều chỉnh nội dung nào?
Nội dung đỏnh giỏ “Đặc điểm hỡnh dỏng, cấu trỳc sản phẩm” cú khú hiểu với học sinh khụng, nếu cú, cần điều chỉnh như thế nào?
Cỏc ý kiến phản hồi của cỏc giỏo viờn được tổng hợp như sau:
+ Phiếu cụng nghệ, sản phẩm mẫu và sơ đồ mạch điện: Đó thể hiện được đầy đủ cỏc thụng tin cần thiết; đảm bảo rừ ràng và chớnh xỏc, khụng cần bổ sung điều chỉnh.
+ Cấu trỳc chung của thang điểm là rất hợp lý, cỏc nội dung đỏnh giỏ đầy đủ và đảm bảo cỏc điều kiện giỏ cỏc kỹ năng thực hiện cụng việc.
+ Định mức điểm của cỏc nội dung đỏnh giỏ: Việc thực hiện đỳng quy trỡnh kỹ thuật và thao tỏc chuẩn xỏc là điều kiện quan trọng để hoàn thành cụng việc đảm bảo cỏc yờu cầu về kỹ thuật. Do vậy, cần nõng điểm đỏnh giỏ quy trỡnh – thao tỏc cao hơn và giảm điểm của nội dung về tiờu chuẩn về tớnh thẩm mỹ.
+ Nội dung đỏnh giỏ “Dõy dẫn đi gọn gàng đảm bảo tớnh thẩm mỹ”: Do thuật ngữ “Dõy dẫn đi gọn gàng” cú thể làm cho học sinh khú hiểu nờn nội dung này cần được diễn đạt lại là “Dõy dẫn lắp đặt thẳng đảm bảo tớnh thẩm mỹ”.
Những thụng tin phản hồi từ phớa học sinh và của cỏc giỏo viờn ở trờn là những cơ sở quan trọng giỳp người nghiờn cứu tiến hành cụng việc điều chỉnh những nội dung hướng dẫn và cỏc yờu cầu của bài thi đảm bảo tớnh rừ ràng và chớnh xỏc và hợp lý ở mức độ cần thiết.
* Sự phự hợp về thời gian
Thời gian dự kiến để thực hiện cụng việc được quy định trong mỗi đề thi: Với đối tượng thử nghiệm là học sinh học nghề, thời gian thực hiện cụng việc lớn hơn thời gian dự kiến 10 – 15% là phự hợp [23, Tr 11].
Theo cỏc biờn bản coi thi, đề thi cú mó số I.17, I.18 cú nhiều học sinh làm bài thi vượt thời gian dự kiến trong phạm vi 10% và cú 03 học sinh chưa hoàn thành bài thi, người nghiờn cứu sẽ cõn nhắc để điều chỉnh thời gian cho phự hợp.
* Dụng cụ, thiết bị
Cỏc dụng cụ, thiết bị và vật tư được quy định trong mỗi đề thi, bao gồm: Cỏc dụng cụ học sinh tự trang bị và cỏc dụng cụ, thiết bị, vật tư do hội đồng thi cung cấp, cỏc dụng cụ và vật tư cho giỏo viờn coi và chấm thi.
Qua việc quan sỏt trực tiếp cỏc học sinh làm bài thi và tham khảo ý kiến của cỏc giỏo viờn chấm thi, cỏc học sinh tại cỏc phũng thi, cú thể kết luận: Cỏc dụng cụ,
thiết bị và vật liệu đó chuẩn bị cho học sinh và giỏo viờn là đầy đủ và phự hợp, đảm bảo cỏc điều kiện để học sinh cú thể hoàn thành tốt bài thi, cỏc giỏo viờn cú thể hoàn thành cụng việc chấm và đỏnh giỏ cỏc bài thi.
2.7. Nhận xột chung về kết quả thử nghiệm và phõn tớch cỏc bài thi đỏnh giỏ kỹ năng.
Mặc dự lần đầu tiờn ỏp dụng vào kiểm tra đỏnh giỏ kỹ năng thực hành nghề của học sinh bằng mẫu bài thi mà trong đú cỏc nội dung đỏnh giỏ cỏc kỹ năng được xỏc định dựa trờn cỏc tiờu chớ, tiờu chuẩn thực hiện cụng việc trong tiờu chuẩn kỹ năng nghề, kết quả thu được là rất khả quan. Cỏc giỏo viờn tham gia đợt thử nghiệm (thực chất được tổ chức trong tỡnh huống thật) đó cú những nhận xột về việc tổ chức kiểm tra đỏnh giỏ trờn cơ sở sử dụng ngõn hàng bài thi đỏnh giỏ kỹ năng như sau:
- Việc khảo sỏt kết quả học tập cú thể bao quỏt cả chương trỡnh đào tạo, kết quả đỏnh giỏ là cụng bằng, chớnh xỏc nờn đó tạo tõm thế và động lực cho học sinh học tập tớch cực hơn. Sự trao đổi qua lại trong quỏ trỡnh học tập giữa học sinh với nhau và giữa học sinh với giỏo viờn một cỏch thường xuyờn.
- Cỏc giỏo viờn tham gia giảng dạy cần tập trung thời gian nhiều hơn cho bài giảng. Để xỏc định cỏc nội dung học tập, cỏc giỏo viờn cần sử dụng cỏc tài liệu như: Giỏo trỡnh, bộ tiờu chuẩn kỹ năng nghề, ngõn hàng trắc nghiệm, cỏc bài thi đỏnh giỏ kỹ năng, cỏc tài liệu hướng dẫn,...để đảm bảo tớnh chuẩn xỏc so với cỏc nội dung sẽ được đỏnh giỏ.
- Việc thống nhất trong quỏ trỡnh chấm điểm và đỏnh giỏ trong giỏo viờn được cải thiện rất nhiều theo hướng tớch cực.
- Cú thể kiểm tra, đỏnh giỏ kỹ năng thực hành nghề của học sinh trong một lớp học trờn phạm vi rộng bằng cỏch ỏp dụng nhiều đề thi,…
Căn cứ kết quả thử nghiệm và kết quả phõn tớch cỏc bài thi, người nghiờn cứu đưa ra một số kết luận về ngõn hàng bài thi đỏnh giỏ kỹ năng như sau:
1) Cỏc bài thi đỏnh giỏ kỹ năng cơ bản đó đảm bảo được cỏc tiờu chuẩn quy định, như:
- Thời gian thực hiện: 12/14 bài thi cú thời gian thực hiện là phự hợp, 02 bài cần điều chỉnh cho phự hợp với thời gian thực tiễn.
- Cỏc dụng cụ, thiết bị và vật liệu sử dụng để thực hiện bài thi là đầy đủ, đảm bảo cỏc điều kiện để học sinh cú thể hoàn thành tốt bài thi, cỏc giỏo viờn cú thể hoàn thành cụng việc chấm và đỏnh giỏ cỏc bài thi.
2) Cỏc nội dung được điều chỉnh trong cỏc bài thi:
- Nội dung đỏnh giỏ “Dõy dẫn đi gọn gàng đảm bảo tớnh thẩm mỹ”: Cú tớnh trừu tượng đối với học sinh nờn nội dung này được diễn đạt lại là “Dõy dẫn lắp đặt thẳng đảm bảo tớnh thẩm mỹ”.
- Điều chỉnh mức điểm của nội dung “quy trỡnh – thao tỏc” thành 20 điểm, đồng thời giảm mức điểm tương ứng của nội dung đỏnh giỏ “Dõy dẫn được lắp đặt thẳng đảm bảo tớnh thẩm mỹ” trong thang điểm.
- Điều chỉnh thời gian thực hiện của bài thi cú mó số I.17, I.18 từ 150 phỳt lờn 175 phỳt cho phự hợp với thực tiễn.
3) Cỏc bài thi đỏnh giỏ kỹ năng được xõy dựng theo Quy trỡnh xõy dựng ngõn hàng đề thi đỏnh giỏ kỹ năng trong Dự ỏn GDKT DN. Cỏc nội dung đỏnh giỏ kỹ năng trong từng bài thi được căn cứ vào tiờu chuẩn kỹ năng thực hành đó được quy định trong tiờu chuẩn kỹ năng nghề quốc gia. Cỏc bài thi đó được thử nghiệm và phõn tớch trong điều kiện thực tiễn. Do vậy, cỏc bài thi hoàn toàn đỏng tin cậy và cú giỏ trị trong việc đỏnh giỏ năng lực thực hành nghề của học sinh trong quỏ trỡnh học tập hoặc sau khi kết thỳc modul Thực hành trang bị điện.
KẾT LUẬN VÀ KIẾN NGHỊ
1. Kết luận
1.1 Quỏ trỡnh thực hiện.
- Trờn cở sở nghiờn cứu cơ sở lý luận của hai loại trắc nghiệm: Trắc nghiệm chuẩn mực và trắc nghiệm tiờu chớ, người nghiờn cứu đó hệ thống được những điểm
tương đồng và những điểm khỏc biệt giữa hai loại trắc nghiệm làm cơ sở cho việc biờn soạn và phõn tớch cỏc cõu hỏi trắc nghiệm tiờu chớ.
- Nghiờn cứu cơ sở lý luận của việc xõy dựng ngõn hàng đề thi kỹ năng. Kết quả của quỏ trỡnh nghiờn cứu này, người nghiờn cứu đó xỏc định được những cơ sở quan trọng để xõy dựng ngõn hàng đề thi kỹ năng theo mục tiờu của đề tài.
- Phõn tớch cỏc cơ sở để xõy dựng ngõn hàng cõu hỏi trắc nghiệm đỏnh giỏ kiến thức và ngõn hàng đề thi kỹ năng cho modul Thực hành trang bị điện theo tiờu chuẩn kỹ năng nghề bao gồm:
+ Phõn tớch cỏc chương trỡnh, nội dung đào tạo nghề Điện.
+ Phõn tớch chương trỡnh, nội dung modul Thực hành trang bị điện. + Phõn tớch bộ tiờu chuẩn kỹ năng nghề Điện.
+ Người học nghề.
- Biờn soạn ngõn hàng cõu hỏi trắc nghiệm đỏnh giỏ kiến thức và ngõn hàng bài thi kỹ năng cho modul Thực hành trang bị điện theo tiờu chuẩn kỹ năng nghề.
- Lấy ý kiến tham khảo về ngõn hàng cõu hỏi trắc nghiệm đỏnh giỏ kiến thức và ngõn hàng bài thi kỹ năng. Điều chỉnh cỏc cõu hỏi, cỏc bài thi trước khi thử nghiệm. - Sau khi thử nghiệm trong điều kiện thực tiễn, người nghiờn cứu tiến hành phõn tớch cỏc cõu hỏi trắc nghiệm, cỏc bài thi kỹ năng để xỏc định cỏc cõu hỏi và cỏc bài thi kỹ năng đó đảm bảo cỏc tiờu tiờu chuẩn kỹ năng nghề và những yờu cầu của thực tiễn. Đồng thời xỏc định cỏc cõu hỏi và cỏc bài thi kỹ năng cần điều chỉnh.
- Dựa vào kết quả phõn tớch, tiến hành chỉnh sửa cỏc cõu hỏi, cỏc bài thi kỹ năng chưa đảm bảo cỏc tiờu chuẩn chuẩn kỹ năng nghề và những yờu cầu của thực tiễn.
1.2. Kết quả đó đạt được.
- Trờn cơ sở lý luận của trắc nghiệm tiờu chớ và quy trỡnh xõy dựng ngõn hàng cõu hỏi trắc nghiệm đỏnh giỏ kiến thức trong Dự ỏn GDKT DN, người nghiờn cứu đó biờn soạn được 210 cõu hỏi trắc nghiệm cho modul Thực hành trang bị điện theo tiờu chuẩn kỹ năng nghề ở 4 hỡnh thức cõu hỏi trắc nghiệm. Sau quỏ trỡnh thử nghiệm trong điều kiện thực tiễn, trờn cơ sở của lý thuyết về phõn tớch cõu trắc
nghiệm tiờu chớ, cỏc cõu hỏi được phõn tớch và được xỏc định về độ khú và độ phõn cỏch. Kết quả cú 196 cõu hỏi đảm bảo cỏc tiờu chuẩn của cõu trắc nghiệm tiờu chớ, điều chỉnh 02 cõu cú độ phõn cỏch kộm khụng phự hợp với độ khú, 12 cõu cú độ phõn cỏch õm được lưu lại để điều chỉnh và thử nghiệm sau.
- Trờn cơ sở lý luận về xõy dựng ngõn hàng đề thi kỹ năng, người nghiờn cứu đó biờn soạn được 14 bài thi đỏnh giỏ kỹ năng cho modul Thực hành trang bị điện theo tiờu chuẩn kỹ năng nghề. Quỏ trỡnh thử nghiệm cỏc bài thi được thực hiện trong điều kiện thực tiễn. Kết quả phõn tớch, 14 bài thi kỹ năng cơ bản đó đảm bảo cỏc yờu cầu được cỏc tiờu chớ đỏnh giỏ bài thi kỹ năng được quy định trong quy trỡnh xõy dựng ngõn hàng đề thi kỹ năng. Cụ thể như sau:
+ Cỏc nội dung hướng dẫn và cỏc yờu cầu của bài thi đảm bảo tớnh rừ ràng, chớnh xỏc.
+ Thời gian thực hiện: 12/14 bài thi cú thời gian thực hiện là phự hợp;
+ Cỏc dụng cụ, thiết bị và vật liệu sử dụng để thực hiện bài thi là đầy đủ, đảm bảo cỏc điều kiện để học sinh cú thể hoàn thành tốt bài thi, cỏc giỏo viờn cú thể hoàn thành cụng việc chấm và đỏnh giỏ cỏc bài thi.
Kết quả điều chỉnh cỏc nội dung đỏnh giỏ trong cỏc bài thi: + Diễn tả lại nội dung đỏnh giỏ cú số thứ tự 2.5 cho dễ hiểu;
+ Điều chỉnh mức điểm đỏnh giỏ của cỏc nội dung cho phự hợp với mức độ quan trọng của chỳng trong quỏ trỡnh thực hiện cụng việc;
+ Điều chỉnh thời gian thực hiện của bài thi cú mó số I.17, I.18 cho phự hợp với thời gian thực tiễn.
1.3. Đỏnh giỏ những đúng gúp của đề tài. 1.3.1. Về mặt lý luận. 1.3.1. Về mặt lý luận.
Mặc dự loại trắc nghiệm tiờu chớ đó được phỏt triển và sử dụng tại cỏc nước cú nền giỏo dục tiờn tiến hơn 20 năm qua, ở nước ta, những sản phẩm về trắc nghiệm hiện nay phần lớn là được xõy dựng dựa trờn cơ sở của trắc nghiệm chuẩn mực.
Loại trắc nghiệm này đó thể hiện những hạn chế khi ỏp dụng để đỏnh giỏ năng lực thực hiện của người học, đặc biệt trong lĩnh vực kỹ thuật.
Từ việc nghiờn cứu cơ sở lý luận của hai loại trắc nghiệm, người nghiờn cứu đó hệ thống được những điểm tương đồng và những điểm khỏc biệt giữa hai loại trắc nghiệm. Đõy là những yếu tố vụ cựng quan trọng để biờn soạn và phõn tớch cỏc cõu