II. KẾT QUẢ NGHIÊN CỨU GIAI ĐOẠN HAI
2. Phân tích câu trắc nghiệm
Dùng công thức hệ số tương quan Rpbis tính độ phân cách của từng câu trắc nghiệm. Giá tri của Rpbis có ý nghĩa ở mức xác suất <.01 và <.05. Giá trị này được phân chia thành bốn nhóm:
-Nhóm các câu có độ phân cách rất tốt: Rpbis > 0.40.
-Nhóm câu có độ phân cách khá tốt: Rpbis từ 0.30 đến 0.39. -Nhóm câu có độ phân cách tạm được: Rpbis từ 0.20 đến 0.29. -Nhóm câu có độ phân cách yếu: Rpbis < 0.19.
Bảng 6: Độ phân cách của từng câu trắc nghiệm
Mức Trắc nghiệm 10-12 tuổi Trắc nghiệm 13- 15 tuổi PC Câu Độ PC Câu Độ PC Câu Độ PC Câu Độ PC
35 0.61 18 0.59
22 0.41 13 0.55 23 0.41 17 0.52 10 0.40 27 0.49 8 0.40 28 0.45 Tổng cộng: 6; Tỷ lệ: 15% Tổng cộng: 11 ; Tỷ lệ: 27.5% 9 0.39 19 0.37 10 0.38 Tốt 1 1 0.39 25 0.36 26 0.38 18 0.39 2 0.35 36 0.38 7 0.38 32 0.34 1 1 0.37 21 0.38 17 0.33 35 0.37 6 0.37 24 0.33 16 0.36 14 0.37 38 0.33 6 0.30 37 0.32 Tổng cộng: 15 ; Tỷ lệ: 37.5% Tổng cộng: Tỷ lệ: 17.5% 15 0.29 16 0.23 34 0.27 3 0.23 Tạm 36 0.27 4 0.21 39 0.27 20 0.22 được 34 0.26 30 0.21 25 0.26 4 0.21 39 0.26 31 0 2 0 30 0.24 33 0.21 40 0.25 12 0.19 32 0.24 38 0.21 26 0.19 22 0.23 37 0.19 Tổng cộng:1;tỷ lệ: 27.5% Tổng cộng: 12; Tỷ lệ: 30% 33 0.18 14 0.13 40 0.18 5 0.13 yếu 5 0.16 20 0.13 14 0.18 21 0.13 29 0.14 28 0.12 24 0.17 15 0.12 1 -0.17 2 0.16 31 0.10 3 NA 1 0.13 12 0.08 Tổng cộng : 8; Tỷ lệ: 20% Tổng cộng: 10; Tỷ lệ: 20%
Số liệu từ bảng 6 cho thấy:
❖ Kết quả chung:
Trắc nghiêm cho học sinh lo -12 tuổi có:
- 6 câu có độ phân cách rất tốt, chiếm tỷ lệ 15%. - 15 câu có độ phân cách tốt, chiếm tỷ lệ 37.5%.
- 1 1 câu có phân cách nhưng thấp (tạm được), chiếm tỷ lệ 27.5%. 8 câu có phân cách rất thấp hoặc không phân cách, chiếm tỷ lệ 20%.
Như vậy trong bài trắc nghiệm này số câu có phân cách là 80%. Trắc
nghiệm cho học sinh 13 -15 tuổi có
- 1 1 câu có độ phân cách rất tốt, chiếm tỷ lệ 27.5%. -7 câu có độ phân cách tốt, chiếm tỷ lệ 17.5%.
- 1 2 câu có phân cách nhưng thấp (tạm được), chiếm tỷ lệ 30%.
-10 có phân cách rất thấp hoặc không có phân cách, chiếm tỷ lệ 25%.
Số câu đạt tiều chuẩn về độ phân cách trong bài trắc nghiệm này là 75%.
Những câu đạt tiêu chuẩn về độ phân cách ở cả hai bài trắc nghiệm được ưu tiên lựa chọn vì nó phân biệt được những học sinh có điểm số khác nhau khi làm trắc nghiệm, đồng thời nói lên tính hiệu lực của trắc nghiệm. Tuy nhiên phải kết hợp với việc phân tích độ khó của các câu này để nhìn nhận toàn diện hơn.
♦♦♦ Bài trắc nghiệm cho học sinh 10 -12 tuổi:
Dựa trên tiêu chuẩn độ phân cách, những câu được chọn là: 2, 4, 6, 7, 8, 9, 10, 11, 12, 13, 15, 16, 17, 18, 19, 21, 22, 23, 24, 25, 26, 27, 30, 31, 32, 34, 35, 36, 37, 38, 39, 40.
Trong số các câu trên, chúng tôi lưu ý tới những câu quá dễ là câu: 8, 10, 30, 31, 34. xem xét nội dung các câu này để sửa lại một số chi tiết theo hướng làm tăng độ khó của câu đó lên. Căn cứ để sửa là dựa nội dung chương trình môn Tiếng Việt lớp 5 và lớp 6 phổ thông.
Minh họa:
■ Câu 30: Trật tự các từ sau đây là đúng hay sai?
Muốn em cha mẹ chăm học.
Lựa chọn sai đúng missing
Tần số 2 96 1
Tỷ lệ 2.0% 98%
Độ phân cách -0.09 0.21
Xác suất NS <.0.5
Câu này quá dễ, vì thế phải dùng một câu khác thay thế, đó là câu:
Đã biến thành màu xanh cánh buồm nâu.
Chúng tôi đã xem xét một số câu khó (độ khó dưới 40%). đó là câu 38. Câu này không chỉnh sửa vì các lý do:
- Nội dung hai câu này liên quan đến những kiến thức trong chương trình môn Tiếng Việt của học sinh 10 - 12 tuổi, không cao đối với các em.
Ngoài ra các câu khác có sửa một số bộ phận cho phù hợp với tiếng Việt và văn hóa Việt Nam, đó là các câu: 10, 19, 21,22,34.
Với những câu không đạt tiêu chuẩn về độ phân cách, phải xem xét lại để chỉnh sửa dùng cho lần thử nghiệm thứ hai. Đó là câu: 1, 3, 5, 14, 20, 28, 29, 33.
Hướng chỉnh sửa:
■ Câu 1 (có độ phân cách -0.17, độ khó = 88.7%): thay thế bằng một từ
láy khác.
■ Câu 3 (không phân cách, độ khó = LO): thay thế bằng một từ ghép
khác khó hơn.
Minh họa:
■ Câu 3: Những từ sau đây là từ láy hay từ ghép?
XUÔI NGƯỢC (từ láy) (từ ghép)
Thay thế từ "XUÔI NGƯỢC bằng từ "ĐI ĐỨNG"
Từ "đi đứng" là từ ghép bởi hai tiếng Đi và Đứng, học sinh có thể lầm đó là từ láy âm (âm Đ). Sẽ thử nghiệm ở lần hai và phân tích kết quả ở lần hai.
■ Câu 28: Thay thế bằng một từ khác để tăng độ khó. ■ Câu 29: Thay thế bằng một từ khác để tăng độ khó.
■ Câu 20 và câu 33: giữ nguyên không sửa vì xét nó là một thành phần trong nhóm câu đo lường một khả năng ngôn ngữ nào đó của học sinh; mặt khác nội dung các câu liên quan chặt chẽ với chương trình môn Toán và Tiếng việt 5-6.
Minh họa:
■ Câu 20: mỗi từ ở cột C có thể là từ cùng loại với cột A hay cột B. Em
A B C Ba hai tám a b Chín mười sáu a b Một bốn năm a b mười một a b bảy a b
Với trình độ học sinh 10-12 tuổi, nhận ra nhóm số chẵn và lẻ không thể là quá sức của các em. Vì thế câu này nên giữ lại.
❖ Bài trắc nghiệm cho học sinh 13 -15 tuổi.
Theo tiêu chuẩn độ phân cách, các câu được chọn là: 3, 4, 6, 7, 8, 9, 10, l 1 , 13, 16, 17, 18, 19, 20, 22, 23, 25, 26, 27, 28, 29, 30, 32, 33, 34, 35, 36, 38, 39.
Một số câu dễ (có độ khó > 0.95) cần lưu ý là: 4, 7, 8, 29, 36. Trong số này có 2 câu phải sửa để tăng độ khó lên là các câu: 4, 29.
Minh họa:
■ Câu 4: từ láy hay từ ghép
MƠN MỞN (Từ láy) (Từ ghép)
Lựa chọn sai (từ ghép) đúng (từ láy)
Tần số 2 122
Tỷ lệ 1.6% 94.4%
Độ phân cách -0.21 0.21
Mức xác xuất <05 <05
Độ khó 0.983
Câu này quá dễ đối với học sinh, độ phân cách không cao (0.21), vì thế đã được thay thế bằng từ láy khác: NGẤM NGUÝT.
Một số câu có độ phân cách yếu hoặc không phân cách: câu 1, 2, 5,12,14, 21,24,31,40.
Các câu 1, 2, 5 đều nằm ở nhóm phân biệt từ láy, từ ghép; đều là câu phân cách rất thấp và là những câu dễ (93%). Các câu này đều được sửa bằng cách thay thế những từ láy, từ ghép khác khó phân biệt hơn, nhằm tăng độ khó của câu trắc nghiệm.
Câu 14, 15 nhằm ở nhóm "hiểu nghĩa câu thành ngữ, tục ngữ". Hai câu đều có độ phân cách rất thấp và đều là câu khó.
Minh họa:
■ Câu 14: Hai câu tục ngữ nào dưới đây có nghĩa gần như nhau?
Nhịn đói nằm co còn hơn ăn no vác nặng.
Buôn tàu bán bè không bằng ăn dè hà tiện.
Tiền vào nhà khố như gió vào nhà trống.
Năng nhặt chặt bị.
Đáp án đúng: b và d
Lựa chọn: sai đúng missing
Tân sô 97 27 14
Tỷ lệ 78.2% 21.8% 11.2%
Độ phân cách: -0.12 0.18
Độ khó: 24.5%
Trong câu này, đáp án "a" như một mồi nhử tốt, vì nó khá tương xứng với
"b" về câu, cũng như các vế trong câu 8 chữ (nhịn... ăn với buôn... ăn). Vì thế thoạt
nhìn học sinh hay lầm tưởng a và b là gần nghĩa với nhau (có rất nhiều học sinh chọn đáp án sai này). Chúng tôi cho rằng cần xem lại câu tục ngữ "a" và sửa lại theo hướng giảm bớt độ khó. Câu "Nhịn đói nằm co hơn ăn no vác nặng" đã được thay thế bằng câu "Ăn trông nồi ngồi trông hướng".
Các câu 12, 21, 24 tuy có độ phân cách yếu, nhưng nội dung liên quan đến kiến thức phổ thông lớp 7, 8, 9 nên chúng tôi cho rằng không nên chỉnh sửa.
Ngoài ra, các câu khác trong bài trắc nghiệm này đã được chỉnh sửa một vài bộ phận hay toàn thể cho phù hợp với văn hóa địa phương, cũng như đã gắn với chương trình môn học tiếng Việt. Các câu có sửa là: câu 3,15, 29,31,33.
II. KẾT QUẢ NGHIÊN CỨU GIAI ĐOẠN HAI
Sau thử nghiệm lần thứ nhất và chỉnh sửa những chi tiết dựa trên độ khó, độ phân cách cũng như những chỉnh sửa về diễn đạt nhưng không ảnh hưởng đến cấu trúc của bài trắc nghiệm. Hai bài trắc nghiệm được thử nghiệm lần 2 trên 200 em học sinh 10 - 12 tuổi và 302 em học sinh 13-15 tuổi ở một số trường phổ thông Thành Phố Hồ Chí Minh.
1. Các thông số của bài trắc nghiệm ở hai lần đo
Bảng 7: So sánh các thông số toàn bài trắc nghiệm cho học sinh 10-12 tuổi
ở hai lần đo
Các trị số quan sát Lần 1 Lần 2 Các trị số lý thuyết Lần 1 Lần 2 Số câu trắc nghiệm 40 40
Số người l àm TN 98 200
Điểm trung bình 39.429 34.975 Trung bình lý thuyết 30.00 34.00 Độ lệch tiêu chuẩn 9.765 11.846
Hệ số tin cậy 0.858 0.908
Độ khó của bài TN 81.2% 60.3% Độ khó vừa phải 75% 58.6%
Nhận xét:
Hệ số tin cậy của bài trắc nghiệm lần 2 cao hơn lần một. Trắc nghiệm này đạt chỉ tiêu cao về độ tin cậy. Độ khó của bài trắc nghiệm ở lần đo 2 là 60.3%, xấp xỉ bằng độ khó vừa phải lý thuyết (58.6%), trong khi lần 1 thì độ khó của bài trắc nghiệm có trị số lớn hơn độ khó vừa phải. Như vậy ở lần 2, bài trắc nghiệm n à y vừa sức với học sinh hơn.
Bảng 8: So sánh các thông số toàn bài trắc nghiệm cho học sinh 13 - 15 tuổi ở hai
lần đo
Số câu trắc nghiệm 40 40 Số người làm TN 124 302
Điểm trung bình 30.363 31.113 Trung bình lý thuyết 30.00 35.00 Độ lệch tiêu chuẩn 5.741 9.536
Hệ số tin cậy 0.79 0.796
Độ khó của bài TN 73.4% 51.9% Độ khó vừa phải 75% 58.3%
Nhận xét:
Hệ số tin cậy của bài trắc nghiệm ở hai lần đo là tương đương nhau và ở mức khá cao. Độ khó của bài trắc nghiệm lần 2 nhỏ hơn so với độ khó lý thuyết. Như vậy bài trắc nghiệm lần hai này hơi khó so với trình độ học sinh.
Xét chung cả hai trắc nghiệm lần 2 trên phương điện độ khó ta thấy: hai bài trắc nghiệm này đều khó hơn so với lần một. Đây cũng thể hiện một thay đổi tương đồng qua hai lần đo trên hai mẫu khác nhau. Nghĩa là có sự phù hợp về các thông số của bài trắc nghiệm ở hai lần đo.
2. Phân tích câu trắc nghiệm
2.2. Độ khó của câu trắc nghiệm
Bảng 9: Phân bố câu trắc nghiệm theo độ khó
Mức khó Trắc nghiệm 10 - 12 tuổi Trắc nghiệm 13 -15 tuổi Câu số Tông Câu số Tổng Dễ > 85% 1 , 2 , 4, 5, 10, 25,26, TS:14. 1, 5, 7, 9, 10, 22, TS.10 28, 30, 31, 33, 34, Tỷỉệ:35% 23, 25, 26, 36 Tỷlệ: 25% 35, 39 Vừa phải: 3, 6, 7, 8, 9, 21, 23, TS:10 2, 8, 19, 20, 27, TS:10 66%-85% 32, 36, 40 Tỷlệ:25% 2 8 , 3 1 , 3 2 , 34, 35 Tỷ lệ:25% Khó 40% - l i , 13, 15,1 16, 17, TS:12 4, 6, l i , 13, 17, TS:14 65% 18, 19, 24, 27, 29, 37, 38 Tỷ lệ:30% 18, 24, 29, 30, 33, 37, 38, 39, 40 Tỷ lệ:35% Rất khó > 12, 14, 20, 22 TS:4 3, 12, 14, 15, 16, TS:6 40% Tỷ lệ:10% 21 Tỷ lệ:15% Nhận xét:
-Nhìn chung cả hai bài trắc nghiệm tỷ lệ câu dễ đều thấp hơn so với tỷ lệ câu khó. Bài trắc nghiệm cho học sinh 10-12 tuổi có tỷ lệ câu dễ so với câu khó
là 35% và 40%. Bài trắc nghiệm cho học sinh 14 - 15 tuổi có tỷ lệ câu dễ so với câu khó là 25% và 50%.
-Đối chiếu độ khó của từng câu trắc nghiệm ở hai lần đo (xem phụ lục) cho thấy: không có những khác biệt trái ngược giữa hai lần đo về độ khó của câu.
-Các câu dễ trong bài trắc nghiệm cho trẻ 10 - 12 tuổi vẫn tập trung cao vào nội dung "phân biệt từ" (4 câu). Các câu rất khó ở trắc nghiệm cho học sinh 13 -15 tuổi liên quan đến khả năng "tìm từ gần nghĩa với từ cho sẵn".
-Các câu khó trong cả hai bài trắc nghiệm vẫn tập trung vào nội dung
"hiểu nghĩa câu tục ngữ".
-Câu 12 và 14 đều là câu rất khó đối với học sinh ở cả hai độ tuổi. Các câu này liên quan đến khả năng "hiểu ý nghĩa của câu tục ngữ".
Qua sự phân tích độ khó của câu trắc nghiệm như trên, có thể nói rằng: có chiều hướng thống nhất giữa hai lần đo trên phương diện các thông số kỹ thuật cũng như trên phương diện khả năng ngôn ngữ của học sinh.
Mình họa một số câu có những đặc biệt về độ khó
■ Câu số 3 (trắc nghiệm cho học sinh lo -12 tuổi)
Lựa chọn: sai đúng missing
Lần 1 lần 2 lần 1 lần 2 lần 1 lần 2 Tần số: 0 56 98 144 0 0 Tỷ lệ: 0.0% 28.0% 100% 72% Độ phân cách: NA -0.30 NA 0.30 Mức xác suất: NA <.01 NA <.01 Độ khó: 100% 72.0%
Số liệu trên cho thấy, việc sửa chữa câu 3 sau lần thử nghiệm một đã góp phần làm thay đổi các thông số thể hiện câu 3 là một câu tốt, xét trên phương diện độ khó và độ phân cách.
■ Câu số 15 (trắc nghiệm cho học sinh 13 -15 tuổi)
Lần 1 lần 2 lần 1 lần 2 lần 1 lần 2 Tần số: . 109 267 15 26 16 9 Tỷ lệ: 87.9%88.4% 12.1%8.6% Độ phân cách: -0.04 -0.00 0.12 0.04 Mức xác suất: NS NS NS NS Độ khó: 13.8% 8.6%%
Kết quả cho thấy câu 13 quá khó đối với học sinh ở cả hai lần đo. Câu này nhằm đo khả năng hiếu ý nghĩa của tục ngữ. Có lẽ những câu tục ngữ nêu trong câu hỏi còn chưa thật gần gũi đối với các em. Chúng tôi cho rằng việc hiểu ý nghĩa của câu không chỉ là việc hiểu cấu trúc câu, nghĩa khách quan của từ, mà điều quan trọng là hiểu ý tưởng chứa trong đơn vị từ ngữ ấy - đó chính là việc làm của tư duy. Ở đây xét trên các thông số về câu trắc nghiệm thì: câu khó ở cả hai lần đo cho thấy sự tương đồng khi đo trên hai lần khác nhau; câu quá khó cần xem xét lại; cũng cần chú ý tới độ phân cách. Trường hợp câu 15 chỉ số độ phân cách là không đạt.
2.2. Kết quả về độ phân cách của câu trắc nghiệm
Trắc nghiệm cho học sinh 10 -12 tuổi
Kết quả đợt thử nghiệm này chọn ra được:
-23 câu có độ phân cách rất tốt (R > 0.4). Đó là các câu: 6, 7, 8, 9, 10, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 29, 39, 40).
-5 câu có độ phân cách tốt là: 3, 12, 27, 28, 36.
-8 câu có độ phân cách tạm chấp nhận: 1, 2, 4, 5, 30, 32, 34, 37.
-4 câu phân cách yếu hoặc không phân cách: 31, 33, 35, 38. trong đó câu 35 có phân cách â m (R = -0.35).
Trắc nghiệm cho học sinh 13 -15 tuổi có độ phân cách như sau:
-11 câu có độ phân cách rất tốt: 6, 9, 13, 14, 17, 18, 19, 27, 28, 30, 39.
-11 câu có độ phân cách tốt là các câu. 10, 11, 16, 22, 23, 25, 26, 29, 37, 38,
40.
-8 câu có độ phân cách tạm chấp nhận là các câu: 2, 7, 8, 31, 32, 34, 35, 36.