CHƯƠNG 2 PHƯƠNG PHÁP NGHIÊN CỨU
2.2.4.3.Phân tích chất lượng câu hỏi trắc nghiệm khách quan
2.2. Xây dựng bộ công cụ đánh giá
2.2.4.3.Phân tích chất lượng câu hỏi trắc nghiệm khách quan
Ta tiếp tục xem xét các chỉ số thu được từ kết quả phân tích bằng phần mềm Quest như sau:
- Categories: câu chọn, trắc nghiệm, phương án đúng được đánh dấu (*); - Disc: độ phân biệt của câu hỏi giữa các nhóm HS, thơng thường trị số độ phân biệt của câu hỏi có thể chấp nhận được phải lớn hơn 0,2;
- Percent: tỉ lệ phần trăm của một phương án là tỉ lệ giữa số HS chọn phương án đó so với HS làm bài kiểm tra; Infit MNSQ phải nằm trong khoảng 0,77 – 1,30;
- Biserial: hệ số tương quan point biserial. Cần loại bỏ những câu hỏi có mối tương quan thấp hoặc dưới 0 sẽ làm tăng độ tin cậy của bài kiểm tra;
- StepLabel 1: Giữa giá trị 0 và 1 có một bước, HS thực hiện được bước này khi trả lời đúng câu hỏi;
- Thresholds: ngưỡng để vượt qua, thực chất là độ khó của câu trắc nghiệm; - Error: sai số trong tính tốn.
Bảng 2.5. Chỉ số thống kê của một số câu hỏi trắc nghiệm được tạo ra từ Quest
Item 16: item 16 Infit MNSQ = 1.05
Disc = .31 Categories A B* C D 9 missing Count 7 14 6 3 0 0 Percent (%) 23.3 46.7 20.0 10.0 .0 Pt-Biserial -.10 .31 -.13 -.18 NA p-value .025 .000 .003 .000 NA Mean Ability 1.19 1.80 1.07 .81 NA NA Step Labels 1 Thresholds 1.51 Error .11 ........................................................................................... ... ........................................................................................... ...
Item 26: item 26 Infit MNSQ = 1.11
Disc = .34
Categories A B C* D 9 missing
Pt-Biserial -.10 -.16 .34 -.24 NA p-value .021 .001 .000 .000 NA Mean Ability 1.16 1.14 1.74 .36 NA NA Step Labels 1 Thresholds 1.25 Error .11 ........................................................................................... ... ........................................................................................... ...
Trong Bảng 2.5, ví dụ như câu 16, giá trị infit MNSQ = 1,05 nằm trong khoảng cho phép, câu này có độ khó phù hợp là 0,47, trong khi độ phân biệt tốt với giá trị bằng 0,31, các phương án nhiễu tập trung đều ở 3 đáp án A, C và D. Do vậy đây là câu hỏi phù hợp và hồn tồn có thể sử dụng trong khảo sát chính thức. Tương tự như vậy, câu 26 có độ khó phù hợp là 0,53, độ phân biệt rất tốt với giá trị bằng 0,34, infit MNSQ = 1,11 nằm trong khoảng cho phép cho thấy đây là câu hỏi tốt; phương án nhiễu A, B, D có độ phân biệt âm cho thấy các câu nhiễu tốt, có nhiều HS nhóm NL cao lựa chọn hơn HS nhóm NL thấp cho thấy đây là câu hỏi đạt u cầu.
Để có cái nhìn trực quan hơn, ta đưa ra biểu đồ minh họa sự phù hợp của các câu hỏi thử nghiệm với NL của HS (xem Hình 2.1), mỗi câu hỏi biểu thị bằng dấu *. Những câu hỏi nằm trong hai đường chấm thẳng đứng có giá trị INFIT MNSQ nằm trong khoảng [0,77;1,30] sẽ phù hợp với mơ hình Rasch. Nếu câu hỏi nào nằm ngồi khoảng này là khơng phù hợp và sẽ bị loại bỏ. Kết quả cho thấy cả 19 câu hỏi trắc nghiệm khách quan đều nằm trong khoảng đồng bộ cho phép. Điều đó chứng tỏ 19 câu hỏi này đo đúng cái cần đo và hồn tồn có thể sử dụng cho khảo sát chính thức.