- Có thể hiểu ý tổng thể và chi tiết của văn bản dù văn bản có bị bỏ đi một số từ, ngữ
1. What problem does the writer identify with the study done at Stanford University in 1913?
3.2.8. Các chỉ số thống kê của câu hỏ
Ngƣời nghiên cứu chỉ đi sâu phân tích các chỉ số thống kê của câu hỏi đề thi số 01, còn các đề thi còn lại tác giả tổng hợp và thống kê tại bảng 3.29.
Độ khó của câu hỏi (thang logit)
Sử dụng lý thuyết khảo thí hiện đại, năng lực của học sinh và độ khó của câu hỏi đƣợc đánh giá bằng thang logit. Theo sơ đồ 3.18, các câu hỏi có độ khó từ - 2.4 đến 2.4 (thang logit) tuy nhiên do hai câu 6 và 20 là hai câu có độ khó cao nhất lại là hai câu lỗi cần sửa chữa hoặc loại bỏ theo nhƣ các phân tích trên nên độ khó thực sự của đề thi chỉ trong khoảng từ -2.4 đến 1.2 theo thang logit.Trong khi đó, năng lực của thí sinh phân bố từ -2.1 đến 3.2. Điều này đòi hỏi phải có thêm một số câu khó hơn để đo đƣợc tồn bộ năng lực của học sinh với những mức năng lực khác nhau.
Mean ability: thang đo logarit năng lực của thí sinh đƣa ra sự lựa chọn
của mình. Phƣơng án trả lời đúng phải có Mean ability cao hơn các phƣơng án trả lời sai. Yêu cầu này đều đạt đƣợc ở các câu hỏi trừ câu 6 và câu 20 là những câu có đáp án sai.
Item 6: item 6 Infit MNSQ = 1.55 Disc = -.12 Categories A B* C D 0 missing Count 20 21 51 8 0 0 Percent (%) 20.0 21.0 51.0 8.0 .0 Pt-Biserial -.26 -.12 .40 -.16 NA p-value .004 .109 .000 .053 NA Mean Ability -.07 .24 .92 -.08 NA NA Step Labels 1 Thresholds 2.07 Error .27
Item 20: item 20 Infit MNSQ = 1.56 Disc = -.21 Categories A B* C D 0 missing Count 61 16 9 12 2 0 Percent (%) 61.0 16.0 9.0 12.0 2.0 Pt-Biserial .62 -.21 -.26 -.43 -.09 p-value .000 .017 .005 .000 .191 Mean Ability 1.02 -.03 -.33 -.72 -.14 NA Step Labels 1 Thresholds 2.45 Error .30
3.3. Độ tin cậy của đề thi
Độ tin cậy của đề thi đƣợc tính theo nhiều công thức khác nhau. Tuy nhiên, độ tin cậy đƣợc xác định dựa trên tính ổn định bên trong của đề thi
79
thƣờng đƣợc sử dụng. Kết quả phân tích đề thi bằng phần mềm Quest cho thấy độ tin cậy của đề thi đạt 0.94. Đây là một đề thi có độ tin cậy ở mức cao.
Việc phân tích câu hỏi thi bằng lý thuyết khảo thí hiện đại cũng có thể đƣa ra những thơng tin thống kê để phân tích câu hỏi thi bằng lý thuyết khảo thí cổ điển. Tuy nhiên, việc phân tích câu hỏi thi bằng lý thuyết khảo thí hiện đại (sử dụng phần mềm QUEST và các phần mềm chuyên dụng khác) còn có thể giúp có đƣợc những thơng tin đầy đủ hơn về đề thi và các câu hỏi thi.
07 đề thi cịn lại đều có độ tin cậy >0.8
Tóm lại kết quả phân tích đề thi nhƣ sau:
Thống kê những câu hỏi không đạt chất lƣợng, nằm ngồi mơ hình Rasch phải loại bỏ và những câu đƣợc giữ lại cho vào ngân hàng câu hỏi. Tuy nhiên những câu giữ lại có độ phân biệt kém hoặc có phƣơng án sai chƣa hấp dẫn đƣợc thí sinh nào nhƣ đã liệt kê ở mục 3.2.1 đến 3.2.5 cần xem xét chỉnh sửa lại.
Summary of item Estimates =========================
Mean .00 SD 1.06 SD (adjusted) 1.03 Reliability of estimate .94
Summary of item Estimates Đề 2 ========================= Mean .00 SD 1.40 SD (adjusted) 1.32 Reliability of estimate .88
Summary of item Estimates Đề 4 ========================= Mean .00 SD .92 SD (adjusted) .82 Reliability of estimate .80 Summary of item Estimates Đề 3
========================= Mea .00 Mea .00 SD 1.10 SD (adjust 1.01 Reliability of estimate .84
Summary of item Estimates Đề 5 ======================== Mean .00 SD 1.11 SD (adjusted) 1.01 Reliability of estimate .84
Summary of item Estimates Đề 6 ======================== Mean .00 SD .91 SD (adjusted) .80 Reliability of estimate .80 Summary of item Estimates Đề 7 ======================== Mean .00 SD 1.18 SD (adjusted) 1.09 Reliability of estimate .85 Summary of item Estimates Đề 8
======================== Mean .00 Mean .00 SD 1.04 SD (adjusted) .93 Reliability of estimate .81
80
Bảng 3.29. Thống kê những câu hỏi đạt/chưa đạt chất lượng
Đề Câu Tổng Ghi chú 1 6, 8, 20, 22 4 Loại bỏ 1-5, 7, 9-19, 21, 23-30 26 Giữ nguyên 2 6, 11, 15, 16, 26 5 Loại bỏ 1-5, 10, 12-14, 17-25, 27-30 25 Giữ nguyên 3 5, 23, 24, 25 4 Loại bỏ 1-4, 6-22, 26-30 26 Giữ nguyên 4 7, 10, 21, 22, 23, 25, 29, 30 8 Loại bỏ 1-6, 8, 9, 11-20, 24, 26-28 22 Giữ nguyên 5 3, 4, 14, 21, 24, 25, 28, 29, 30 9 Loại bỏ 1,2, 5-13,15-23,26,27 21 Giữ nguyên 6 3, 8, 23, 26, 29 5 Loại bỏ 1,2,4-7,9-22,224,25,27,28 25 Giữ nguyên 7 1, 3, 4, 5, 7, 10, 14, 20-25 13 Loại bỏ 2, 6, 8, 9, 11-13, 15-19, 26-30 17 Giữ nguyên 8 4, 11, 12, 13, 16, 19, 22, 23, 25, 26, 28, 30 12 Loại bỏ 1-3, 5-10, 14, 15,17,18, 20, 21, 14, 29 18 Giữ nguyên
Tổng các câu đƣợc lƣu trữ và sử dụng 180 câu
Những phân tích ở trên đã chỉ ra những điểm tốt và những điểm còn tồn tại của câu hỏi thi và qua đó rút kinh nghiệm cho những lần ra đề tiếp theo. Trong các kỳ thi thử thì việc phân tích câu hỏi thi rất quan trọng vì nó cho phép chỉnh sửa các đề thi trƣớc khi tổ chức thi chính thức.