Mô hình rasch và phân tích dữ liệu bằng phần mềm QUEST

ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC  BÀI TẬP PHÂN TÍCH ĐỀ THI VÀ KẾT QUẢ THI Môn tiếng Anh kỳ thi tuyển sinh vào lớp 10 trường THPT chuyên Quang Trung – năm học 2010 - 2011 Môn học: Mô hình Rasch và Phân tích dữ liệu bằng phần mềm QUEST Giảng viên: TS Phạm Xuân Thanh Học viên: Nguyễn Văn Nghiêm Lớp Thạc sĩ Đo lường đánh giá Khóa 3 (2010) TP. HCM TP. Hồ Chí Minh, tháng 5/2011 Trang | 1 MỤC LỤC MỤC LỤC 1 Chương 1. Tổng quan tiểu luận 2 1. Giới thiệu về dữ liệu đề thi 2 2. Mục đích, yêu cầu 2 3. Cấu trúc tiểu luận gồm 5 chương: 2 4. Phương pháp thực hiện 3 Chương 2. Phân tích đề thi bằng lý thuyết cổ điển 4 1. Độ khó của câu hỏi thi: 4 2. Các khả năng nhầm đáp án 5 3. Chất lượng của các phương án sai (mồi nhử) 5 4. Độ phân biệt của câu hỏi thi 8 5. Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi 9 6. Độ tin cậy của đề thi 10 7. Kết luận chương 2 10 Chương 3. Xử lý số liệu và phân tích đề thi bằng lý thuyết hiện đại 12 1. Sự phù hợp của câu hỏi thi 12 1.1. Mức độ phù hợp với mô hình: 12 1.2. Mức độ phù hợp của các câu hỏi với nhau 13 2. Phân bố độ khó câu hỏi thi và năng lực thí sinh 14 3. Các chỉ số thống kê của câu hỏi 16 4. Khảo sát các câu hỏi có tính định kiến, thiên vị 18 5. Kết luận chương 3 20 Chương 4. Kết luận & kiến nghị 22 PHỤ LỤC 24 Trang | 2 Chương 1. Tổng quan tiểu luận 1. Giới thiệu về dữ liệu đề thi Bộ dữ liệu là kết quả làm bài đề thi tuyển vào lớp 10 trường THPT chuyên Quang Trung năm học 2010 – 2011 môn tiếng Anh với 50 câu hỏi trắc nghiệm (dạng 4 lựa chọn) gồm 1625 thí sinh tham gia dự thi. File dữ liệu có 54 biến gồm: mahs, mahuyen, matruong, gioi, Cau1, Cau2, Cau3, Cau4, Cau5, Cau6, Cau7, Cau8, Cau9, Cau10, Cau11, Cau12, Cau13, Cau14, Cau15, Cau16, Cau17, Cau18, Cau19, Cau20, Cau21, Cau22, Cau23, Cau24, Cau25, Cau26, Cau27, Cau28, Cau29, Cau30, Cau31, Cau32, Cau33, Cau34, Cau35, Cau36, Cau37, Cau38, Cau39, Cau40, Cau41, Cau42, Cau43, Cau44, Cau45, Cau46, Cau47, Cau48, Cau49, Cau50. Trong đó mahs là mã số thí sinh (case), mahuyen là mã huyện (nơi thí sinh cư trú), matruong là mã số trường thí sinh học lớp 9, gioi là thông tin về giới tính (0 là nữ, 1 là nam) và các biến từ Cau1 đến Cau50 là kết quả trả lời của 50 câu trắc nghiệm (item). 2. Mục đích, yêu cầu Tiểu luận này vận dụng lý thuyết khảo thí cổ điển và lý thuyết khảo thí hiện đại nhằm đánh giá câu hỏi thi. Qua đó có thể trả lời các câu hỏi nghiên cứu như: - Đề thi có phù hợp với năng lực của nhóm thí sinh dự thi hay không? Nếu chưa phù hợp thì cần điều chỉnh như thế nào? - Có câu hỏi nào trong đề không phù hợp và cần chỉnh sửa hay loại bỏ hay không? Những phân tích này là cơ sở để lựa chọn câu hỏi đạt chất lượng xây dựng ngân hàng câu hỏi thi cho kỳ thi tuyển đầu vào trường THPT chuyên Quang Trung. Đồng thời đưa ra khuyến cáo cho công tác viết câu hỏi trắc nghiệm trong những lần ra đề sau này đạt chất lượng được tốt nhất. 3. Cấu trúc tiểu luận gồm 4 chương: Chương 1. Tổng quan tiểu luận Chương 2. Phân tích đề thi bằng lý thuyết cổ điển Trang | 3 Chương 3. Phân tích đề thi bằng lý thuyết hiện đại Chương 4. Kết luận 4. Phương pháp thực hiện Sử dụng phần mềm MS Excel, Quest, SPSS để xử lý số liệu. Dựa trên lý thuyết khảo thí cổ điển và khảo thí hiện đại (mô hình Rasch) để phân tích số liệu được xử lý bằng các phần mềm nói trên. Trang | 4 Chương 2. Phân tích đề thi bằng lý thuyết cổ điển 1. Độ khó của câu hỏi thi: Độ khó của câu hỏi thi (P) là tỷ lệ thí sinh trả lời đúng so với tổng số thí sinh tham gia trả lời câu hỏi đó. Kết quả phân tích số liệu được thể hiện ở bảng thống kê dưới đây: Câu Phương án Sót Độ khó Câu Phương án Sót Độ khó A B C D A B C D 1 13.05 9.35 6.40 70.65 0.55 0.71 26 11.88 65.35 13.85 8.12 0.80 0.65 2 67.38 4.18 18.09 9.72 0.62 0.67 27 37.42 18.58 22.34 20.18 1.48 0.37 3 5.48 15.75 55.51 21.54 1.72 0.56 28 11.26 16.62 29.60 41.54 0.98 0.42 4 51.69 27.38 8.92 11.32 0.68 0.52 29 27.45 9.91 9.42 52.12 1.11 0.52 5 19.02 37.48 30.46 11.63 1.42 0.37 30 15.75 11.69 42.77 28.62 1.17 0.43 6 24.92 16.62 14.89 42.34 1.23 0.25 31 16.98 41.17 15.57 24.86 1.42 0.41 7 14.28 13.54 61.91 9.42 0.86 0.62 32 27.94 18.28 39.82 12.31 1.66 0.40 8 38.77 19.51 18.15 20.98 2.58 0.39 33 6.71 48.00 24.86 19.63 0.80 0.48 9 12.80 52.86 18.71 14.22 1.42 0.53 34 16.68 12.43 23.02 46.46 1.42 0.46 10 13.72 52.49 14.95 18.09 0.74 0.52 35 19.57 15.69 49.42 14.15 1.17 0.49 11 16.80 8.80 12.06 61.48 0.86 0.61 36 15.75 15.20 25.66 42.52 0.86 0.43 12 21.97 22.34 36.55 17.78 1.35 0.37 37 24.00 26.22 37.91 10.34 1.54 0.38 13 11.02 60.00 9.91 18.34 0.74 0.60 38 50.03 12.74 12.80 23.32 1.11 0.50 14 56.37 12.55 19.88 9.78 1.42 0.56 39 61.23 11.14 15.88 10.65 1.11 0.61 15 32.49 19.02 21.54 26.22 0.74 0.32 40 17.29 7.63 51.45 22.46 1.17 0.51 16 21.91 25.11 30.28 21.91 0.80 0.30 41 34.03 18.95 24.55 21.23 1.23 0.34 17 15.57 48.25 24.18 11.08 0.92 0.48 42 17.42 16.74 25.42 39.75 0.68 0.40 18 21.11 16.18 34.77 26.95 0.98 0.27 43 22.46 41.91 19.26 15.51 0.86 0.42 19 50.65 10.34 16.92 21.11 0.98 0.51 44 14.95 53.54 15.32 15.38 0.80 0.54 20 4.86 3.57 3.88 87.20 0.49 0.87 45 21.54 42.46 18.65 16.49 0.86 0.42 21 19.08 16.25 47.51 16.12 1.05 0.48 46 14.03 54.77 15.45 14.95 0.80 0.55 22 20.80 13.78 27.08 36.86 1.48 0.37 47 24.31 25.97 35.94 12.43 1.35 0.36 23 11.88 60.62 12.49 13.97 1.05 0.61 48 9.42 43.57 24.98 21.42 0.62 0.44 24 51.69 32.00 7.57 8.25 0.49 0.52 49 17.72 14.71 24.43 42.03 1.11 0.42 25 21.42 45.60 17.85 14.03 1.11 0.46 50 21.66 16.31 26.09 34.71 1.23 0.35 Bảng 1. Độ khó câu hỏi thi Độ khó >0.8 >0.7 >0.65 >=0.6 <0.6 <0.55 <0.5 <0.45 <0.4 <0.3 <0.2 Số câu 1 2 4 9 41 39 29 23 15 2 0 (%) 2.0 4.0 8.0 18.0 82.0 78.0 58.0 46.0 30.0 4.0 0.0 Bảng 1.1. Thống kê phân bổ độ khó Trang | 5 Theo thuyết khảo thí cổ điển, Osterlind (1989), thì giá trị độ khó càng lớn cho thấy câu hỏi càng dễ, độ khó của câu hỏi nằm trong khoảng 0.4 đến 0.8 là chấp nhận được. Thống kê dữ liệu cho thấy độ khó trung bình của của 50 câu hỏi là 0.48 và rải từ 0.25 đến 0.87. Chỉ có 1 câu có độ khó lớn hơn 0.8, có đến 15 câu có độ khó p < 0.4 câu chiếm tỷ lệ 30% số câu trong đề thi, số câu có độ khó từ 0.6 trở lên chỉ có 9 câu (chiếm 18%) và có đến 41 câu có độ khó dưới 0.6 (chiếm 82%). Như vậy, hầu hết các câu hỏi của bài test này thuộc loại khó đối với nhóm học sinh tham gia nghiên cứu này. Nhận xét: Đề thi có quá nhiều câu hỏi khó và thiếu các câu dễ. Cần tăng cường, bổ sung các câu dễ mới đánh giá được năng lực của học sinh. Các câu 5, 6, 8, 12, 15, 16, 18, 22, 27, 32, 37, 41, 42, 47, 50 có độ khó < 0.4 cần được điều chỉnh trước khi chọn vào ngân hàng câu hỏi vì là những câu này quá khó. Câu 20 có độ khó p = 0.87 là một câu hỏi quá dễ cũng cần được điều chỉnh. 2. Các khả năng nhầm đáp án Nhầm đáp án là trường hợp đa số thí sinh tham gia làm bài chọn phương án khác với đáp án. Trường hợp nhầm đáp án có thể xảy ra bởi các nguyên nhân: có thể do người viết câu hỏi có sự nhầm lẫn, cũng có thể do phần lớn thí sinh tham gia làm bài hiểu sai câu hỏi hoặc được dạy sai kiến thức, cũng có thể do câu hỏi quá khó khiến thí sinh đoán mò và trùng hợp là phần đông thí sinh đoán mò trùng một phương án (trường hợp này xác xuất xảy ra là rất thấp). Bảng 1 cho thấy có 2 trường hợp nhầm đáp án. Đó là câu 6 và câu 18 . Các câu này cần được điều chỉnh hoặc loại bỏ. 3. Chất lượng của các phương án sai (mồi nhử) Phương án sai hay gọi là mồi nhử là các phương án ngoài đáp án. Mồi nhử tốt là mồi nhử có tỷ lệ lựa chọn gần với tỷ lệ mong muốn được tính theo công thức: i = (1 – P)/(k – 1) x 100%. Trong đó: P là độ khó của câu hỏi; Trang | 6 k là số phương án trả lời. Ví dụ câu hỏi 4 lựa chọn có độ khó là 0.6 thì tỷ lệ mồi nhử mong muốn là (1 – 0.6)/(4-1) x 100% = 13.33 % cho mỗi phương án. Cùng với cách tính này ở đây ta xác định mồi nhử kém khi tỷ lệ lựa chọn nhỏ hơn 50% tỷ lệ mong muốn. Từ dữ liệu thống kê được ta thấy bài test có đến 6 câu xuất hiện mồi nhử kém (gồm các câu: 2, 3, 24, 33, 37, 40). Ở bảng 2 dưới đây, khi so sánh các phương án sai giữa nhóm trên gồm những thí sinh có kết quả điểm toàn bài thi cao nhất chiếm 27% tổng số thí sinh (Nh. trên) với nhóm dưới gồm những thí sinh có kết quả điểm toàn bài thi thấp nhất chiếm 27% tổng số thí sinh (Nh. dưới) cho thấy có 22 câu có độ lệch rất thấp (trong khoảng ±0.1). Điều này cho thấy các phương án sai này không có hiệu quả đối với cả 2 nhóm có năng lực khác nhau. Độ lệch của các phương án là đáp án của đề thi tương đối tốt. Có 46 câu (92%) có độ lệch đáp án >0.2, trong đó có 13 câu có độ lệch đáp án >0.5. Có 2 câu có độ lệch đáp án <0 cần phải loại bỏ hoặc chỉnh sửa, đó là câu 6 và câu 18. Trong 22 câu có độ lệch trong khoảng ± 0.1 thì có 19 câu là câu có mồi nhử kém đã được tính ở trên (gồm các câu: 1, 7, 8, 12, 13, 14, 15, 16, 18, 19, 20, 21, 28, 29, 30, 31, 38, 41, 48) (chiếm 38% số câu trong đề thi). Điều này có nghĩa là cả nhóm trên và nhóm dưới đều rất ít thí sinh chọn, cho thấy những mồi nhử ấy thật sự là mồi nhử kém. Nhận xét: Chất lượng của các phương án sai (mồi nhử) không cao vì cả học sinh kém và học sinh giỏi đều có tỷ lệ trả lời sai gần nhau. Có nhiều câu cả nhóm trên và nhóm dưới đều rất ít thí sinh chọn, cho thấy những mồi nhử ấy thật sự là mồi nhử kém, nhất định phải chỉnh sửa mồi nhử trước khi đưa vào ngân hàng câu hỏi hoặc có thể loại bỏ. P.án A B C D Câu N.Trên N.Dưới Lệch N.Trên N.Dưới Lệch N.Trên N.Dưới Lệch N.Trên N.Dưới Lệch 1. 0.06 0.16 -0.10 0.04 0.15 -0.11 0.04 0.06 -0.02 0.86 0.63 0.23 Trang | 7 P.án A B C D Câu N.Trên N.Dưới Lệch N.Trên N.Dưới Lệch N.Trên N.Dưới Lệch N.Trên N.Dưới Lệch 2. 0.90 0.53 0.37 0.01 0.05 -0.05 0.05 0.24 -0.19 0.04 0.16 -0.13 3. 0.06 0.07 -0.01 0.08 0.23 -0.15 0.77 0.36 0.41 0.08 0.32 -0.24 4. 0.76 0.30 0.46 0.16 0.36 -0.19 0.04 0.14 -0.10 0.03 0.19 -0.16 5. 0.08 0.28 -0.20 0.66 0.18 0.49 0.21 0.33 -0.12 0.03 0.19 -0.15 6. 0.11 0.31 -0.19 0.06 0.22 -0.15 0.05 0.25 -0.19 0.76 0.21 0.55 7. 0.06 0.23 -0.17 0.02 0.23 -0.21 0.87 0.38 0.49 0.05 0.14 -0.10 8. 0.63 0.26 0.37 0.16 0.25 -0.09 0.10 0.19 -0.08 0.09 0.27 -0.18 9. 0.05 0.19 -0.13 0.79 0.31 0.48 0.08 0.28 -0.21 0.07 0.21 -0.14 10. 0.05 0.22 -0.17 0.79 0.30 0.49 0.07 0.24 -0.17 0.09 0.23 -0.15 11. 0.06 0.27 -0.21 0.02 0.14 -0.12 0.06 0.16 -0.10 0.85 0.41 0.45 12. 0.21 0.22 -0.01 0.15 0.27 -0.12 0.56 0.22 0.34 0.08 0.25 -0.18 13. 0.03 0.20 -0.17 0.81 0.39 0.41 0.05 0.13 -0.08 0.10 0.26 -0.16 14. 0.06 0.16 -0.10 0.04 0.15 -0.11 0.04 0.06 -0.02 0.86 0.63 0.23 15. 0.90 0.53 0.37 0.01 0.05 -0.05 0.05 0.24 -0.19 0.04 0.16 -0.13 16. 0.06 0.07 -0.01 0.08 0.23 -0.15 0.77 0.36 0.41 0.08 0.32 -0.24 17. 0.76 0.30 0.46 0.16 0.36 -0.19 0.04 0.14 -0.10 0.03 0.19 -0.16 18. 0.08 0.28 -0.20 0.66 0.18 0.49 0.21 0.33 -0.12 0.03 0.19 -0.15 19. 0.11 0.31 -0.19 0.06 0.22 -0.15 0.05 0.25 -0.19 0.76 0.21 0.55 20. 0.06 0.23 -0.17 0.02 0.23 -0.21 0.87 0.38 0.49 0.05 0.14 -0.10 21. 0.63 0.26 0.37 0.16 0.25 -0.09 0.10 0.19 -0.08 0.09 0.27 -0.18 22. 0.05 0.19 -0.13 0.79 0.31 0.48 0.08 0.28 -0.21 0.07 0.21 -0.14 23. 0.05 0.22 -0.17 0.79 0.30 0.49 0.07 0.24 -0.17 0.09 0.23 -0.15 24. 0.06 0.27 -0.21 0.02 0.14 -0.12 0.06 0.16 -0.10 0.85 0.41 0.45 25. 0.21 0.22 -0.01 0.15 0.27 -0.12 0.56 0.22 0.34 0.08 0.25 -0.18 26. 0.03 0.20 -0.17 0.81 0.39 0.41 0.05 0.13 -0.08 0.10 0.26 -0.16 27. 0.77 0.36 0.41 0.07 0.17 -0.10 0.09 0.32 -0.23 0.05 0.13 -0.08 28. 0.61 0.16 0.44 0.06 0.27 -0.21 0.16 0.24 -0.08 0.17 0.31 -0.14 29. 0.15 0.25 -0.10 0.26 0.24 0.02 0.45 0.21 0.23 0.14 0.28 -0.14 30. 0.08 0.22 -0.14 0.76 0.27 0.49 0.12 0.32 -0.20 0.04 0.18 -0.14 31. 0.14 0.25 -0.12 0.14 0.17 -0.03 0.53 0.25 0.28 0.18 0.31 -0.13 32. 0.73 0.36 0.37 0.05 0.14 -0.08 0.14 0.19 -0.05 0.07 0.30 -0.23 33. 0.01 0.11 -0.10 0.03 0.05 -0.02 0.02 0.08 -0.06 0.94 0.76 0.18 34. 0.12 0.26 -0.14 0.10 0.19 -0.09 0.67 0.30 0.37 0.10 0.23 -0.13 35. 0.07 0.30 -0.23 0.05 0.20 -0.15 0.17 0.31 -0.15 0.70 0.17 0.54 36. 0.05 0.20 -0.15 0.85 0.33 0.51 0.06 0.21 -0.15 0.05 0.25 -0.20 37. 0.80 0.24 0.56 0.10 0.50 -0.40 0.03 0.12 -0.08 0.06 0.13 -0.07 38. 0.10 0.25 -0.14 0.75 0.24 0.51 0.09 0.26 -0.16 0.05 0.24 -0.19 39. 0.05 0.19 -0.14 0.88 0.44 0.44 0.05 0.21 -0.15 0.02 0.15 -0.13 40. 0.68 0.17 0.51 0.11 0.24 -0.13 0.12 0.30 -0.18 0.09 0.27 -0.18 41. 0.03 0.18 -0.15 0.06 0.25 -0.19 0.27 0.29 -0.02 0.63 0.25 0.38 42. 0.14 0.38 -0.24 0.07 0.13 -0.07 0.03 0.17 -0.15 0.76 0.29 0.46 43. 0.13 0.19 -0.06 0.05 0.17 -0.12 0.44 0.33 0.11 0.38 0.29 0.09 Trang | 8 P.án A B C D Câu N.Trên N.Dưới Lệch N.Trên N.Dưới Lệch N.Trên N.Dưới Lệch N.Trên N.Dưới Lệch 44. 0.08 0.20 -0.12 0.64 0.27 0.37 0.06 0.21 -0.15 0.21 0.29 -0.08 45. 0.14 0.33 -0.18 0.12 0.23 -0.11 0.70 0.24 0.46 0.03 0.18 -0.14 46. 0.02 0.12 -0.10 0.82 0.23 0.60 0.09 0.34 -0.25 0.07 0.30 -0.23 47. 0.06 0.26 -0.20 0.03 0.23 -0.21 0.10 0.29 -0.19 0.81 0.21 0.61 48. 0.07 0.24 -0.17 0.06 0.23 -0.17 0.81 0.26 0.55 0.05 0.24 -0.19 49. 0.06 0.24 -0.18 0.04 0.25 -0.21 0.12 0.32 -0.20 0.78 0.18 0.60 50. 0.17 0.33 -0.15 0.13 0.32 -0.19 0.64 0.18 0.47 0.04 0.15 -0.10 Bảng 2. Độ lệch giữa nhóm trên và nhóm dưới. >0.7 >0.6 >=0.5 >0.4 >0.3 >0.2 >0.1 >0 <0 Số câu 0 2 13 37 44 46 48 48 2 Tỷ lệ (%) 0 4 26 74 88 92 96 96 4 Bảng 2.2. Phân bổ độ lệch của đáp án 4. Độ phân biệt của câu hỏi thi Độ phân biệt của câu hỏi thi là mức độ khác nhau về kết quả trả lời giữa hai nhóm trên và dưới khi làm bài thi. Câu hỏi có chỉ số phân biệt nhỏ hơn hoặc bằng 0 cần bị loại bỏ. Ebel (1956) đề xuất rằng các câu hỏi của bài test trong lớp học nên có chỉ số phân biệt bằng 0,30 hoặc cao hơn. Một số tác giả khác cho rằng độ phân biệt nên nằm trong khoảng 0,25-0,75. Tuy nhiên, trong các kỳ thi có quy mô lớn, việc sử dụng một số câu hỏi thi quá dễ hoặc quá khó sẽ dẫn đến độ phân biệt của câu hỏi thi có thể có giá trị quá thấp hoặc quá cao. Đề thi này là một đề thi tuyển sinh đầu vào môn tiếng Anh của một trường chuyên, là một đề thi khó đối với thí sinh dự thi nên độ phân biệt của câu hỏi thi có thể sẽ cao. Độ phân biệt của từng câu hỏi được tính toán như Bảng 3 dưới đây. Câu hỏi Độ PB Câu hỏi Độ PB Câu hỏi Độ PB Câu hỏi Độ PB Câu hỏi Độ PB 1 0.23 11 0.45 21 0.37 31 0.37 41 0.43 2 0.37 12 0.34 22 0.54 32 0.46 42 0.52 3 0.41 13 0.41 23 0.51 33 0.60 43 0.48 4 0.46 14 0.41 24 0.56 34 0.61 44 0.47 5 0.49 15 0.44 25 0.51 35 0.55 45 0.47 6 -0.19 16 0.23 26 0.44 36 0.60 46 0.46 7 0.49 17 0.49 27 0.51 37 0.47 47 0.41 8 0.37 18 -0.13 28 0.38 38 0.40 48 0.52 9 0.48 19 0.37 29 0.46 39 0.45 49 0.54 10 0.49 20 0.18 30 0.11 40 0.50 50 0.46 Trang | 9 Bảng 3. Độ phân biệt câu hỏi thi Độ phân biệt >0.75 >0.6 >0.5 >=0.4 >=0.3 <0.25 Min Mean Max Số câu: 0 2 13 37 44 6 -0.19 0.42 0.61 Tỷ lệ (%) 0 4 26 74 88 12 Bảng 3.1. Thống kê phân bổ độ phân biệt Từ số liệu thống kê trên cho thấy các câu hỏi đều có độ phân biệt trung bình là 0.42 rải từ -0.19 đến 0.61. Có 37 câu (chiếm 74%) đạt độ phân biệt từ 0.4 trở lên, 44 câu có độ phân biệt từ 0.30 trở lên (chiếm 88%) điều này cho thấy đề thi có độ phân biệt rất tốt. Các câu có độ phân biệt chưa tốt (< 0.25) gồm 6 câu: 1, 6, 16, 18, 20, 30 trong đó có hai câu có độ phân biệt < 0 là câu 6, và câu 18 (cũng là 2 câu nhầm đáp án). Nhận xét: Có 88% số câu hỏi đạt độ phân biệt trong khoảng chấp nhận được (từ 0.25 đến 0.75) Số câu đạt độ phân biệt ở mức rất tốt chiếm 74% đề thi, chứng tỏ độ phân biệt của đề thi là rất tốt. Tuy nhiên cần chỉnh sửa một số câu có độ phân biệt chưa tốt như câu 1, 6, 16, 18, 20, 30. 5. Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi Giữa kết quả điểm của từng câu hỏi thi với điểm chung của toàn bài thi phải có mối tương quan thuận (hệ số tương quan dương). Mối tương quan chặt chẽ giữa câu hỏi thi và toàn bài thi góp phần làm tăng độ tin cậy của bài test. Cần giữ lại những câu hỏi thi có mối tương quan cao và loại bỏ những câu hỏi có mối tương quan thấp hoặc dưới 0 để làm tăng độ tin cậy của đề thi. Theo Griffin (1998), những câu hỏi tốt là những câu hỏi có hệ số tương (Pt-Biserial) nằm trong khoảng 0.35 và 0.75. Câu HSTQ Pt- Biserial Câu HSTQ Pt- Biserial Câu HSTQ Pt- Biserial Câu HSTQ Pt- Biserial Câu HSTQ Pt- Biserial 1 0.23 11 0.35 21 0.31 31 0.32 41 0.40 2 0.35 12 0.31 22 0.48 32 0.42 42 0.47 3 0.34 13 0.35 23 0.42 33 0.48 43 0.40 4 0.38 14 0.35 24 0.43 34 0.47 44 0.39 5 0.42 15 0.44 25 0.42 35 0.46 45 0.40 6 -0.19 16 0.29 26 0.36 36 0.51 46 0.38 7 0.40 17 0.41 27 0.44 37 0.41 47 0.38 8 0.38 18 -0.13 28 0.30 38 0.34 48 0.43 [...]... hỏi thi 1.1 Mức độ phù hợp với mô hình: Khi dữ liệu phù hợp với mô hình Rasch thì trị số kỳ vọng của các bình phương trung bình (mean square) xấp xỉ bằng 1 và trị số kỳ vọng t xấp xỉ bằng 0 Từ các số liệu về giá trị trung bình Mean và độ lệch chuẩn SD có được từ file ThiTS.map khi xử lý dữ liệu bằng phần mềm QUEST, ta thấy dữ liệu dùng để phân tích là phù hợp với mô hình Rasch Trích file ThiTS.map: Summary... bài của học sinh, do đó chất lượng câu hỏi thi và đề thi không cao, đánh giá không đúng năng lực của học sinh 1 The End 1 Tài liệu tham khảo [1] TS Phạm Xuân Thanh – Tệp bài giảng môn Lý thuyết đo lường và đánh giá [2] TS Phạm Xuân Thanh – Tệp bài giảng môn Mô hình Rasch và Phân tích dữ liệu bằng phần mềm QUEST [3] TS Phạm Xuân Thanh – Tiểu đề án Phân tích câu hỏi thi của các đề thi trắc nghiệm khách... thống kê để phân tích câu hỏi thi như lý thuyết khảo thí cổ điển Tuy nhiên, việc phân tích câu hỏi thi bằng lý thuyết khảo thí hiện đại (sử dụng phần mêm QUEST và các phần mềm chuyên dụng khác) còn có thể giúp có được những thông tin đầy đủ hơn về đề thi và các câu hỏi thi Để phân tích và đánh giá đề thi này tác giả sẽ phân tích các chỉ số sau: - Infit MNSQ Disc Count Percent (%) Pt-Biserial P-value Mean... hỏi có mối tương quan thuận và khá mạnh với điểm chung của bài thi Riêng 2 câu có hệ số tương quan < 0 (tương quan nghịch với điểm toàn bài thi) cần phải loại bỏ đó là câu 6 và câu 18 Trang | 11 Chương 3 Xử lý số liệu và phân tích đề thi bằng lý thuyết hiện đại Việc phân tích câu hỏi thi bằng lý thuyết khảo thí hiện đại cũng có thể đưa ra những thông tin thống kê để phân tích câu hỏi thi như lý thuyết... | 49 item 49 * | 50 item 50 * | Sau khi loại bỏ câu 6 và 18, dùng phần mềm Quest chạy lại thì xuất hiện thêm câu 30 có chỉ số INFIT MNSQ = 1.33, ngoài khoảng cho phép nên ta tiếp tục bỏ câu 30 và chạy dữ liệu lại lần thứ 3 Sau khi loại bỏ câu 6, 18 và 30 ta còn 47 câu có chỉ số phù hợp (INFIT MNSQ) nằm trong vùng cho phép theo mô hình Rasch được thể hiện ở biểu đồ sau: Trang | 13 ... MNSQ 1.00 0.93 1.00 1.00 1.00 1.00 1.03 0.97 0.96 0.97 Bảng 5 Chỉ số Infit MNSQ 2 Phân bố độ khó câu hỏi thi và năng lực thí sinh Sơ đồ phân bố độ khó câu hỏi thi và năng lực thí sinh cho thấy mức độ phù hợp của đề thi đối với thí sinh dự thi Kết quả xử lý bằng phần mềm QUEST cho một bản đồ phân bố năng lực học sinh và độ khó câu hỏi thi Các thông tin về kết quả tính toán từ bảng Summary of case Estimates... & kiến nghị Những phân tích ở trên đây chỉ ra những ưu điểm và tồn tại của câu hỏi và qua đó có thể chỉnh sửa và lựa chọn các câu hỏi tốt để đưa vào ngân hàng câu hỏi thi Đây là thao tác cần thiết và quan trọng để lựa chọn câu hỏi xây dựng ngân hàng câu hỏi Ưu điểm:  Chất lượng đề thi tương đối tốt, phần lớn câu hỏi phù hợp với năng lực của thí sinh  Đề thi có độ tin cậy cao  Độ phân biệt của đề... Error: là sai số tính toán, thông số này cho thấy độ tin cậy của số liệu tính được cho từng câu hỏi, thông thường nhỏ hơn 0.2 Yêu cầu này đều đạt được ở tất cả các câu hỏi Dưới đây là trích kết quả phân tích có được từ phần mềm Quest Câu 6, câu 30 là câu ngoại lai, câu 20 là câu được đề nghị loại bỏ ở phần đánh giá bằng lý thuyết cổ điển và là câu có chỉ số thresholds thấp nhất Câu 16 là câu có độ khó... ==================================================================================================================================== 5 Kết luận chương 3 1 Bộ dữ liệu phù hợp với mô hình Rasch 2 Các câu hỏi trong đề có độ phù hợp cao, trong 50 câu có 3 câu (câu 6, 18, 30) là câu ngoại lai cần phải loại bỏ 3 Theo phân bổ độ khó của câu hỏi thi và ngưỡng năng lực cần để vượt qua trên thang Logistic thì đề thi này tương đối tốt Tuy nhiên, có một số ít... tương quan rải từ 0.05 đến 0.51 và có đến 43 câu (86%) đạt trên 0.3 chứng tỏ các câu hỏi có mối tương quan thuận và khá mạnh với điểm chung của bài thi 6 Độ tin cậy của đề thi Độ tin cậy của đề thi thể hiện được tính theo nhiều công thức khác nhau Tuy nhiên, độ tin cậy được xác định dựa trên tính ổn định bên trong của đề thi thường được sử dụng Kết quả tính toán bằng phần mềm QUEST cho thấy độ tin cậy của . PHÂN TÍCH ĐỀ THI VÀ KẾT QUẢ THI Môn tiếng Anh kỳ thi tuyển sinh vào lớp 10 trường THPT chuyên Quang Trung – năm học 2010 - 2011 Môn học: Mô hình Rasch và Phân tích dữ liệu bằng phần mềm QUEST. lý số liệu. Dựa trên lý thuyết khảo thí cổ điển và khảo thí hiện đại (mô hình Rasch) để phân tích số liệu được xử lý bằng các phần mềm nói trên. Trang | 4 Chương 2. Phân tích đề thi bằng. giá trị trung bình Mean và độ lệch chuẩn SD có được từ file ThiTS.map khi xử lý dữ liệu bằng phần mềm QUEST, ta thấy dữ liệu dùng để phân tích là phù hợp với mô hình Rasch. Trích file ThiTS.map: