CHƯƠNG 3. XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI
3.7. Triển khai hệ thống và đánh giá kết quả
3.7.1. Triển khai hệ thống trắc nghiệm thích nghi
Trong các hình thức truyền thống, lựa chọn câu hỏi thường được thực hiện theo kinh nghiệm của giáo viên hoặc lựa chọn trung bình. Điều này có thể dẫn đến câu hỏi được lựa chọn tiếp theo có thể quá dễ hoặc quá khó và việc đánh giá năng lực cũng khó chính xác.
Đối với hệ thống TNTN tác giả đã đề xuất sẽ giải quyết được những nhược điểm của các mô hình dựa trên IRT đã tồn tại.
Để triển khai và đánh giá hệ thống trắc nghiệm thích nghi, tác giả đã tiến hành xây dựng hệ thống trắc nghiệm thích nghi để đánh giá năng lực của thí sinh dựa trên ngân hàng câu hỏi đối với môn Tin học dành cho học sinh tại trường THCS Nghĩa An – Xã Nghĩa An – Tỉnh Quảng Ngãi.
3.7.2. Đánh giá hệ thống
Hệ thống trắc nghiệm thích nghi xây dựng các tiêu chí đánh giá năng lực (kiến thức) thí sinh
Với mỗi năm (từ 2014 đến 2017) có 50 thí sinh thực hiện bài trắc nghiệm, số lượng thí sinh thuộc về từng lớp qua từng nămđược thể hiện dưới bảng số liệu số thí sinh thuộc vào các lớp như sau:
Bảng 3.1. Số thí sinh thuộc về các lớp từ năm 2014 – 2017
Năm Lớp 1 Lớp 2 Lớp 3
2014 19 18 13
2015 19 19 11
2016 17 18 15
2017 19 18 13
Trong đó, quy ước lớp 1 là lớp thí sinh có mức năng lực trung bình, lớp 2 là lớp thí sinh có mức năng lực khá, lớp 3 là lớp thí sinh có mức năng lực giỏi.
Xác suất trung bình của 3 lớp thí sinh từ năm 2014 đến 2017 được thể hiện bằng bàng 3.2 bên dưới với 50 thí sinh thực hiện bài trắc nghiệm qua từng năm
Bảng 3.2. Xác suất trung bình của các lớp qua các năm
Năm Lớp 1 Lớp 2 Lớp 3
2014 0.377 0.359 0.265
2015 0.388 0.386 0.226
2016 0.345 0.368 0.288
2017 0.385 0.361 0.255
̅ 0.374 0.369 0.259
Xác suất của thí sinh ở mỗi lớp trong giải pháp 3 lớp có thể được sử dụng để tính ̅ , do đó có thể được sử dụng để ước lượng các nhóm LCA bị hạn chế.
Bảng 3.2 có thể thấy rằng giải pháp 3 lớp phân biệt tốt hơn giữa các lớp và xác suất trung bình cho kết quả chính xácvề việc không vượt qua các câu hỏi trắc nghiệm.
Để đánh giá khả năng thuộc về các lớp của các thí sinh, hình 3.16 và hình 3.17 minh họa xác suất thuộc vào các lớp của 3 thí sinhsử dụng hệ thống TNTN LCA đối với độ dài trắc nghiệm là 10 và15 câu hỏi. Ở đây thí sinh 1 có mức năng lực trung bình (đại diện cho lớp 1), thí sinh 2 đại diện cho lớp 2, thí sinh 3 đại diện cho lớp 3.
Hình 3.16. Quá trình đánh giá 3 thí sinh thuộc 3 lớp khác nhau với 10 câu hỏi
Hình 3.17. Quá trình đánh giá 3 thí sinh thuộc 3 lớp khác nhau với 15 câu hỏi
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
j1 j2 j3 j4 j5 j6 j7 j8 j9 j10
Câu hỏi
Xác suất chính xác
Thí sinh 1 Thí sinh 2 Thí sinh 3
0 0.2 0.4 0.6 0.8 1 1.2
j1 j2 j3 j4 j5 j6 j7 j8 j9 j10 j11 j12 j13 j14 j15
Câu hỏi
Xác suất chính xác
Thí sinh 1 Thí sinh 2 Thí sinh 3
Qua hình 3.16 và 3.17 thấy rằng, độ dài câu hỏi trắc nghiệm dành cho các thí sinh là 10 câu hỏi tốt hơn là 15 câu hỏi.
Để đánh giá được phương pháp lựa chọn câu hỏi theo thông tin toàn cục (KL) là chính xác nhất, tác giả đưa ra hai phương pháp để so sánh là: phương pháp lựa chọn câu hỏi ngẫu nhiên (Random) và phương pháp lựa chọn câu hỏi theo thông tin toàn cục(KL).
Phương pháp lựa chọn câu hỏi ngẫu nhiên (Random) và phương pháp lựa chọn câu hỏi theo thông tin toàn cục (KL) được so sánh chính xác theo tỷ lệ của thí sinh được phân loại. Để đánh giá hiệu quả của phương pháp lựa chọn câu hỏi, độ dài bài trắc nghiệm dành cho cả hai phương pháp là 10, 15 câu hỏi.
Trong cả hai phương pháp, lớp 1 đánh giá mức năng lực thí sinh trung bình đều chứa các thí sinh có khả năng trả lời đúng các câu hỏi chính xác nhất.
Kết quả của nghiên cứu được trình bày trong bảng 3.3dưới dạng sai số trung bình (mean) và sai số chuẩn (SD) của số thí sinh được phân loại chính xác trong 50 lần lặp lại với độ dài trắc nghiệm 10, 15 câu hỏi. Dựa vào bảng 3.3 thấy rằng, đối với hai giải pháp thì phương pháp lựa chọn câu hỏi theo thông tin toàn cục (KL) với 10 câu hỏi thì thực hiện phân loại lại chính xác hơn so với phương pháp lựa chọn câu hỏi ngẫu nhiên.
Hơn nữa, đối với giải pháp 3 lớp, phương pháp lựa chọn câu hỏi theo thông tin toàn cục (KL) thực hiện tốt hơn phương pháp lựa chọn câu hỏi ngẫu nhiên về phân loại lại thí sinh trả lời chính xác. Lớp 2 đánh giá mức độ thí sinh Khá là lớp khó dự đoán nhất đối với cả hai phương pháp lựa chọn câu hỏi. Lớp 1 đánh giá mức độ thí sinh trung bình được phân loại lại chính xác nhất.
Bảng 3.3 cũng cho thấy các kết quả của mô phỏng với 15 câu hỏi được lựa chọn cho mỗi bài kiểm tra trắc nghiệm thích nghi với tỷ lệ thí sinh trả lời câu hỏi được phân loại chính xác cao hơn so với bài kiểm tra trắc nghiệm thích nghi với 10 câu hỏi.
Bảng 3.3. Kết quả so sánh giữa chọn câu hỏi ngẫu nhiên và sử dụng KL Số câu hỏi
và lớp
Random KL
Mean SD Mean SD
10 câu hỏi - 3 lớp
Lớp 1 0.867 0.0249 0.905 0.0272
Lớp 2 0.753 0.0323 0.819 0.0348
Lớp 3 0.863 0.0256 0.873 0.0344
15 câu hỏi - 3 lớp
Lớp 1 0.918 0.0213 0.948 0.0202
Lớp 2 0.848 0.0284 0.896 0.0226
Lớp 3 0.912 0.0221 0.922 0.0183
Từ bảng 3.3 cho thấy phương pháp lựa chọn câu hỏi theo thông tin toàn cục (KL) tốt hơn phương pháp lựa chọn câu hỏi ngẫu nhiên trong việc ước tính số lượng thành viên của lớpvới tỷ lệ chính xác cao.