Chƣơng III THỬ NGHIỆM VÀ PHÂN TÍCH KẾT QUẢ
3.3. 1 Công cụ
Dùng phần mềm McMix trộn câu hỏi trắc nghiệm để tạo các đề kiểm tra t đề kiểm tra gốc (tạo thành 4 mã đề)
T các phiếu trả lời thu được, các số liệu về câu hỏi TNKQ được nhập vào máy tính bằng phần mềm SPSS 20, làm sạch số liệu vào tạo file data. Lập bảng và vẽ biểu đồ phân bố tần số điểm kiểm tra.
Ứng dụng lý thuyết hồi đáp theo mơ hình Rasch và sử dụng phần mềm chuyên dụng ConQuest để phân tích câu hỏi và đề trắc nghiệm. Phần mềm Conquest là phần mềm phân tích và đánh giá câu hỏi được xây dựng dựa trên lí thuyết ứng đáp câu hỏi IRT, nó cung cấp một phạm vi linh hoạt và tồn diện về các mơ hình ứng đáp câu hỏi đến người phân tích, cho phép chúng ta khảo sát các thuộc tính về đánh giá năng lực, đánh giá truyền thống. Conquest sử dụng phương pháp đo lường tâm lí hiện đại bậc nhất về các mơ hình ứng đáp câu hỏi đa biến, đa chiều, mơ hình hồi quy tiềm ẩn và mô tả các giá trị tin cậy.
Các thuật ngữ đƣợc sử dụng trong phần mềm SPSS và Conquest
Chúng tôi chỉ quan tâm tới các chỉ số cơ bản để phân tích đề thi sau:
item: Câu hỏi số
Cases for this item: Số lượng bài thi/mẫu Count: Số lượng thí sinh chọn câu tương ứng
% of tot : Phần trăm số thí sinh chọn câu trả lời tương ứng, đó là độ khó của
câu hỏi theo lí thuyết khảo thí hiện đại
Discrimination : Độ phân biệt (giúp phân biệt những thí sinh học lực cao và
những thí sinh học lực thấp). Độ phân biệt tốt nhất nằm trong khoảng 0.25- 0.75.
Item Threshold(s): Ngưỡng đáp ứng câu hỏi (ngưỡng để vượt qua). Đây
chính là độ khó của câu hỏi tính theo điểm năng lực (logarit) theo thuyết hiện đại IRT.
Weighted MNSQ: Độ phù hợp với mơ hình Rasch (trong khoảng 0.7 – 1.3),
đó chính là trị số kỳ vọng của các bình phương trung bình trong IRT?
Unweighted Fit: Mức độ phù hợp chung trong khoảng 0.7-1.3
MNSQ: Để xét số xem nó có nằm trong khoảng 0.7-1.3 này khơng, nếu có thì
Error: sai số trong tính tốn.
Pt Bis: Mức độ tương quan của các phương án trả lời với câu hỏi, các phương
án nhiễu sẽ có tương quan âm, phương án đúng sẽ có tương quan dương.
Separation Reliability: Độ tin cậy độc lập, giá trị rơi vào khoảng 0,5 – 0.9 là
chấp nhận được. Độ tin cậy tốt nhất là t 0,75 trở lên
Valid: Tổng TS Missing: Trống Mean: Trung bình
Std. Error of Mean: Sai số Median: Trung vị Mode: Số trội Std. Deviation: Độ lệch chuẩn Minimum: Thấp nhất Maximum: Cao nhất Sum: Tổng Frequency: Tần số 3.3.2. Quy trình thử nghiệm
Trên cơ sở khoa học đánh giá, lý thuyết khảo thí, chúng tơi đã tiến hành thử nghiệm và phân tích kết quả theo Sơ đồ 3.1
Sơ đồ 3.1. Quy trình thử nghiệm và phân tích kết quả
Dùng phần mềm MICX trộn câu hỏi, tạo các mã đề thi Tổ chức kiểm tra /thi
Thu thập số liệu, tạo file data từ phần
mềm SPSS
Tạo File chạy SPS, CQC. Chạy phần mền Conquets Tổng hợp Phân tích số liệu, biểu bảng trong các File thu được Nhận xét đánh giá, kết luận về câu hỏi và đề kiểm tra Điều chỉnh, bổ sung và cập nhật
Theo đó, việc thử nghiệm và phân tích kết quả câu hỏi và đề kiểm tra được bắt đầu t việc trộn đề, tạo các mã đề thi t các câu hỏi đã xây dựng. Bước hai, tiến hành tổ chức kiểm tra, thi theo phân phối chương trình. Bước ba, thu thập các số liệu t bài kiểm tra của học sinh, tạo file data t phần mềm SPSS. Bước bốn, tạo các File SPS, CQC và chạy phần mềm chuyên dụng Conquets.
Sau khi chạy phần mềm Conquets, chúng tơi tiến hành tổng hợp phân tích các số liệu thu được theo các đặc trưng của câu hỏi và đề kiểm tra. Tiếp theo, chúng tôi đánh giá, kết luận về đề kiểm tra.
Bước cuối cùng là hoàn thiện ngân hàng, dựa trên kết quả phân tích, chúng tơi tiến hành điều chỉnh, bổ sung và cập nhật bộ câu hỏi kiểm tra.