item Câu hỏi số
Cases for this item Số lượng bài thi/mẫu
Count Số lượng thí sinh chọn câu tương ứng
% of tot Phần trăm số thí sinh chọn câu trả lời tương ứng, đó là độ
khó của câu hỏi theo lí thuyết khảo thí hiện đại
Discrimination
Độ phân biệt (giúp phân biệt những thí sinh học lực cao và những thí sinh học lực thấp). Độ phân biệt tốt nhất nằm trong khoảng 0.25-0.75
Item Threshold(s)
Ngưỡng đáp ứng câu hỏi (ngưỡng để vượt qua). Đây chính là độ khó của câu hỏi tính theo điểm năng lực (logarit) theo thuyết hiện đại IRT.
Weighted MNSQ
Độ phù hợp với mơ hình Rasch (trong khoảng 0.7 – 1.3), đó chính là trị số kỳ vọng của các bình phương trung bình trong IRT?
Unweighted Fit Mức độ phù hợp chung trong khoảng 0.7-1.3
MNSQ
Để xét số xem nó có nằm trong khoảng 0.7-1.3 này khơng, nếu có thì câu hỏi tốt, nếu khơng thì cần loại bỏ câu hỏi, thay thế bằng câu khác.
Pt Bis
Mức độ tương quan của các phương án trả lời với câu hỏi, các phương án nhiễu sẽ có tương quan âm, phương án đúng sẽ có tương quan dương.
Separation Reliability Độ tin cậy độc lập, giá trị rơi vào khoảng 0,5 – 0.9 là chấp nhận được. Độ tin cậy tốt nhất là từ 0,75 trở lên
Valid Tổng TS
Missing Trống
Mean Trung bình
Std. Error of Mean Sai số
Median Trung vị Mode Số trội Std. Deviation Độ lệch chuẩn Minimum Thấp nhất Maximum Cao nhất Sum Tổng Frequency Tần số 2.6.4. Quy trình thử nghiệm
Trên cơ sở khoa học đánh giá, lý thuyết khảo thí, chúng tơi đã tiến hành thử nghiệm và phân tích kết quả theo Sơ đồ sau:
Sơ đồ 2.1. Quy trình thử nghiệm và phân tích kết quả
Theo đó, việc thử nghiệm và phân tích kết quả câu hỏi và đề thi được bắt đầu từ việc trộn đề, tạo các mã đề thi từ các câu hỏi đã xây dựng. Bước hai, tiến hành tổ chức thi theo. Bước ba, thu thập các số liệu từ bài kiểm tra của học sinh, tạo file data từ phần mềm SPSS. Bước bốn, tạo các File SPSS, CQC và chạy phần mềm chuyên dụng
Dùng phần mềm McMix trộn câu hỏi, tạo các mã đề thi Tổ chức kiểm tra /thi
Thu thập số liệu, tạo file data từ phần mềm SPSS
Tạo File chạy SPSS,CQC. Chạy phần mền Conquets Tổng hợp Phân tích số liệu, biểu bảng trong các File thu được
Nhận xét đánh giá, kết luận về câu hỏi, đề kiểm tra, ma trận Điều chỉnh, bổ sung và cập nhật
Sau khi chạy phần mềm Conquest, chúng tơi tiến hành tổng hợp phân tích các số liệu thu được theo các đặc trưng của câu hỏi và đề thi. Tiếp theo, chúng tôi đánh giá, kết luận về đề thi, kết luận về ma trận đề thi, từ đó chúng tơi điều chỉnh ma trận đề thi.
2.6.5. Phân tích kết quả
2.6.5.1. Phân tích kết quả đề thi mơn tốn lớp 10, học kì I
Đề thi đánh giá KQHT mơn tốn lớp 10, học kì I gồm 40 câu hỏi trắc nghiệm khách quan có 4 phương án lựa chọn với thời gian làm bài 60 phút, nhằm kiểm tra 3 mức năng lực nhận thức: Nhận biết (10 câu), thông hiểu (14 câu), vận dụng (16 câu).
Đề thử nghiệm này, kết quả bài làm được chúng tôi tổng hợp thành file PTLOP10.SAV. Để phân tích đề thi, file dữ liệu được chạy trên hai phần mềm SPSS và Conquest, dữ liệu thu được chúng tối tiến hành phân tích.
Từ phân tích các tham số của từng câu hỏi thi, chúng tôi đối chiếu tham số này với nội dung câu hỏi thi và tiêu chí tương ứng của nó thể hiện trong ma trận đề thi, từ đây đưa kết luận chung về câu hỏi, tiêu chí tương ứng của ma trận, đồng thời điều chỉnh câu hỏi thi và tiêu chí của ma trận đề nếu cần thiết.
Từ việc phân tích về sự phân bố điểm, mức độ phù hợp với mơ hình IRT, thang phân bố độ khó của câu hỏi với năng lực của HS chúng tôi đưa ra kết luận về đề thi; kết luận về cấu trúc ma trận đề thi như: số lượng câu hỏi của đề thi; số lượng các câu hỏi trong từng chương; tỉ lệ câu hỏi ở mức độ nhận biết - thông hiểu - vận dụng của từng chương, cũng như của cả ma trận; đồng thời là thời gian làm bài thi của HS.
2.6.5.1.1. Phân bố điểm
Kết quả bài làm của HS được tổng chạy trên phần mềm SPSS, chúng tơi thu được phổ điểm như hình dưới đây.
Statistics DIEM N Valid 100 Missing 0 Mean 4,9650 Std. Error of Mean ,12045 Median 5,0000 Mode 4,50 Std. Deviation 1 20448 Minimum 2,25 Maximum 9,00
Số liệu phân tích cho thấy, điểm trung bình của bài thi là 5.0 điểm; độ lệch chuẩn là 1.2; trung vị là 5 chứng tỏ phổ điểm chủ yếu tập chung chủ yếu ở dải 3.75 – 6.25 điểm; điểm cao nhất là 9 và thấp nhất là 2.25; đồ thị phân bố điểm có hình chng tương đối đều, nhưng khuyết HS có điểm từ 8 đến 9.
Như vậy, đề thi tương phù hợp với năng lực của đối tượng khảo sát, tuy nhiên cần điều chỉnh các câu hỏi để phân biệt được năng lực của các thí sinh đạt từ 8 điểm trở lên.
2.6.5.1.2. Mức độ phù hợp với mơ hình IRT
Kết quả khi phân tích đề kiểm tra với phần mềm Conquest trong file PTLOP10.SHW được tóm tắt trong bảng dưới đây: