3.4.3.2. Mức độ phù hợp với mơ hình IRT
Kết quả khi phân tích đề kiểm tra với phần mềm Conquest 1.0 trong file SHW được tóm tắt trong bảng dưới đây:
Bảng 3.5. Mức độ phù hợp của câu hỏi đề kiểm tra học kỳ với mơ hình
------------------------------------------------------------------------------------------ VARIABLES UNWEIGHTED FIT WEIGHTED FIT
--------------- ----------------------- ----------------------- item ESTIMATE ERROR^ MNSQ CI T MNSQ CI T ------------------------------------------------------------------------------------------ 1 1 -0.761 0.191 1.03 ( 0.71, 1.29) 0.3 1.04 ( 0.69, 1.31) 0.3 2 2 -0.426 0.183 0.89 ( 0.71, 1.29) -0.7 0.96 ( 0.76, 1.24) -0.3 3 3 -0.835 0.193 1.03 ( 0.71, 1.29) 0.3 1.00 ( 0.68, 1.32) 0.1 4 4 -0.223 0.178 1.04 ( 0.71, 1.29) 0.3 1.02 ( 0.80, 1.20) 0.2 5 5 -2.833 0.246 0.77 ( 0.71, 1.29) -1.7 0.98 ( 0.00, 2.06) 0.1 6 6 -0.007 0.175 0.88 ( 0.71, 1.29) -0.8 0.93 ( 0.83, 1.17) -0.8 7 7 -0.523 0.185 0.99 ( 0.71, 1.29) -0.0 1.00 ( 0.74, 1.26) 0.1 8 8 1.676 0.178 1.50 ( 0.71, 1.29) 3.0 1.24 ( 0.80, 1.20) 2.2 9 9 0.441 0.170 1.09 ( 0.71, 1.29) 0.7 1.09 ( 0.87, 1.13) 1.4 10 10 0.584 0.170 1.05 ( 0.71, 1.29) 0.4 1.04 ( 0.88, 1.12) 0.7 11 11 -0.588 0.186 0.82 ( 0.71, 1.29) -1.3 0.91 ( 0.73, 1.27) -0.7 12 12 -0.589 0.186 0.88 ( 0.71, 1.29) -0.8 0.95 ( 0.73, 1.27) -0.4 13 13 0.631 0.169 1.10 ( 0.71, 1.29) 0.7 1.09 ( 0.88, 1.12) 1.4 14 14 1.254 0.172 1.07 ( 0.71, 1.29) 0.5 1.06 ( 0.86, 1.14) 0.8 15 15 -0.589 0.186 0.93 ( 0.71, 1.29) -0.4 0.95 ( 0.73, 1.27) -0.3 16 16 -0.589 0.186 0.78 ( 0.71, 1.29) -1.6 0.88 ( 0.73, 1.27) -0.9 17 17 -0.589 0.186 0.92 ( 0.71, 1.29) -0.5 0.94 ( 0.73, 1.27) -0.4 18 18 -0.283 0.179 0.98 ( 0.71, 1.29) -0.1 0.98 ( 0.79, 1.21) -0.1 19 19 0.196 0.172 0.81 ( 0.71, 1.29) -1.3 0.84 ( 0.85, 1.15) -2.3 20 20 1.355 0.173 1.22 ( 0.71, 1.29) 1.4 1.17 ( 0.85, 1.15) 2.1 21 21 1.675 0.178 1.32 ( 0.71, 1.29) 2.0 1.16 ( 0.80, 1.20) 1.6 22 22 -0.170 0.177 1.04 ( 0.71, 1.29) 0.3 1.04 ( 0.80, 1.20) 0.4 23 23 -0.726 0.189 0.87 ( 0.71, 1.29) -0.9 0.92 ( 0.70, 1.30) -0.5 24 24 -0.401 0.182 1.23 ( 0.71, 1.29) 1.5 1.13 ( 0.77, 1.23) 1.1 25 25 2.319 0.193 1.17 ( 0.71, 1.29) 1.2 1.08 ( 0.68, 1.32) 0.5 26 26 0.095 0.173 1.06 ( 0.71, 1.29) 0.5 1.06 ( 0.84, 1.16) 0.7 27 27 -1.644 0.216 1.19 ( 0.71, 1.29) 1.3 1.04 ( 0.46, 1.54) 0.2 28 28 0.196 0.172 1.02 ( 0.71, 1.29) 0.2 1.03 ( 0.85, 1.15) 0.4 29 29 0.584 0.170 0.92 ( 0.71, 1.29) -0.5 0.92 ( 0.88, 1.12) -1.3 30 30 -1.642 0.216 0.78 ( 0.71, 1.29) -1.5 0.92 ( 0.46, 1.54) -0.2
32 32 1.459 0.175 1.09 ( 0.71, 1.29) 0.7 1.06 ( 0.84, 1.16) 0.7 33 33 -1.407 0.209 0.69 ( 0.71, 1.29) -2.3 0.90 ( 0.54, 1.46) -0.4 34 34 0.147 0.173 0.87 ( 0.71, 1.29) -0.9 0.89 ( 0.85, 1.15) -1.5 35 35 0.296 0.171 1.01 ( 0.71, 1.29) 0.1 1.00 ( 0.86, 1.14) 0.0 36 36 1.734 0.179 0.94 ( 0.71, 1.29) -0.4 0.95 ( 0.80, 1.20) -0.5 37 37 -0.168 0.177 0.91 ( 0.71, 1.29) -0.6 0.95 ( 0.80, 1.20) -0.5 38 38 1.108 0.171 1.29 ( 0.71, 1.29) 1.9 1.24 ( 0.87, 1.13) 3.5 39 39 0.097 0.173 0.94 ( 0.71, 1.29) -0.4 0.95 ( 0.84, 1.16) -0.6 40 40 -0.795* 1.147 0.88 ( 0.71, 1.29) -0.8 0.95 ( 0.69, 1.31) -0.3 --------------------------------------------------------------------------------
An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = 0.969
Kết quả khi phân tích đề kiểm tra được liệt kê trong file SHW cho thấy tất cả các câu hỏi có UNWEIGHTED FIT nằm trong khoảng (0.71, 1.29), chỉ số Weighted MNSQ của tất cả các câu hỏi xấp xỉ bằng 1 cho thấy dữ liệu dùng để phân tích là phù hợp với mơ hình IRT.
Như vậy các câu hỏi của đề kiểm tra hoàn toàn phù hợp, cả 40 câu hỏi trong đề kiểm tra này đều đo đúng nội dung kiến thức cần kiểm tra. Hệ số tin cậy Separation Reliability = 0.969 cho thấy bài kiểm tra có độ tin cậy cao.
3.4.3.3. Đặc tính các câu hỏi thi
Câu hỏi tốt là những câu hỏi phù hợp với mơ hình Rasch, có độ khó, độ phân biệt chấp nhận được, các phương án nhiễu của các câu hỏi có tỷ lệ chọn tương đương nhau. Với những câu không đạt yêu cầu, cần được loại bỏ, điều chỉnh sao cho phù hợp với mơ hình, phù hợp với các tiêu chí đánh giá.
T kết quả trong file ITN chúng tơi chia thành các nhóm câu hỏi. Dưới đây chúng tơi sẽ phân tích một số nhóm câu hỏi tốt, chưa tốt và nhóm câu hỏi cần điều chỉnh. Mỗi nhóm sẽ phân tích 1-2 câu hỏi đặc trưng
Nhóm câu hỏi tốt (Câu 1, 2, 17, 23, 28, 35) là nhóm các câu hỏi độ khó phù hợp, độ phân biệt tốt, các phương án nhiễu có giá trị. Ta sẽ phân tích hai câu hỏi trong nhóm này
item:35 (35) Cases for this item 92 Discrimination 0.32
Item Threshold(s): 0.30 Weighted MNSQ 1.00 Item Delta(s): 0.30
------------------------------------------------------------------------------ Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 ------------------------------------------------------------------------------ A 1.00 55 59.78 0.32 3.26(.002) 0.82 0.65 B 0.00 10 10.87 0.14 -1.31(.194) 0.97 0.62 C 0.00 19 20.65 -0.37 -3.82(.000) 0.29 0.58 D 0.00 8 8.70 -0.18 -1.74(.086) 0.33 0.58 ============================================================================== Độ khó của câu hỏi p = 0.59, nằm trong khoảng có giá trị 0,25-0,75, có
hỏi có giá trị phân biệt nhóm thí sinh có năng lực cao và nhóm thí sinh có năng lực thấp. Hệ số tương quan (Pt Bis) cho ta thấy các phương án nhiễu có chỉ số âm, phương án đúng có chỉ số dương cho thấy các phương án gây nhiễu có giá trị trong việc đánh giá năng lực của thí sinh. Đối chiếu với nội dung câu hỏi số 35 trong đề kiểm tra:
Theo phân tích của chuyên gia, câu hỏi số 35 được thiết kế để kiểm tra cấp độ vận dụng, độ khó p=0.59 là phù hợp, độ phân biệt D = 0.32 là câu hỏi có độ phân biệt chấp nhận được. Kết quả này cũng có thể được khẳng định thơng qua đường cong đặc trưng của câu hỏi (hình 3.12): Đường cong thực tế của câu hỏi (đường nét đứt) bám sát đường cong kỳ vọng của câu hỏi, xuất phát t điểm xác suất gần gốc tọa độ đi lên, cho thấy câu hỏi thiết kế phù hợp để kiểm tra năng lực của thí sinh.