Phân bố điểm bài kiểm tra15 phút số 1

Từ biểu đồ trên ta thấy, biểu đồ cột biểu thị số lƣợng/tần số của từng điểm kiểm tra riêng biệt và một đƣờng cong chuẩn đặt chồng thêm vào biểu đồ tần số giúp ta đoán liệu dữ liệu có phân bố chuẩn theo đƣờng cong đó.

Từ phân bố tần số điểm, ta thấy điểm trung bình của bài kiểm tra là 6,29, độ lệch chuẩn là 1,56, nhóm điểm tập trung chủ yếu trong khoảng 5-8, điểm chuẩn lí tƣởng của bài là 10, điểm thấp nhất là 2, cao nhất là 10. Phổ điểm đƣợc đánh giá phù hợp với đối tƣợng HS khảo sát.

3.4.1.2. Mức độ phù hợp với mơ hình IRT

Kết quả khi phân tích đề kiểm tra với phần mềm Conquest 1.0 trong file SHW đƣợc tóm tắt trong bảng dƣới đây:

Bảng 3.1. Mức độ phù hợp của các câu hỏi đề kiểm tra với mơ hình IRT

TERM 1: item

------------------------------------------------------------------------------------------ VARIABLES UNWEIGHTED FIT WEIGHTED FIT

--------------- ----------------------- ----------------------- item ESTIMATE ERROR^ MNSQ CI T MNSQ CI T ------------------------------------------------------------------------------------------ 1 1 -3.654 0.427 0.55 ( 0.77, 1.23) -4.7 0.90 ( 0.30, 1.70) -0.2 2 2 -2.684 0.294 0.93 ( 0.77, 1.23) -0.6 0.99 ( 0.59, 1.41) 0.0 3 3 -1.050 0.195 1.18 ( 0.77, 1.23) 1.5 1.15 ( 0.83, 1.17) 1.6 4 4 2.390 0.267 1.01 ( 0.78, 1.22) 0.2 1.02 ( 0.65, 1.35) 0.1 5 5 2.320 0.261 1.47 ( 0.78, 1.22) 3.6 1.13 ( 0.66, 1.34) 0.7 6 6 -3.490 0.398 1.10 ( 0.78, 1.22) 0.8 0.99 ( 0.36, 1.64) 0.1 7 7 -1.508 0.211 1.02 ( 0.78, 1.22) 0.2 1.05 ( 0.79, 1.21) 0.4 8 8 -0.073 0.181 0.93 ( 0.77, 1.23) -0.6 0.94 ( 0.86, 1.14) -0.9 9 9 0.090 0.180 0.89 ( 0.78, 1.22) -1.0 0.92 ( 0.86, 1.14) -1.2 10 10 -3.659 0.427 0.80 ( 0.78, 1.22) -1.9 0.95 ( 0.30, 1.70) -0.0 --------------------------------------------------------------------------------

Qua bảng kết quả phân tích trên ta thấy hệ số tin cậy (Separation Reliability) là 0,90 nên bài kiểm tra có độ tin cậy cao.

Nhƣng qua chỉ số UNWEIGHTED FIT và chỉ số Weighted MNSQ của các câu hỏi thì chúng tơi thấy cần điều chỉnh một số câu sao cho phù hợp với mơ hình IRT.

3.4.1.3. Đặc tính của các câu hỏi kiểm tra

Kết quả khi phân tích đề kiểm tra với phần mềm Conquest 1.0 trong file ITN cho ta biết đƣợc sự phù hợp với mơ hình, độ khó, độ phân biệt, các phƣơng án nhiễu của các câu hỏi. Từ đó ta có thể loại bỏ, điều chỉnh sao cho phù hợp với mơ hình, phù hợp với các tiêu trí đánh giá. Dƣới đây chúng tơi phân tích một số câu hỏi tiêu biểu.

Câu hỏi 1

item:1 (1) Cases for this item 151 Discrimination 0.39

Item Threshold(s): -3.66 Weighted MNSQ 0.90 Item Delta(s): -3.65

------------------------------------------------------------------------------ Label Score Count % of tot Pt Bis t (p) WLEAvg:1 WLE SD:1 ------------------------------------------------------------------------------ A 1.00 145 96.03 0.39 5.17(.000) 0.10 1.36 B 0.00 3 1.99 -0.32 -4.10(.000) -2.80 0.73 C 0.00 3 1.99 -0.23 -2.85(.005) -2.07 0.00 ==============================================================================

Trong câu hỏi này khơng có học sinh nào chọn đáp án D, 145 học sinh chọn đáp án đúng là A chiếm 95%. Có 6 học sinh trả lời sai. Chứng tỏ câu hỏi số 1 là câu hỏi rất dễ, các đáp án sai khơng có độ nhiễu khơng phù hợp nên khơng phân biệt đƣợc năng lực của học sinh. Nên loại bỏ câu hỏi này trong đề kiểm tra

Hình 3.2. Đường cong đặc tính của câu hỏi số 1

Câu hỏi 6

Item 6 ------

item:6 (6) Cases for this item 152 Discrimination 0.27

Item Threshold(s): -3.49 Weighted MNSQ 0.99 Item Delta(s): -3.49

------------------------------------------------------------------------------ Label Score Count % of tot Pt Bis t (p) WLEAvg:1 WLE SD:1 ------------------------------------------------------------------------------ A 0.00 3 1.97 -0.11 -1.30(.196) -1.05 0.44 B 1.00 145 95.39 0.27 3.44(.001) 0.08 1.38 C 0.00 1 0.66 -0.23 -2.95(.004) -3.53 0.00 D 0.00 3 1.97 -0.17 -2.06(.041) -1.53 1.62 ==============================================================================

Trong câu hỏi số 6 này, đáp án đúng B đƣợc chọn nhiều nhất chiếm 95%, các câu đáp án khác khơng có độ nhiễu, nên vẫn nằm trong khn khổ câu hỏi cần đƣợc thay đổi cấu trúc và mức độ nhiễu. Độ phân biệt rất thấp 0,27 nên chƣa đánh giá đƣợc năng lực học sinh. Các phƣơng án sai có hệ số tƣơng quan (Pt Bis) âm, phƣơng án đúng có hệ số dƣơng nên các phƣơng án nhiễu có giá trị trong việc đánh giá năng lực của học sinh. Đối chiếu với nội dung câu hỏi 6 trong đề kiểm tra thì thấy câu hỏi này đƣợc thiết kế để kiểm tra kiến thức của học sinh theo cấp độ 1, tuy nhiên độ phân biệt thấp chƣa phù hợp với đề thi.

Câu hỏi 4

Item 4 ------

item:4 (4) Cases for this item 152 Discrimination 0.40

Item Threshold(s): 2.39 Weighted MNSQ 1.02 Item Delta(s): 2.39

------------------------------------------------------------------------------ Label Score Count % of tot Pt Bis t (p) WLEAvg:1 WLE SD:1 ------------------------------------------------------------------------------ A 1.00 18 11.84 0.40 5.38(.000) 1.77 1.45 B 0.00 31 20.39 -0.02 -0.30(.768) -0.13 1.00 C 0.00 13 8.55 0.08 1.03(.303) 0.37 1.35 D 0.00 90 59.21 -0.29 -3.75(.000) -0.36 1.29 ==============================================================================

Độ khó của câu hỏi p = 0,40, nằm trong khoảng có giá trị 0,25 - 0,75, có 11,8% HS trả lời đúng câu hỏi này. Độ phân biệt (Discrimination) rất tốt D = 0.4, câu hỏi có giá trị phân biệt nhóm thí sinh có năng lực cao và nhóm thí sinh có năng lực thấp. Hệ số

tƣơng quan (Pt Bis) cho ta thấy các phƣơng án nhiễu có chỉ số âm, phƣơng án đúng có chỉ số dƣơng nên các phƣơng án nhiễu có giá trị trong việc đánh giá năng lực của thí sinh. Đối chiếu với nội dung câu hỏi số 4 trong đề kiểm tra thì thấy câu hỏi này đƣợc thiết kế để kiểm tra kiến thức của học sinh theo cấp độ 3, do đó, độ khó p = 0.40 là rất phù hợp, độ phân biệt D = 0.4 là câu hỏi có độ phân biệt tốt.

Kết quả này cũng có thể khẳng định qua đƣờng cong đặc trƣng qua hình 3.3,qua đƣờng cong đặc trƣng ta thấy xác suất học sinh có năng lực thấp trả lời đúng câu hỏi này ngang bằng so với xác suất trả lời đúng câu hỏi này ở thí sinh có năng lực cao. Đồng thời các đáp án nhiễu hầu nhƣ chỉ có tác dụng với thí sinh có năng lực thấp. Vì vậy các

phƣơng án nhiễu cần thay đổi để phân loại đƣợc cả học sinh có năng lực cao

Câu hỏi số 10

Item 10 -------

item:10 (10) Cases for this item 152 Discrimination 0.32

Item Threshold(s): -3.66 Weighted MNSQ 0.95 Item Delta(s): -3.66

------------------------------------------------------------------------------ Label Score Count % of tot Pt Bis t (p) WLEAvg:1 WLE SD:1 ------------------------------------------------------------------------------ A 0.00 2 1.32 -0.26 -3.28(.001) -2.80 0.00 B 1.00 146 96.05 0.32 4.20(.000) 0.09 1.37 C 0.00 4 2.63 -0.21 -2.63(.009) -1.67 1.29

==============================================================================

Độ khó của câu hỏi p = 0.95, có 96% HS trả lời đúng câu hỏi này vì vậy đây là một câu hỏi rất dễ . Độ phân biệt (Discrimination) rất tốt D = 0.32, câu hỏi có giá trị phân biệt nhóm thí sinh có năng lực cao và nhóm thí sinh có năng lực thấp. Hệ số tƣơng quan (Pt Bis) cho ta thấy các phƣơng án nhiễu có chỉ số âm, phƣơng án đúng có chỉ số dƣơng nên các phƣơng án nhiễu có giá trị trong việc đánh giá năng lực của thí sinh. Đối chiếu với nội dung câu hỏi số 10 trong đề kiểm tra ta thấy câu hỏi này đƣợc thiết kế để kiểm tra kiến thức của học sinh theo cấp độ 1, do đó, độ khó p = 0.95 là chƣa phù hợp phù hợp, độ phân biệt D = 0.32 là câu hỏi có độ phân biệt tốt.

Kết quả này cũng có thể đƣợc khẳng định thơng qua đƣờng cong đặc trƣng của câu hỏi (hình 3.3): qua đƣờng cong đặc trƣng ta thấy xác suất học sinh có năng lực thấp trả lời đúng câu hỏi này ngang bằng so với xác suất trả lời đúng câu hỏi này ở thí sinh có năng lực cao. Đồng thời các đáp án nhiễu hầu nhƣ chỉ có tác dụng với thí sinh có năng lực thấp. Vì vậy các phƣơng án nhiễu cần thay đổi để phân loại đƣợc cả học sinh có năng lực cao

3.4.1.4. Phân bố độ khó của câu hỏi với năng lực của HS

Kết quả khi phân tích đề kiểm tra 15 phút số 1 với phần mềm Conquest 1.0 trong file SHW đƣợc tóm tắt trong bảng dƣới 3.4. Biểu đồ trình bày sự phân bố thống kê tƣơng quan giữa năng lực của HS (dấu x) với sự phân bố độ khó của các câu hỏi. Trong biểu đồ trên, các số bên phải đƣờng gạch thẳng đứng trình bày sự phân bố CHTN theo độ khó của từng câu trong đề kiểm tra. Những CHTN khó và những học sinh có trình độ năng lực cao đƣợc phân bố tiến dần về phía trên (0.0), cịn những CHTN dễ và những học sinh có năng lực thấp đƣợc phân bố tiến dần về phía dƣới (0.0). Các câu 1, 6, 10 là các câu rất dễ. Câu 2, 3, 7, 8,9 là câu dễ. Câu 4, 5 là câu khó nhất.

Ngồi việc so sánh các câu hỏi với nhau, biểu đồ cũng cho phép ta so sánh khả năng của HS làm bài TN với độ khó của CHTN, có 50 HS (Each 'X' represents 0.2 cases) có khả năng cao hơn độ khó của tất cả các CHTN

=======================================================================================

3.4.1.5. Kết luận về câu hỏi và đề kiểm tra 15 phút số 1

Qua việc phân tích ở trên ta thấy đề 15 phút số 1 là một đề có giá trị, có độ tin cậy cao. Tuy nhiên, đây là một đề rất dễ với năng lực của HS, do đó cần phải sửa và thay thế một số câu để tăng độ khó của đề kiểm tra cho phù hợp với năng lực của HS. Dƣới đây là bảng các câu hỏi trong đề cần sau khi đã đƣợc phân tích

Bảng 3.2. Tổng hợp kết luận đánh giá các câu hỏi đề kiểm tra 15 phút số 1

Câu hỏi Cấp độ NL Độ khó P Độ phân biệt D % Lựa chon A % Lựa chon B % Lựa chon C % Lựa chon D Kết luận 1 CĐ 1 0.96 0.39 96 1.99 1.99 0 Không dùng 2 CĐ 1 0.90 0.39 3.97 0.66 4.64 90.73 Không dùng 3 CĐ 2 0.70 0.36 1.32 70.20 21.85 6.62 Tốt 4 CĐ 3 0.12 0.4 11.84 20.39 8.55 59.21 Sửa 5 CĐ 3 0.13 0.25 12.50 2.63 61.18 23.68 Sửa 6 CĐ 1 0.95 0.27 1.97 95.39 0.66 1.97 Không dùng 7 CĐ 2 0.78 0.46 77.63 15.79 5.26 1.32 Tốt 8 CĐ

Phân bố điểm bài kiểm tra15 phút số 1

So sánh giữa TNKQ và TNTL

Ma trận đề thi 45 phút