Phân tích bài kiểm tra15 phút số1

Chƣơng III THỬ NGHIỆM VÀ PHÂN TÍCH KẾT QUẢ

3.4. Phân tích đề kiểm tra

3.4.1. Phân tích bài kiểm tra15 phút số1

3.4.1.1. Phân bố điểm kiểm tra

T kết quả bài kiểm tra 15 phút số 1 ta thu điểm phổ điểm như sau:

15PS1 N Valid 92 Missing 0 Mean 6.62 Std. Error of Mean .169 Median 7.00 Mode 6 Std. Deviation 1.623 Minimum 2 Maximum 10 Sum 609

Trên biểu đồ thị ta thấy, biểu đồ cột biểu thị số lượng/tần số của t ng điểm kiểm tra riêng biệt và một đường cong chuẩn đặt chồng thêm vào biểu đồ tần số giúp ta đốn liệu dữ liệu có phân bố chuẩn theo đường cong đó.

T phân bố tần số điểm, ta thấy điểm trung bình của bài kiểm tra là 6.62, độ lệch chuẩn là 1.623, nhóm điểm tập trung chủ yếu trong khoảng 6-8, điểm chuẩn lí tưởng của bài là 7, điểm thấp nhất là 2, cao nhất là 10. Phổ điểm được đánh giá phù hợp với đối tượng HS khảo sát.

3.4.1.2. Mức độ phù hợp với mơ hình IRT.

Kết quả khi phân tích đề kiểm tra với phần mềm Conquest 1.0 trong file SHW được tóm tắt trong bảng dưới đây:

Bảng 3.1. Mức độ phù hợp của các câu hỏi đề kiểm tra với mơ hình

------------------------------------------------------------------------------------------ VARIABLES UNWEIGHTED FIT WEIGHTED FIT

--------------- ----------------------- ----------------------- item ESTIMATE ERROR^ MNSQ CI T MNSQ CI T ------------------------------------------------------------------------------------------ 1 1 -2.569 0.248 1.14 ( 0.71, 1.29) 1.0 0.98 ( 0.00, 2.05) 0.1 2 2 0.953 0.170 1.00 ( 0.71, 1.29) 0.0 1.00 ( 0.90, 1.10) 0.0 3 3 -1.663 0.225 0.95 ( 0.71, 1.29) -0.3 0.98 ( 0.37, 1.63) 0.0 4 4 1.297 0.170 0.97 ( 0.71, 1.29) -0.2 0.98 ( 0.88, 1.12) -0.4 5 5 0.208 0.175 1.03 ( 0.71, 1.29) 0.3 1.04 ( 0.84, 1.16) 0.5 6 6 1.110 0.169 1.03 ( 0.71, 1.29) 0.2 1.03 ( 0.90, 1.10) 0.5 7 7 1.110 0.169 1.00 ( 0.71, 1.29) 0.0 1.00 ( 0.90, 1.10) -0.1 8 8 0.552 0.171 1.04 ( 0.71, 1.29) 0.3 1.03 ( 0.88, 1.12) 0.5 9 9 -0.360 0.186 0.88 ( 0.71, 1.29) -0.8 0.92 ( 0.74, 1.26) -0.6 10 10 -0.638* 0.567 1.05 ( 0.71, 1.29) 0.4 1.02 ( 0.68, 1.32) 0.2 --------------------------------------------------------------------------------

An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = 0.981

Tất cả các câu hỏi có UNWEIGHTED FIT nằm trong khoảng (0.71, 1.29), chỉ số Weighted MNSQ của tất cả các câu hỏi xấp xỉ bằng 1 cho thấy dữ liệu dùng để phân tích là phù hợp với mơ hình IRT.

Như vậy, các câu hỏi của đề kiểm tra hoàn toàn phù hợp, cả 10 câu hỏi trong đề kiểm tra này đều đo đúng nội dung kiến thức cần kiểm tra. Hệ số tin cậy Separation Reliability = 0.970 cho thấy bài kiểm tra có độ tin cậy cao.

3.4.1.3. Đặc tính của các câu hỏi kiểm tra

Kết quả khi phân tích đề kiểm tra với phần mềm Conquest 1.0 trong file ITN cho ta biết được sự phù hợp với mơ hình, độ khó, độ phân biệt, các phương án nhiễu của các câu hỏi. T đó ta có thể loại bỏ, điều chỉnh sao cho

phù hợp với mơ hình, phù hợp với các tiêu trí đánh giá. Dưới đây chúng tơi phân tích một số câu đặc trưng: Câu 2, 1, 7

item:2 (2) Cases for this item 91 Discrimination 0.47

Item Threshold(s): 0.95 Weighted MNSQ 1.00 Item Delta(s): 0.95

------------------------------------------------------------------------------ Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 ------------------------------------------------------------------------------ A 0.00 11 12.09 -0.17 -1.67(.099) 0.91 0.41 B 0.00 14 15.38 -0.13 -1.26(.209) 0.95 0.56 C 1.00 45 49.45 0.47 5.02(.000) 1.11 0.44 D 0.00 21 23.08 -0.31 -3.06(.003) 0.81 0.58 ==============================================================================

Chỉ số kì vọng của các bình phương trung bình (chỉ số Weighted MNSQ =1 ) rất lí tưởng: Câu hỏi phù hợp với mơ hình IRT và đo đúng các đại lượng cần đo. Độ khó của câu hỏi p = 0.49: câu hỏi v a phải.

Độ phân biệt D = 0.47 (Discrimination 0.47) : phù hợp, đủ để phân biệt được thí sinh có năng lực cao và năng lực thấp.

Chỉ số Pt Bis cho ta thấy các đáp án nhiễu có chỉ số âm, đáp án đúng có chỉ số dương. Như vây các đáp án gây nhiễu là phù hợp (12.09% chọn A; 15.38% chọn B; 49.45% chọn C; 23.08% chọn D).

Đối chiếu với câu hỏi số 2 trong đề kiểm tra: Câu 2 ở mức độ thông hiểu, đánh giá về sự lệch pha của vận tốc, gia tốc và li độ. Như vậy, câu 2 là câu hỏi có độ khó v a phải, đánh giá đúng mục tiêu, đúng mức độ nhận thức, các đáp án nhiễu phù hợp và phân biệt được năng lực học sinh.

Câu 2: Chọn phát biểu sai khi nói về dao động điều hồ: A. Vận tốc luôn trễ pha /2 so với gia tốc.

B. Gia tốc sớm pha góc so với li độ. C. Vận tốc và gia tốc luôn ngược pha nhau. D. Vận tốc luôn sớm pha /2 so với li độ.

Câu 1 (Item 1)

item:1 (1) Cases for this item 91 Discrimination 0.07

Item Threshold(s): -2.57 Weighted MNSQ 0.98 Item Delta(s): -2.57

------------------------------------------------------------------------------ Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 ------------------------------------------------------------------------------ A 1.00 88 96.70 0.07 0.62(.536) 0.99 0.51 B 0.00 1 1.10 0.16 1.52(.131) 1.30 0.00 C 0.00 1 1.10 0.03 0.27(.791) 1.23 0.00 D 0.00 1 1.10 -0.30 -2.97(.004) 0.85 0.00   

Độ khó của câu hỏi p = 0.96: câu hỏi rất dễ. Độ phân biệt D = 0.07 (Discrimination 0.07) : Không phù hợp, khơng thể phân biệt được thí sinh có năng lực cao và năng lực thấp.Chỉ số Pt Bis cho ta thấy các đáp án nhiễu không phù hợp.

Đối chiếu với câu 1 trong đề kiểm tra: Câu 1 ở mức độ nhận biết, yêu cầu HS nêu được khái niệm, nhận biết được các đại lượng trong dao động điều hòa. Như vậy câu 1 là câu rất dễ, đúng như mục tiêu chỉ cần HS nhận biết được. Tuy nhiên cần phải cân nhắc chỉnh sửa câu này để tăng độ khó và các đáp án nhiễu. Ta khảo sát thêm đường cong đặc trưng câu hỏi (ICC)

Hình 3.2. Đường cong đặc trưng câu hỏi 1

Đường cong thực tế của câu hỏi 1 (đường nét đứt) bám sát đường cong kỳ vọng của câu hỏi, xuất phát t điểm xác suất gần 0.9 đi lên, cho thấy câu hỏi thiết kế rất dễ để kiểm tra năng lực của thí sinh. Ví dụ Câu 7 (Item 7)

item:7 (7) Cases for this item 92 Discrimination 0.50

Item Threshold(s): 1.11 Weighted MNSQ 1.00 Item Delta(s): 1.11

------------------------------------------------------------------------------ Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 ------------------------------------------------------------------------------ B 1.00 42 45.65 0.50 5.49(.000) 1.13 0.45 C 0.00 49 53.26 -0.52 -5.77(.000) 0.86 0.51 D 0.00 1 1.09 0.09 0.89(.374) 1.05 0.00 ==============================================================================

Hình 3.3. Đường cong đặc trưng câu hỏi số 7

Độ khó của câu hỏi p = 0.45: câu hỏi v a phải.

Độ phân biệt D = 0.5 (Discrimination 0.5) : Phù hợp, phân biệt được thí sinh có năng lực cao và năng lực thấp.

Chỉ số Pt Bis cho ta thấy các phương án nhiễu A (khơng có HS lựa chọn) và đáp án D (1 lựa chọn) khơng phù hợp, chỉ có phương án C là phù hợp (49 lựa chọn). Số thí sinh chọn phương án C (sai) nhiều hơn phương án B(đúng), do đó cần kiểm tra lại đáp án.

Đường cong thực tế của câu hỏi 7 (đường nét đứt) bám sát đường cong kỳ vọng của câu hỏi, xuất phát t điểm xác suất gần 0.25 đi lên, cho thấy câu hỏi thiết kế đủ để kiểm tra năng lực của thí sinh.

Đối chiếu với câu 7 trong đề kiểm tra: Đây là câu hỏi ở mức độ vận dụng, yêu cầu HS viết được phương trình dao động điều hịa. Như vậy, câu 7 là câu vận dụng có độ khó v a phải, đánh giá đúng học sinh, có độ phân biệt tốt, có thể phân biệt được năng lực HS. Tuy nhiên cần phải điều chỉnh lại phương án nhiễu A và D

Tương tự quy trình như vậy, chúng tôi thu được kết quả về độ khó, độ phân biệt, % lựa chọn các đáp án được ghi trong bảng 3.3.

3.4.1.4. Sự phân bố độ khó của câu hỏi với năng lực của HS

Kết quả khi phân tích đề kiểm tra 15 phút số 1 với phần mềm Conquest 1.0 trong file SHW được tóm tắt trong bảng dưới đây:

Hình 3.4. Biểu đồ sự phân bố độ khó của câu hỏi so với năng lực của HS

Biểu đồ trình bày sự phân bố thống kê tương quan giữa năng lực của HS (dấu X) với sự phân bố độ khó của các câu hỏi. Trong biểu đồ trên, các số bên phải đường gạch thẳng đứng trình bày sự phân bố CHTN theo độ khó của t ng câu trong đề kiểm tra. Những CHTN khó và những sinh viên có trình độ năng lực cao được phân bố tiến dần về phía trên (0.0), cịn những CHTN dễ và những sinh viên có năng lực thấp được phân bố tiến dần về phía dưới (0.0). Độ khó của CHTN cùng khả năng của HS nằm trong khoảng t -1 đến 2 theo đơn vị lozic. Các câu 1, 3 là câu dễ nhất, câu 10, 9 là câu dễ. Các câu 4,6,7 là các câu khó.

Ngồi việc so sánh các câu hỏi với nhau, biểu đồ cũng cho phép ta so sánh khả năng của HS làm bài TN với độ khó của CHTN, có 27 HS (Each 'X' represents 0.2 cases) có khả năng cao hơn độ khó của tất cả các CHTN

Như vậy, xét trên biểu đồ này ta thấy đây là đề thi khá dễ với năng lực thí sinh tham gia trả lời, có nhiều thí sinh (top trên) có năng lực cao mà khơng có câu hỏi nào đánh giá. Do vậy, cần bổ sung/ thay thế một số câu hỏi khó hơn để đánh giá được năng lực của nhóm thí sinh này (Câu 10, 1, 3).

3.4.1.5. Kết luận về câu hỏi và đề kiểm tra

Qua việc phân tích ở trên ta có kết luận về đề kiểm tra 15 phút số 1 như sau: Đề 15 phút số 1 có chất lượng tương đối tốt, phù hợp với mơ hình IRT, là một đề có giá trị, có độ tin cậy cao. Tuy nhiên đây là một đề rất dễ với năng lực của HS, do đó cần phải sửa chữa và thay thế một số câu để tăng độ khó của đề kiểm tra cho phù hợp với năng lực của thí sinh.

Dưới đây là bảng tổng hợp chất lượng các câu hỏi trong đề cần sau khi đã được phân tích (Các câu số 1, 7, 10 cần tăng độ khó; câu 3 cần thay thế):

Bảng 3.2. Tổng hợp kết luận đánh giá các câu hỏi đề kiểm tra15 phút số 1

Câu hỏi Mức độ NT Độ khó P Độ phân biệt D % Lựa chon A % Lựa chon B % Lựa chon C % Lựa chon D Kết luận 1 NB 0.96 0.07 96.70 1.10 1.10 1.10 Sửa 2 TH 0.49 0.47 12.09 23.08 49.45 15.38 Tốt 3 TH 0.92 0.23 0 0 7.69 92.31 Loại bỏ 4 VD 0.41 0.45 14.13 27.17 41.30 17.39 Tốt 5 NB 0.66 0.31 3.26 17.39 66.30 13.04 Chấp nhận 6 TH 0.45 0.37 45.65 13.04 3.26 38.04 Chấp nhận 7 VD 0.45 0.50 0 45.65 1.09 53.26 Sửa 8 TH 0.58 0.27 6.52 58.70 6.52 28.26 Tốt 9 NB 0.77 0.31 4.35 6.52 77.17 11.96 Tốt 10 VD 0.81 0.59 1.09 81.52 6.52 10.87 Sửa

Thang nhận thức của Bloom

Đường cong đặc trưng câuhỏi một tham số