Chƣơng III THỬ NGHIỆM VÀ PHÂN TÍCH KẾT QUẢ
3.4. Phân tích đề kiểm tra
3.4.2. Phân tích bài kiểm tra 45 phút số1
3.4.2.1. Phân bố điểm
T kết quả bài kiểm tra 45 phút số 1 chúng tôi thu được phân bố điểm như sau: 45PS1 N Valid 92 Missing 0 Mean 6.48 Std. Error of Mean .149 Median 6.00 Mode 6 Std. Deviation 1.426 Minimum 3 Maximum 10 Sum 596
Hình 3.5. Phân bố điểm bài kiểm tra 45 phút số 1
Điểm trung bình của bài kiểm tra là 6,48 điểm, độ lệch chuẩn là 1,426, phổ điểm chủ yếu tập chung khu vực 6-8 điểm, điểm thấp nhất là 3, cao nhất là 10. Mức độ học sinh điểm trung bình, điểm yếu ít. Như vậy, đề được đánh giá phù hợp với lực học của đối tượng khảo sát.
3.4.3.2. Mức độ phù hợp với mơ hình IRT.
Kết quả khi phân tích đề kiểm tra được liệt kê trong file SHW cho thấy tất cả các câu hỏi có UNWEIGHTED FIT nằm trong khoảng (0.71, 1.29), chỉ số Weighted MNSQ của tất cả các câu hỏi xấp xỉ bằng 1 cho thấy dữ liệu dùng để phân tích là phù hợp với mơ hình IRT.
Như vậy các câu hỏi của đề kiểm tra hoàn toàn phù hợp, cả 30 câu hỏi trong đề kiểm tra này đều đo đúng nội dung kiến thức cần kiểm tra. Hệ số tin cậy Separation Reliability = 0,970 cho thấy kết quả của bài kiểm tra có độ tin cậy cao.
Bảng 3.3 Mức độ phù hợp của các câu hỏi đề 45 phút số 1 với mơ hình
3.4.2.3. Đặc tính các câu kiểm tra
Bài kiểm tra 45 phút số 1 với 30 câu hỏi trắc nghiệm khách quan với 4 phương án lựa chọn, nhằm kiểm tra 3 mức năng lực nhận thức: Nhận biết (9 câu), Thông hiểu (12 câu), Vận dụng (9 câu).
Với dạng câu đề có nhiều câu hỏi và các đặc trưng phân tich đã rõ, chúng tơi tiến hành phân tích theo nhóm các vấn đề và nhóm câu hỏi như sau:
Như đã phân tích ở trên, câu hỏi tốt là những câu hỏi phù hợp với mơ hình Rasch, có độ khó, độ phân biệt chấp nhận được, các phương án nhiễu của các câu hỏi có tỷ lệ chọn tương đương nhau. Với những câu không đạt yêu cầu, cần được loại bỏ, điều chỉnh sao cho phù hợp với mơ hình, phù hợp
với các tiêu chí đánh giá. Dưới đây chúng tơi phân tích một số nhóm câu hỏi tốt, chưa tốt và nhóm câu hỏi cần điều chỉnh.
Nhóm các câu hỏi tốt (các câu số 3, 4, 12, 14) là các câu hỏi có độ phân biệt, độ khó phù hợp, các phương án nhiễu có giá trị. Chỉ số dưới đây là kết quả phân tích củacâu hỏi số 3 (Item 3)
Độ khó của câu hỏi p = 0.61, nằm trong khoảng có giá trị 0,25-0,75, có 61%HS trả lời đúng câu hỏi này.Độ phân biệt (Discrimination)rất tốt D = 0.5, câu hỏi có giá trị phân biệt nhóm thí sinh có năng lực cao và nhóm thí sinh có năng lực thấp. Hệ số tương quan (Pt Bis) cho ta thấy các phươngán nhiễu có chỉ số âm, phương án đúng có chỉ số dươngcho thấy các phương án gây nhiễu có giá trị trong việc đánh giá năng lực của thí sinh. Đối chiếu với nội dung câu hỏi số 3 trong đề kiểm tra:
Câu 3: Vật dao động điều hòa khi đi từ biên độ dương về vị trí cân bằng thì A. li độ vật giảm dần nên gia tốc của vật có giá trị dương.
B. li độ vật có giá trị dương nên vật chuyển động nhanh dần.
C. vật đang chuyển động nhanh dần vì vận tốc của vật có giá trị dương. D.vật đang chuyển động ngược chiều dương và vận tốc có giá trị âm.
Theo phân tích của chuyên gia, câu hỏi số 3 được thiết kế để kiểm tracấp độthơng hiểu, do đó, độ khó p=0.61 là rất phù hợp, độ phân biệt D = 0.5 là câu hỏi có độ phân biệt chấp nhận được. Kết quả này cũng có thể được khẳng định thơng qua đường cong đặc trưng của câu hỏi (hình 3.7): Đường cong thực tế của câu hỏi (đường nét đứt) bám sát đường cong kỳ vọng của câu hỏi, xuất phát t điểm xác suất gần gốc tọa độ đi lên, cho thấy câu hỏi thiết kế phù hợp để kiểm tra năng lực của thí sinh.
Hình 3.6. Đường cong đặc trưng câu hỏi số 3
Nhóm các câu hỏi cân nhắc điều chỉnh (câu số 8, 18, 21, 23) là các câu hỏi có độ phân biệt rất thấp, các phương án nhiễu khơng hiệu quả hoặc có độ khó khơng phù hợp, khơng đánh giá chính xác theo mục tiêu đề ra.
Ví dụ phân tích câu hỏi số 8 (Item8): Độ khó của câu hỏi p = 0.94 cho thấy đây là câu hỏi dễ, hầu hết học sinh làm đúng nên độ phân biệt khá nhỏ D = 0.09. Do vậy, câu khơng thể phân biệt được nhóm học sinh học lực thấp và nhóm học sinh học lực cao. Đồng thời, phương án nhiễu D khơng có tác dụng do khơng có HS lựa chọn. Để giải thích kết quả này, chúng ta cần đối chiếu với các kết quả phân tích bằng phương pháp chuyên gia. Câu hỏi số 8 thiết kế ở mức độ nhận biết nên câu hỏi khá dễ, hầu hết học sinh đều làm đúng câu hỏi. Trong một đề kiểm tra nên có một số câu hỏi ở cấp độ này, nhưng khơng nên có quá nhiều.
Hình 3.7. Đường cong đặc trưng câu hỏi 8
Nhóm các câu hỏi chưa tốt (câu số 5,6,22, 24,28, 29,30) là các câu hỏi có độ phân biệt hoặc độ khó hoặc các phương án nhiễu khơng phù hợp. Ví dụ câu số 5 (Item 5)
Hình 3.8. Đường cong đặc trưng câu hỏi 5
Với độ khó p = 0.71, câu hỏi có độ khó trung bình. Với độ phân biệt chấp nhận được (D = 0.25), câu hỏi có khả năng phân biệt được học sinh có năng lực cao và học sinh có năng lực thấp. Hệ số tương quan Pt Bis cho ta thấy các phươngán nhiễu có chỉ số âm, phương án đúng có chỉ số dương. Như vậy các phương án gây nhiễu là phù hợp. Tuy nhiên cần xem lại phương án nhiễu A do khơng có HS lựa chọn.
Đối chiếu với các phân tích theo các chuyên giacho câu hỏi số 5 trong đề kiểm tra: Câu 5 kiểm tra mức độ thơng hiểu, do đó, độ khó p=0.71 là phù hợp, độ phân biệt D = 0.25 là câu hỏi có độ phân biệt chấp nhận được. Do đó cần điều chỉnh lại phương án nhiễu A để câu hỏi có giá trị hơn.
Câu 5. Một vật dao động điều hồ theo phương trình x = -4cos(5t -
3
) cm. Biên độ dao động và pha ban đầu của vật tương ứng là
A. - 4cm và 3 rad. B. 4cm và 2 3 rad . C. 4cm và 4 3 rad D. 4cm và 3 rad.
Ta sẽ sửa phương án A, điều chỉnh gây nhiễu tiếp pha ban đầu theo đúng dạng phương trình, sửa thành (A. - 4cm và -
3
rad.)
3.4.2.4. Thang phân bố độ khó câu hỏi và năng lực của thí sinh
Để đưa ra quyết định cuối cùng về câu hỏi ta sẽ xem tiếp về sự phân bố độ khó của câu hỏi với năng lực của học sinh. Hình 3.10 biểu diễn thang phân bố độ khó của CHTN và khả năng của HS nằm trong khoảng t -1 đến 3 theo đơn vị logic. Kết quả cho thấy, các câu hỏi được phân bố thành 3 nhóm riêng rẽ, và có thể cho rằng 3 nhóm câu hỏi này kiểm tra 3 vùng kiến thức/ năng lực khác nhau, cụ thể:
- Nhóm 1: câu số 1, 2, 7, 8, 10, 15,16, 19, 28, 30 - Nhóm 2: câu số 3, 5, 6, 9, 11, 13, 22, 24, 25, 26, 27 - Nhóm 3: câu số 4, 12, 14, 17, 18, 20, 21, 23, 29
Ngoài việc so sánh các câu hỏi với nhau, biểu đồ cũng cho phép ta so sánh khả năng làm bài TNcủa HS với độ khó của CHTN, có 3 HS (Each 'X' represents 0.2 cases) có khả năng cao hơn độ khó của tất cả các CHTN.
Hình 3.9. Biểu đồ sự phân bố độ khó của câu hỏi so với năng lực của HS
Như vậy, xét trên biểu đồ này ta thấy đây là đề thi v a sức với năng lực thí sinh tham gia trả lời, có ít thí sinh (top trên) có năng lực cao mà khơng có câu hỏi nào đánh giá (3 HS). Tuy nhiên, đề thi lại có nhiều câu hỏi ở mức quá
3 NĂNG LỰC CAO
NĂNG LỰC THẤP CÂU HỎI DỄ
CÂU HỎI KHÓ
2
dễ (câu 8, 28, 10, 15, 19) mà năng lực của HS vượt quá độ khó của câu hỏi này.
3.4.2.5. Kết luận về câu hỏi và đề kiểm tra
Kết hợp các kết quả phân tích theo các chuyên gia và phân tích các chỉ số về đặc tính câu hỏi bằng “lý thuyết ứng đáp câu hỏi” (sự phù hợp với mơ hình Rasch, độ tin cậy, độ giá trị, độ khó, độ phân biệt, thang phân bố năng lực HS và độ khó câu hỏi, đường cong đặc trưng câu hỏi), ta có thể đưa ra kết luận để điều chỉnh, giữ lại hoặc thay thế các câu hỏi trong Đề kiểm tra 45 phút số 1 như sau: Đề kiểm tra có chất lượng tương đối tốt, phù hợp với mơ hình IRT, là một đề kiểm tra có giá trị, có độ tin cậy cao.
Đề kiểm tra khơng xảy ra tình trạng các câu hỏi có khả năng nhầm đáp án. Tuy nhiên, một số câu có phương án nhiễu chưa phát huy giá trị gây nhiễu, một số câu cần điều chỉnh lại để có độ khó, độ phân biệt cho phù hợp trước khi nhập ngân hàng đề. Kết quả cụ thể trong bảng 3.5
Bảng 3.4. Đánh giá, kết luận các câu hỏi trong đề kiểm tra 45 phút số 1
Câu hỏi Mức độ NT Độ khó Độ phân biệt % Lựa chọn A % Lựa chọn B % Lựa chọn C % Lựa chọn D Kết luận 1 NB 0.81 0.37 5.49 81.32 7.69 5.49 Tốt 2 NB 0.82 0.49 8.79 4.4 82.42 4.4 Tốt 8 NB 0.94 0.09 4.35 1.09 94.57 0 Chấp nhận 9 NB 0.68 0.42 3.26 68.48 9.78 18.48 Chấp nhận 15 NB 0.88 0.26 6.52 3.26 88.04 2.17 Chấp nhận 16 NB 0.8 0.22 80.43 8.7 6.52 4.35 Tốt 21 NB 0.27 0.09 27.17 33.7 13.04 26.09 Loại 23 NB 0.32 0.06 32.61 6.52 44.57 16.3 Loại 27 NB 0.61 0.22 6.52 21.74 9.78 61.96 Chấp nhận 3 TH 0.61 0.5 8.79 16.48 13.19 61.54 Tốt 4 TH 0.48 0.35 25 20.65 48.91 5.43 Chấp nhận 5 TH 0.71 0.25 0 71.74 16.3 11.96 Sửa 10 TH 0.88 0.39 6.52 88.04 2.17 3.26 Sửa 11 TH 0.67 0.43 15.22 3.26 67.39 14.13 Tốt 12 TH 0.53 0.41 53.26 10.87 22.83 13.04 Chấp nhận
17 TH 0.33 0.25 4.35 33.7 44.57 17.39 Chấp nhận 18 TH 0.25 0.02 19.57 11.96 43.48 25 Sửa 24 TH 0.71 0.25 0 26.09 71.74 2.17 Chấp nhận 25 TH 0.6 0.36 5.43 60.87 22.83 10.87 Tốt 28 TH 0.89 0.22 89.13 8.7 0 2.17 Sửa 29 TH 0.46 0.17 0 2.17 51.09 46.74 Sửa 6 VD 0.71 0.57 71.74 0 11.96 16.3 Chấp nhận 7 VD 0.77 0.44 77.17 9.78 3.26 9.78 Sửa 13 VD 0.65 0.25 65.22 21.74 1.09 11.96 Tốt 14 VD 0.4 0.33 40.22 5.43 17.39 36.96 Tốt 19 VD 0.85 0.27 7.61 2.17 4.35 85.87 Sửa 20 VD 0.51 0.21 8.7 51.09 40.22 0 Tốt 22 VD 0.71 0.47 4.35 71.74 0 23.91 Chấp nhận 26 VD 0.61 0.44 1.09 61.96 18.48 18.48 Chấp nhận 30 VD 0.78 0.17 78.26 5.43 11.96 4.35 Sửa