THU NGHIEM PHAN TICH CAU HOI CHINH SUA

- Có thể hiểu ý tổng thể và chi tiết của văn bản dù văn bản có bị bỏ đi một số từ, ngữ

1. What problem does the writer identify with the study done at Stanford University in 1913?

THU NGHIEM PHAN TICH CAU HOI CHINH SUA

chọn. Sau đó, tổ chức cho 30 học viên cao học khóa 24 làm lại. Kết quả nhƣ sau:

 Part 1:

- Về phƣơng án sai: tất cả các phƣơng án sai đều đã thu hút đƣợc sự lựa chọn của thí sinh, khơng có phƣơng án sai nào bị bỏ sót. Nhƣ vậy, chất lƣợng các lựa chọn của các câu hỏi chỉnh sửa đƣợc đảm bảo.

- Về độ khó: 19 câu có độ khó vừa phải từ 27% đến 67%, 04 câu khó (7% - 20%) đặc biệt là câu 20 q khó chỉ có 02 thí sinh làm đúng chiếm 07%.

- Về sự phân biệt: 12 câu có độ phân biệt đảm bảo trong đó 8 câu (câu 2,4,5,7,14,15,17,23) có độ phân biệt rất tốt D≥0.4, cịn 11 câu có độ phân biệt thấp từ 0.02 đến 0.23 trong đó có câu 12 và 16 có độ phân biệt âm và câu 10 có độ phân biệt bằng 0.

- Sự phù hợp của câu hỏi thi với mơ hình Rasch:

Sự phù hợp của các câu hỏi thi với mơ hình Rasch (INFIT MNSQ) nên nằm trong khoảng 0.77 đến 1.30. Part 1 có 1 (câu 7) nằm ngồi mơ hình Rasch cần loại bỏ, tất cả các câu cịn lại đều phù hợp với mơ hình Rasch đƣợc minh họa dƣới đây:

ItemFit 21/12/16 8:55

all on bac (N = 30 L = 23 Probability Level= .50) -------------------------------------------------- INFIT MNSQ .59 .63 .67 .71 ---------+---------+---------+---------+---------+ 1 item 1 . 2 item 2 . 3 item 3 . 4 item 4 5 item 5 . 6 item 6 . 7 item 7 * . 8 item 8 . 9 item 9 . 10 item 10 . 11 item 11 . 12 item 12 . 13 item 13 . 14 item 14 . 15 item 15 . 16 item 16 . 17 item 17 . 18 item 18 . 19 item 19 . 20 item 20 . 21 item 21 . 22 item 22 . 23 item 23 . * ==================================================  Part 2: ------------------------------------------------------------------------------------------------- .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 1.7 ---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+ | * . * | . | * . . * | . * | . * . | . * | . | * . | * . | * . | * . | * . * | . * | . | * . * | . * | . * | . * | . | * . | * . | . ===========================================---------------------------------------------------------

- Về phƣơng án sai: giống nhƣ Part 1 tất cả các phƣơng án sai đều hấp dẫn đƣợc một lƣợng thí sinh nhất định, khơng có phƣơng án sai nào bị bỏ sót.

- Về độ khó và độ phân biệt: kết quả phân tích cho thấy các câu sau khi chỉnh sửa thì độ khó đều vừa sức với thí sinh P nằm trong khoảng từ 27% đến 40%. Tuy nhiên, có câu 2 và 3 độ phân biệt thấp đặc biệt là câu 3 (-0.11)

- Về sự phù hợp của câu hỏi thi với mơ hình Rasch: có 02 câu (câu 2, 3) nằm ngồi mơ hình Rasch

Item Fit 22/12/16 14:42 all on bac (N = 30 L = 5 Probability Level= .50) ------------------------------------------------------------------------------------------------------------------------------------------------------ INFIT MNSQ .59 .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 1.7 ---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+ 1 item 1 . * | . 2 item 2 . | * . 3 item 3 . | . * 4 item 4 * . | . 5 item 5 . * | . =========================================================================================================================================  Part 3:

- Về phƣơng án sai: chất lƣợng phƣơng án sai tốt đều thu hút đƣợc thí sinh lựa chọn.

- Về độ khó và độ phân biệt: 6 câu có độ khó vừa sức với thí sinh trong khoảng từ 40% đến 63%, độ phân biệt rất tốt D≥0.4, cịn 3 câu của Part 3 có độ khó và độ phân biệt chƣa đảm bảo là câu 5, 7, 8 và đƣợc minh họa dƣới đây:

Item 5: item 5 Infit MNSQ = 1.28 Disc = .06 Categories A B C* D missing Count 15 7 5 3 0 Percent (%) 50.0 23.3 16.7 10.0 Pt-Biserial .39 -.42 .06 -.13 p-value .016 .010 .380 .246 Mean Ability -.13 -1.57 -.55 -1.18 NA Step Labels 1 Thresholds 1.09 Error .53

Item 8: item 8 Infit MNSQ = 1.14 Disc = .20 Categories A B* C D missing Count 9 4 5 12 0 Percent (%) 30.0 13.3 16.7 40.0 Pt-Biserial -.30 .19 -.29 .36 p-value .056 .153 .059 .024 Mean Ability -1.06 -.16 -1.49 -.21 NA Step Labels 1 Thresholds 1.36 Error .57

- Sự phù hợp của câu hỏi thi với mơ hình Rasch: câu 1, 4, 9 nằm ngồi mơ hình Rasch.

THU NGHIEM PHAN TICH CAU HOI CHINH SUA ------------------------------------------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------------------------------------------ Item Fit 16/12/16 18:38 all on bac (N = 30 L = 9 Probability Level= .50) ------------------------------------------------------------------------------------------------------------------------------------------------------ INFIT MNSQ .59 .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 1.7

Item 7: item 7 Infit MNSQ = 1.22 Disc = .09 Categories A B C D* missing Count 13 11 2 4 0 Percent (%) 43.3 36.7 6.7 13.3 Pt-Biserial .38 -.39 -.13 .08 p-value .018 .017 .248 .330 Mean Ability -.28 -1.26 .25 -.46 NA Step Labels 1 Thresholds 1.36 Error .57

- Về phƣơng án sai: tất cả phƣơng án sai điều chỉnh đều thu hút đƣợc sự lựa chọn của thí sinh ngoại trừ câu 11, 18 và câu 25 phƣơng án sai D đã sửa chữa nhƣng vẫn không hấp dẫn, khơng ai lựa chọn.

- Về độ khó: có 10 câu hỏi khó (3.3% - 20%) là các câu 22, 25, 26, 27, 31, 41, 70, 71, 74. Các câu cịn lại có độ khó vừa phải.

- Về độ phân biệt: Những câu hỏi chỉnh sửa, độ phân biệt chƣa đƣợc tốt: 12 câu phân biệt bằng 0 hoặc âm (câu 18, 22, 23, 25, 26, 27, 33, 41, 57, 70, 71, 74), 6 câu có độ phân biệt thấp từ 0.04 đến 0.26.

- Về sự phù hợp của câu hỏi thi với mơ hình Rasch: tất cả các câu hỏi chỉnh sửa đều nằm trong mơ hình Rasch.

 Tóm lại kết quả phân tích câu hỏi thi lần thứ hai nhƣ sau:

Từ kết quả lần 1, tác giả lấy 41 câu có độ phân biệt thấp cho lớp cao học khóa 24 thi và chỉnh sửa các phƣơng án sai không hấp dẫn đƣợc bất cứ thí sinh nào trong thử nghiệm lần 1 sau đó cho lớp cao học khóa 24 làm lại. Kết quả là những câu nào nằm ngồi mơ hình Rasch thì loại bỏ, những câu hỏi khó vẫn giữ nguyên, tùy mục đích sử dụng của đề thi để cân nhắc số lƣợng câu hỏi khó cho vào đề thi. Những câu hỏi có độ phân biệt kém cần tập hợp riêng, tiếp tục chỉnh sửa cho đến khi câu hỏi đó đảm bảo các yếu tố của một câu hỏi thi tốt thì sử dụng, lƣu trữ. Kết quả cụ thể đƣợc thống kê ở bảng sau:

Bảng 3.23: Thống kê kết quả phân tích câu hỏi thử nghiệm lần thứ hai

Part 1 Part 2 Part 3 Part 4 Ghi chú

Loại bỏ 01 (câu 7) 02 (câu 2, 3) 02 (câu 1) loại bỏ

Câu hỏi khó 04 (câu 1, 6, 16, 20) 03 (câu 5,7,8) 10(câu 22, 25, 26, 27, 31, 41, 70, 71,74) giữ nguyên Câu có

độ phân 11 câu (câu 1, 3, 6, 9, 10, 11, 12,

02 câu (câu 2, 3) 2, 3)

03 (câu 5,7,8) 12 câu ((câu 18, 22, 23, 25, 26, 27, 33, 23, 25, 26, 27, 33,

giữ nguyên, tiếp tục chỉnh

biệt kém 13, 16, 20, 21) 41, 57, 70, 71, 74) sửa và thử nghiệm

Nhƣ vậy, sau hai lần phân tích thì cịn lại 240 câu hỏi thi đạt tiêu chuẩn có thể lƣu trữ và sử dụng.

THU NGHIEM PHAN TICH CAU HOI CHINH SUA

Độkhó của câu hỏi th

Các mức độ của lĩnh vực nhận thức