V. Phân tích và đánh giá câu hỏi và đề thi trắc nghiệm khách quan.
V.3. phân biệt
Khi ra một câu hoặc một bài trắc nghiệm cho một nhóm thí sinh nào đó, người ta thường muốn phân biệt trong nhóm ấy những người có năng lực khác nhau: giỏi, trung bình, kém... Khả năng của câu trắc nghiệm thực hiện được sự phân biệt ấy được gọi là độ phân biệt. Muốn cho câu hỏi có độ phân biệt, phản ứng của nhóm thí sinh giỏi và nhóm thí sinh kém lên câu đó hiển nhiên phải khác nhau. Người ta thường thống kê các phản ứng khác nhau đó để tính độ phân biệt.
Độ phân biệt của một câu hoặc một bài trắc nghiệm liên quan đến độ khó. Thật vậy, nếu một bài trắc nghiệm dễ đến mức mọi thí sinh đều làm tốt, các điểm số đạt được chụm ở phần điểm cao thì độ phân biệt của nó rất kém, vì mọi thí sinh đều có phản ứng như nhau đối với bài trắc nghiệm đó. Cũng vậy, nếu một bài trắc nghiệm khó đến mức mọi thí sinh đều làm không được, các điểm số đạt được chụm ở phần điểm thấp, độ phân biệt của nó cũng rất kém. Từ các trường hợp giới hạn nói trên có thể suy ra rằng muốn có độ phân biệt tốt thì bài trắc nghiệm phải có độ khó ở mức trung bình. Khi ấy điểm số thu được của nhóm thí sinh sẽ có phổ trải rộng.
Có thể sử dụng công thức sau để tính độ phân biệt của một câu hỏi TNKQ:
(H của nhóm giỏi (27%) - H của nhóm kém (27%)) D=
(27% tổng số)
Với: H = số thí sinh trả lời đúng câu hỏi đó. D = độ phân biệt của câu hỏi TNKQ. [27]
Ví dụ 1: Giả sử có 100 thí sinh tham gia trả lời một câu hỏi TNKQ. Như vậy 27% tổng số là 27 em. Cũng vậy, 27% các học sinh đạt điểm cao nhất được xem là nhóm giỏi cũng là 27 em và 27% các học sinh đạt điểm thấp nhất cũng vậy. Giả sử trong nhóm giỏi có 12 em trả lời đúng câu hỏi đã được đưa ra kiểm tra này và trong nhóm kém có 2 em trả lời đúng. Khi đó: D= |12 - 2|/27 0.37.
Ví dụ 2:
Xét câu hỏi sau trong một đề thi trắc nghiệm Tin học lớp 12:
Biểu mẫu (Form) là một đối tượng trong Access có chức năng chính là:
A. Lập báo cáo. B. Tìm kiếm thông tin.
C. Sắp xếp thông tin. D. Nhập và hiển thị dữ liệu.
Sau khi học trò thi xong GV tiến hành các bước sau để phân tích câu hỏi trên: - Sắp các bài theo tổng số điểm thu được.
- Chia tập bài ra thành 3 chồng; chồng thứ nhất gồm 27 phần trăm số bài có điểm cao nhất (chồng này ứng với nhóm giỏi); chồng thứ hai gồm 46 phần trăm bài có điểm tiếp theo và chồng thứ ba gồm các bài còn lại (chồng thứ ba ứng với nhóm kém).
- Thống kê số học sinh trả lời của từng phương án A, B, C, D, kể cả bỏ trống không làm và thống kê theo 3 nhóm nói trên.
- Từ các số liệu thống kê trên để đánh giá độ khó, độ phân biệt và các lưu ý để chỉnh sửa phương án nhiễu.
Giả sử sau khi thống kê ta có bảng số liệu sau là kết quả của 62 thí sinh tham gia trả lời trắc nghiệm câu hỏi trên.
nhóm giỏi chọn nhóm TB chọn nhóm kém chọn người đã chọn A 2 8 7 17 B 0 4 1 5 C 2 8 5 15 D* 12 10 3 25 Tổng số 16 30 16 62 Độ khó p = 25/62 0.4; độ phân biệt D = (12 - 3)/16 = 9/16 0.56.
Qua bảng trên chúng ta cũng biết phương án nào lôi cuốn học sinh chọn nhiều, các phương án đó có thể đúng hoặc sai, nhưng dựa vào đó ta có thể biết học sinh đã sai lệch ở đâu về kiến thức đã học thể hiện trong câu hỏi. Có những phương án nhiễu không hợp lý lắm sẽ được chỉnh sửa để câu hỏi có thể đưa vào ngân hành đề thi dành cho các cuộc thi sau, các vấn đề liên quan đến chỉnh sửa phương án nhiễu, xin xem trong các phần dưới đây.
Các câu hỏi trắc nghiệm khi viết ra sẽ được cho học sinh thi thử. Sau khi phân tích bằng PP thống kê như trên, nên giữ lại các câu hỏi có độ khó từ 0.4 đến 0.6 và có độ phân biệt dương khá cao. Tuy vậy, cần lưu ý đối với các bài kiểm tra trắc nghiệm đòi hỏi yếu tố tốc độ trả lời như kỹ năng đánh máy, tốc độ đọc sách... thì các chỉ số trên không có nghĩa.
Hơn nữa, các chỉ số nói trên được thống kê qua các cuộc tổ chức thi thử trên học sinh. Tuy là thi thử nhưng phải thực hiện làm sao để thí sinh dự thi phải trả lời một cách nghiêm túc và việc chọn quần thể học sinh để thử cũng phải hết ngẫu nhiên, tương đương với tổng thể học sinh mà ta định kiểm tra, khi đó kết quả phân tích câu hỏi bằng các chỉ số về độ khó, độ phân biệt mới có ý nghĩa.
Đôi khi không nên loại bỏ một câu hỏi trắc nghiệm chỉ vì các con số thống kê tính được mà phải xem xét kỹ lại các vấn đề sau: quá trình thi thử, lấy mẫu thử... đã chính xác chưa, công việc giảng dạy của GV hoàn hảo chưa, đề thi chưa thuần nhất nên một số câu hỏi không có tương quan với toàn bộ đề thi. Nếu có những câu hỏi không tương quan nhiều với toàn bộ đề thi nhưng nếu bỏ chúng đi sẽ làm cho đề thi quá thuần nhất và giảm phạm vi kiểm tra đánh giá. Vấn đề tương quan giữa các câu hỏi đối với một đề thi trắc nghiệm sẽ được bàn bạc kỹ ở các mục sau.
Các chỉ số nói trên có ý nghĩa khi sử dụng câu hỏi trắc nghiệm để phân loại học sinh. Khi sử dụng câu trắc nghiệm để đánh giá xem học sinh đã hiểu bài học thế nào thì các chỉ số về độ khó hay độ phân biệt không quan trọng lắm. Một GV than phiền "Phải thay đổi lại câu hỏi trắc nghiệm vì điểm số quá cao" lời than phiền trên đôi khi không đúng, vì GV đó chưa quan tâm đến sự học tập có ý thức hơn, tốt hơn... của học sinh và cả sự cải thiện trong bản thân cách dạy của mình.
Câu hỏi quan trọng mà một GV cần đặt ra không những là: "Các bài trắc nghiệm có phân biệt được các học sinh của tôi không" mà còn "Các bài trắc nghiệm có đo lường được những điều mà học sinh của mình cần nắm hay không và nắm ở mức nào?".
Bên cạnh đó, việc thông kế các kết quả trả lời của học sinh đối với một câu hỏi còn phân tích các phương án nhiễu, để chỉnh sửa câu hỏi cho hợp lý hơn. Việc thống kê kết quả trả lời cho phép ta suy ra:
- Mức độ khó của câu hỏi.
- Mức độ phân biệt nhóm giỏi và nhóm kém của câu hỏi. - Mức độ lôi cuốn học sinh của các câu trả lời.
