V. Phân tích và đánh giá câu hỏi và đề thi trắc nghiệm khách quan.
V.1. Biểu đồ phân bố điểm
Điểm của bài trắc nghiệm được thống kê và thể hiện trên hệ trục hai chiều, một là điểm, một là số lượng học sinh đạt điểm số đó, khi đó ta có một biểu đồ phân bố điểm số của bài trắc nghiệm.
Ví dụ: Giả sử bài trắc nghiệm với số thí sinh trắc nghiệm là 100, các điểm số được làm tròn không lấy điểm lẻ, cho trong bảng sau:
Điểm số Số học sinh 1 4 2 7 3 6 4 11 5 20 6 22 7 19 8 7 9 3 10 1
Theo các nhà thống kê giáo dục khi thử nghiệm trên một số đông người thì các số liệu đo về năng lực và kỹ năng của đám đông được đo có xu thế phân bố chuẩn. Khi đó hàm phân bố có dạng hàm Gauss và đồ thị của nó có là hình quả chuông úp ngược. Do đó, khi biểu đồ phân bố điểm có dạng gần với dạng quả chuông nói trên, cho thấy kết quả đo lường của bài trắc nghiệm đáng tin cậy. Nếu đỉnh của quả chuông lệch về bên trái quá hay phải quá - khi đó nhóm học sinh được trắc nghiệm quá yếu hay quá giỏi hoặc có thể
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 S o h o c s in h Diem so
đề thi quá khó hay quá dễ. Nếu đỉnh quả chuông quá thấp (quả chuông bẹt) có thể bài trắc nghiệm có độ phân biệt thấp, nó không phân biệt được giữa học yếu và học sinh giỏi.
Để đánh giá chất lượng của từng câu trắc nghiệm hoặc của toàn bộ một đề thi trắc nghiệm, người ta thường dùng một số đại lượng đặc trưng. Chúng ta sẽ lần lượt giới thiệu các đại lượng đặc trưng quan trọng nhất của một câu hoặc một bài trắc nghiệm, trước hết là độ khó và độ phân biệt.
V.2. Độ khó
Khái niệm đầu tiên có thể lưu ý đến là độ khó của câu trắc nghiệm. Khi nói đến độ khó, hiển nhiên phải xem câu trắc nghiệm là khó đối với đối tượng nào. Nhờ việc thử nghiệm trên các đối tượng thí sinh phù hợp, người ta có thể đo độ khó bằng tỷ số phần trăm thí sinh làm đúng câu trắc nghiệm đó trên tổng số thí sinh dự thi:
TLDp p
TSTS
Với: p = Độ khó của câu trắc nghiệm; TLD = Tổng số thí sinh trả lời đúng câu hỏi), còn TSTS=Tổng số thí sinh trả lời câu hỏi.
Khi soạn thảo xong một câu hoặc một bài trắc nghiệm người soạn chỉ có thể ước lượng độ khó hoặc độ phân biệt của nó bằng cảm tính. Độ lớn của các đại lượng đó chỉ có thể tính được cụ thể bằng PP thống kê sau lần trắc nghiệm thử, dựa vào kết quả thu được từ các câu và bài trắc nghiệm của thí sinh.
Các câu hỏi của một bài trắc nghiệm thường phải có các độ khó khác nhau. Theo công thức tính độ khó như trên, rõ ràng giá trị p càng bé câu hỏi càng khó và ngược lại.
Vậy p có giá trị như thế nào thì câu hỏi có thể được xem là có độ khó trung bình? Muốn xác định được khái niệm này cần phải lưu ý đến xác suất làm đúng câu hỏi bằng cách chọn hú hoạ. Như đã biết, giả sử một câu hỏi trắc nghiệm có 5 phương án chọn thì xác suất làm đúng câu hỏi do sự lựa chọn hú hoạ của một thí sinh không biết gì là 20%. Vậy độ khó trung bình của câu trắc nghiệm 5 phương án chọn phải nằm giữa 20% và 100%, tức là 60%. Như vậy, nói chung độ khó trung bình của một câu trắc nghiệm có n phương án chọn là (100% + 1/n)/2. Đối với các câu hỏi loại trả lời tự do, như loại câu điền khuyết, thì độ khó trung bình là 50%.
Khi chọn lựa các câu trắc nghiệm theo độ khó người ta thường phải loại các câu quá khó (không ai làm đúng) hoặc quá dễ (ai cũng làm đúng). Một bài trắc nghiệm tốt khi có nhiều câu hỏi ở độ khó trung bình.
- Để xét độ khó của cả một bài trắc nghiệm, người ta có thể đối chiếu điểm số trung bình của bài trắc nghiệm và điểm trung bình lý tưởng của nó. Điểm trung bình lý tưởng của bài trắc nghiệm là điểm số nằm giữa điểm tối đa mà người làm đúng toàn bộ nhận được và điểm mà người không biết gì có thể đạt do chọn hú hoạ. Giả sử có bài trắc nghiệm 50 câu, mỗi câu có 5 phương án trả lới. Điểm thô tối đa là 50, điểm có thể đạt được do chọn hú hoạ là 0,2x50=10, điểm trung bình lý tưởng là (50+10)/2= 30. Nếu điểm trung bình quan sát được trên hay dưới 30 quá xa thì bài trắc nghiệm ấy sẽ là quá dễ hay quá khó. Nói chung, nếu điểm trung bình lý tưởng nằm ở khoảng giữa phân bố các điểm quan sát được thì bài trắc nghiệm là vừa sức đối với đối tượng thí sinh, còn khi điểm đó nằm ở phía trên hoặc phía dưới phân bố điểm quan sát được thì bài trắc nghiệm tương ứng là khó hơn hoặc dễ hơn so với đối tượng thí sinh.