Chương 1 VỀ TRẮC NGHIỆM VÀ ĐO LƯỜNG TRONG GIÁO DỤC
2.5. CÁC HẠN CHẾ CỦA Lí THUYẾT TRẮC NGHIỆM CỔ ĐIỂN
VÀ KỲ VỌNG ĐỐI VỚI MỘT Lí THUYẾT TRẮC NGHIỆM MỚI
Phỏt triển từ khoảng đầu thế kỷ XX cho đến thập niờn 1970, lý thuyết trắc nghiệm cổ điển (CTT) đạt được nhiều thành tựu, tạo cơ sở khoa học để thiết kế cỏc phộp đo tương đối chớnh xỏc. Tuy nhiờn lý thuyết đú cũn bị nhiều hạn chế.
- Cú lẽ một trong cỏc hạn chế cơ bản nhất của CTT là khụng tỏch biệt được cỏc đặc trưng của TS độc lập với cỏc đặc trưng của ĐTN, đặc trưng này chỉ cú thể giải thớch trong mối quan hệ với đặc trưng kia.
Một đặc trưng quan trọng mà ta quan tõm là năng lực của TS. Trong khuụn khổ CTT, năng lực được diễn tả bởi điểm của TS mà một ĐTN cụ thể đo được. Khi ĐTN “khú”, TS sẽ thể hiện năng lực thấp, khi ĐTN “dễ”, TS sẽ thể hiện năng lực cao. Nhưng ĐTN thế nào là “khú” hoặc “dễ”? Độ khú của một CH được định nghĩa là “tỷ số TS làm đỳng CH trờn nhúm TS tham gia”, tức là độ khú CH tuỳ thuộc năng lực của cỏc TS được đo. Thật quỏ vũng vo! Độ phõn biệt của CH cũng như độ tin cậy và độ giỏ trị của ĐTN cũng được xỏc định phụ thuộc vào một nhúm TS cụ thể được đo. Cỏc đặc trưng của CH và ĐTN thay đổi khi tỡnh trạng TS thay đổi, và cỏc đặc trưng của TS thay đổi khi tỡnh trạng ĐTN thay đổi. Kết quả là rất khú so sỏnh cỏc TS khi họ làm cỏc ĐTN khỏc nhau cũng như rất khú so sỏnh cỏc CH khi chỳng được trả lời bởi cỏc nhúm TS khỏc nhau. Cuối cựng cú thể núi: về nguyờn tắc khụng thể thực hiện cỏc so sỏnh đú. Dự cỏc chuyờn gia đo lường cố gắng tỡm cỏch xử lý khú khăn đó nờu như thế nào nhưng vẫn khụng giải quyết được vấn đề từ bản chất.
Trước hết chỳng ta hóy xem xột hậu quả thực tiễn của việc đặc trưng CH phụ thuộc vào nhúm TS được đưa vào để xỏc định chỳng. Sự phụ thuộc đú hạn chế việc ứng dụng cỏc ĐTN cho cỏc nhúm TS khỏc với nhúm mà đó dựa vào đú để thu cỏc đặc trưng CH. Hạn chế đú ảnh hưởng nhiều đến việc xõy dựng NHCH, cụng cụ quan trọng để thiết kế ĐTN. Thật vậy, việc mở rộng một NHCH sẽ gặp khú khăn nếu cỏc đặc trưng của nhúm CH bổ sung thu được nhờ một nhúm TS khỏc với nhúm TS đó được dựa vào để xỏc định cỏc đặc trưng của NHCH cũ. Bõy giờ hóy xột đến việc năng lực xỏc định được của TS phụ thuộc vào ĐTN. Rừ ràng là khi ấy rất khú so sỏnh điểm biểu diễn năng lực của cỏc TS làm cỏc ĐTN khỏc nhau: cỏc điểm đú được đặt trờn cỏc thang khỏc nhau và khụng cú một mối quan hệ hàm số nào giữa cỏc thang điểm. Thậm chớ khi cỏc nhúm TS được cho làm cỏc ĐTN tương đương vấn đề vẫn tồn tại, vỡ khi cỏc nhúm TS cú năng lực khỏc nhau (tức là ĐTN là khú hơn đối với một nhúm TS so với nhúm TS kia), thỡ cỏc điểm thu được của họ từ cỏc ĐTN đú cú sai số khỏc nhau.
- Một hạn chế khỏc của CTT nằm ở định nghĩa của độ tin cậy. Theo CTT, độ tin cậy là “tương quan giữa cỏc điểm của hai ĐTN tương đương”. Trong thực tế khụng thể cú cỏc ĐTN thoả món tiờu chớ tương đương. Liờn quan với độ tin cậy là sai số tiờu chuẩn của phộp đo năng lực TS: CTT quan niệm cỏc sai số tiờu chuẩn ấy là như nhau, trong khi thực tế độ chớnh xỏc của phộp đo năng lực là khỏc nhau đối với cỏc TS cú năng lực khỏc nhau.
- Thờm một hạn chế nữa của CTT là lý thuyết này xem xột việc ứng đỏp ở mức độ ĐTN chứ khụng phải ở mức độ CH trắc nghiệm. Khỏi niệm điểm thực trong trắc nghiệm cổ điển khụng quan tõm tới việc TS ứng đỏp một CH như thế nào. Do đú khụng cú cơ sở để xỏc định xem một TS nào đú ứng đỏp tốt ra sao đối với một CH đặt ra cho anh ta. Cụ thể hơn, CTT khụng cho phộp dự bỏo về một TS hoặc một nhúm TS nào ứng đỏp một CH đó cho ra sao. CH “xỏc suất để một TS ứng đỏp đỳng một CH xỏc định là bao nhiờu?” là rất quan trọng trong nhiều ứng dụng trắc nghiệm, thỡ khụng trả lời được trong khuụn khổ CTT.
Từ những giới hạn đó nờu trờn đõy, cú thể thấy CTT khụng cho phộp giải quyết tốt một số vấn đề trong thực tiễn trắc nghiệm - như thiết
kế ĐTN, xỏc định cỏc CH gõy thiờn lệch, trắc nghiệm thớch ứng, so bằng cỏc điểm trắc nghiệm.
Do cỏc nguyờn nhõn nờu trờn, nhiều nhà tõm trắc học cố gắng tỡm một lý thuyết mới để thay thế CTT. Lý thuyết mới này kỳ vọng sẽ đạt được cỏc yờu cầu sau: 1) Cỏc đặc trưng CH khụng phụ thuộc nhúm TS; 2) Cỏc điểm mụ tả năng lực TS khụng phụ thuộc vào ĐTN cụ thể mà TS làm; 3) Mụ hỡnh xem xột ở cấp độ CH chứ khụng phải cấp độ ĐTN; 4) Mụ hỡnh khụng đũi hỏi cỏc ĐTN hoàn toàn tương đương để đỏnh giỏ độ tin cậy; và 5) Mụ hỡnh cung cấp giỏ trị độ chớnh xỏc khỏc nhau của phộp đo ở từng mức năng lực của TS.
Chỳng ta sẽ thấy từ phần sau đõy của cuốn sỏch: Lý thuyết Ứng đỏp Cõu hỏi (Item Response Theory) cho phộp đạt cỏc yờu cầu kỳ vọng nờu trờn.
CÂU HỎI TỰ KIỂM TRA
1. Nờu cỏc khỏi niệm và định luật quan trọng trong lý thuyết xỏc suất thống kờ: xỏc suất, tần suất, luật số lớn, tổng thể, mẫu, phõn bố, tương quan, giỏ trị trung bỡnh, độ lệch tiờu chuẩn, phương sai.
2. Mụ tả phõn bố chuẩn và cỏc loại phõn bố thường gặp.
3. Cỏch tớnh độ lệch tiờu chuẩn và phương sai. Thực hành trờn một vớ dụ đơn giản.
4. Cỏch tớnh hệ số tương quan Pearson. Thực hành trờn một vớ dụ đơn giản. 5. Định nghĩa và cỏch tớnh độ khú, độ phõn biệt trong lý thuyết trắc
nghiệm cổ điển.
6. Định nghĩa độ tin cậy, độ giỏ trị của một ĐTN. Cỏc phương phỏp đơn giản để tớnh độ tin cậy.
7. Đối với một ĐTN cụ thể khả năng nào sau đõy cú thể xảy ra: 1) độ tin cậy rất cao nhưng độ giỏ trị rất thấp; 2) độ tin cậy rất thấp nhưng độ giỏ trị rất cao?
8. Vai trũ của độ tin cậy và độ giỏ trị của một ĐTN cụ thể và cỏch đỏnh giỏ tổng quỏt một ĐTN.
9. Mụ tả cỏc cỏch đỏnh giỏ cỏc CH trắc nghiệm theo lý thuyết trắc nghiệm cổ điển.
10. Nờu khỏi niệm điểm thụ và cỏch tớnh điểm tiờu chuẩn tuyệt đối dựa vào điểm thụ.
11. Trỡnh bày cỏch tớnh Điểm Z và cỏc thang điểm tương đối khỏc. Cỏc tham số cơ bản xỏc định một thang điểm tương đối.
12. Nờu cỏc hạn chế của lý thuyết trắc nghiệm cổ điển và kỳ vọng đối với một lý thuyết trắc nghiệm mới.
BÀI TẬP
Bảng 2.6 cung cấp số liệu mụ tả điểm của 30 TS đối với một CH trắc nghiệm nhị phõn và điểm của họ đối với toàn bộ ĐTN. TS được chia thành 2 nhúm cú năng lực thấp và năng lực cao. Tớnh độ khú và độ phõn biệt (định nghĩa theo CTT) của CH đối với từng nhúm TS và nhận xột về tớnh độc lập của cỏc giỏ trị đú trong CTT.
Bảng 2.6.
Nhúm TS năng lực thấp Nhúm TS năng lực cao
TS số Điểm ứng đỏp CH Điểm từ ĐTN TS số Điểm ứng đỏp CH Điểm từ ĐTN 1 0 8 16 1 33 2 0 12 17 0 28 3 0 6 18 1 29 4 0 12 19 1 30 5 0 8 20 1 29 6 0 8 21 0 28 7 0 8 22 1 33 8 0 11 23 1 32 9 1 13 24 1 32 10 0 4 25 1 33 11 1 14 26 0 34 12 1 13 27 1 35 13 0 10 28 1 34 14 0 9 29 1 38 15 0 8 30 1 37 __________________