Chương 1 VỀ TRẮC NGHIỆM VÀ ĐO LƯỜNG TRONG GIÁO DỤC
2.3. ĐÁNH GIÁ MỘT ĐỀ TRẮC NGHIỆM
Đỏnh giỏ một ĐTN được bắt đầu bằng phõn tớch cỏc CH trong đề.
2.3.1. Phõn tớch cỏc CH trắc nghiệm
Như đó núi ở chương 1, để hồn thiện cỏc ĐTN người ta phải triển khai cỏc trắc nghiệm thử. Trắc nghiệm thử là một phộp đo kộp: dựng
ĐTN để đo năng lực cỏc TS, đồng thời sử dụng nhúm TS như một thước đo để đo chất lượng cỏc CH và bản thõn ĐTN. Phộp đo kộp này cú thể thực hiện được nhờ hiệu quả kỳ diệu của cỏc quy luật thống kờ.
Thật vậy, tuy chưa cú cỏc tham số của ĐTN, qua nhiều bước soạn thảo ngõn hàng CH theo quy trỡnh như nờu ở cuối chương 1, chất lượng ĐTN cũng đó tương đối đảm bảo để cú thể phõn loại TS: những TS làm đỳng nhiều CH tất thuộc nhúm giỏi, những TS làm đỳng ớt CH tất thuộc nhúm kộm. Đưa được TS về hai đầu giỏi và kộm là chỳng ta đó biến nhúm TS thành một thước đo để đo chất lượng cỏc CH và bản thõn ĐTN.
Dưới đõy bạn đọc trước hết sẽ làm quen với vớ dụ về việc phõn tớch CH trắc nghiệm qua giỏ trị độ khú, độ phõn biệt của chỳng, khảo sỏt vai trũ của phương ỏn đỳng và cỏc phương ỏn nhiễu; sau đú sẽ tớnh độ tin cậy và xem xột độ giỏ trị của toàn bộ ĐTN.
Để phõn tớch ĐTN bằng tay, người ta thường lấy ra từ tổng số TS làm ĐTN hai nhúm con, một nhúm bao gồm 27% số người đạt điểm cao
nhất và một nhúm khỏc bao gồm 27% số người đạt điểm thấp nhất. Cỏch phõn chia này cho phộp tớnh độ phõn biệt bằng tay theo cụng thức (2.5). Cũn khi sử dụng mỏy tớnh cú thể dễ dàng tớnh cỏc hệ số tương quan, do đú khụng cần phõn chia TS thành cỏc nhúm con như trờn.
Vớ dụ: Hóy xem xột số liệu qua hai trường hợp sau đõy để phõn tớch
CH trắc nghiệm.
1) Dựa vào kết quả trắc nghiệm thử và tỏch ra cỏc nhúm cú điểm cao và điểm thấp trờn một ĐTN người ta đưa ra cỏc giỏ trị mụ tả ở Bảng 2.3 đối với một CH với 5 phương ỏn chọn (phương ỏn đỳng là B):
Bảng 2.3.
A B* C D E Cộng
Nhúm cao (27%) 0 3 10 3 4 20
Nhúm thấp (27%) 0 6 3 5 6 20
2) Khi phõn tớch số liệu trả lời một ĐTN nhờ phần mềm VITESTA [19] người ta thu được kết quả biểu diễn ở Bảng 2.4 đối với một CH cú 4 phương ỏn chọn (phương ỏn đỳng là B):
Bảng 2.4.
A B* C D Khụng
trả lời
Số TS chọn 9 43 32 19 1
Tương quan giữa điểm
CH và điểm của cả ĐTN -0,34 0,35 -0,13 -0,05
Cỏc bảng số cho phộp chỳng ta phõn tớch cỏc CH như sau:
- Độ khú của cỏc CH: Đối với CH ở Bảng 2.3 ta chỉ cú thể tớnh giỏ
trị gần đỳng của độ khú, vỡ khụng cú thụng tin về trả lời của cỏc TS ngoài hai nhúm giỏi và kộm. Ở đõy cú 9 TS trả lời đỳng trờn tổng số 40 TS, do đú độ khú gần đỳng bằng: (3+6)/40 = 0,225.
- Độ phõn biệt của cỏc CH:
Đối với CH ở Bảng 2.3, cụng thức (2.5) cho phộp tớnh độ phõn biệt của nú: (3 - 6)/20 = -0,15.
Đối với CH ở Bảng 2.4 độ phõn biệt chớnh là hệ số tương quan của điểm chọn phương ỏn đỳng của CH với điểm cả ĐTN, tức là 0,35.
- Cỏc phương ỏn nhiễu:
Đối với CH ở Bảng 2.3, cần phải xem lại phương ỏn B cú phải là phương ỏn đỳng hay khụng, vỡ độ phõn biệt ở đõy là õm. Cú thể cú cỏc khả năng: hoặc B thực sự khụng phải là phương ỏn đỳng nhưng người ta đó gỏn nhầm đỏp ỏn vào B, hoặc do CH được diễn đạt khụng rừ ràng nờn đa số TS của nhúm điểm cao khụng chọn phương ỏn B. Nếu cả hai khả năng trờn đều khụng xảy ra thỡ hóy xem lại trong quỏ trỡnh giảng dạy giảng viờn cú tạo nờn sự hiểu nhầm nào liờn quan đến nội dung CH hay khụng. Phương ỏn nhiễu C là rất khả nghi, vỡ nú cú cho hệ số tương quan dương rất lớn, giống như là phương ỏn đỳng. Phải chăng đõy mới thật sự là phương ỏn đỳng? Nếu khụng, cần xem lại cỏch diễn đạt của CH hoặc quỏ trỡnh giảng dạy đó gõy hiểu nhầm. Cỏc phương ỏn nhiễu và D, E cho tương quan chấp nhận được. Cũn phương ỏn A là một phương ỏn nhiễu tồi vỡ khụng đỏnh lừa được ai, cả cỏc TS ở nhúm điểm cao và ở nhúm điểm thấp, cần thay bằng một phương ỏn khỏc.
Đối với CH ở Bảng 2.4 độ phõn biệt của phương ỏn đỳng là dương và cú giỏ trị lớn (0,35 > 0,2), rất tốt, cũn hệ số tương quan ứng với cỏc phương ỏn nhiễu là õm, cũng rất phự hợp.
Qua việc phõn tớch độ khú, độ phõn biệt của cỏc CH nờu ở Bảng 2.3, Bảng 2.4 và cỏc phương ỏn chọn của chỳng, chỳng ta cú thể kết luận: CH được mụ tả ở Bảng 2.3 là một CH hỏi kộm, cần phải sửa chữa một cỏch cơ bản nếu khụng loại bỏ; cũn CH bảng 2.4 là một CH khỏ tốt.
2.3.2. Tớnh độ tin cậy của ĐTN
Mục 2.2.3 đó trỡnh bày cỏc cỏch tớnh độ tin cậy của ĐTN, trong đú cú thể sử dụng phương phỏp phõn đụi ĐTN hoặc cỏc cụng thức K-R20 và K-R21.
Dưới đõy sẽ nờu cỏc vớ dụ về hai cỏch tớnh vừa nờu.
Dựng phương phỏp phõn đụi đề trắc nghiệm: Để vớ dụ, ta xem
Bảng 2.2 là kết quả làm hai ĐTN ngắn, mỗi đề 11 cõu, bởi một nhúm TS. Giả sử hai ĐTN ngắn đú là hai nửa của một ĐTN dài hơn, gồm 22 cõu, ĐTN xi bao gồm cỏc cõu chẵn, ĐTN yj bao gồm cỏc cõu lẻ.
Để tớnh độ tin cậy của ĐTN phõn đụi, trước hết ta phải tớnh hệ số tương quan của hai nửa ĐTN. Việc đú đó được thực hiện ở vớ dụ tại mục 2.1:
r = 0,478
Tuy nhiờn, đõy mới chỉ là độ tin cậy của nửa ĐTN gồm 11CH. Để tớnh độ tin cậy của ĐTN xuất phỏt với 22 CH, cần phải hiệu chỉnh độ tin cậy theo cụng thức (2.7):
r = 2rS/(rS+1) = 2 0,478/ (0,478 + 1) = 0,647.
Sử dụng cỏc cụng thức K-R 20 và K-R 21:
Như đó biết, cụng thức K-R21 thu được từ cụng thức K-R20 với giả thiết là độ khú của cỏc CH trong ĐTN xấp xỉ bằng nhau. Để tớnh toỏn, chỳng ta hóy sử dụng vớ dụ cú tớnh giỏo khoa R. Ebel đưa ra và được nờu lại trong tài liệu tham khảo [1]về 2 ĐTN, mỗi ĐTN gồm 100 CH, với phõn bố cỏc độ khú, điểm trung bỡnh, độ lệch tiờu chuẩn như nờu ở Bảng 2.5.
Theo cụng thức K-R20 (2.8): r = [k/(k-1)](1- pq/2),
- ĐTN A: cả 100 cõu đều cú độ khú 0,5 thỡ p=0,5; q=1-p =0,5 → pq = 0,25 → pq = 100 0,25 = 25
Từ đú: r = (100/99) (1 - 25/152) 0,898
- ĐTN B: Tớch pq của mỗi CH cỏch đều CH nằm giữa với p=0,5 là như nhau, do đú:
pq = 0,9 0,1 10 2 + 0,8 0,2 10 2 + 0,7 0,3 10 2 + 0,6 0,4 10 2 + 0,5 0,5 10 = 16,5
Từ đú: r = (100/99) (1 - 16,5/82) 0,750
- ĐTN A:
r = (100/99) [1 - 50 (1 - 50/100)/152] 0,898 - ĐTN B:
r = (100/99) [1 - 50 (1 - 50/100)/82] 0,615
Rừ ràng hai cụng thức K-R.20 và K-R.21 cho kết quả như nhau đối với ĐTN A, một ĐTN mà mọi CH đều cú độ khú như nhau, và kết quả khỏc nhau nhiều đối với ĐTN B, một ĐTN mà độ khú của cỏc nhúm CH khỏc nhau đỏng kể, đỳng như điều kiện đặt ra khi sử dụng 2 cụng thức đú.
Bảng 2.5. Số CH Giỏ trị độ khú (tỷ lệ trả lời đỳng) ĐTN A ĐTN B 5 1 10 0,9 10 0,8 10 0,7 10 0,6 100 10 0,5 10 0,4 10 0,3 10 0,2 10 0,1 5 0,0 50 50 Điểm trung bỡnh M 15 8 Độ lệch tiờu chuẩn
2.3.3. Xem xột độ giỏ trị của ĐTN
Hai đại lượng quan trọng thường được dựa vào để đỏnh giỏ một ĐTN là độ tin cậy và độ giỏ trị. Khi đỏnh giỏ độ tin cậy, phải xem xột cỏc hệ số tin cậy và sai số tiờu chuẩn của phộp đo. Cũn khi đỏnh giỏ độ giỏ trị
phải coi trọng sự phõn tớch nội dung hơn là cỏc số liệu thống kờ. Cũng cần lưu ý rằng đõy là cỏc đại lượng cú tớnh tổng hợp, khụng những gắn liền với chất lượng ĐTN, mà cũn với toàn bộ quỏ trỡnh tổ chức kỳ thi, chấm thi.
Như đó núi ở phần trước, một ĐTN muốn cú độ giỏ trị cao tất yếu phải cú độ tin cậy cao, tuy nhiờn ĐTN cú độ tin cậy cao chưa hẳn đó cú độ giỏ trị cao. Cú thể làm tăng độ tin cậy của ĐTN khi tăng mức độ thuần nhất về nội dung của nú, nhưng để tăng mức độ thuần nhất, chẳng hạn loại bỏ bớt cỏc CH khú, đụi khi phải hy sinh độ giỏ trị. Trong những trường hợp đú nờn coi trọng độ giỏ trị hơn là độ tin cậy.