CÁC KY THUAT PHAN TICH ITEM
N: Tổng số người trả lời item
2. Phân tích độ phan biệt của item
Phân tích độ phân biệt là chỉ ra mức độ khác biệt trong cách trả lời item ở những kiểu người khác nhau.
Không giống như phân tích độ khó, phân tích độ phân biệt thích hợp cho hầu hết các kiểu trắc nghiệm.
Trên những trắc nghiệm đánh giá năng lực (còn gọi
là các trắc nghiệm đánh giá kết quả bộc lộ tối đa -
maximal performance tests), sự phân tích độ phân biệt của item nhằm xác định từng item có năng lực phân biệt giữa những người làm tốt trắc nghiệm và những người làm không tốt. Một item có độ phân biệt tốt là khi trả lời item đó, hầu hết những người có điểm trắc nghi
cao trả lời đúng, đồng thời hầu hết những người có điểm trắc nghiệm thấp lại trả lời sai.
Trên những trắc nghiệm đánh giá kết quả bộc lộ đặc trung (typical performance tests) nhu các trắc nghiém về nhân cách, hứng thú, thái độ, sự phân tích độ phân biệt của item nhằm đánh giá xem liệu từng item có năng lực phân biệt giữa những người đang sở hữu một đặc tính nào đó và những người đang thiếu hụt đặc tính đó không. Ví dụ, một trắc nghiệm đánh giá trầm cảm được thiết kế để phân biệt giữa người bị trầm cảm và người không bị trầm cảm. Trắc nghiệm này nên gồm những item trên đó những người bị trầm cảm và không bị trầm cảm sẽ trả lời theo những cách khác nhau.
Về lý thuyết, phân tích độ phân biệt tiếp cận từng item như là một phép đo riêng biệt về đặc tính được do.
Trong mỗi trắc nghiệm có thể có một số item nào đó đo
những đặc tính không liên quan đến mục đích của trắc nghiệm. Sự phân tích độ phân biệt item có thể được dùng để xác đính xem item nào đo tốt nhất cấu trúc hoặc nội dung mà trắc nghiệm có mục đích phải do.
Nếu một item đo cùng một đặc tính như là toàn bộ
trắc nghiệm đo, lúc đó những người có kết quả điểm cao trên trắc nghiệm cũng là người có kết quả điểm tốt trên item đó.
2.2. Các kỹ thuật đánh giá độ phân biệt của tiem Có nhiều thủ tục kỹ thuật đánh giá độ phân biệt của tem, tuy nhiên có thể xem có hai cách thường được sử dụng nhất: đánh giá chỉ số phân biệt của item (item discrimination index) và đánh giá tương quan điểm item 76
với điểm trắc nghiệm (item - total correlation) 2.8.1. Đánh giá chỉ số phân biệt item
Độ phân biệt item có thể tính cho các trắc nghiệm
năng lực khi các item được cho điểm như là đúng/sai, đúng/không đúng.
Độ phân biệt được xác định từ kết quả so sánh điểm trắc nghiệm của hai nhóm người có điểm số cao và thấp rút ra từ hai mẫu riêng rẽ hoặc từ một mẫu. Nếu lấy từ một mẫu hãy chọn (khoảng 1/3 hay 1⁄4) số người làm trắc nghiệm có điểm cao nhất và số người làm trắc nghiệm có điểm thấp nhất. Việc chọn 1/3 hay 1⁄4 trên tổng số người làm trắc nghiệm vào các nhóm này là quyết định của người thiết kế trắc nghiệm, miễn sao số lượng so sánh không quá ít. Sau khi đã xác định được hai nhóm: nhóm có điểm cao và nhóm có điểm thấp, hãy tính tỷ lệ % số người trả lời đúng trên từng item cho mỗi nhóm. Chỉ số phân biệt của item được tính theo công thức sau đây:
Số người trả lồi đúng ở Số người trả lời đúng nhóm điểm cao ở nhóm điểm
D=f;:PeZ ———————— -
Téng số người trả lời ở 'Tổng số người trả lời nhóm điểm cao ở nhóm điểm thấp D = Dé phan biệt của item
Pạ = Tỷ lệ % số người trong nhóm điểm cao trả lời đúng ttem
Pụ = Tỷ lệ % số người trong nhóm điểm thấp trả lời
ding item
T7
Với các trắc nghiệm đánh giá năng lực, ta có thể giải thích sự thay đối các giá trị của D như sau: Nếu item có câu trả lời khó cho những người ở nhóm điểm thấp mà đã cho những người ổ nhóm điểm cao, thì khi đó chỉ sế D tiếp cận là 1,0 (item có độ phân biệt lý tưởng). Nếu item có câu trả lời khó ngang bằng cho cả hai nhóm (Pạ = Pp), thi-chi số D tiếp cận là 0,0 (item không có độ phân biệt hoặc có độ phân biệt thấp). Nếu item có câu trả lời dé cho những người ở nhóm điểm thấp, nhưng lại khó cho những người ở nhóm điểm cao thì chỉ số phân biệt D
tiếp cận là -10, khi đó item vẫn có độ phân biệt lý
tưởng nhưng không giống như mong đợi. Tuy nhiên, hiếm khi D có giá tri: 0,0; 1,0; -1,0.
Không giống như đệ khó có giá trị P luôn luôn dương, độ phân biệt có thể có giá trị D là số âm. Tuy nhiên, những trắc nghiệm tốt đòi hỏi các chỉ số phân biệt D phải là số dương.
Nói chung, theo các chuyên gia thiết kế trắc nghiệm, chỉ số phân biệt của từng item.được coi là thích hợp khi D lồn hơn hoặc bằng 0,3. Những item có chỉ số D nhỏ hơn hoặc bằng 0,2 nên được viết lại.
D6 phan biệt không chỉ giúp phân biệt những người có điểm số khác nhau mà còn nói lên tính hiệu lực của trắc nghiệm. Nếu trắc nghiệm và item đo cùng một đặc tính thì những ai có kết quả điểm thấp trên trắc nghiệm cũng là những người có kết quả điểm thấp trên item hoặc ngược lại. Như vậy, chỉ số D đương phù hợp tiêu chuẩn này. Nếu một trắc nghiệm chỉ gồm toàn các item 78
có chỉ số D dương, tức là chỉ gồm toàn những item đo cùng một đặc tính với trắc nghiệm. Ngược lại, một trắc nghiệm có những item có chỉ sế D âm, tức là trắc nghiệm gồm cả những item không cùng đo một đặc tính với trắc nghiệm.
Đưới đây là một ví dụ về một thang đo đánh giá năng lực giải quyết vấn để gồm 30 item, được thử trên mẫu gồm 30 học sinh, mỗi item có 4 phương án lựa chọn (nhưng chỉ có một phương án lựa chọn tối ưu được coi là đúng, các phương án khác bij coi 1a sai).
Bảng đánh giá độ khó và độ phân biệt
Hem | Số | Độ | Độ |$ốngườitrảlời| Py |Số ngườitrảlửi| P„ | Độ người | khó | khó | dúng trong số ding trong sé phan
trả lời | thực | ude | 10 học sinh co 10 học sinh có biệt
dúng lượng | điểm cao nhất điểm thấp nhất {D}
#)
+ | 25 | 083 | 075 10 10 5 05 | 05 2 | 17 | 057 | 060 8 08 4 04 | 04 3 | 23 | 077 | 075 $ 09 6 06 | 03 4 | 18 | 0,60 | 0.75 7 0,7 8 0,8 | -04
§ | 16 | 053 | 040 8 0,8 0 00 | 0/8
§ | 27 | 080 | 0,96 9 09 10 10 | -04 7 | 15 | 0,50 | 048 7 07 2 92 | 05 8 | 20 | 0,6 | 060 8 08 4 04 | 04 g | 21 | 970 | 085 8 08 § 06 | 03 10 | 22 | 973 | 070 8 08 § 06 | 02 11 | 16 | 0,53 | 0.85 7 07 § 0,6 | 61 12 | 22 | 073 | 085 $ 08 4 04 | 08
tem | Số | Bộ | Bộ | Số người trảlời| Pr |Số người tả lời| Pạ | Bộ người | khó | khỏ | đúng trong số đúng trong số phân
trả lời thực | ước | 10 học sinh co 10 học sinh có. biệt
dung lượng | điểm cao nhất điểm thấp nhất (D}
13 | 24 | 080 | 075 #) 9 99 6 06 | 04 14 | 18 | 080 | 050 8 08 2 92 | 06 156 | 21 | 070 | 075 $ 0.8 6 08 | 03 46 | 15 | 0,50 | 0,80 8 08 2 0/2 | 08 17 | 16 | 060 | 0,80 10 10 § 9.6 | 04 18 | 19 | 0,83 | 0,60 a 0,8 4 04 | 04 +8 | 24 | 080 | 075 $ 9g § 06 | 03 20 | 26 | 0,87 | 0,80 10 1.0 § 06 | 04
Trong số 20 item, có 16 item (80%) có D lớn hơn hoặc bằng 0,3. Item sế 6 là đễ nhất (P = 0,90). Item số 5 chỉ có học sinh thuộc nhóm điểm cao trả lời đúng. Có hai item có giá trị D âm và hai item có giá trị D nhỏ hơn
hoặc bằng 0,2. Nói chung, những item có độ phân biệt D nhỏ hoặc âm, không phải là những item tốt, vì vậy chúng nên được viết lại.
Cách tính độ phân biệt cho các trắc nghiệm đánh giá nhân cách, hứng thú, thái độ với item có nhiều mức độ cũng có thể sử dụng kỹ thuật tính toán như các trắc nghiệm đánh giá năng lực. Tuy nhiên, sự giải thích về độ phân biệt của từng item có những điểm khác. Không giống như các trắc nghiệm đánh giá năng lụ., các item
tốt thường có độ phân biệt D là số dương, còn ở các trắc
nghiệm đánh giá về nhân cách, hứng thú, thái độ, các 80
item tết có thể có độ phân biệt D là những số âm (nếu D bằng -1,0, item đó vẫn có độ phần biệt "lý tưởng" vì nó vẫn tách biệt các kiểu người khác nhau, tuy nhiên quan hệ giữa item và trắc nghiệm không giếng như mong dai).
2.2.2. Danh gid twong quan giita item va trdéc nghiém
Ngoài cách đánh giá độ phân biệt của item dựa trên sự so sánh tỷ lệ người ở hai nhóm làm trắc nghiệm có điểm cao và thấp cùng chọn lựa một câu trả lời cụ thể như trên, các nhà thiết kế trắc nghiệm còn hay sử dụng một kỹ thuật khác: phân tích tương quan điểm của trắc nghiệm uới điểm của item để đánh giá độ phân biệt của
từng item cụ thể.
Phương pháp này rất thích hợp với các trắc nghiệm đánh giá nhân cách, hứng thú, thái độ cho điểm item theo kiểu nhiều mức độ. Bản chất của phương pháp này
là đánh giá tương quan điểm của item và điểm của trắc
nghiệm, để xác định mức độ biến thiên điểm của trắc nghiệm phụ thuộc như thế nào vào điểm của item nhằm chỉ ra năng lực của từng item tham gia dự đoán điểm của trắc nghiệm. Ưu thế của phương pháp này là những đánh giá đó được kiểm định bằng các phép toán thống
kề có ý nghĩa. Mặt khác, việc đánh giá mối quan hệ giữa điểm của item và điểm của trắc nghiệm rõ ràng tập trung vào cái mà các item có mục đích phải đo (điều này có liên quan đến độ hiệu lực của trắc nghiệm).
81
Nếu trắc nghiệm và item củng đo một đặc tính hay một cấu trúc thì điểm trả lời trên item sẽ tương quan với tổng điểm của trắc nghiệm. Cũng vậy, nếu các item cùng đo một đặc tính hay một cấu trúc thì chúng có tương quan với nhau.
Công thức tính tương quan điểm item và điểm trắc nghiệm như sau:
Ry = @®3XT/M)- (X)Œ)
(7,)(ỉ,)