ƯỚC LƯỢNG CÁC THAM SỐ CỦA CÂU HỎI TRẮC NGHIỆM
Chương này dành để mụ tả một thao tỏc quan trọng trong IRT, đú là quy trỡnh ước lượng tham số của một CH trắc nghiệm dựa vào số liệu thu được từ việc trả lời của cỏc TS đối với một ĐTN. Quy trỡnh ước lượng được trỡnh bày nặng về định tớnh để bạn đọc dễ dàng nắm được bản chất của nú cựng với một hệ quả quan trọng của IRT là sự khụng phụ thuộc của cỏc tham số CH trắc nghiệm vào mẫu TS dựng để ước lượng chỳng, hoặc là tớnh bất biến của cỏc tham số CH trắc nghiệm đối với cỏc phộp đo lường.
5.1. QUY TRèNH ƯỚC LƯỢNG CÁC THAM SỐ CỦA CÂU HỎI
Chương 3 và chương 4 đó trỡnh bày cỏc mụ hỡnh hàm ĐTCH với 1, 2 và 3 tham số. Tuy nhiờn, khi xõy dựng một ĐTN nào đú cỏc tham số của CH là chưa biết, do đú một trong cỏc yờu cầu quan trọng để xõy dựng cỏc ĐTN là ước lượng cỏc tham số của cỏc CH trắc nghiệm.
Trong cỏc mụ hỡnh IRT, xỏc suất để trả lời đỳng CH phụ thuộc vào năng lực θ của TS và cỏc tham số đặc trưng cho CH. Cả hai loại tham số, năng lực của TS và đặc trưng của CH, đều khụng biết. Cỏi cú thể biết được là việc trả lời cỏc CH của cỏc TS. Vấn đề của việc ước lượng là xỏc định cỏc giỏ trị tham số năng lực θ của từng TS và cỏc tham số a, b, c của từng CH từ cỏc kết quả ứng đỏp CH. Để ỏp dụng IRT cho số liệu trắc nghiệm, cụng việc đầu tiờn và quan trọng nhất chớnh là ước lượng cỏc tham số đặc trưng cho mụ hỡnh ứng đỏp CH đó chọn. Cú thể núi thành cụng của ỏp dụng IRT xoay quanh việc tạo ra được cỏc quy trỡnh thớch
Để trỡnh bày được đơn giản, trước hết chỳng ta hóy xem xột việc ước lượng cỏc tham số đặc trưng cho CH trắc nghiệm. Khi ước lượng cỏc tham số đú, chỳng ta giả thiết là đó biết cỏc điểm năng lực của TS. Ở chương 7 sẽ trỡnh bày cỏch ước lượng năng lực TS và cả cỏch ước lượng đồng thời tham số CH và năng lực TS.
Giả thiết chỳng ta cú một tập hợp gồm N TS làm một đề trắc nghiệm cú M CH. Cỏc điểm năng lực của TS phõn bố dọc theo một thang đo năng lực. Xột một CHi xỏc định thứ i. Giả thiết rằng chỳng ta cú thể chia tập hợp TS thành I nhúm trờn thang đo năng lực, sao cho cỏc TS trong cựng một nhúm j nào đú cú cựng một năng lực θj, cụ thể là cú mj TS trong nhúm j, với j=1,2,3,... I. Trong nhúm j cú cựng điểm năng lực xỏc định θj đú giả sử cú rj TS trả lời đỳng CHi thứ i đó cho. Như vậy, ở mức năng lực θj, tỷ lệ trả lời đỳng CHi quan sỏt được là pj(θj)= rj/mj, đú là ước lượng xỏc suất trả lời đỳng CHi ở mức năng lực đó cho. Từ đú cú thể thu được rj và tớnh được pj(θj) cho mỗi mức năng lực j dọc theo thang năng lực đó cho. Cú thể biểu diễn cỏc tỷ lệ trả lời đỳng đối với mỗi nhúm năng lực như ở Hỡnh 5.1. (xem cả vớ dụ nờu ở Bảng 5.1 ở cuối chương).
Hỡnh 5.1.
Nhiệm vụ được đặt ra là tỡm một đường cong ĐTCH trựng khớp tốt nhất với cỏc tỷ số trả lời đỳng CH quan sỏt được. Muốn vậy, trước hết ta phải chọn một mụ hỡnh đường cong sao cho phự hợp. Quy trỡnh sử dụng để tỡm đường cong trựng khớp được dựa trờn thuật toỏn ước lượng theo
biến cố hợp lý cực đại (maximum likelyhood estimation). Ở chương này
sẽ mụ tả định tớnh quy trỡnh ước lượng đú để bạn đọc hiểu bản chất của nú, trong chương 7 sẽ trỡnh bày cỏch tiếp cận định lượng qua việc giới thiệu dạng thức của hàm biến cố hợp lý.
Trước hết, người ta cho cỏc giỏ trị tiờn nghiệm (a priory) của cỏc tham số đường cong, chẳng hạn b=0,0 và a=1,0 đối với mụ hỡnh hàm ĐTCH 2 tham số. Sử dụng cỏc ước lượng đú để tớnh cỏc giỏ trị P(θj) đối với mọi nhúm năng lực nhờ cụng thức ứng với mụ hỡnh đường cong đó chọn. Sau đú theo một thuật toỏn xỏc định như đó nờu trờn người ta tỡm cỏch điều chỉnh cỏc tham số ước lượng của đường cong ĐTCH sao cho đạt được một sự trựng khớp tốt hơn giữa đường cong ĐTCH tớnh theo cỏc tham số ước lượng và cỏc tỷ lệ trả lời đỳng quan sỏt được. Quỏ trỡnh tớnh lặp để điều chỉnh như vậy sẽ tiếp tục cho đến khi sự điều chỉnh khụng làm tăng mức trựng khớp một cỏch đỏng kể. Lỳc đú thỡ dừng chương trỡnh tớnh lặp và cỏc giỏ trị a và b đạt được cuối cựng chớnh là giỏ trị tham số của đường cong ĐTCH ước lượng được. Với cỏc giỏ trị a và b thu được ta cú thể tớnh đường cong P(θ) theo mụ hỡnh đó chọn, đú là đường cong trựng khớp tốt nhất với số liệu quan sỏt. Vớ dụ trờn Hỡnh 5.2 biểu diễn đường cong ĐTCH hai tham số trựng khớp tốt nhất với số liệu quan sỏt được ở Hỡnh 5.1.
Một cõu hỏi quan trọng liờn quan đến việc ước lượng tham số, đú là khi nào thỡ cú thể xem một đường cong ĐTCH cụ thể là trựng khớp với số liệu trả lời một CH. Sự phự hợp giữa cỏc tỷ số trả lời quan sỏt với cỏc số liệu tớnh toỏn từ đường cong ĐTCH cú thể xem là trựng khớp được đỏnh giỏ bằng chỉ số trựng khớp tốt Chi-bỡnh phương (Chi-square
goodness-of-fit index). Chỉ số đú được xỏc định như sau:
) )Q(θ P(θ ) P(θ ) p(θ m χ j j 2 j j I 1 j j 2 , (5.1)
trong đú: I - số nhúm năng lực, θj - mức năng lực của nhúm thứ j,
mj - số TS cú năng lực θj, p(θj) - tỷ số trả lời đỳng quan sỏt được của nhúm thứ j, P(θj) - xỏc suất trả lời đỳng của nhúm thứ j theo tớnh toỏn từ mụ hỡnh ĐTCH sử dụng để ước lượng tham số, Q(θj)= 1- P(θj).
Nếu giỏ trị của chỉ số thu được lớn hơn một giỏ trị tiờu chớ quy định nào đú thỡ đường cong ĐTCH được xỏc định bởi cỏc giỏ trị đó ước lượng của tham số CHi là khụng trựng khớp với số liệu quan sỏt. Sự khụng trựng khớp này cú thể do hai nguyờn nhõn. Thứ nhất, mụ hỡnh đường cong ĐTCH được chọn khụng phự hợp. Thứ hai, cỏc giỏ trị của tỷ số trả lời đỳng CHi rất phõn tỏn nờn khụng thể thu được sự trựng khớp tốt đối với bất cứ mụ hỡnh đường cong ĐTCH nào. Thụng thường khi phõn tớch một ĐTN cú một ớt CH khụng trựng khớp do nguyờn nhõn thứ hai thỡ người ta phải sửa chữa CH trắc nghiệm tương ứng hoặc loại bỏ nú khỏi ĐTN. Cũn nếu cú rất nhiều CH cho số liệu tớnh toỏn khụng trựng khớp với số liệu quan sỏt thỡ thường là do chọn mụ hỡnh đường cong ĐTCH khụng phự hợp, trong trường hợp đú người ta cú thể thử nghiệm chọn một mụ hỡnh khỏc.
5.2. VỀ TÍNH BẤT BIẾN CỦA CÁC THAM SỐ CÂU HỎI ĐỐI VỚI MẪU THÍ SINH ĐỐI VỚI MẪU THÍ SINH
Một tớnh chất quan trọng của IRT là cỏc tham số của CH ước lượng được khụng phụ thuộc vào mức năng lực của cỏc TS trả lời CH trắc nghiệm. Từ đú cú thể núi cỏc tham số của CH là cỏc giỏ trị bất biến đối với mẫu TS trả lời. Cú thể giải thớch tớnh chất đú như sau:
Trước hết cú thể hiểu tớnh bất biến đú là tớnh chất của mụ hỡnh hồi quy tuyến tớnh. Trong mụ hỡnh hồi quy tuyến tớnh, đường cong hồi quy để tiờn đoỏn một biến Y từ một biến X thu được bằng cỏch nối cỏc giỏ trị trung bỡnh của biến Y đối với mỗi giỏ trị của biến X. Khi mụ hỡnh hồi quy được thỏa món, sẽ thu được cựng một đường hồi quy đối với bất kỳ dóy giới hạn (một mẫu) nào của biến X. Bất kỳ một chỉ số nào rỳt ra từ mụ hỡnh đú, chẳng hạn hệ số tương quan, cũng bất biến đối với mọi mẫu con. Hiển nhiờn mẫu con đú phải cú tớnh đồng nhất.
Đối với hàm logistic ta cú thể lập luận đơn giản như sau. Chẳng hạn, một hàm ĐTCH một tham số cú dạng: i i θ b i (θ b ) e P (θ ) . [1 e ]
Từ đú, đối với CHi cú độ khú bi xỏc định, ta cú: P/(1-P) = e (θ-bi). Từ đú trờn đồ thị mối quan hệ f (θ) =ln [P/(1-P)] = θ-bi biểu diễn một đường thẳng f(θ) cắt trục tung tại - bi. Như vậy nếu mụ hỡnh đường cong ĐTCH đú được thỏa món, với mọi mẫu TS cú cỏc năng lực θj bất kỳ trong tổng thể TS, giỏ trị bi thu được của CH đang xột là duy nhất. Đối với mụ hỡnh một tham số, vỡ tớnh đối xứng của cỏc biến -b và θ trong biểu thức, ta cũng cú thể thấy ngay là bằng lý luận tương tự cú thể chứng minh tớnh duy nhất của θj thu được từ cỏc giỏ trị bi khỏc nhau, tức là tớnh bất biến của năng lực đối với tập hợp cỏc CH trắc nghiệm khỏc nhau. Chỳng ta sẽ quay lại tớnh bất biến của năng lực ở chương 7.
Để minh họa rừ hơn tớnh bất biến núi trờn chỳng ta hóy xột cỏc vớ dụ cụ thể sau đõy. Giả sử cú hai mẫu TS được chọn từ một tổng thể TS nào đú là đối tượng thiết kế của ĐTN. Nhúm thứ nhất cú dải năng lực θ khoảng từ -3 đến -1, với giỏ trị trung bỡnh ở -2; nhúm thứ 2 cú dải năng lực θ khoảng từ +1 đến +3, với giỏ trị trung bỡnh ở +2. Tỷ lệ trả lời đỳng một CH đó cho nào đú được tớnh từ số liệu quan sỏt cho mỗi mức năng lực trong hai mẫu TS đó cho. Giả sử đối với mẫu thử thứ nhất ta thu được đồ thị phõn bố tỷ lệ trả lời đỳng theo cỏc nhúm năng lực biểu diễn ở Hỡnh 5.3.
Hỡnh 5.3.
Quỏ trỡnh ước lượng theo biến cố hợp lý cực đại được sử dụng đó tỡm được đường cong ĐTCH với cỏc tham số a = 1,41, b = -0,76 trựng khớp tốt với số liệu quan sỏt. Trờn vớ dụ ở Hỡnh 5.4 cú vẽ phần đường cong ĐTCH tương ứng với dải năng lực của mẫu TS thứ nhất.
Quỏ trỡnh ước lượng nờu trờn cũng được ỏp dụng đối với mẫu TS thứ hai. Cũng như ở mẫu thử thứ nhất, ở mẫu thử thứ hai ta thu được đồ thị phõn bố tỷ lệ trả lời đỳng theo cỏc nhúm năng lực được biểu diễn ở Hỡnh 5.5.
Việc ước lượng theo thuật toỏn biến cố hợp lý cực đại cho đường cong ĐTCH với cỏc tham số a(2) = 1,41, b(2) = -0,76 trựng khớp tốt với số liệu quan sỏt. Trờn Hỡnh 5.6 cú vẽ phần đường cong ĐTCH tương ứng với dải năng lực của mẫu TS thứ hai.
Hỡnh 5.5.
Qua vớ dụ tớnh toỏn trờn đõy cú thể thấy đối với hai lần ước lượng chỳng ta thu được cỏc tham số a và b như nhau cú: a(1) = a(2); b(1) = b(2), tức là việc ước lượng từ hai mẫu TS khỏc nhau cho cựng cỏc giỏ trị tham số của đường cong ĐTCH. Như vậy, tham số của CH là cỏc bất biến đối với mẫu TS. Kết quả dường như hơi bất ngờ này cú thể dễ dàng giải thớch qua quỏ trỡnh ước lượng tham số đường cong. Thật vậy, vỡ mẫu TS thứ nhất cú năng lực trung bỡnh thấp (-2) nờn mức năng lực bao trựm trong mẫu TS thứ nhất sẽ chỉ liờn quan phần đuụi bờn trỏi của đường cong. Do đú, cỏc tỷ số trả lời đỳng quan sỏt được sẽ trải từ cỏc giỏ trị rất bộ đến trung bỡnh. Khi làm cho đường cong trựng khớp với cỏc số liệu đú, chỉ phần đuụi thấp của đường cong là cú liờn quan. Đối với mẫu TS thứ hai, vỡ chỳng cú năng lực trung bỡnh cao (+2) nờn cỏc tỷ số trả lời đỳng quan sỏt trải từ trung bỡnh cho đến rất gần +3. Khi làm cho đường cong trựng khớp với cỏc số liệu đú, chỉ phần đuụi cao của đường cong là cú liờn quan. Như vậy, vỡ rằng cả hai mẫu TS trả lời cựng một CH nờn quỏ trỡnh tỡm đường cong trựng khớp liờn quan đến cựng một đường cong ĐTCH. Do đú cỏc tham số của CH ứng với hai phộp ước lượng dựa vào số liệu của hai mẫu TS sẽ như nhau. Hỡnh 5.2 biểu diễn kết hợp hai nhúm số liệu quan sỏt của hai mẫu TS và một đường cong ĐTCH duy nhất trựng khớp với hai nhúm số liệu.
Tớnh bất biến của cỏc tham số CH đối với mẫu TS là một đặc tớnh hết sức quan trọng của IRT. Tớnh bất biến này núi lờn rằng cỏc tham số của CH là thuộc tớnh riờng của chớnh CH chứ khụng phải của mẫu TS trả
lời CH đú. Trong CTT tỡnh trạng hoàn toàn ngược lại. Chỳng ta đó biết
độ khú theo CTT được định nghĩa là tỷ lệ trả lời đỳng CH trắc nghiệm của một mẫu TS, do đú giỏ trị độ khú tớnh được sẽ phụ thuộc vào tỷ số TS cú năng lực cao trong mẫu thử. Chỳng ta sẽ trở lại xem xột vấn đề này qua vớ dụ bằng số ở cuối chương.
Tớnh bất biến của cỏc tham số đặc trưng cho CH và năng lực TS là hũn đỏ tảng của IRT nờn chỳng tụi muốn trỡnh bày để độc giả nắm vững hơn nhờ một vớ dụ bằng số cú tớnh chất giỏo khoa mượn của Hanbleton [11], từ một kết quả của 90 TS ứng đỏp một ĐTN gồm 40 CH. Kết quả phõn tớch cho thấy số liệu phự hợp với mụ hỡnh ứng đỏp CH hai tham số.
Bảng 5.1 trỡnh bày cỏc TS ở 9 mức năng lực j, mỗi năng lực cú 10 TS, ứng đỏp đối với chỉ 1 CH của ĐTN, cựng với cỏc tổng điểm của mỗi TS thu được bởi ĐTN 40 CH. Hỡnh 5.7 biểu diễn đường cong ĐTCH P().
Hỡnh 5.7. Quan hệ giữa năng lực TS và xỏc suất trả lời đỳng một CH
Chỳng ta hóy xột 2 mẫu, mỗi mẫu gồm 30 TS, thuộc 2 nhúm năng lực khỏc nhau: mẫu TS thứ nhất ở cỏc khoảng năng lực cú tõm điểm là cỏc giỏ trị = -1,716; -1,129 và -0,723; và mẫu TS thứ hai ở cỏc khoảng năng lực cú tõm điểm là cỏc giỏ trị = 0,523; 0,919 và 1,516. Trước hết, từ Bảng 5.1 cú thể tớnh cỏc tham số độ khú và độ phõn biệt cổ điển (theo CTT) của CH. Độ khú được tớnh theo tỷ số trả lời đỳng CH của hai mẫu 30 TS thứ nhất và thứ hai. Độ phõn biệt được tớnh dựa vào hệ số tương quan điểm nhị phõn giữa điểm trả lời CH của mỗi nhúm 30 TS với điểm tổng của cỏc mẫu TS đú đối với toàn bộ ĐTN. Tớnh toỏn cho độ khú và độ phõn biệt tương ứng là (0,2; 0,56) đối với mẫu thứ nhất và (0,8; 0,47) đối với mẫu thứ hai. Rừ ràng giỏ trị độ khú và độ phõn biệt tớnh được theo định nghĩa của CTT là khỏc nhau đối với hai mẫu TS.
Bõy giờ chỳng ta hóy tớnh cỏc tham số b và a đặc trưng cho độ khú và độ phõn biệt theo IRT ứng với hai mẫu TS cú cỏc năng lực đó chọn trờn đõy. Tương tự việc suy ra từ biểu thức (5.2) đối với mụ hỡnh Rasch trờn đõy, từ biểu thức (4.1) đối với mụ hỡnh ứng đỏp CH hai tham số chỳng ta cú thể suy ra:
P
ln =aθ-ab=aθ+β
1-P (5.3) với =-ba. Hệ thức trờn là biểu diễn một hàm tuyến tớnh của với hai ẩn số a và (a là hệ số gúc và là tung độ giao điểm của đường thẳng với trục tung), cỏc ẩn số đú cú thể xỏc định chớnh xỏc nếu biết P và ở hai điểm xỏc định.
Trước hết, chỳng ta hóy chọn hai giỏ trị trờn toàn bộ dải năng lực, chẳng hạn ở đầu và cuối Bảng 5.1: =-1,716 và =1,516, và hai giỏ trị tương ứng P=0,1 và P=0,9. Thay hai giỏ trị và P ở đầu bảng vào biểu thức