PHẦN II TRẮC NGHIỆM HIỆN ĐẠ I Lí THUYẾT ỨNG ĐÁP CÂU HỎI
4.2. MỘT VÀI LƯU í VỀ CÁC Mễ HèNH KIỂU KHÁC VỀ ĐẶC TRƯNG
4.2.1. Mụ hỡnh đặc trưng của cõu hỏi dạng đường cong tớch lũy vũm chuẩn
vũm chuẩn
Vỡ phõn bố chuẩn xỏc suất là nền tảng của lý thuyết thống kờ, nờn từ lõu cỏc nhà tõm trắc học đó dựng đường cong tớch lũy vũm chuẩn (normal ogive) làm mụ hỡnh để nghiờn cứu việc trả lời CH (Muler 1904, Urban 1910, Thomson 1919). Tớnh hợp lý của việc sử dụng đường cong tớch lũy vũm chuẩn làm đường cong ĐTCH được biện minh cả trờn quan điểm thực dụng lẫn lý thuyết (Lord, 1980 [5], Barker, 1992 [8]).
Biểu thức đường cong tớch lũy vũm chuẩn đối với mụ hỡnh 2 tham số cú dạng: P (θ) = 2 a(θ-b) (-t 2) -Ơ 1 e dt 2π , (4.5) và đối với mụ hỡnh 3 tham số như sau:
P (θ) = c + (1- c) e dt 2π 1 ( t 2) b) a(θ 2 . (4.6) Biểu thức (4.5) và (4.6) cho thấy cỏc hàm này là hàm xỏc suất tớch lũy tớnh theo mật độ xỏc suất của phõn bố chuẩn. Đú là cỏc hàm của biến năng lực θ với cỏc tham số a, b, c.
Khi khảo sỏt quan hệ định lượng giữa cỏc mụ hỡnh ĐTCH cú dạng đường cong tớch lũy vũm chuẩn và mụ hỡnh ĐTCH cú dạng logistic, Halley (1952) [9] đó cho biết rằng nếu nhõn tham số biểu thị độ dốc a của hàm logistic cho hệ số D=1,702 và sử dụng như ở biểu thức (4.1) thỡ sự sai khỏc tuyệt đối giữa cỏc xỏc suất biểu diễn bởi biểu thức hàm dạng logistic (4.1) và biểu thức hàm dạng tớch lũy vũm chuẩn (4.5) sẽ bộ hơn 0,01 trờn cả thang θ.
(nếu nhõn hệ số a ở 4.1 với D=1,702 thỡ hai đường cong gần như trựng nhau)
Như vậy, đối với mọi ứng dụng thực tiễn hai mụ hỡnh hàm ĐTCH dạng logistic và dạng tớch lũy vũm chuẩn là như nhau. Trong khi đú biểu
thức toỏn học của hàm logistic đơn giản hơn nhiều và tốc độ tớnh toỏn thực tế đối với chỳng giảm nhiều vỡ khụng phải tớnh tớch phõn, do đú thậm chớ cú thể tớnh chỳng trờn cỏc mỏy tớnh giản đơn. Vỡ lý do đú, trong những năm gần đõy người ta thiờn về sử dụng mụ hỡnh cỏc đường cong logistic hơn là mụ hỡnh cỏc đường cong tớch lũy vũm chuẩn. Dự vậy trong nhiều nghiờn cứu lý thuyết, đặc biệt là những nghiờn cứu về mối quan hệ giữa lý CTT và IRT, người ta vẫn cũn nhắc đến cỏc mụ hỡnh hàm tớch lũy vũm chuẩn.
Hỡnh 4.3. Cỏc đường cong biểu diễn hàm (4.1) và (4.5) 4.2.2. Về mụ hỡnh Rasch và vai trũ của nú
Chỳng tụi đó chọn mụ hỡnh một tham số, mụ hỡnh Rasch, làm mụ hỡnh trỡnh bày đầu tiờn trong cỏc mụ hỡnh đường cong ĐTCH vỡ mụ hỡnh này đơn giản nhất và phản ỏnh tường minh nhất mối quan hệ giữa TS và CH. Tuy nhiờn, như đó núi trờn đõy, trong tiến trỡnh lịch sử hỡnh thành IRT khụng phải mụ hỡnh Rasch xuất hiện trước cỏc mụ hỡnh khỏc. Nhà toỏn học và tõm lý học người Đan Mạch, George Rasch, đó cú ý tưởng xõy dựng "một mụ hỡnh cấu trỳc cho cỏc CH trong một ĐTN" từ thập niờn 1950, đề xuất mụ hỡnh xỏc suất logistic đú từ 1953, nhưng ở Mỹ người ta biết đến cụng trỡnh của ụng từ khi ụng cụng bố chớnh thức trong
một cuốn sỏch xuất bản năm 1960 [3]. Động cơ của Rasch muốn thể hiện qua mụ hỡnh của mỡnh là hạn chế việc dựa vào tổng thể TS khi phõn tớch cỏc ĐTN. Theo ụng, phõn tớch trắc nghiệm chỉ đỏng giỏ khi dựa vào từng cỏ nhõn TS, với cỏc tham số của TS và CH được tỏch riờng. Để biện minh cho quan điểm của mỡnh, ụng thường dẫn lời Skiner, người rất ghột việc căn cứ vào thống kờ dựa trờn tổng thể để kết luận và thường triển khai nghiờn cứu thực nghiệm trờn từng cỏ thể. Quan điểm của Rasch đó đỏnh dấu sự chuyển tiếp từ CTT, dựa trờn tổng thể với việc nhấn mạnh đến biện phỏp tiờu chuẩn húa và ngẫu nhiờn húa, sang IRT với mụ hỡnh xỏc suất tương tỏc giữa một CH và một TS. Sự tồn tại của cỏc số liệu thống kờ đầy đủ của cỏc tham số của CH trong mụ hỡnh Rasch cú thể được sử dụng vào việc điều chỉnh ước lượng cỏc tham số năng lực theo một cỏch thức đặc biệt.
Cựng trong khoảng thời gian cụng bố cụng trỡnh của mỡnh, Rasch được mời sang cộng tỏc nghiờn cứu 3 thỏng tại Viện Đại học Chicago. Tại đõy, B. Wright [10]đó cú rất nhiều đúng gúp để nõng cao và phỏt triển mụ hỡnh Rasch. Theo Wright, ý tưởng của Rasch về việc chọn mụ hỡnh logistic với chỉ một tham số là độ khú đó giải phúng được bế tắc của việc phỏt triển IRT trong nhiều thập niờn, vỡ nhiều nhà tõm trắc học qua cỏc nghiờn cứu của mỡnh đó khẳng định rằng chỉ cú độ khú là cú thể ước lượng được một cỏch ổn định và đầy đủ qua số liệu quan sỏt đối với loại CH trắc nghiệm nhị phõn. Do đú, hiện nay, tuy là mụ hỡnh ĐTCH đơn giản nhất trong cỏc mụ hỡnh IRT (và cú lẽ cũng chớnh vỡ tớnh đơn giản nhưng đầy đủ của nú), mụ hỡnh Rasch đó được sử dụng nhiều nhất trong cỏc nghiờn cứu tõm lý và giỏo dục. Cũng theo Wright [10], mụ hỡnh Rasch là mụ hỡnh duy nhất thỏa món cỏc yờu cầu để xõy dựng cỏc phộp đo lường khỏch quan trong khoa học xó hội núi chung, và Wright cú ý kiến khỏ cực đoan rằng khụng nờn sử dụng cỏc mụ hỡnh khỏc trong cỏc phộp đo lường khỏch quan. Tuy nhiờn một số nhà nghiờn cứu khỏc cho rằng về lý thuyết thỡ dạng toỏn học của mụ hỡnh Rasch cú nhiều lợi thế, nhưng khi núi đến mụ hỡnh toỏn học, tức là núi đến một sự giả định, tiờu chuẩn để đỏnh giỏ hiệu quả của mụ hỡnh là sự phự hợp của chỳng với số liệu thực nghiệm chứ khụng chỉ thuần tỳy ở dạng toỏn học. Người ta thường gọi quan điểm của Wright là quan điểm "dựa trờn mụ
hỡnh" (model-based), cũn quan điểm ngược lại là quan điểm "dựa trờn dữ liệu" (data-based).
CÂU HỎI TỰ KIỂM TRA
1) Dỏng điệu của đường cong ĐTCH 2 tham số phụ thuộc tham số
a như thế nào? Tại sao tham số a đặc trưng cho độ phõn biệt của cõu hỏi?
2) Dỏng điệu của đường cong ĐTCH 3 tham số phụ thuộc tham số
c như thế nào? Tại sao tham số c đặc trưng cho độ đoỏn mũ của cõu hỏi?
3) í nghĩa của hàm ĐTCH theo đường cong tớch lũy vũm chuẩn. Sự khỏc biệt trong thực tế của xỏc suất trả lời đỳng CH tớnh toỏn theo cỏc hàm ĐTCH dạng tớch lũy vũm chuẩn và dạng logistic.
4) So sỏnh cỏc định nghĩa và cỏc khoảng giỏ trị bằng số cú thể cú của độ khú và độ phõn biệt theo CTT và IRT.
5) Quan niệm của B. Wright về việc sử dụng cỏc mụ hỡnh 1, 2, 3 tham số.
BÀI TẬP
Bảng 4.1 cho cỏc tham số của 6 CH nhị phõn.
Đối với mỗi CH hóy tớnh P(θ) tại θ = -3, -2, -1, 0, 1, 2 và 3. Vẽ cỏc đường cong ĐTCH.
CH nào dễ nhất?
CH nào cú tham số độ phõn biệt thấp nhất?
Một TS cú năng lực θ = 0 sẽ ứng đỏp đỳng CH nào với xỏc suất cao nhất? Xỏc xuất để TS ấy ứng đỏp sai CH bằng bao nhiờu?
Bảng 4.1. CH b a c 1 1,0 1,8 0,00 2 1,0 0,7 0,00 3 1,0 1,8 0,25 4 -0,5 1,2 0,20 5 0,5 1,2 0,00 6 0,0 0,5 0,10
Ứng đỏp của 40 TS ở một mức năng lực đó cho đối với 2 CH được cho ở Bảng 4.2. Lập một ma trận 2x2 về cỏc ứng đỏp đỳng và sai đối với 2 CH nờu trờn. Dựng kiểm nghiệm Chi-bỡnh phương (χ2) về mức độ độc lập để kiểm định tớnh độc lập địa phương của hai CH đú ở mức năng lực đó cho. Bảng 4.2. CH Ứng đỏp của cỏc TS 1 0 0 0 0 0 1 1 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 1 0 0 0 0 0 0 0 1 1 0 0 1 1 0 1 0 1 2 0 1 1 0 0 0 0 0 1 1 1 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 1 1 0 0 1 1 1 1 __________________
Chương 5
ƯỚC LƯỢNG CÁC THAM SỐ CỦA CÂU HỎI TRẮC NGHIỆM
Chương này dành để mụ tả một thao tỏc quan trọng trong IRT, đú là quy trỡnh ước lượng tham số của một CH trắc nghiệm dựa vào số liệu thu được từ việc trả lời của cỏc TS đối với một ĐTN. Quy trỡnh ước lượng được trỡnh bày nặng về định tớnh để bạn đọc dễ dàng nắm được bản chất của nú cựng với một hệ quả quan trọng của IRT là sự khụng phụ thuộc của cỏc tham số CH trắc nghiệm vào mẫu TS dựng để ước lượng chỳng, hoặc là tớnh bất biến của cỏc tham số CH trắc nghiệm đối với cỏc phộp đo lường.
5.1. QUY TRèNH ƯỚC LƯỢNG CÁC THAM SỐ CỦA CÂU HỎI
Chương 3 và chương 4 đó trỡnh bày cỏc mụ hỡnh hàm ĐTCH với 1, 2 và 3 tham số. Tuy nhiờn, khi xõy dựng một ĐTN nào đú cỏc tham số của CH là chưa biết, do đú một trong cỏc yờu cầu quan trọng để xõy dựng cỏc ĐTN là ước lượng cỏc tham số của cỏc CH trắc nghiệm.
Trong cỏc mụ hỡnh IRT, xỏc suất để trả lời đỳng CH phụ thuộc vào năng lực θ của TS và cỏc tham số đặc trưng cho CH. Cả hai loại tham số, năng lực của TS và đặc trưng của CH, đều khụng biết. Cỏi cú thể biết được là việc trả lời cỏc CH của cỏc TS. Vấn đề của việc ước lượng là xỏc định cỏc giỏ trị tham số năng lực θ của từng TS và cỏc tham số a, b, c của từng CH từ cỏc kết quả ứng đỏp CH. Để ỏp dụng IRT cho số liệu trắc nghiệm, cụng việc đầu tiờn và quan trọng nhất chớnh là ước lượng cỏc tham số đặc trưng cho mụ hỡnh ứng đỏp CH đó chọn. Cú thể núi thành cụng của ỏp dụng IRT xoay quanh việc tạo ra được cỏc quy trỡnh thớch
Để trỡnh bày được đơn giản, trước hết chỳng ta hóy xem xột việc ước lượng cỏc tham số đặc trưng cho CH trắc nghiệm. Khi ước lượng cỏc tham số đú, chỳng ta giả thiết là đó biết cỏc điểm năng lực của TS. Ở chương 7 sẽ trỡnh bày cỏch ước lượng năng lực TS và cả cỏch ước lượng đồng thời tham số CH và năng lực TS.
Giả thiết chỳng ta cú một tập hợp gồm N TS làm một đề trắc nghiệm cú M CH. Cỏc điểm năng lực của TS phõn bố dọc theo một thang đo năng lực. Xột một CHi xỏc định thứ i. Giả thiết rằng chỳng ta cú thể chia tập hợp TS thành I nhúm trờn thang đo năng lực, sao cho cỏc TS trong cựng một nhúm j nào đú cú cựng một năng lực θj, cụ thể là cú mj TS trong nhúm j, với j=1,2,3,... I. Trong nhúm j cú cựng điểm năng lực xỏc định θj đú giả sử cú rj TS trả lời đỳng CHi thứ i đó cho. Như vậy, ở mức năng lực θj, tỷ lệ trả lời đỳng CHi quan sỏt được là pj(θj)= rj/mj, đú là ước lượng xỏc suất trả lời đỳng CHi ở mức năng lực đó cho. Từ đú cú thể thu được rj và tớnh được pj(θj) cho mỗi mức năng lực j dọc theo thang năng lực đó cho. Cú thể biểu diễn cỏc tỷ lệ trả lời đỳng đối với mỗi nhúm năng lực như ở Hỡnh 5.1. (xem cả vớ dụ nờu ở Bảng 5.1 ở cuối chương).
Hỡnh 5.1.
Nhiệm vụ được đặt ra là tỡm một đường cong ĐTCH trựng khớp tốt nhất với cỏc tỷ số trả lời đỳng CH quan sỏt được. Muốn vậy, trước hết ta phải chọn một mụ hỡnh đường cong sao cho phự hợp. Quy trỡnh sử dụng để tỡm đường cong trựng khớp được dựa trờn thuật toỏn ước lượng theo
biến cố hợp lý cực đại (maximum likelyhood estimation). Ở chương này
sẽ mụ tả định tớnh quy trỡnh ước lượng đú để bạn đọc hiểu bản chất của nú, trong chương 7 sẽ trỡnh bày cỏch tiếp cận định lượng qua việc giới thiệu dạng thức của hàm biến cố hợp lý.
Trước hết, người ta cho cỏc giỏ trị tiờn nghiệm (a priory) của cỏc tham số đường cong, chẳng hạn b=0,0 và a=1,0 đối với mụ hỡnh hàm ĐTCH 2 tham số. Sử dụng cỏc ước lượng đú để tớnh cỏc giỏ trị P(θj) đối với mọi nhúm năng lực nhờ cụng thức ứng với mụ hỡnh đường cong đó chọn. Sau đú theo một thuật toỏn xỏc định như đó nờu trờn người ta tỡm cỏch điều chỉnh cỏc tham số ước lượng của đường cong ĐTCH sao cho đạt được một sự trựng khớp tốt hơn giữa đường cong ĐTCH tớnh theo cỏc tham số ước lượng và cỏc tỷ lệ trả lời đỳng quan sỏt được. Quỏ trỡnh tớnh lặp để điều chỉnh như vậy sẽ tiếp tục cho đến khi sự điều chỉnh khụng làm tăng mức trựng khớp một cỏch đỏng kể. Lỳc đú thỡ dừng chương trỡnh tớnh lặp và cỏc giỏ trị a và b đạt được cuối cựng chớnh là giỏ trị tham số của đường cong ĐTCH ước lượng được. Với cỏc giỏ trị a và b thu được ta cú thể tớnh đường cong P(θ) theo mụ hỡnh đó chọn, đú là đường cong trựng khớp tốt nhất với số liệu quan sỏt. Vớ dụ trờn Hỡnh 5.2 biểu diễn đường cong ĐTCH hai tham số trựng khớp tốt nhất với số liệu quan sỏt được ở Hỡnh 5.1.
Một cõu hỏi quan trọng liờn quan đến việc ước lượng tham số, đú là khi nào thỡ cú thể xem một đường cong ĐTCH cụ thể là trựng khớp với số liệu trả lời một CH. Sự phự hợp giữa cỏc tỷ số trả lời quan sỏt với cỏc số liệu tớnh toỏn từ đường cong ĐTCH cú thể xem là trựng khớp được đỏnh giỏ bằng chỉ số trựng khớp tốt Chi-bỡnh phương (Chi-square
goodness-of-fit index). Chỉ số đú được xỏc định như sau:
) )Q(θ P(θ ) P(θ ) p(θ m χ j j 2 j j I 1 j j 2 , (5.1)
trong đú: I - số nhúm năng lực, θj - mức năng lực của nhúm thứ j,
mj - số TS cú năng lực θj, p(θj) - tỷ số trả lời đỳng quan sỏt được của nhúm thứ j, P(θj) - xỏc suất trả lời đỳng của nhúm thứ j theo tớnh toỏn từ mụ hỡnh ĐTCH sử dụng để ước lượng tham số, Q(θj)= 1- P(θj).
Nếu giỏ trị của chỉ số thu được lớn hơn một giỏ trị tiờu chớ quy định nào đú thỡ đường cong ĐTCH được xỏc định bởi cỏc giỏ trị đó ước lượng của tham số CHi là khụng trựng khớp với số liệu quan sỏt. Sự khụng trựng khớp này cú thể do hai nguyờn nhõn. Thứ nhất, mụ hỡnh đường cong ĐTCH được chọn khụng phự hợp. Thứ hai, cỏc giỏ trị của tỷ số trả lời đỳng CHi rất phõn tỏn nờn khụng thể thu được sự trựng khớp tốt đối với bất cứ mụ hỡnh đường cong ĐTCH nào. Thụng thường khi phõn tớch một ĐTN cú một ớt CH khụng trựng khớp do nguyờn nhõn thứ hai thỡ người ta phải sửa chữa CH trắc nghiệm tương ứng hoặc loại bỏ nú khỏi ĐTN. Cũn nếu cú rất nhiều CH cho số liệu tớnh toỏn khụng trựng khớp với số liệu quan sỏt thỡ thường là do chọn mụ hỡnh đường cong ĐTCH khụng phự hợp, trong trường hợp đú người ta cú thể thử nghiệm chọn một mụ hỡnh khỏc.
5.2. VỀ TÍNH BẤT BIẾN CỦA CÁC THAM SỐ CÂU HỎI ĐỐI VỚI MẪU THÍ SINH ĐỐI VỚI MẪU THÍ SINH
Một tớnh chất quan trọng của IRT là cỏc tham số của CH ước lượng được khụng phụ thuộc vào mức năng lực của cỏc TS trả lời CH trắc nghiệm. Từ đú cú thể núi cỏc tham số của CH là cỏc giỏ trị bất biến đối với mẫu TS trả lời. Cú thể giải thớch tớnh chất đú như sau:
Trước hết cú thể hiểu tớnh bất biến đú là tớnh chất của mụ hỡnh hồi quy tuyến tớnh. Trong mụ hỡnh hồi quy tuyến tớnh, đường cong hồi quy để tiờn đoỏn một biến Y từ một biến X thu được bằng cỏch nối cỏc giỏ trị trung bỡnh của biến Y đối với mỗi giỏ trị của biến X. Khi mụ hỡnh hồi quy được thỏa món, sẽ thu được cựng một đường hồi quy đối với bất kỳ dóy giới hạn (một mẫu) nào của biến X. Bất kỳ một chỉ số nào rỳt ra từ mụ hỡnh đú, chẳng hạn hệ số tương quan, cũng bất biến đối với mọi mẫu con. Hiển nhiờn mẫu con đú phải cú tớnh đồng nhất.
Đối với hàm logistic ta cú thể lập luận đơn giản như sau. Chẳng