2 Mơ hình phản hồi thời gian ứng đáp câu hỏi lognormal
2.3 Ảnh hưởng của tham số phân biệt đối với phân bố thời gian phản hồ
bố phản hồi (phần dưới). Bên trái là các hình với tham số phân biệt có giá trị nhỏ, phần bên phải có tham số phân biệt có giá trị lớn hơn. Diện tích phần trùng nhau của hai phân bố lớn hơn nếu giá trị tham số phân biệt lớn hơn.[4]
Hơn thế nữa, mơ hình lơ-ga-rít chuẩn khơng cần tham số dự đốn xác suất đoán đúng câu trả lời ci như trong mơ hình 3PL ở phương trình (2.1). Với thời gian phản hồi, đường tiệm cận dưới khơng có ý nghĩa gì vì hiển nhiên, thời gian phản hồi có giới hạn dưới bằng 0, xảy ra khi tốc độ của thí sinh tăng hoặc khi mất ít thời gian hơn để trả lời câu hỏi. Do đó,các giá trị ở đi dưới trong phân bố thời gian phản hồi không nên bị hạn chế bởi bất kỳ tham số nào.
Trong nghiên cứu thực nghiệm ở phần sau, ta cũng đánh giá độ ảnh hưởng của việc ràng buộc
αi =α ∀ i (2.17)
trong việc khớp thực nghiệm với mơ hình lơ-ga-rít chuẩn. Độ khớp của dữ liệu với những ràng buộc này sẽ giúp chúng ta xác định được mơ hình lơ-ga-rit chuẩn có cần
hai tham số khơng hay có thể giảm bớt về một tham số tương tự như mơ hình Rasch hay mơ hình IRT một tham số. Nếu thế, ràng buộc này sẽ giúp ta dễ dàng giảm số lượng tham số trong mơ hình phân cấp cho tốc độ và độ chính xác đã được giới thiệu ở phần trước.
Cấu trúc tham số của mô hình lơ-ga-rít chuẩn trong luận văn này đã được lựa chọn để chỉ đại diện cho thành tố cơ bản nhất trong liên hệ giữa bài kiểm tra và thí sinh tham gia. Dĩ nhiên, cịn nhiều nhân tố khác có thể ảnh hưởng đến thời gian trả lời, nhưng để dùng được định lý giới hạn trung tâm thì các nhân tố gây tác thường kèm giả thiết phải thuộc họ chuẩn tắc với phân bố log thời gian.
Các mơ hình dựa vào phân bố mũ và gamma được đề cập trong phần trước thường bắt đầu từ các giả thiết chặt chẽ hơn cho quá trình giải quyết vấn đề phản hồi cơ bản của mỗi thí sinh cho từng câu hỏi. Các loại giả định có thể so sánh được sử dụng để rút ra các mơ hình xử lý thời gian phản hồi trong khung IRT đã thảo luận trước đó. Điểm mạnh của những mơ hình này cũng đồng thời là điểm yếu của chúng. Nếu quá trình giải quyết vấn để thực sự diễn ra khi gặp các giả thiết chặt chẽ của nó thì những mơ hình này vẫn khơng thể bị đánh bại. Nhưng nếu khơng, các mơ hình này nhất định sẽ thất bại. Tính đặc hiệu của các mơ hình này cũng được phản ánh bởi hình dạng phân bố của chúng. Ví dụ, mơ hình mũ ln là một mơ hình đơn tại tij = 0. Nhưng đặc
trưng này dường như không thực tế cho phân bố của thời gian phản hồi trong các bài kiểm tra trên máy tính. Tương tự, phân bố gamma có trung bình và phương sai phụ thuộc, nếu một trong hai tăng thì cái cịn lại cũng tăng. Phân bố Weibull trong mơ hình của Roskam (1997) cũng giống như vậy. Không dễ để hiểu tại sao đặc trưng này luôn cần thiết trong mật độ để phù hợp với thời gian phản hồi của các câu hỏi kiểm tra.
2.2.3 Mơ hình chuẩn
Mơ hình chuẩn được xác định trên toàn bộ trục thực, với thời gian phản hồi là biến khơng âm nên mơ hình chuẩn có thể sử dụng cho log thời gian phản hồi. Tuy nhiên, sự vắng mặt của chuyển đổi log thời gian không nhất thiết tạo ra sự không phù hợp giữa phân bố chuẩn và thời gian phản hồi thực tế nếu thời gian phản hồi thực tế khơng q thấp. Trong ví dụ thực nghiệm phía dưới, ta nghiên cứu mơ hình lơ-ga-rít chuẩn trong phương trình (2.5) để chống lại mơ hình chuẩn có cùng cách tham số hóa này:
f(ti;τ∗, αi∗, βi∗) = α ∗ i √ 2πexp{−1 2[αi ∗ (ti−(βi∗−τ∗))]2}. (2.18)
Một ưu điểm thực tế của mơ hình chuẩn là tham số của nó thường được dựa trên đơn vị đo thời gian phản hồi ti cơ bản (ví dụ: giây, phút,..) Với thời gian phản hồi càng lớn, thì ta càng phải lựa chọn một mơ hình hoặc dựa vào độ phù hợp hoặc dựa vào sự tiện lợi của tham số.
Mơ hình chuẩn trong phương trình trên có thể được tham số hóa lại để trở thành mơ hình một chiều cho các câu trả lời liên tục được giới thiệu bởi Mellenbergh (1994).
2.3 Ước lượng tham số
Ta sử dụng phương pháp Bayes và xích Markov Monte Carlo (MCMC) hay giải thuật Gibbs để ước lượng tham số trong mơ hình ở phương trình (2.5) và (2.18) với mục tiêu tìm ra phân bố hậu nghiệm của tham số. Véc tơ của log thời gian phản hồi cho mỗi người j và câu hỏi i được ký hiệu là tj = (lnt1j, ...,lntnj) và ti= (lnti1, ...,lntiN).Ta sử dụngt= (lntij)để ký hiệu cho ma trận log thời gian phản hồi. Cuối cùng, ta tổng hợp tất cả các tham số cho thí sinh và câu hỏi bằng các véc tơ τ = (τ1, ...τN), α = (α1, ..., αn) và β = (β1, ...βn). Nếu các tham số trong mơ hình
chuẩn ở phương trình (2.18) ước lượng được thì ta chỉ đơn giản là bỏ qua chuyển đổi log.
Ta giả sử các biến thời gian phản hồi là độc lập giữa các thí sinh khác nhau, và là độc lập địa phương giữa các câu hỏi với thí sinh cho trước. Trong trường hợp phân bố của các biến độc lập như nhau, sẽ tiện hơn nếu giả sử biến có một tiên nghiệm đồng thời là tiên nghiệm nghịch đảo của χ bình phương cận biên và tiên nghiệm chuẩn cho trung bình khi biết trước biến. Tiên nghiệm nghịch đảo χ bình phương này là tiên nghiệm liên hợp của mơ hình chuẩn. Với nghịch đảo của tham số phương sai, họ gamma chuẩn là liên hợp. Tuy nhiên, mơ hình trong luận văn này được dùng cho các biến số thông thường với tham số được xác định bởi câu hỏi hoặc thí sinh. Do đó, chúng ta sẽ điều chỉnh dần cách tiếp cận.
2.3.1 Phân bố tiên nghiệm
Ta giả sử tham số của các câu hỏi giống nhau có tiên nghiệm độc lập, trừ tham số αi và βi. Ta sẽ chỉ ra cách tiên nghiệm chuẩn và tiên nghiệm gamma dẫn đến phân bố hậu nghiệm có điều kiện với dạng biết trước được sử dụng trong giải thuật Gibbs.
Phân bố tiên nghiệm cho tham số thí sinh τj được chọn là:
τj ∼N(µτ, στ2); ∀j, (2.19) với N(.)ký hiệu cho phân phối chuẩn.
Tiên nghiệm đồng thời cho tham số câu hỏi (αi, βi) là:
αi ∼G(ν
2,
ν
2λ) ∀ i (2.20)
βi|αi ∼Nµβ,(αi2κ)−1 ∀ i. (2.21) với G(.) ký hiệu cho phân phối gamma. Tham số λ trong tiên nghiệm cận biên cho αi2 đại diện cho giá trị dự đoán tiên nghiệm của tham số αi, và ν thể hiện độ mức độ tin tưởng của ta vào dự đốn đó. Tương tự, trong tiên nghiệm có điều kiện của βi cho trước bởiαi, tham số µβ là giá trị tiên nghiệm ta dự đoán choβi và αi2κ thể hiện mức độ tin tưởng của ta. Mức độ tin tưởng được đo lường bằng nghịch đảo phương sai của phân phối mẫuκ với cùng thang đó cho log thời gian phản hồi.
2.3.2 Phân bố hậu nghiệm
Sau đó, phân bố hậu nghiệm đồng thời có mật độ: f(τ, α, β|t)∝ N Y j=1 n Y i=1 f(tij;τj, αi, βi)f(τj;µτ, στ)f(βi|αi;µβ, κ)f(αi;ν, λ). (2.22)
2.3.3 Giải thuật Gibbs
Giải thuật Gibbs (Gelfand và Smith, 1990) được sử dụng để xấp xỉ phân bố hậu nghiệm bằng cách lấy mẫu liên tiếp từ các phân phối có điều kiện của một tham số cho các giá trị được vẽ trước đó cho tất cả các tham số khác. Ta luân phiên lấy mẫu giữa các tham số thí sinh τj và tham số câu hỏi (αi, βi).
Ở bước thứ k, phân bố hậu nghiệm có điều kiện sẽ có dạng sau:
1. Nếu ta cố định tham số câu hỏi bởi một giá trị cho trướcαi =α(k−1)i và βi =βi(k−1), phương trình mật độ của phân bố hậu nghiệm đồng thời ở phương trình (2.22) sẽ trở thành tích của tiên nghiệm có phân bố chuẩn với phân bố hậu nghiệm cho trường hợp dữ liệu chuẩn với phương sai đã biết nhưng trung bình chưa biết. Vì tiên nghiệm là liên hợp nên phân bố hậu nghiệm cũng là phân bố chuẩn. Cụ thể hơn, xác định βi−lntij, i= 1, ..., n là dữ liệu của người j, hậu nghiệm của τj cho dữ liệu chuẩn với trung bình τj và phương sai α−2i . Từ lý thuyết cơ bản của trường hợp này (Gelman, Carlin, Stern và Rubin, 1995, Chương 2.6), ta tìm được τ(k) từ phân bố chuẩn với
trung bình σ−2τ µτ + n P i=1 α(k−1)i 2 βi(k−1)−lntij σ−2 τ + n P i=1 (α(k−1))2 . (2.23) Phương sai στ−2+ n X i=1 α(k−1)2 !−1 . (2.24)
2. Tương tự, nếu ta cố định tham số người bằng một giá trị đã biếtτj =τj(k), phương trình (2.22) sẽ trở thành tích của tiên nghiệm gamma chuẩn với phân bố hậu nghiệm cho dữ liệu chuẩn với trung bình và phương sai đều chưa biết. Vì tiên nghiệm là liên hợp nên phân bố hậu nghiệm cũng tuân theo phân bố gamma chuẩn. Với dữ liệu của ta cho câu hỏi i, xác định lntij +τj, j = 1, ..N hậu nghiệm của (αi, βi)là hậu nghiệm cho dữ liệu chuẩn với trung bình βi và phương sai α−2i chưa biết. Các tham số chưa biết sẽ được tìm ra như sau.
Đầu tiên, tìm α2i thứ k từ phân bố gamma,G(Ψ2,ω2) với tham số
Ψ =ν+N (2.25) ω =νλ−1+ N X j=1 lntij −lnti+τj(k)−τ(k) 2 + κN lnti+τ(k)−µβ2 κ+N , (2.26) với lnti =N−1 N X j=1 lntij (2.27) τ(k)=N−1 N X j=1 τj(k). (2.28)
Thứ hai, βi(k) được tìm ra từ phân bố chuẩn với trung bình κµβ+PNj=1(lntij +τj(k))
κ+N , (2.29)
và phương sai
(κ+N)(k). (2.30)
2.3.4 Áp dụng giải thuật Gibbs để ước lượng tham số
Giải thuật Gibbs luân phiên giữa hai tập dữ liệu ở phần trước của phân bố hậu nghiệm có điều kiện đến khi nó ổn đinh, và số lần rút thêm cho mỗi tham số đươc xác định
trước là K. K lần rút có thể được sử dụng để tính trung bình và phương sai của hậu nghiệm cũng như biểu diễn hậu nghiệm để kiểm tra độ phù hợp của dữ liệu với các câu hỏi và thí sinh như cách làm sau đây.
Để tiếp tục giữ dạng của mơ hình thì sau mỗi vịng lặp tham số τj phải được điều chỉnh lại dựa theo cơng thức ràng buộc ở phương trình (2.14).
Vì ràng buộc nhận dạng đó nên hiển nhiên, giá trị bắt đầu của tham số là:
τi(0) = 0 (2.31) βi(0) =N−1 N X j=1 lntij (2.32) (α(0)i )2 = [N−1 N X j=1 (lntij −βi(0))2]−1. (2.33)
Nếu ràng buộc ởαi =α ở phương trình (2.17) được áp dụng, phân bố hậu nghiệm có điều kiện của tham số này sẽ trở thành phân bố gamma γ(Ψ
2,
ω
2) với tham số trong
phương trình (2.25) và (2.26) được thay thế bằng:
Ψ =ν+nN, (2.34) ω =νλ−1 + n X i=1 N X j=1 lntij −lnt+τj(k)−τ¯(k)2 +κnN lnt+ ¯τ(k)−µβ κ+nN (2.35) với lnt = (nN)−1 n X i=1 N X j=1 lntij, (2.36) ¯ τ(k) =N−1 N X j=1 τj(k). (2.37) 2.3.5 Độ phù hợp
Để đánh giá độ phù hợp của một mơ hình với dữ liệu thời gian phản hồi, ta đề xuất phương án kiểm tra thặng dư Bayes (Bayesian residuals) cho các thí sinh và câu hỏi. Với thí sinh j và câu hỏi i, ta định nghĩa mật độ dự đoán sau là mật độ của giá trị được dự đoán choz }| {lntij của biến sốlnTij cho trước bởi dữ liệu quan sátt= (tij). Mật
độ này là lấy trung bình mơ hình phân bố trong phương trình (2.5) cho tất cả hậu nghiệm đồng thời của các thí sinh và các câu hỏi:
f z }| { lntij|t = Z Z Z f(tij;τj, αi, βi)f(τj, αi, βi|t)dτjdαidβi (2.38)
Mật độ này có thể ước lượng hằng số lần rút từ phân bố hậu nghiệm của tham số trong giải thuật Gibbs. Đặt k = 1, ..., K số lần rút của từng người sau khi nó ổn định. Mật độ trong phương trình (2.38) xấp xỉ bằng K−1 K X k=1 f(lntij;τj(k), α(k)i , βi(k)) (2.39)
Thông thường, trong kiểm tra dự đoán hậu nghiệm, ta muốn đánh giá xác suất của quan sát thực tế lntij bằng mật độ dự đốn. Ví dụ, nếu ta muốn biết xác suất vượt quá vế trái của thời gian phản hồilntij, thì xác suất này có thể được ước lượng bằng:
P r z }| { lntij <lntij ≈K−1 K X k=1 Φlntij;τjk, α(k)i , βi(k) (2.40)
với φ(.) là hàm phân phối chuẩn. Xác suất bên phải có thể được ước lượng theo cách tương tự.
Xác suất càng gần với 0 hoặc 1 thể hiện những thời điểm khơng bình thường trong mơ hình. Tổng hợp hết kết quả của những kiểm tra này với các câu hỏi và các thí sinh cho ta cái nhìn về độ khớp của mơ hình với từng câu hỏi và từng thí sinh.
Ta có thể kiểm tra mơ hình lơ-ga-rít chuẩn và mơ hình chuẩn với nhau hoặc với phiên bản có ràng buộc ở phương trình (2.17) bằng cách sử dụng tỷ lệ likelihood biên của chúng (nhân tố Bayes) (Gelman et al, 1995, chương 6.5). Kiểm tra này yêu cầu các mơ hình có phân phối biên thích hợp cho lntij nhưng trong ví dụ thực nghiệm ở sau đây, ta tìm ra cách so sánh hay hơn cho những mẫu giá trị ở phương trình (2.40).
Chương 3
Nghiên cứu thực nghiệm
Các mơ hình trong luận văn này được sử dụng để phân tích bộ dữ liệu từ phần Suy luận số học trong bài kiểm tra CAT ở kỳ thi ASVAB là kỳ thi đầu vào quân đội Mỹ. Ngân hàng câu hỏi gồm 186 câu trắc nghiệm, mỗi bài thi có 15 câu. Ta phân tích thời gian phản hồi cho mỗi mẫu ngẫu nhiên gồm 2000 thí sinh từ tập dữ liệu ban đầu gồm 38357 thí sinh. Ta sẽ dùng Schnipke và Scram (1997) cho bộ dữ liệu tương tự để đánh giá độ phù hợp của phân bố chuẩn và phân bố lognormal cho thời gian phản hồi với tồn bộ tập thí sinh. Tất cả các phân tích được làm đi làm lại bốn lần cho mơ hình lơ-ga-rít chuẩn trong phương trình (2.5); mơ hình chuẩn trong phương trình (2.18), và cả hai mơ hình đó thêm yếu tố ràng buộc trong phương trình (2.17).
Phân bố hậu nghiệm của tham số câu hỏi và thí sinh được ước lượng sử dụng giải thuật Gibbs được miêu tả ở phần trước. Ta biểu diễn các giá trị tham số của phân bố hậu nghiệm đã được chọn ra từ nghiên cứu này cho mơ hình chuẩn với thời gian đo bằng giây; tham số cho mơ hình lơ-ga-rít chuẩn ở phương trình (2.5) là chuyển đổi log của thời gian. Tiên nghiệm chung cho tham số thí sinh τj được chọn trong phân bố chuẩn ở phương trình (2.19) vớiµτ = 0 và στ = 1,000. Lựa chọn giá trị trung bình và
phương sai như vậy là do ràng buộc của tham số τj ở phương trình (2.14) và ta cũng mong muốn sử dụng tiên nghiệm chứa ít thơng tin nhất có thể. Với cùng lý do đó, tiên nghiệm chung cho tham số câu hỏi βi là phân bố chuẩn trong phương trình (2.21) với tập µβ bằng trung bình thời gian phản hồi của mẫu, t¯= 73.1, và k = 1. Tiên nghiệm
gamma cho tham sốαi được chọn để có λ= 1222(là một nửa phương sai của thời gian phản hồi trong mẫu) và ν= 1.
Như vậy, véc tơ của log thời gian phản hồi cho mỗi ngườij và câu hỏi i được ký hiệu là
tj = (lnt1j, ...,lnt186j), j ∈[1,2000],
và
Ta sử dụng t = (lntij) để ký hiệu cho ma trận log thời gian phản hồi. Cuối cùng, ta tổng hợp tất cả các tham số cho thí sinh và câu hỏi bằng các véc tơ τ = (τ1, ...τ2000),
α = (α1, ..., α186) và β = (β1, ...β186). Phân bố tiên nghiệm cho tham số thí sinh τj được chọn là:
τj ∼N(0,10002); ∀ j, với N(.)ký hiệu cho phân phối chuẩn.
Tiên nghiệm đồng thời cho tham số câu hỏi (αi, βi) là: αi ∼G(1
2, 1
2444)∀ i, βi|αi ∼N 73.1, α−2i ∀ i. với G(.)ký hiệu cho phân phối gamma.
Giải thuật Gibbs được bắt đầu bởi các giá trị khởi tạo cho tham số trong các phương trình (2.22)-(2.24). Ta dùng 1500 vịng lặp để ổn định. Vết cho ta thấy các