2 Mơ hình phản hồi thời gian ứng đáp câu hỏi lognormal
2.3 Ước lượng tham số
Ta sử dụng phương pháp Bayes và xích Markov Monte Carlo (MCMC) hay giải thuật Gibbs để ước lượng tham số trong mơ hình ở phương trình (2.5) và (2.18) với mục tiêu tìm ra phân bố hậu nghiệm của tham số. Véc tơ của log thời gian phản hồi cho mỗi người j và câu hỏi i được ký hiệu là tj = (lnt1j, ...,lntnj) và ti= (lnti1, ...,lntiN).Ta sử dụngt= (lntij)để ký hiệu cho ma trận log thời gian phản hồi. Cuối cùng, ta tổng hợp tất cả các tham số cho thí sinh và câu hỏi bằng các véc tơ τ = (τ1, ...τN), α = (α1, ..., αn) và β = (β1, ...βn). Nếu các tham số trong mơ hình
chuẩn ở phương trình (2.18) ước lượng được thì ta chỉ đơn giản là bỏ qua chuyển đổi log.
Ta giả sử các biến thời gian phản hồi là độc lập giữa các thí sinh khác nhau, và là độc lập địa phương giữa các câu hỏi với thí sinh cho trước. Trong trường hợp phân bố của các biến độc lập như nhau, sẽ tiện hơn nếu giả sử biến có một tiên nghiệm đồng thời là tiên nghiệm nghịch đảo của χ bình phương cận biên và tiên nghiệm chuẩn cho trung bình khi biết trước biến. Tiên nghiệm nghịch đảo χ bình phương này là tiên nghiệm liên hợp của mơ hình chuẩn. Với nghịch đảo của tham số phương sai, họ gamma chuẩn là liên hợp. Tuy nhiên, mơ hình trong luận văn này được dùng cho các biến số thông thường với tham số được xác định bởi câu hỏi hoặc thí sinh. Do đó, chúng ta sẽ điều chỉnh dần cách tiếp cận.
2.3.1 Phân bố tiên nghiệm
Ta giả sử tham số của các câu hỏi giống nhau có tiên nghiệm độc lập, trừ tham số αi và βi. Ta sẽ chỉ ra cách tiên nghiệm chuẩn và tiên nghiệm gamma dẫn đến phân bố hậu nghiệm có điều kiện với dạng biết trước được sử dụng trong giải thuật Gibbs.
Phân bố tiên nghiệm cho tham số thí sinh τj được chọn là:
τj ∼N(µτ, στ2); ∀j, (2.19) với N(.)ký hiệu cho phân phối chuẩn.
Tiên nghiệm đồng thời cho tham số câu hỏi (αi, βi) là:
αi ∼G(ν
2,
ν
2λ) ∀ i (2.20)
βi|αi ∼Nµβ,(αi2κ)−1 ∀ i. (2.21) với G(.) ký hiệu cho phân phối gamma. Tham số λ trong tiên nghiệm cận biên cho αi2 đại diện cho giá trị dự đoán tiên nghiệm của tham số αi, và ν thể hiện độ mức độ tin tưởng của ta vào dự đốn đó. Tương tự, trong tiên nghiệm có điều kiện của βi cho trước bởiαi, tham số µβ là giá trị tiên nghiệm ta dự đoán choβi và αi2κ thể hiện mức độ tin tưởng của ta. Mức độ tin tưởng được đo lường bằng nghịch đảo phương sai của phân phối mẫuκ với cùng thang đó cho log thời gian phản hồi.
2.3.2 Phân bố hậu nghiệm
Sau đó, phân bố hậu nghiệm đồng thời có mật độ: f(τ, α, β|t)∝ N Y j=1 n Y i=1 f(tij;τj, αi, βi)f(τj;µτ, στ)f(βi|αi;µβ, κ)f(αi;ν, λ). (2.22)
2.3.3 Giải thuật Gibbs
Giải thuật Gibbs (Gelfand và Smith, 1990) được sử dụng để xấp xỉ phân bố hậu nghiệm bằng cách lấy mẫu liên tiếp từ các phân phối có điều kiện của một tham số cho các giá trị được vẽ trước đó cho tất cả các tham số khác. Ta luân phiên lấy mẫu giữa các tham số thí sinh τj và tham số câu hỏi (αi, βi).
Ở bước thứ k, phân bố hậu nghiệm có điều kiện sẽ có dạng sau:
1. Nếu ta cố định tham số câu hỏi bởi một giá trị cho trướcαi =α(k−1)i và βi =βi(k−1), phương trình mật độ của phân bố hậu nghiệm đồng thời ở phương trình (2.22) sẽ trở thành tích của tiên nghiệm có phân bố chuẩn với phân bố hậu nghiệm cho trường hợp dữ liệu chuẩn với phương sai đã biết nhưng trung bình chưa biết. Vì tiên nghiệm là liên hợp nên phân bố hậu nghiệm cũng là phân bố chuẩn. Cụ thể hơn, xác định βi−lntij, i= 1, ..., n là dữ liệu của người j, hậu nghiệm của τj cho dữ liệu chuẩn với trung bình τj và phương sai α−2i . Từ lý thuyết cơ bản của trường hợp này (Gelman, Carlin, Stern và Rubin, 1995, Chương 2.6), ta tìm được τ(k) từ phân bố chuẩn với
trung bình σ−2τ µτ + n P i=1 α(k−1)i 2 βi(k−1)−lntij σ−2 τ + n P i=1 (α(k−1))2 . (2.23) Phương sai στ−2+ n X i=1 α(k−1)2 !−1 . (2.24)
2. Tương tự, nếu ta cố định tham số người bằng một giá trị đã biếtτj =τj(k), phương trình (2.22) sẽ trở thành tích của tiên nghiệm gamma chuẩn với phân bố hậu nghiệm cho dữ liệu chuẩn với trung bình và phương sai đều chưa biết. Vì tiên nghiệm là liên hợp nên phân bố hậu nghiệm cũng tuân theo phân bố gamma chuẩn. Với dữ liệu của ta cho câu hỏi i, xác định lntij +τj, j = 1, ..N hậu nghiệm của (αi, βi)là hậu nghiệm cho dữ liệu chuẩn với trung bình βi và phương sai α−2i chưa biết. Các tham số chưa biết sẽ được tìm ra như sau.
Đầu tiên, tìm α2i thứ k từ phân bố gamma,G(Ψ2,ω2) với tham số
Ψ =ν+N (2.25) ω =νλ−1+ N X j=1 lntij −lnti+τj(k)−τ(k) 2 + κN lnti+τ(k)−µβ2 κ+N , (2.26) với lnti =N−1 N X j=1 lntij (2.27) τ(k)=N−1 N X j=1 τj(k). (2.28)
Thứ hai, βi(k) được tìm ra từ phân bố chuẩn với trung bình κµβ+PNj=1(lntij +τj(k))
κ+N , (2.29)
và phương sai
(κ+N)(k). (2.30)
2.3.4 Áp dụng giải thuật Gibbs để ước lượng tham số
Giải thuật Gibbs luân phiên giữa hai tập dữ liệu ở phần trước của phân bố hậu nghiệm có điều kiện đến khi nó ổn đinh, và số lần rút thêm cho mỗi tham số đươc xác định
trước là K. K lần rút có thể được sử dụng để tính trung bình và phương sai của hậu nghiệm cũng như biểu diễn hậu nghiệm để kiểm tra độ phù hợp của dữ liệu với các câu hỏi và thí sinh như cách làm sau đây.
Để tiếp tục giữ dạng của mơ hình thì sau mỗi vịng lặp tham số τj phải được điều chỉnh lại dựa theo cơng thức ràng buộc ở phương trình (2.14).
Vì ràng buộc nhận dạng đó nên hiển nhiên, giá trị bắt đầu của tham số là:
τi(0) = 0 (2.31) βi(0) =N−1 N X j=1 lntij (2.32) (α(0)i )2 = [N−1 N X j=1 (lntij −βi(0))2]−1. (2.33)
Nếu ràng buộc ởαi =α ở phương trình (2.17) được áp dụng, phân bố hậu nghiệm có điều kiện của tham số này sẽ trở thành phân bố gamma γ(Ψ
2,
ω
2) với tham số trong
phương trình (2.25) và (2.26) được thay thế bằng:
Ψ =ν+nN, (2.34) ω =νλ−1 + n X i=1 N X j=1 lntij −lnt+τj(k)−τ¯(k)2 +κnN lnt+ ¯τ(k)−µβ κ+nN (2.35) với lnt = (nN)−1 n X i=1 N X j=1 lntij, (2.36) ¯ τ(k) =N−1 N X j=1 τj(k). (2.37) 2.3.5 Độ phù hợp
Để đánh giá độ phù hợp của một mơ hình với dữ liệu thời gian phản hồi, ta đề xuất phương án kiểm tra thặng dư Bayes (Bayesian residuals) cho các thí sinh và câu hỏi. Với thí sinh j và câu hỏi i, ta định nghĩa mật độ dự đoán sau là mật độ của giá trị được dự đoán choz }| {lntij của biến sốlnTij cho trước bởi dữ liệu quan sátt= (tij). Mật
độ này là lấy trung bình mơ hình phân bố trong phương trình (2.5) cho tất cả hậu nghiệm đồng thời của các thí sinh và các câu hỏi:
f z }| { lntij|t = Z Z Z f(tij;τj, αi, βi)f(τj, αi, βi|t)dτjdαidβi (2.38)
Mật độ này có thể ước lượng hằng số lần rút từ phân bố hậu nghiệm của tham số trong giải thuật Gibbs. Đặt k = 1, ..., K số lần rút của từng người sau khi nó ổn định. Mật độ trong phương trình (2.38) xấp xỉ bằng K−1 K X k=1 f(lntij;τj(k), α(k)i , βi(k)) (2.39)
Thơng thường, trong kiểm tra dự đốn hậu nghiệm, ta muốn đánh giá xác suất của quan sát thực tế lntij bằng mật độ dự đốn. Ví dụ, nếu ta muốn biết xác suất vượt quá vế trái của thời gian phản hồilntij, thì xác suất này có thể được ước lượng bằng:
P r z }| { lntij <lntij ≈K−1 K X k=1 Φlntij;τjk, α(k)i , βi(k) (2.40)
với φ(.) là hàm phân phối chuẩn. Xác suất bên phải có thể được ước lượng theo cách tương tự.
Xác suất càng gần với 0 hoặc 1 thể hiện những thời điểm khơng bình thường trong mơ hình. Tổng hợp hết kết quả của những kiểm tra này với các câu hỏi và các thí sinh cho ta cái nhìn về độ khớp của mơ hình với từng câu hỏi và từng thí sinh.
Ta có thể kiểm tra mơ hình lơ-ga-rít chuẩn và mơ hình chuẩn với nhau hoặc với phiên bản có ràng buộc ở phương trình (2.17) bằng cách sử dụng tỷ lệ likelihood biên của chúng (nhân tố Bayes) (Gelman et al, 1995, chương 6.5). Kiểm tra này yêu cầu các mơ hình có phân phối biên thích hợp cho lntij nhưng trong ví dụ thực nghiệm ở sau đây, ta tìm ra cách so sánh hay hơn cho những mẫu giá trị ở phương trình (2.40).
Chương 3
Nghiên cứu thực nghiệm
Các mơ hình trong luận văn này được sử dụng để phân tích bộ dữ liệu từ phần Suy luận số học trong bài kiểm tra CAT ở kỳ thi ASVAB là kỳ thi đầu vào quân đội Mỹ. Ngân hàng câu hỏi gồm 186 câu trắc nghiệm, mỗi bài thi có 15 câu. Ta phân tích thời gian phản hồi cho mỗi mẫu ngẫu nhiên gồm 2000 thí sinh từ tập dữ liệu ban đầu gồm 38357 thí sinh. Ta sẽ dùng Schnipke và Scram (1997) cho bộ dữ liệu tương tự để đánh giá độ phù hợp của phân bố chuẩn và phân bố lognormal cho thời gian phản hồi với tồn bộ tập thí sinh. Tất cả các phân tích được làm đi làm lại bốn lần cho mơ hình lơ-ga-rít chuẩn trong phương trình (2.5); mơ hình chuẩn trong phương trình (2.18), và cả hai mơ hình đó thêm yếu tố ràng buộc trong phương trình (2.17).
Phân bố hậu nghiệm của tham số câu hỏi và thí sinh được ước lượng sử dụng giải thuật Gibbs được miêu tả ở phần trước. Ta biểu diễn các giá trị tham số của phân bố hậu nghiệm đã được chọn ra từ nghiên cứu này cho mơ hình chuẩn với thời gian đo bằng giây; tham số cho mơ hình lơ-ga-rít chuẩn ở phương trình (2.5) là chuyển đổi log của thời gian. Tiên nghiệm chung cho tham số thí sinh τj được chọn trong phân bố chuẩn ở phương trình (2.19) vớiµτ = 0 và στ = 1,000. Lựa chọn giá trị trung bình và
phương sai như vậy là do ràng buộc của tham số τj ở phương trình (2.14) và ta cũng mong muốn sử dụng tiên nghiệm chứa ít thơng tin nhất có thể. Với cùng lý do đó, tiên nghiệm chung cho tham số câu hỏi βi là phân bố chuẩn trong phương trình (2.21) với tập µβ bằng trung bình thời gian phản hồi của mẫu, t¯= 73.1, và k = 1. Tiên nghiệm
gamma cho tham sốαi được chọn để có λ= 1222(là một nửa phương sai của thời gian phản hồi trong mẫu) và ν= 1.
Như vậy, véc tơ của log thời gian phản hồi cho mỗi ngườij và câu hỏi i được ký hiệu là
tj = (lnt1j, ...,lnt186j), j ∈[1,2000],
và
Ta sử dụng t = (lntij) để ký hiệu cho ma trận log thời gian phản hồi. Cuối cùng, ta tổng hợp tất cả các tham số cho thí sinh và câu hỏi bằng các véc tơ τ = (τ1, ...τ2000),
α = (α1, ..., α186) và β = (β1, ...β186). Phân bố tiên nghiệm cho tham số thí sinh τj được chọn là:
τj ∼N(0,10002); ∀ j, với N(.)ký hiệu cho phân phối chuẩn.
Tiên nghiệm đồng thời cho tham số câu hỏi (αi, βi) là: αi ∼G(1
2, 1
2444)∀ i, βi|αi ∼N 73.1, α−2i ∀ i. với G(.)ký hiệu cho phân phối gamma.
Giải thuật Gibbs được bắt đầu bởi các giá trị khởi tạo cho tham số trong các phương trình (2.22)-(2.24). Ta dùng 1500 vòng lặp để ổn định. Vết cho ta thấy các tham số ổn định sau số lần như vậy. Việc tính tốn các đại lượng sau trong phần tiếp theo đều dùng số vịng lặp K = 4500.
3.1 Mơ tả mẫu
Để thực hiện các phân tích với lượng dữ liệu hợp lý cho từng câu hỏi và từng thí sinh, mẫu được lấy từ dữ liệu như sau: Đầu tiên, ta loại bỏ tất cả câu hỏi có tỷ lệ tiếp xúc nhỏ hơn 0.15 thì được số câu hỏi cịn lại là 48. Vì ta đã loại bỏ một số câu hỏi nên sẽ có một vài thí sinh trong ma trận dữ liệu mới không trả lời đủ 15 câu. Như vậy, ta sẽ chọn lần lượt các thí sinh trả lời đủ 15 câu hỏi; tiếp đến các thí sinh trả lời 14 câu hỏi và cuối cùng là các thí sinh cịn lại trong tập 2000 thí sinh, những người trả lời được 13 câu. Một phân tích của mẫu trên cho thấy một thí sinh trả lời đủ tất cả 15 câu chỉ dành 12.6 giây cho câu đầu tiên và ít hơn 2 giây cho tất các các câu còn lại. Hiển nhiên thí sinh đó đã trả lời khá bừa bãi. Do đó, ta thay thí sinh này bằng một thí sinh ngẫu nhiên khác được lấy ra từ tập các thí sinh trả lời 13 câu. Cấu trúc của mẫu được tóm tắt trong Bảng 3.1 và Bảng 3.2.
Tuy số lượng câu hỏi của mỗi thí sinh bị giới hạn bởi độ dài của bài kiểm tra, nhưng số lượng thí sinh cho mỗi câu hỏi thì q đủ để đảm bảo ước tính tham số câu hỏi ổn định. Câu 16 có số thí sinh làm ít nhất là 61 thí sinh, câu 20 có nhiều thí sinh làm nhất là 1085 thí sinh.
Số câu hỏi hồn thành Số thí sinh
13 1138
14 695
15 167
Tổng 2000
Bảng 3.1: Số lượng câu hỏi của từng thí sinh trong mẫu.[4]
Số thí sinh Số câu hỏi
0-100 1 101-200 1 201-300 4 301-400 10 401-500 10 501-600 2 601-700 3 701-800 7 801-900 3 901-1000 3 1001-1100 4
Bảng 3.2: Số thí sinh mỗi câu hỏi trong mẫu.[4]
Phân bố của thời gian phản hồi trong mẫu được tóm tắt trong biểu đồ phân tán ở Hình 3.1. Hình trên biểu diễn độ phân tán của trung bình và phương sai của thời gian phản hồi cho các câu hỏi, hình dưới là trung bình và phương sai của thời gian phản hồi cho các thí sinh. Thơng tin chi tiết hơn được thể hiện trong Hình 3.2; ở hình này ta biết được phân bố cho thời gian phản hồi của các thí sinh với câu hỏi 3 và câu hỏi 13. Hai câu hỏi này được lựa chọn do phân bố của chúng là phân bố đặc trưng của tập dữ liệu. Ta quan sát thấy cả hai phân bố đều có độ lệch hướng về bên phải. Đặc trưng này dường như gợi ý cho ta một tính chất để so sánh phân bố thời gian phản hồi của các cặp thí sinh-câu hỏi cố định được mơ hình trong luận văn này. Tuy nhiên, kết quả này khơng chỉ dựa vào Hình 3.2. Có tồn tại một hàm phân phối của "thí sinh-và-câu hỏi" thơng qua các phân phối về thời gian phản hồi của các câu hỏi. Hàm phân phối "thí sinh-và-câu hỏi" này có tham số là tốc độ trả lờiτ của thí sinh.
3.2 Ước lượng tham số
Hình 3.3 cho ta hình phân tán của phân bố hậu nghiệm kỳ vọng (EAP) để ước lượng hai tham số của câu hỏi là độ phân biệt (αi) và cường độ (βi) cho bốn mơ hình trong bài. Với mơ hình chuẩn, biểu đồ chỉ ra mối tương quan âm giữa hai ước lượng. Xu hướng này hoàn toàn do floor effect tạo ra bởi thang đo thời gian. Chuyển đổi log thời gian loại bỏ được hoàn toàn hiệu ứng này. Tham số phân biệt ở hai mơ hình có ràng
Hình 3.1: Biểu đồ phân tán với trung bình và phương sai của thời gian phản hồi tính theo giây cho48 câu (ảnh trên) và 2000 thí sinh trong mẫu (ảnh dưới).[4] 48 câu (ảnh trên) và 2000 thí sinh trong mẫu (ảnh dưới).[4]
buộc bởi phương trình 8 làα= 1.875 cho log thời gian phản hồi vàα= 0.022cho thời gian tính bằng giây. Tuy vậy, ràng buộc này khơng có nhiều ảnh hưởng đến phân bố khi ước lượng βi.
Ước lượng của αi trong mơ hình chuẩn tương đối thấp. Điều này là do cách lựa chọn đơn vị thời gian. Nếu đo lường thời gian bằng những đơn vị lớn hơn giây thì có thể cho ta kết quả αi lớn hơn. Khoảng ước lượng hiện tại của αi là [0.014, 0.039], tương ứng với phương sai nằm trong khoảng [25.6,71.4]. Tuy nhiên, ước lượng của αi