2 Mơ hình phản hồi thời gian ứng đáp câu hỏi lognormal
2.2 Mơ hình thời gian phản hồi lognormal IRT LNIRT
2.2.2 Mơ hình LNIRT
Ta sử dụng mơ hình LNIRT cho một thí sinh nhất định có tốc độτ làm bài kiểm tra gồm các câu hỏii= 1, ..., n. Coi thời gian trả lờiti của thí sinh đó cho câu hỏiilà một giá trị của biến ngẫu nhiênTi.
phản hồi. Nó dựa vào các thực nghiệm cho thấy thời gian thực hiện một công việc của một người sẽ biến đổi dù điều kiện hoàn cảnh là cố định. Ta kết luận rằng giả định này cũng áp dụng được cho thời gian trả lời câu hỏi trong khi kiểm tra. Sau đây, ta sẽ phân tích cấu trúc mơ hình, cịn các động cơ cho việc đưa ra mơ hình như vậy sẽ được miêu tả kĩ hơn ở phần sau.
Ta có mơ hình phân bố chuẩn cho log của thời gian phản hồi lnTi như sau: f(ti;τ, αi, βi) = αi ti√ 2πexp −1 2[αi(lnti−(βi−τ))]2 , (2.5)
với trung bình của phân bố: µi = βi −τ > 0, βi ∈ (−∞,∞), τ ∈ (−∞,∞), độ lệch
chuẩn của phân bố:σ =α−1.
Công thức này tương tự với cơng thức trung bình cho mơ hình theo hàm số mũ ở phần trên. Điểm khác biệt duy nhất là sự đổi dấu của τ, giúp ta có thể coi tham số này là tham số về tốc độ của thí sinh; τ càng lớn thì thời gian thí sinh dành để trả lời các câu hỏi càng nhỏ. Cũng như vậy, βi là một tham số mô tả sự mất thời gian (hoặc cường độ thời gian) của câu hỏi i. Tham số này kiểm soát thời gian mà câu hỏi i yêu cầu các thí sinh; βi càng lớn, thời gian các thí sinh dành cho câu hỏi này càng lớn.
Thời gian phản hồi (RT) và tốc độ là hai khái niệm khác nhau. Ta có ví dụ ở Hình 2.2 để làm rõ hơn hai khái niệm này: Giả sử một thí sinh trả lời câu hỏi một
Hình 2.2: Ví dụ hai phép tính số học yêu cầu cường độ thời gian khác nhau.[6]
trong 9 giây, một thí sinh khác mất 13 giây để trả lời câu hỏi hai. Sẽ là sai lầm nếu đưa ra kết luận thí sinh thứ hai làm lâu hơn thí sinh thứ nhất vì: câu hỏi thứ 2 là một phép tính dài hơn, u cầu cường độ cơng việc nhiều hơn so với câu hỏi 1, như vậy dù thời gian phản hồi dài của thí sinh thứ hai dài hơn nhưng thí sinh thứ hai có thể có tốc độ làm việc nhanh hơn. Ví dụ ở Hình 2.2 cho thấy nhìn chung RT và tốc độ khó có thể liên hệ được với nhau, trừ khi chúng được đo trên cùng một khối lượng cường độ công việc trong câu hỏi.
thời gian. Đặt d(t) là một hàm số theo biến thời gian đại diện quãng đường đi được từ một điểm mốc cho trước; t1 và t2 lần lượt là 2 thời điểm cuối của một khoảng thời gian. Theo định nghĩa về tốc độ trung bình, ta có:
Tốc độ trung bình = Quãng đường đi được
Thời gian đã đi (2.6)
hay
Tốc độ trung bình = d(t2)−d(t1)
t2−t1 (2.7)
Đại diện thích hợp cho tốc độ của câu hỏi chính là tốc độ của cường độ cơng việc. Do đó, định nghĩa của cường độ thời gian chính là tốc độ cường độ cơng việc được hiểu theo phương trình (2.7), với tử số được thay bằng đại lượng đo lường khối lượng cường độ công việc mà câu hỏi yêu cầu. Đặt βi∗ đại diện cho khối lượng cường độ công việc (chưa biết) được yêu cầu để hoàn thành câu hỏi i. Do đồng hồ được đặt lại khi bắt đầu mỗi câu hỏi nên mốc thời gian trong phương trình (2.7) t1 = 0và thời gian phản hồi tij là thời gian phản hồi của thí sinh thứ j cho câu hỏi thứi có thể đặt được dưới mẫu số. Tốc độ (trung bình)τj∗ của thí sinhj để làm câu hỏi iđược định nghĩa là
τj∗ = β
∗ i
tij. (2.8)
Thay vào đó, ta có thể viết
tij = β
∗ i
τj∗, (2.9)
để chỉ ra tốc độ được xác định bởi hai thành phần của thời gian phản hồi, đại diện bởi hai tham số chưa biết: một tham số cho tốc độ của thí sinh và một tham số cho cường độ công việc của câu hỏi. Do tham số βi∗ thể hiện độ ảnh hưởng của câu hỏi đến yếu tố thời gian nên ta chủ yếu hiểu nó là tham số cường độ thời gian của câu hỏi i. RT bị chặn dưới và thí sinh ln có thể dành nhiều thời gian hơn cho một câu hỏi. Vì vậy, phân bố của chúng có xu hướng mang độ xiên (skewness) dương. Ta có thể dùng một phép chuyển đổi cơ bản để có phân bố đối xứng hơn là phân bố lơ-ga-rít
lntij =βi−τj, (2.10)
vớiβi vàτj là tham số trên thang đo lơ-ga-rít. Cuối cùng, RT là biến ngẫu nhiên nhưng vế bên tay phải của phương trình (2.10) là cố định. Vậy, phương trình (2.10) nên được hiểu là phương trình log thời gian kỳ vọng của câu hỏi
ε(lntij) = βi −τj. (2.11) Ta coi phương trình này là Phương trình cơ sở của mơ hình hóa RT. Mỗi mơ hình RT
cường độ thời gian cho câu hỏi như trên.
Ta thừa nhận tính chất ngẫu nhiên của RTs, bổ sung một phân phối chuẩn ngẫu nhiên cho ta
lnTij =βi−τj+i, i ∼ N(0, α−2i ). (2.12) Kết quả là lnTij có phân bố chuẩn với trung bình βi−τj và phương saiα−2i .
Phân bố là mật độ lơ-ga-rít chuẩn như trong phương trình (2.5), có thể được biểu diễn lại như sau:
f(tij;τj, αi, βi) = αi tij√ 2πexp −1 2[αi(lntij −(βi−τj))]2 , (2.13)
Quan hệ giữa tij và trung bình của nó τj −βi được điều chỉnh bởi một trọng số αi > 0là nghịch đảo của độ lệch tiêu chuẩn của phân phối chuẩn. Tham số αi có thể coi như đóng vai trị là tham số đo độ phân biệt. αi lớn hơn nghĩa là phân bố của lôga thời gian phản hồi của câu hỏi ß trên tất cả các thí sinh sẽ có độ phân tán nhỏ hơn, nghĩa là câu hỏi đó có thể phân biệt các phân bố thí sinh với các tốc độ khác nhau được tốt hơn.
Độ lệch chuẩn của ước lượng tham số tốc độ là một trong những đại lượng quan trọng nhất. Xét một bài kiểm tra lấy từ ngân hàng đề cho trước với đầy đủ dữ liệu để xử lý tất cả các tham số như đã biết. Lượng thông tin Fisher trong log thời gian của tham sốτ cho câu hỏi với tham số αi và βi là
Ii(τ) =ε ∂ ∂τp lnf(lnT;τ, αi, βi) 2 =ε −a2 i(lnT −(βi−τ)2 =α4iε(lnT −(βi−τ))2 =α2i
Tính nhận dạng (identifiability) Vì sự xuất hiện của βi−τ, mơ hình trong cơng thức (2.5) chưa xác định. Với bất kì giá trị nào của, phân bố của chúng sẽ được giữ nguyên dưới các biến đổiβi− và τj −. Để thiết lập tính nhận dạng, ta cân nhắc thêm ràng buộc sau vào tập các giá trịτj của tham số tốc độ trong mẫu định cỡ khi cần tính xấp xỉ tham số câu hỏi.
N
X
j=1
Chú ý rằng βi−τj =µij, nghĩa là n−1 n X i=1 βi−N−1 N X j=1 τj = (nN)−1 n X i=1 N X j=1 µij. (2.15)
Nếu áp dụng ràng buộc ở phương trình (2.14) thì dẫn đến
n−1 n X i=1 βi = (nN)−1 n X i=1 N X j=1 µij. (2.16)
Có nghĩa là giá trị trung bình của tham số câu hỏi βi sẽ bằng với giá trị kì vọng của loga thời gian trên tập tất cả thí sinh và tất cả các câu hỏi. Hệ quả là giá trị của tham số thí sinh τj là độ lệch đối với giá trị kì vọng này. Ràng buộc theo cơng thức (2.14) cũng giúp ta chọn xác suất tiên nghiệm phù hợp cho mơ hình Bayes trong bài toán xấp xỉ tham số bên dưới, và chọn giá trị ban đầu cho giải thuật Gibbs.
Động lực của mơ hình Mục tiêu của chúng ta là tìm một mơ hình linh hoạt để khớp giữa dữ liệu thời gian phản hồi với những kết quả chấp nhận được của nhiều loại câu hỏi kiểm tra khác nhau trên máy tính. Đường cong phù hợp là động lực chính để sử dụng mơ hình 3 tham số logistic trong phương trình (2.1) và (2.2), nhiều chương trình thử nghiệm đã chứng minh sự thành cơng của mơ hình này.
Do đó, mơ hình lơ-ga-rít chuẩn được đề xuất có sự tương đồng với mơ hình phản hồi logistic hai tham số trong phương trình (2.1) và (2.2) với ci = 0 với mọi i; là một hướng đi đươc khuyến khích nhưng chưa có gì đảm bảo thành cơng. Thứ nhất, bất chấp sự khác nhau tự nhiên giữa biến phản hồi nhị phân Uij và biến thời gian phản hồi liên tục Tij, cả hai mơ hình đều có cấu trúc tương tự nhau cho trung bình biến số, với tham số người (φj và τj) và tham số chính của câu hỏi (bi và βi) trái dấu nhau. Việc coi mơ hình 2PL là mơ hình cho trung bình của biến số phản hồi có thể hơi bất thường, nhưng xác xuất P r{Uij = 1} rõ ràng được mơ hình hóa bởi trung bình của biến phản hồi Uij.
Thứ hai, cả hai mơ hình đều có tham số phân biệt để kiểm duyệt hoặc kiểm soát những tác động ảnh hưởng của tham số câu hỏi và tham số người. Với mơ hình lơ-ga-rít chuẩn, αi được coi là tham số phân biệt xuất phát từ thực tế nếu αi tăng thì phân bố thời gian (trên thang đo log) cho hai giá trị bất kì của tham số tốc độ τ0 < βi và τ1 > βi có phần trung nhau ít hơn. Do đó,αi được hiểu là tham số phân biệt độ mạnh yếu của câu hỏi cho hai thí sinh bất kỳ có hai tốc độ khác nhau hay nó chính là phương
sai của thời gian trả lời, đặc trưng cho độ dao động của thời gian trả lời mỗi câu hỏi với mỗi tốc độ của các thí sinh khác nhau. Tham số αi trong hàm logistic ở phương trình (2.2) có cách lý giải tương tự: giá trịai càng lớn sẽ cho kết quả phân bố của các biến số phản hồi càng ít trùng nhau đối với hai giá trị tham số năng lực bất kỳθ0 < bi và θ1 > bi. Điều tương tự này được thể hiện ở Hình 2.3.
Hình 2.3: Ảnh hưởng của tham số phân biệt đối với phân bố thời gian phản hồi (phần trên) và phânbố phản hồi (phần dưới). Bên trái là các hình với tham số phân biệt có giá trị nhỏ, phần bên phải có bố phản hồi (phần dưới). Bên trái là các hình với tham số phân biệt có giá trị nhỏ, phần bên phải có tham số phân biệt có giá trị lớn hơn. Diện tích phần trùng nhau của hai phân bố lớn hơn nếu giá trị tham số phân biệt lớn hơn.[4]
Hơn thế nữa, mơ hình lơ-ga-rít chuẩn khơng cần tham số dự đốn xác suất đoán đúng câu trả lời ci như trong mơ hình 3PL ở phương trình (2.1). Với thời gian phản hồi, đường tiệm cận dưới khơng có ý nghĩa gì vì hiển nhiên, thời gian phản hồi có giới hạn dưới bằng 0, xảy ra khi tốc độ của thí sinh tăng hoặc khi mất ít thời gian hơn để trả lời câu hỏi. Do đó,các giá trị ở đi dưới trong phân bố thời gian phản hồi không nên bị hạn chế bởi bất kỳ tham số nào.
Trong nghiên cứu thực nghiệm ở phần sau, ta cũng đánh giá độ ảnh hưởng của việc ràng buộc
αi =α ∀ i (2.17)
trong việc khớp thực nghiệm với mơ hình lơ-ga-rít chuẩn. Độ khớp của dữ liệu với những ràng buộc này sẽ giúp chúng ta xác định được mơ hình lơ-ga-rit chuẩn có cần
hai tham số khơng hay có thể giảm bớt về một tham số tương tự như mơ hình Rasch hay mơ hình IRT một tham số. Nếu thế, ràng buộc này sẽ giúp ta dễ dàng giảm số lượng tham số trong mơ hình phân cấp cho tốc độ và độ chính xác đã được giới thiệu ở phần trước.
Cấu trúc tham số của mô hình lơ-ga-rít chuẩn trong luận văn này đã được lựa chọn để chỉ đại diện cho thành tố cơ bản nhất trong liên hệ giữa bài kiểm tra và thí sinh tham gia. Dĩ nhiên, cịn nhiều nhân tố khác có thể ảnh hưởng đến thời gian trả lời, nhưng để dùng được định lý giới hạn trung tâm thì các nhân tố gây tác thường kèm giả thiết phải thuộc họ chuẩn tắc với phân bố log thời gian.
Các mơ hình dựa vào phân bố mũ và gamma được đề cập trong phần trước thường bắt đầu từ các giả thiết chặt chẽ hơn cho quá trình giải quyết vấn đề phản hồi cơ bản của mỗi thí sinh cho từng câu hỏi. Các loại giả định có thể so sánh được sử dụng để rút ra các mơ hình xử lý thời gian phản hồi trong khung IRT đã thảo luận trước đó. Điểm mạnh của những mơ hình này cũng đồng thời là điểm yếu của chúng. Nếu quá trình giải quyết vấn để thực sự diễn ra khi gặp các giả thiết chặt chẽ của nó thì những mơ hình này vẫn khơng thể bị đánh bại. Nhưng nếu khơng, các mơ hình này nhất định sẽ thất bại. Tính đặc hiệu của các mơ hình này cũng được phản ánh bởi hình dạng phân bố của chúng. Ví dụ, mơ hình mũ ln là một mơ hình đơn tại tij = 0. Nhưng đặc
trưng này dường như không thực tế cho phân bố của thời gian phản hồi trong các bài kiểm tra trên máy tính. Tương tự, phân bố gamma có trung bình và phương sai phụ thuộc, nếu một trong hai tăng thì cái cịn lại cũng tăng. Phân bố Weibull trong mơ hình của Roskam (1997) cũng giống như vậy. Không dễ để hiểu tại sao đặc trưng này luôn cần thiết trong mật độ để phù hợp với thời gian phản hồi của các câu hỏi kiểm tra.