2 Mơ hình phản hồi thời gian ứng đáp câu hỏi lognormal
2.1 Biểu đồ miêu tả mơ hình phân cấp của phản hồi và thời gian phản hồ
hỏi của bài kiểm tra ở cáp tiếp cận thứ ba.[6]
với từng thí sinh nhất định. Nếu có mơ hình này thì ta có thể sử dụng nó như bước đầu tiên cho mơ hình phân cấp của phản hồi và thời gian phản hồi. Cịn nếu khơng có mối liên hệ nào giữa IRT và tham số thời gian cho nhóm mẫu ở bậc thứ hai thì mơ hình được tìm ra có thể được sử dụng độc lập để phân tích yếu tố thời gian phản hồi trong bài kiểm tra. Mơ hình đang cần tìm chính là mơ hình lơ-ga-rít chuẩn kết hợp với IRT.
Chọn mơ hình lơ-ga-rít chuẩn bởi độ phù hợp tuyệt vời của nó cho phân bố thực của thời gian phản hồi trong các bài báo cáo nghiên cứu của Thissen (1983), Schnipke và Scrams (1997); Van der Linden, Scrams và Schnipke (1999). Tuy vậy, mơ hình mới này có cấu trúc tham số khác so với những phiên bản cũ ở chỗ: các biến của phân bố sẽ được mơ hình như một tham số câu hỏi phụ thuộc, điều này khá là thú vị bởi mơ hình mới sẽ có cấu trúc tương đối giống mơ hình logistic ở phương trình (2.2)[3]. Sau khi trình bày mơ hình, ta sẽ cùng tìm hiểu tiếp cách ước lượng tham số trong mơ hình bằng cách sử dụng chuỗi xích Markove Monte Carlo (MCMC) với giải thuật Gibbs. Rồi sử dụng kết quả từ giải thuật Gibbs để đánh giá độ phù hợp của mơ hình lơ-ga-rít chuẩn.
2.2 Mơ hình thời gian phản hồi lognormal IRT - LNIRT
2.2.1 Giả thiết của mơ hình
Một trong những vấn đề thiếu sự quan tâm cần thiết trong phương pháp nghiên cứu giáo dục và tâm lý là việc quy đổi giữa thời gian cho một câu hỏi/công việc với tốc độ của người tham gia. Ví dụ, gần như tất cả phương pháp trong bài thi SAT đều coi tốc độ là thời gian trung bình cho mỗi câu hỏi/cơng việc (cũng như độ chính xác đơn giản chỉ là phần trăm trả lời đúng). Tuy nhiên, thời gian và tốc độ rõ ràng là hai biến hồn tồn khác biệt. Nếu nó giống nhau thì xe của chúng ta đã khơng cần đồng hồ đo tốc độ.
Giả thiết đầu tiên của mơ hình thời gian phản hồi (response time-RT) chỉ đơn giản là định nghĩa tốc độ: Tốc độ là độ thay đổi của đơn vị đo lường nào đó theo thời gian. Hai ví dụ khác về tốc độ là tốc độ của lạm phát bằng tổng lạm phát theo thời gian trong kinh tế và tốc độ truyền nhiễm của vi khuẩn được đo bằng số lượng tăng của bệnh nhân theo thời gian trong dịch tễ học. Trong luận văn này, tốc độ của một người tham gia được đinh nghĩa bằng mức độ nhận thức (Cognitive labor) mà người đó thể hiện trên tồn bộ thời gian người đó đã làm bài kiểm tra. Nói chung, mức độ nhận thức khơng thể đo trực tiếp. Tuy nhiên, ta vẫn quan sát được ảnh hưởng của mức độ nhận thức lên RT và có thể coi nó là một tham số câu hỏi ẩn
trong mơ hình. Ta sẽ coi tham số này như tham số mật độ thời gian (time-intensity), để nhắc ta là nó thể hiện mức độ nhận thức cần có để hiểu câu hỏi một cách gián tiếp, thơng qua ảnh hưởng của nó trong thời gian được dành cho nó quan sát được.
Giả thiết thứ hai là tốc độ không thay đổi trong suốt thời gian kiểm tra. Giả thiết này có cả khía cạnh tốc độ chuyển đổi giữa các câu hỏi và tốc độ đọc câu hỏi đó. Giả thiết về tốc độ làm bài không đổi giúp ta tránh việc hai việc: một là cơng thức có q nhiều tham số; hai là giả thiết năng lực của thí sinh khơng đổi là nền tảng của tất cả các mơ hình IRT nên giả thiết tốc độ của người làm bài khơng đổi nhất qn với giả thiết đó. Trước kia, khi năng lực của thí sinh biến đổi nhiều trong quá trình kiểm tra thì độ phù hợp của những mơ hình này khơng thể thực hiện được. Tuy nhiên, các bài SATs trong các thí nghiệm tâm lý là bằng chứng mạnh mẽ chỉ ra rằng việc năng lực không đổi nhưng tốc độ thay đổi trong quá trình kiểm tra dường như là khơng nhất qn.
Thực ra nếu chặt chẽ thì giả thiết tốc độ không đổi giữa các câu hỏi là không cần thiết. Điều duy nhất ta quan sát được là thời gian thí sinh dành cho mỗi câu hỏi. Việc tham số tốc độ biểu thị tốc độ làm bài trung bình của thí sinh hay tốc độ tức thời khi làm mỗi câu là không xác định được nên ta khơng cân nhắc việc đó.
Dĩ nhiên, trong bài kiểm tra thực tế, thí sinh sẽ có các tốc độ khác nhau ở những thời điểm khác nhau. Nhưng thay vì tập trung vào những thay đổi đó và làm phức tạp hóa mơ hình RT, thì ta nên giả thiết tốc độ là khơng đổi rồi sử dụng thời gian phản hồi thực tế để kiểm tra mức độ vi phạm nghiêm trọng của giả thiết. Ví dụ của phương pháp phân tích thặng dư này sẽ được đề cập ở phần sau. Ví dụ với các xu hướng hệ thống lớn hơn về tốc độ, dưới dạng tốc độ tăng dần về cuối thử nghiệm do giới hạn thời gian chặt chẽ, chúng thường không đo được khả năng bằng bài test và tránh khi thiết kế bài test. Thực ra, mơ hình thời gian phản hồi được giới thiệu trong luận văn này có thể sử dụng để xây dựng các bài kiểm tra hoặc đặt giới hạn thời gian cho các bài kiểm tra để đảm bảo tốc độ chấp nhận được.
Giả thiết thứ ba là thời gian phản hồi là độc lập có điều kiện khi cho trước tốc độ của thí sinh.Giả thiết này hồn tồn tương tự với độc lập có điều kiện hoặc độc lập địa phương của mơ hình IRT.
2.2.2 Mơ hình LNIRT
Ta sử dụng mơ hình LNIRT cho một thí sinh nhất định có tốc độτ làm bài kiểm tra gồm các câu hỏii= 1, ..., n. Coi thời gian trả lờiti của thí sinh đó cho câu hỏiilà một giá trị của biến ngẫu nhiênTi.
phản hồi. Nó dựa vào các thực nghiệm cho thấy thời gian thực hiện một công việc của một người sẽ biến đổi dù điều kiện hoàn cảnh là cố định. Ta kết luận rằng giả định này cũng áp dụng được cho thời gian trả lời câu hỏi trong khi kiểm tra. Sau đây, ta sẽ phân tích cấu trúc mơ hình, cịn các động cơ cho việc đưa ra mơ hình như vậy sẽ được miêu tả kĩ hơn ở phần sau.
Ta có mơ hình phân bố chuẩn cho log của thời gian phản hồi lnTi như sau: f(ti;τ, αi, βi) = αi ti√ 2πexp −1 2[αi(lnti−(βi−τ))]2 , (2.5)
với trung bình của phân bố: µi = βi −τ > 0, βi ∈ (−∞,∞), τ ∈ (−∞,∞), độ lệch
chuẩn của phân bố:σ =α−1.
Công thức này tương tự với cơng thức trung bình cho mơ hình theo hàm số mũ ở phần trên. Điểm khác biệt duy nhất là sự đổi dấu của τ, giúp ta có thể coi tham số này là tham số về tốc độ của thí sinh; τ càng lớn thì thời gian thí sinh dành để trả lời các câu hỏi càng nhỏ. Cũng như vậy, βi là một tham số mô tả sự mất thời gian (hoặc cường độ thời gian) của câu hỏi i. Tham số này kiểm soát thời gian mà câu hỏi i yêu cầu các thí sinh; βi càng lớn, thời gian các thí sinh dành cho câu hỏi này càng lớn.
Thời gian phản hồi (RT) và tốc độ là hai khái niệm khác nhau. Ta có ví dụ ở Hình 2.2 để làm rõ hơn hai khái niệm này: Giả sử một thí sinh trả lời câu hỏi một