CHƢƠNG 3 : TRẮC NGHIỆM THÍCH NGHI
3.4. Một số phát triển mới hiện nay
3.4.4. Sử dụng các thời gian ứng đáp trong trắc nghiệm thích nghi
Trong trắc nghiệm thích nghi, các thời gian ứng đáp (RTs- Response Times) bởi ngƣời tham gia kiểm tra đƣợc tự động ghi lại. Thông tin của họ có thể đƣợc khai thác để nâng cao trắc nghiệm thích nghi.
Một trong những khả năng đƣợc nói tới đầu tiên là sự điều khiển mức độ của tốc độ làm bài của mỗi ngƣời tham gia kiểm tra riêng. Sự điểu khiển này là cần thiết bởi vì các câu hỏi trắc nghiệm thay đổi đáng kể trong thời gian họ làm bài. Thông thƣờng, các câu hỏi khó hơn sẽ mất nhiều thời gian hơn. Vì vậy, thuật toán thích nghi cản trở những ngƣời tham gia kiểm tra có năng lực cao hơn, bằng cách đƣa họ nhiều câu hỏi trắc nghiệm chiếm nhiều thời gian hơn. Sự điều khiển tốc độ khác nhau chỉ có khả năng nếu chúng ta có một mô hình thống kê thích hợp cho việc phân bố RTs trên các câu hỏi trong ngân hàng đề.
Một sự phản ánh tức thì chỉ ra rằng tƣơng tự nhƣ với mô hình IRT một chiều, mô hình RT nên có phân biệt các tham số cho ngƣời tham gia kiểm tra và các câu hỏi. Một mô hình RT với cấu trúc này sẽ là mô hình phân phối lô ga chuẩn, đƣa ra sự phân bố bình thƣờng với loga của thời gian cho một ngƣời nhất định trên một câu hỏi. ) , ( ~ lnTi N i i2 (6)
Trong đó τ là tham số của tốc độ mà tại đó ngƣời làm bài kiểm tra thực hiện, βi là tham số cho cƣờng độ thời gian của câu hỏi i, và αi là tham số phân biệt [20]. Tham số αi và βicó thể đƣợc ƣớc lƣợng từ các thời gian ứng đáp thu đƣợc trong khi câu hỏi đƣợc kiểm tra trƣớc cùng với sự định cỡ thông thƣờng của ngân hàng đề. Một khi những tham số này đƣợc biết tới, các RT cho sự lựa chọn các câu hỏi bất kỳ từ ngân hàng đề có thể đƣợc sử dụng để ƣớc lƣợng tham số tốc độ τ cho ngƣời tham gia kiểm tra.
Để điều khiển mức độ tốc độ của trắc nghiệm thích nghi, tốc độ τ của ngƣời tham gia kiểm tra nên đƣợc ƣớc lƣợng từ chính các thời gian ứng đáp của thí sinh trong thời gian làm bài trắc nghiệm, nhƣ là đƣợc ƣớc lƣợng từ những câu trả lời. Vì các tham số câu hỏi đã đƣợc biết tới, chúng ta có thể ƣớc lƣợng những sự phân bổ RT của ngƣời tham gia kiểm tra cho các câu hỏi còn lại trong ngân hàng đề ngay khi chúng ta có sự ƣớc lƣợng về tham số tốc độ. Ban đầu, những sự ƣớc lƣợng của những sự phân bổ là nghèo nàn nhƣng chúng trở nên khá chính xác khi càng về cuối bài trắc nghiệm, mà chính xác là ở mức độ tốc độ của bài trắc nghiệm trở nên quan trọng.
Ý tƣởng cơ bản là áp đặt một sự ràng buộc lên sự lựa chọn các câu hỏi mà yêu cầu một sự ƣớc lƣợng tổng thời gian còn lại của các câu hỏi để không vƣợt quá thời gian còn lại cho bài test. Nó đơn giản là áp đặt một sự ràng buộc sử dụng phƣơng pháp trắc nghiệm ẩn đã đƣợc đề cập ở trên.
Một cách sử dụng khác của các RT là việc nâng cao sự lựa chọn các câu hỏi. Xảy ra một cách tiêu biểu, khi năng lực của ngƣời tham gia kiểm tra có sự tƣơng quan với tốc độ (làm bài kiểm tra) của họ, các RT bao gồm các thông tin giá trị về năng lực của ngƣời tham gia kiểm tra. Do đó, thông tin có thể đƣợc sử dụng để tăng sự hội tụ của các ƣớc lƣợng năng lực và sự thích nghi của bài test.
Trong một nghiên cứu gần đây [23], ý tƣởng đã đƣợc thực thi sử dụng một khung thứ tự với mô hình 3PL và mô hình RT trong (6) nhƣ các mô hình cấp độ đầu tiên và mô hình cấp độ thứ hai khi mà phân bố của tham số năng lực và tham số tốc độ τ đƣợc đƣa vào. Khung này cho phép chúng ta nhập vào thông tin trong các RT khi ƣớc lƣợng về trong mẫu của sự phân bố ƣu tiên theo dõi kinh nghiệm của nó. Trong một nghiên cứu với các dữ liệu giả định, chúng ta có đƣợc sự tăng thêm đáng kể hiệu quả kể cả với sự tƣơng quan vừa phải (tích cực hoặc tiêu cực) giữa
và τ. Ví dụ, một bài trắc nghiệm thích nghi 10 câu hỏi với việc sử dụng các RT có xu hƣớng hiệu quả ngang nhƣ một bài kiểm tra 20 câu hỏi không sử dụng chúng.
Ví dụ cuối cùng của việc sử dụng các RT đƣợc xem xét ở đây là tìm ra sự sai lạc có thể trong trắc nghiệm thích nghi vì sự khác biệt chức năng của các câu hỏi trắc nghiệm, sự hƣớng dẫn không rõ ràng, ngƣời làm bài kiểm tra cần những quá trình điều chỉnh bài test cụ thể khác, và sự gian lận trong việc sao chép câu trả lời, học thuộc lòng câu hỏi trắc nghiệm, hoặc đã biết trƣớc câu hỏi trắc nghiệm. Những thủ tục truyền thống để tìm ra những điều này tập trung vào các câu trả lời không mong đợi biểu lộ ra của các câu hỏi. Hoặc những ngƣời không thích nghi với một mô hình ứng đáp đƣợc biểu hiện để đạt đƣợc phản ứng của bài kiểm tra thông thƣờng.
Có ít nhất ba lý do tại sao tập trung vào các RT đã không ngờ có thể là hiệu quả hơn. Đầu tiên, trong suốt 1 bài trắc nghiệm thích nghi những xác suất trả lời đúng và không đúng hội tụ tại một con số gần với 0.50. Vì vậy, các mô hình ứng đáp có thể là biểu lộ sự sai lạc một cách thông thƣờng trên bài kiểm tra tuyến tính cũng trở nên biểu lộ với phản ứng kiểm tra thông thƣờng, và tất cả các bài kiểm tra thống kê dựa trên chúng bỏ lỡ thế mạnh trong trắc nghiệm thích nghi. Thứ hai, các RT là liên tục thay vì chia ra và vì vậy bao gồm rất nhiều thông tin về bên phía sai. Thứ ba, gần nhƣ không thể che giấu đƣợc sự thực các RT với ngƣời tham gia kiểm tra đang cố gian lận. Mô hình RT với các tham số cấu trúc nhƣ ở (6) cho phép chúng ta điểu chỉnh các RT của ngƣời tham gia kiểm tra với tốc độ thật của họ, và kiểm tra nếu kết quả theo mô hình cƣờng độ thời gian cho các câu hỏi trong bài kiểm tra của họ. Thậm chí với những kẻ gian lận tinh vi, sẽ không thể tìm ra trong suốt bài trắc nghiệm thích nghi những gì mẫu thông thƣờng, bởi vì họ sẽ phải làm trong suốt thời gian của họ trên các câu hỏi.