CHƢƠNG 3 : TRẮC NGHIỆM THÍCH NGHI
3.1. Khái niệm trắc nghiệm thích nghi trên máy tính
3.1.2. Kỹ thuật của CAT
Theo [16] CAT có thể đƣợc chia ra làm 2 loại kỹ thuật đánh giá: kỹ thuật trắc nghiệm thích nghi và kỹ thuật các câu hỏi thích nghi.
Kỹ thuật trắc nghiệm thích nghi bao gồm một bài test trong đó sự lựa chọn và trình bày mỗi câu hỏi cũng nhƣ quyết định dừng mỗi quy trình đƣợc thích nghi động đối với kết quả của thí sinh trong khi làm bài trắc nghiệm.
Kỹ thuật trắc nghiệm thích nghi dựa trên lý thuyết ứng đáp câu hỏi (IRT). Phần tử trung tâm của IRT là tập hợp các hàm toán học nhằm lựa chọn độ khó phù hợp nhất cho câu hỏi tiếp theo, câu hỏi tiếp theo sẽ đƣợc đƣa ra cho thí sinh với một tính toán về khả năng trả lời cụ thể chính xác. Ở hiện tại có rất nhiều mô hình thuật toán IRT khác nhau cho đánh giá điểm các câu hỏi. Để có thể xác định hàm ứng đáp cho mỗi câu hỏi, IRT yêu cầu mỗi một câu hỏi đƣợc chuẩn bị cho một nhóm lớn các ngƣời học. Hàm ứng đáp sau đó đƣợc sử dụng để xác định điểm năng lực cho từng thí sinh.
Giả thiết cơ bản của IRT là khả năng cao của một thí sinh là có thể đƣa ra câu trả lời chính xác. Các năng lực khác nhau của ngƣời học đƣợc xác định thông qua câu trả lời cho các câu hỏi trƣớc đó của họ, là các câu hỏi đƣợc đƣa ra mà là phần lớn đánh giá chính xác hiểu biết của họ dựa trên các tài liệu học đã đƣa.
Mô hình lý thuyết ứng đáp câu hỏi ba tham số nhƣ sau:
) ( 1 1 ) 1 ( ) ( a b e c c P Trong đó:
- a là tham số độ phân biệt của câu hỏi (discrimination), nó cho biết mức độ phân biệt của các thí sinh có năng lực trên mức năng lực trung bình hoặc các thí sinh có năng lực dƣới mức năng lực trung bình, -a +
- b là tham số độ khó của câu hỏi, -b +;
- c là tham số độ phỏng đoán (guessing) của câu hỏi, tham số này cho biết trong trƣờng hợp thí sinh có mức năng lực thấp nhất vẫn có thể trả lời đúng một câu hỏi với một xác suất nào đó. Mức phỏng đoán là một hằng số đối với mỗi câu hỏi, nó đƣợc giả thiết là không biến đổi theo mức năng lực thí sinh, 0 c 1;
- là biến số biểu thị năng lực của thí sinh (ability), - +; - P() là xác suất để thí sinh có năng lực trả lời đúng câu hỏi.
Trong thủ tục trắc nghiệm thích nghi một thí sinh trả lời các câu hỏi chính xác (hoặc không chính xác) sẽ dần dần đƣợc cung cấp với câu hỏi khó hơn (hoặc dễ
hơn). Câu hỏi đƣợc lựa chọn sao cho độ khó của các câu hỏi tƣơng xứng với mức hiểu biết đã đƣợc ƣớc lƣợng của thí sinh. Những câu hỏi mà cung cấp số lƣợng thông tin lớn nhất về mức hiểu biết thực tế của ngƣời học thƣờng là những câu hỏi có độ khó tƣơng xứng với hiểu biết của ngƣời học, đƣợc ƣớc lƣợng bởi hệ thống và nhân tố dự đoán thấp. Sự ƣớc lƣợng chuẩn hiểu biết của thí sinh phụ thuộc vào số các câu hỏi đƣợc trả lời chính xác và độ khó của các câu hỏi đƣợc trả lời. Quy trình đánh giá sẽ đạt đƣợc ƣớc lƣợng chính xác về mức hiểu biết của ngƣời học sau một số câu hỏi đã làm.
* Kỹ thuật câu hỏi thích nghi
Kỹ thuật này đƣa ra trình tự câu hỏi động dựa trên câu trả lời của ngƣời học. Sau khi đƣa ra câu trả lời hoặc dựa trên thao tác của ngƣời học hệ thống sẽ đƣa ra loạt câu hỏi tiếp theo phụ thuộc vào một số quy tắc đƣợc định nghĩa trƣớc, trái ngƣợc với kỹ thuật trắc nghiệm thích nghi câu hỏi đƣợc đƣa ra là một câu hỏi mà cung cấp lƣợng thông tin lớn nhất về chuẩn hiểu biết thực sự của ngƣời học.
Kỹ thuật câu hỏi thích nghi sử dụng một ngân hàng câu hỏi. Những câu hỏi này đƣợc nhóm thành các mức khác nhau phụ thuộc vào tiêu chuẩn do giảng viên chỉ định ví dụ nhƣ mục tiêu cần đạt đƣợc. Hơn nữa, mỗi mức lại có thể bao gồm một số mức con với đặc tính khác nhau, ví dụ nhƣ độ khó của câu hỏi. Mức/mức con đƣợc sinh ra theo trình tự câu hỏi dựa trên câu trả lời của sinh viên. Mỗi lần sinh ra, toàn bộ câu hỏi sẽ đƣợc hiển thị. Câu hỏi thích nghi đã đƣợc sử dụng rộng rãi trong các khảo sát với sự trợ giúp của máy tính, các câu hỏi thích nghi trên nền web có thể giảm đƣợc số lƣợng và độ phức tạp.
Kỹ thuật trắc nghiệm thích nghi thƣờng đƣợc dùng để đánh giá tổng quát và dựa vào IRT. Mặc dù IRT có ảnh hƣởng rất lớn trong hệ thống CAT, nhƣng nó cũng quá khó để thực thi trong thực tế bởi tính phức tạp. Kỹ thuật câu hỏi thích nghi thƣờng đƣợc dùng để đánh giá cấu trúc hơn là đánh giá tổng quát. Trong kỹ thuật này mục tiêu chính không phải là cho điểm trình độ kiến thức của sinh viên mà cách lựa chọn câu hỏi phù hợp nhất có thể để tìm ra đƣợc chủ đề của khóa học, phần mà ngƣời học cần phải xem lại và nắm bắt đƣợc.