CHƢƠNG 3 : TRẮC NGHIỆM THÍCH NGHI
3.4. Một số phát triển mới hiện nay
3.4.2. Trắc nghiệm thích nghi với việc sinh ra các câu hỏi dựa vào quy tắc
trong phƣơng pháp kiểm tra ẩn với trắc nghiệm thích nghi không những là tạo một số điểm chính xác trong trắc nghiệm thích nghi mà có thể tự động bằng với những điểm số ở trong các bài kiểm tra theo tuyến tính đã dùng khi cho điểm.
3.4.2. Trắc nghiệm thích nghi với việc sinh ra các câu hỏi dựa vào quy tắc tắc
Trong các dạng trắc nghiệm tuyến tính truyền thống, những câu hỏi mới đƣợc viết và kiểm tra trƣớc cho một dạng kiểm tra đơn mỗi khi dạng kiểm tra trƣớc đó trở nên lỗi thời. Nhƣng mỗi một phiên bản mới của trắc nghiệm thích nghi yêu cầu sự thay đổi của toàn bộ ngân hàng đề. Nếu thí sinh có thể làm bài trắc nghiệm thích nghi liên tục và các sự rủi ro trong bảo mật là cao, thì sự thay đổi của ngân hàng câu hỏi sẽ đặt một cách nặng nề lên các tài nguyên của các cơ quan kiểm tra và ngƣời làm đề có thể sẽ dẫn đến việc cạn kiệt ý tƣởng cho câu hỏi mới tƣơng đƣơng.
Một trong những giải pháp sớm hơn cho vấn đề này là sử dụng kỹ thuật điều khiển các câu hỏi đã bị lộ để khai thác ngân hàng đề tốt hơn. Mặc dù ban đầu chúng đƣợc phát minh ra để tránh rủi ro của sự dàn xếp các câu hỏi bằng cách giảm thiểu tỷ lệ lộ đề của các câu hỏi phổ biến trong ngân hàng, kỹ thuật này cũng đƣợc nhận ra ngay rằng những kỹ thuật giống nhau có ảnh hƣởng tích cực tới tỷ lệ của các câu hỏi trong ngân hàng mà thông thƣờng có xu hƣớng càng ít đƣợc sử dụng. Tất nhiên, những ứng dụng này chỉ hoạt động một cách hài lòng khi tất cả các câu hỏi trong ngân hàng đều có chất lƣợng cao.
Một bƣớc tiếp cận cơ bản hơn với vấn đề là nhìn vào khả năng sản xuất hàng loạt của các câu hỏi chất lƣợng cao bằng các thuật toán máy tính. Những ý tƣởng về việc sinh ra câu hỏi dựa theo quy tắc đã đƣợc khai thác trong những năm 1960, chủ
yếu sử dụng trong trắc nghiệm lĩnh vực tham khảo [15]. Những khả năng cho sự sinh ra câu hỏi nhờ máy tính một cách trực tiếp để sử dụng trong trắc nghiệm thích nghi đã làm sống lại lĩnh vực nghiên cứu này.
Những cách khác nhau của việc sinh ra câu hỏi đã đƣợc nghiên cứu. Một cách dễ hiểu đó là sử dụng các dạng, hoặc các cấu trúc câu hỏi mà ở đó các câu hỏi có chất lƣợng tốt hơn tồn tại sẵn đƣợc lựa chọn và một số yếu tố của các câu hỏi đƣợc thay thế bởi những tập hợp lớn, từ đó các yếu tố đƣợc thay thế một cách ngẫu nhiên. Một cách khác, đó là nhân bản các câu hỏi sử dụng quy tắc biến đổi (ví dụ, quy tắc ngôn ngữ hoặc các quy tắc dựa trên nội dung). Nghiên cứu trong lĩnh vực sinh ra câu hỏi dựa theo quy tắc đã phát triển rất nhanh bởi vì những lợi điểm rất hứa hẹn của nó. Một ví dụ ứng dụng thành công gần đây cho phép sinh ra rất nhiều câu hỏi cho kiểm tra lập luận hình ảnh từ một tập hợp giới hạn các quy tắc đƣợc giới thiệu [11].
Tuy nhiên, một vấn đề chƣa đƣợc đƣa ra bởi việc sinh ra các câu hỏi dựa theo quy tắc đó là chi phí để kiểm tra trƣớc các câu hỏi này. Trên thực tế, những chi phí này còn cao hơn rất nhiều việc viết ra các câu hỏi; chúng bao gồm cả việc xem xét lại câu hỏi thêm vào, kiểm tra trƣớc theo kinh nghiệm, và định cỡ câu hỏi thống kê. Có thể thật ngây thơ khi nghĩ rằng những việc này có thể bỏ qua, bởi vì các tham số của một câu hỏi có thể đƣợc sử dụng một cách tự động cho bất kỳ một câu hỏi khác đƣợc sinh ra từ nó. Ấn tƣợng chung từ nghiên cứu theo kinh nghiệm về vấn đề này là những sự khác biệt giữa sự ƣớc lƣợng tham số của câu hỏi trong các nhóm câu hỏi là nhỏ hơn rất nhiều so với giữa các nhóm, nhƣng chúng vẫn đủ lớn để không thể bỏ qua. Hình 15 chỉ rõ sự khác nhau điển hình giữa các tham số câu hỏi trong ngân hàng với các nhóm của các câu hỏi sinh ra từ một tập hợp nhỏ của các câu hỏi cha hoặc các quy tắc câu hỏi.
Hình 14: Ngân hàng nhóm câu hỏi cho trắc nghiệm thích nghi
Sự tiết kiệm đáng kể của việc định cỡ câu hỏi là có thể khi sự lựa chọn các câu hỏi tuân theo thủ tục 2 giai đoạn: (i) một nhóm câu hỏi đƣợc biết đó là tối ƣu tại ƣớc lƣợng hiện thời và (ii) một câu hỏi sinh ra ngẫu nhiên từ nhóm câu hỏi này. Bƣớc đầu tiên khai thác những sự khác nhau giữa các nhóm câu hỏi trong ngân hàng đề và vẫn cho phép chúng ta có thể thích nghi. Bƣớc thứ 2 ngẫu nhiên theo hƣớng những sự khác biệt trong nhóm nhỏ hơn nhiều.
Cách lựa chọn câu hỏi này đƣợc làm cho thuận tiện bởi sự thay thế của mô hình ứng đáp bằng mô hình với cấu trúc 2 cấp. Giả sử chúng ta có các nhóm câu hỏi f = 1,…, F. Các câu hỏi từ nhóm f là if = 1,…, If. Với mô hình Rasch trong (1), một cấu trúc 2 cấp phù hợp là: ) exp( 1 ) exp( } 1 Pr{ f f f i i i b b U , if=1,…,I, f=1,…,F (2) Với bif ~ N(f,2f), f=1,…,F (3)
Thể hiện rằng mỗi một nhóm f có một sự phân chia bình thƣờng các tham số độ khó với giá trị trung bình μf và phƣơng sai σ2f của nó. Những khác biệt giữa các nhóm đƣợc lƣu giữ bởi các tham số μf, sự khác biệt trong các nhóm bởi các tham số σ2
f.
Các nhóm câu hỏi
Ở dƣới mỗi mô hình, sự định cỡ câu hỏi có thể đƣợc thay thế bởi sự định cỡ nhóm mà cụ thể là sự ƣớc lƣợng của các tham số nhóm từ các ví dụ của các câu hỏi lấy ra từ chúng. Một khi những tham số này đƣợc ƣớc lƣợng đủ chính xác, một bài trắc nghiệm thích nghi từ ngân hàng có thể đƣợc thực hiện bằng cách chọn mỗi nhóm tiếp theo đƣợc tối ƣu tại ƣớc lƣợng hiện tại và lấy mẫu một câu hỏi từ nhóm. Bởi vậy, sự tiết kiệm trong định cỡ câu hỏi liên quan trực tiếp tới sự khác biệt giữa kích thƣớc của mẫu các câu hỏi định cỡ và tổng số các câu hỏi khác nhau có thể đƣợc tạo ra từ trong các nhóm.
Ý tƣởng của việc mô hình các ngân hàng đề nhƣ một tập hợp các nhóm các câu hỏi đƣợc trình bày cho hàm logistic 3 tham số tống quát [13]. Sự ƣớc lƣợng cho mô hình tƣơng tự của Bayesian cũng đƣợc nghiên cứu [19]. Một nghiên cứu mà ở đó mô hình nhóm đƣợc áp dụng vào trắc nghiệm thích nghi đƣợc đƣa ra [14].
Điều quan trọng cần chú ý là cách chọn câu hỏi dựa trên 2 giai đoạn này là khác với phƣơng pháp kiểm tra ẩn. Trong trắc nghiệm thích nghi có ràng buộc, 2 điều cần thiết này sẽ đƣợc kết hợp: Mô hình tối ƣu hóa cho kiểm tra ẩn sau đó là cho sự lựa chọn của các nhóm câu hỏi trong bài test. Ngay khi một bài kiểm tra ẩn đƣợc lựa chọn, nhóm tốt nhất đƣợc chọn từ các nhóm dỗi trong nó. Cuối cùng, một câu hỏi đƣợc lấy mẫu ngẫu nhiên từ nhóm tốt nhất.