Xây Dựng Mô Hình Trắc Nghiệm Thích Nghi Trên Cơ Sở Lý Thuyết Đáp Ứng Câu Hỏi

XÂY DỰNG MÔ HÌNH TRẮC NGHIỆM THÍCH NGHI TRÊN CƠ SỞ LÝ THUYẾT ĐÁP ỨNG CÂU HỎI Lê Xuân Tài – TS Đặng Hoài Phương Trường Đại học Bách Khoa – Đại học Đà Nẵng Tóm tắt: Hiện nay, Việt Nam mô hình trắc nghiệm khách quan (Objective test) sử dụng phổ biến Tuy nhiên, trắc nghiệm khách quan không thực đưa kết đắn công số nguyên nhân: câu hỏi kiểm tra lựa chọn cách ngẫu nhiên có kiểm tra khó dễ, dẫn đến gây nhàm chán cho thí sinh làm toàn câu hỏi dễ ức chế gặp phải câu hỏi khó Vì việc đưa mô hình trắc nghiệm mà thời điểm trắc nghiệm, thí sinh trả lời câu hỏi phù hợp với lực vấn đề cấp thiết Một mô hình nghiên cứu mô hình trắc nghiệm thích nghi (Adaptive test) Trắc nghiệm thích nghi trắc nghiệm đánh giá lực thí sinh với giúp đỡ máy tính Với việc sử dụng trắc nghiệm thích nghi số lượng thứ tự câu hỏi đưa cho thí sinh khác nhau, tùy thuộc vào lực thí sinh Vì vậy, việc đánh giá lực thí sinh trở nên nhanh chóng, xác khách quan Bài báo đề cập phân tích số mô hình hệ thống trắc nghiệm thích nghi có như: mô hình trắc nghiệm thích nghi sử dụng phương pháp lựa chọn câu hỏi theo tiêu chuẩn thông tin tối đa (Maximum Information - MI), mô hình trắc nghiệm thích nghi sử dụng phương pháp lựa chọn câu hỏi theo thông tin toàn cục (Kullback-Leibler – KL), mô hình trắc nghiệm thích nghi sử dụng phương pháp lựa chọn câu hỏi dựa phân tích tiên đoán (maximum expected information - MEI) Các mô hình hiệu việc làm giảm số câu hỏi cần thiết kiểm tra Tuy nhiên, để lựa chọn, đưa câu hỏi phù hợp với khả thí sinh mô hình chưa đáp ứng tốt Để giải nhược điểm nêu đề xuất xây dựng mô hình trắc nghiệm thích nghi dựa sở lý thuyết đáp ứng câu hỏi (Item Theory Response) thiết kế hệ thống trắc nghiệm sở mô hình đề xuất Từ khóa: Trắc nghiệm khách quan, Trắc nghiệm thích nghi, Lý thuyết đáp ứng câu hỏi, Thuật toán lựa chọn câu hỏi Giới thiệu Các hình thức kiểm tra, đánh giá truyền thống hoạt động dạy - học nặng đánh giá khả ghi nhớ, trình bày lại nội dung mà người dạy truyền thụ kiểm tra vấn đáp học cũ, kiểm tra viết thời gian ngắn dài theo chương, mục giảng v.v bộc lộ nhiều hạn chế nâng cao tính tích cực học tập khả vận dụng linh hoạt sáng tạo kiến thức - kỹ người học tình thực tế đa dạng Để khắc phục hạn chế trên, nhiều nước giới nghiên cứu vận dụng phương pháp đánh giá trắc nghiệm (test) Các trắc nghiệm nghiên cứu thử nghiệm cho loại hình dạy - học mục đích khác công phu (Trắc nghiệm trí thông minh IQ, trắc nghiệm kiểm tra tiếng Anh TOEFL, trắc nghiệm kiểm tra luật giao thông v.v ) Cũng có loại trắc nghiệm đánh giá đơn giản để đáp ứng yêu cầu đánh giá kiến thức kỹ dạy lý thuyết thực hành Trên giới có hình thức trắc nghiệm như: Trắc nghiệm chủ quan (Subjective test), trắc nghiệm khách quan (Objective test) trắc nghiệm thích nghi (Adaptive test) Tất hình thức trắc nghiệm nhằm đến mục đích đánh giá trình độ, lực kết học tập người học hình thức có phương pháp tiến hành hiệu mang lại khác Một số nghiên cứu gần xu hướng chủ yếu tương lai ứng dụng trắc nghiệm thích nghi việc đánh giá kiến thức, nhận thức kỹ năng, đặc biệt mô hình thích nghi máy tính (Computerized Adaptive Testing - CAT) [1] Trong báo này, trình bày nghiên cứu việc xây dựng mô hình TNTN sở lý thuyết đáp ứng câu hỏi (Item Response Theory) Đây lý thuyết trắc nghiệm xây dựng dựa mô hình toán học, đòi hỏi nhiều tính toán, nhờ tiến vượt bậc công nghệ tính toán máy tính điện tử vào cuối kỷ 20 – đầu kỷ 21 nên phát triển nhanh chóng đạt thành tựu quan trọng [3, 4] Tổng quan trắc nghiệm thích nghi 2.1 Khái niệm Trắc nghiệm thích nghi Trắc nghiệm thích nghi (TNTN), tiếng Anh gọi “Adaptive Test” [1, 2], thuật ngữ để phương pháp đánh giá thí sinh (học sinh, sinh viên, bệnh nhân, …) hình thức kiểm tra trắc nghiệm đánh giá theo hướng lực thí sinh câu hỏi tương ứng với mức lực Hệ thống TNTN hệ thống phần mềm phát triển sở mô hình TNTN để đánh giá thí sinh Về hoạt động ta hình dung hệ thống TNTN cố gắng bắt chước phương pháp đánh giá người giáo viên học sinh Có nghĩa là, lần hệ thống cung cấp cho thí sinh câu hỏi vừa đủ khó thí sinh Nếu thí sinh trả lời câu trả lời cách xác, sau câu hỏi khó đề nghị không câu hỏi có độ khó thấp đề nghị Quá trình nên lặp lặp lại có đủ chứng để xác định trình độ kiến thức thí sinh Trong TNTN, trình thực cách tự động Ban đầu tạm thời ước lượng mức lực thí sinh, sau đặt câu hỏi thí sinh trả lời Một ước lượng lực thí sinh tính toán lại Với ước tính này, câu hỏi chọn cách xác Ta xem TNTN thuật toán lặp với thông số đầu vào ước tính ban đầu mức độ lực thí sinh, thuật toán bao gồm bước sau: Bước Tất câu hỏi chưa hệ thống lựa chọn câu hỏi ứng cử cho lựa chọn (dựa vào trình độ lực thí sinh); Bước Câu hỏi phù hợp với lực thí sinh đưa thí sinh trả lời câu hỏi đó; Bước Theo kết câu trả lời thí sinh, ước lượng mức độ lực tính toán; Jos.hueuni.edu.vn Tập 97; Số 9; Năm 2015 Bước Quay lại Bước điều kiện ngừng TNTN xác định chưa thỏa mãn Do vậy, mô hình TNTN: thuật toán lựa chọn câu hỏi phù hợp với khả thí sinh khó khăn phải tính toán cách phức tạp Ngày với phát triển khoa học máy tính vấn đề giải cách tốt 2.2 Các mô hình trắc nghiệm thích nghi có Như đề cập trên, thuật toán lựa chọn câu hỏi phần quan trọng mô hình TNTN Cho đến nay, tồn mô hình TNTN sử dụng số thuật toán lựa chọn câu hỏi phù hợp với lực thí sinh như: thuật toán lựa chọn câu hỏi theo tiêu chuẩn thông tin tối đa (Maximum Information - MI), thuật toán lựa chọn câu hỏi theo thông tin toàn cục (Kullback-Leibler – KL), thuật toán lựa chọn câu hỏi dựa phân tích tiên đoán theo tiêu chí tối đa thông tin (Maximum Expected Information - MEI) Thuật toán lựa chọn câu hỏi theo tiêu chuẩn thông tin tối đa (MI) [5] thuật toán phổ biến sử dụng mô hình TNTN Câu hỏi thứ n+1 lựa chọn cho thí sinh câu hỏi cung cấp thông tin tối đa cho phép ước lượng khả thí sinh (n) dựa n câu hỏi trước mà thí sinh trả lời Thuật toán lựa chọn câu hỏi theo thông tin toàn cục (KL) thuật toán lựa chọn câu hỏi dựa phương pháp thông tin tổng thể đề xuất Chang and Ying (1996) [6] Thuật toán sử dụng độ đo Kullback-Leibler để tính toán ước lượng việc lựa chọn câu hỏi Thuật toán lựa chọn câu hỏi dựa phân tích tiên đoán theo tiêu chí tối đa thông tin (MEI) thuật toán lựa chọn câu hỏi dựa việc phân tích tiên đoán tiêu chí tối đa thông tin dự kiến đề xuất van der Linden (1998) [7] Các thuật toán lựa chọn câu hỏi thực sau: [1] Khởi tạo: Mức lực ban đầu thí sinh 0; [2] Bước Lặp: Ước lượng lại lực  thí sinh sau thí sinh trả lời câu hỏi Câu hỏi lựa chọn dựa mức lực  Cho i câu hỏi thứ i ngân hàng câu hỏi (i=1 n) k số câu hỏi chọn (đưa cho thí sinh) Gọi tập Sk-1 tập hợp câu hỏi chọn Sk-1={i1,…, ik-1}; tập Rk={1 n}\Sk-1 tập hợp câu hỏi lại chưa chọn Khi câu hỏi thứ k chọn theo nguyên tắc:  Thuật toán MI: Với giá trị lực , câu hỏi lựa chọn câu hỏi thứ k có giá trị hàm thông tin , ( ) lớn nhất: ≡ , ,…, : ∈ , (1) Trong đó: ( ) , ( )= ( )[ ( )] (2)  Thuật toán KL: Với giá trị lực , câu hỏi lựa chọn câu hỏi ( thứ k có giá trị hàm thông tin ≡ ) lớn nhất: ( || ∫ ): ∈ , (3) Trong đó: ( || ) = = Và  ( ( ) log ) + [1 − ( ) ( ( )] log ) ( ) (4) √ Thuật toán MEI: Với giá trị lực , câu hỏi lựa chọn câu hỏi thứ k với trọng số ( ( ) khả tiên đoán | ,…, ) có giá trị lớn (0| ≡ (1| ,…, ) ( | ,…, ) ,…, ,…, , ,…, ,…, , , ,…, , : ∈ , + (5) Trong đó: ) = ∫ ( | ) ( | ,…, ) (6) khả tiên đoán trả lời us, ,…, Và ( ; ( ; ( )=− ,…, )=∏ ,…, ) độ lệch tiên đoán ( ) [1 − ( )] (7) tích xác suất trả lời sai thí sinh k-1 câu hỏi trước [3] Điều kiện dừng: Khi tất câu hỏi lựa chọn mức lực thí sinh xác định Tiêu chuẩn lỗi (SE) thuật toán MI, KL MEI Khi SE đủ nhỏ thuật toán lựa chọn câu hỏi TNTN dừng Khi nói xác định mức lực thí sinh Giả sử Với hai mức tiêu chuẩn lỗi 0.4 0.2 Số câu hỏi cần thiết để hệ thống TNTN xác định lực thí sinh Trong −3 ≤ ≤ +3 sau: Bảng Phân bố 500 đánh giá TNTN theo số lượng câu hỏi tiêu chuẩn lỗi (SE) 0.4 0.2 Số câu hỏi yêu cầu hệ thống TNTN Nhỏ 10 Từ 11 đến 20 Từ 21 đến 30 Từ 31 đến 40 Từ 41 đến 50 Từ 51 đến 60 Từ 61 đến 70 Từ 71 trở lên MI SE=0.4 KL MEI MI SE=0.2 KL MEI 41 300 95 32 10 16 38 310 99 23 10 10 81 270 95 20 11 11 77 60 42 321 79 70 50 314 68 68 36 328 Jos.hueuni.edu.vn Tập 97; Số 9; Năm 2015 Từ bảng ta thấy, điều kiện dừng đặt với tiêu chuẩn lỗi SE=0.4 Với thủ tục chọn MI có 341 500 kiểm tra cần 20 câu hỏi; Với thủ tục chọn KL có 348 500 kiểm tra cần 20 câu hỏi; Với thủ tục chọn MEI có 351 500 kiểm tra cần 20 câu hỏi Tuy nhiên, điều kiện dừng đặt với tiêu chuẩn lỗi SE=0.2 tất thủ tục chọn cần 40 câu hỏi Bảng Bảng đánh giá thuật toán lựa chọn MI, KL MEI (+: có, -: không) Thuật toán lựa Đánh giá thông Khả thích Số câu hỏi để xác Thời gian tính chọn câu hỏi số câu hỏi ứng liên tục với định tiêu chuẩn toán hàm thông tham số lực lỗi (SE) tin Thuật toán MI - - +/- +/- Thuật toán KL - - +/- +/- Thuật toán MEI - - +/- +/- Phân tích mô hình TNTN sử dụng thuật toán lựa chọn câu hỏi không tính toán đến thông số câu hỏi ảnh hưởng đến việc lựa chọn (ví dụ độ khó câu hỏi), khả thích ứng liên tục với tham số lực thí sinh Ngoài ra, tiêu chuẩn lỗi đặt cố định mức thấp đòi hỏi phải cần nhiều câu hỏi cho kiểm tra thời gian tính toán hàm thông tin phụ thuộc nhiều vào ngân hàng câu hỏi Do đó, đề xuất xây dựng mô hình TNTN sở lý thuyết đáp ứng câu hỏi (Item Response Theory) nhằm khắc phục nhược điểm nêu Xây dựng mô hình trắc nghiệm thích nghi 3.1 Lý thuyết đáp ứng câu hỏi (Item Response Theory – IRT) Lý thuyết đáp ứng câu hỏi mô hình toán học để mô tả thí sinh đáp ứng với câu hỏi trắc nghiệm (Embretson & Reise, 2000) [8] Mô hình sử dụng việc đánh giá tâm lý người (Van der Linden & Hambleton, 1997) [9] Lý thuyết đáp ứng câu hỏi xây dựng mô hình tính toán để xử lý liệu dựa việc nghiên cứu cặp tương tác “Thí sinh” “Câu hỏi” triển khai thi trắc nghiệm Mỗi thí sinh đứng trước câu hỏi trả lời nào, điều phụ thuộc vào lực () thí sinh số đặc trưng câu hỏi Một câu hỏi có tham số đặc trưng “độ khó” (b), “độ phân biệt” (a) “độ đoán mò” (c) Trong tham số quan trọng độ khó câu hỏi, tham số b sử dụng để đối sánh với tham số lực  thí sinh Tham số b sử dụng để thể đặc trưng phân biệt câu hỏi tham số c để tỉ lệ đoán mò thí sinh gặp câu hỏi Hiện có mô hình tính toán phổ biến lý thuyết đáp ứng câu hỏi, mô hình phân loại theo số tham số đặc trưng mà sử dụng Mô hình tham số (mô hình Rasch) xét đến độ khó câu hỏi, mô hình tham số (mô hình Birnbaum) xét thêm độ phân biệt câu hỏi, mô hình tham số xét thêm mức độ đoán mò thí sinh trả lời câu hỏi Cả ba mô hình thể chung qua công thức (8), gọi đường cong đặc trưng câu hỏi (Item Characteristic Curve - ICC) ( )= Trong đó: Các tham số ( + (1 − ) ) ( (8) ) giá trị lực thí sinh, a độ phân biệt câu hỏi, b độ khó câu hỏi c độ đoán mò thí sinh câu hỏi ( ) gọi xác suất để thí sinh có lực trả lời câu hỏi Trong báo sử dụng mô hình IRT tham số a b (c = 0) Lúc này, công thức (8) trở thành: ( ( )= ) ( (8.1) ) Mục đích cuối hệ thống đánh giá lực thí sinh Trong mô hình hệ thống TNTN dựa sở lý thuyết IRT, vấn đề thực hàm khả sau: ( ; Trong ,…, ,…, )=∏ ( ) (1 − ( )) (9) k câu hỏi mà thí sinh trả lời Và lực thí sinh sau sau hỏi thứ k tương ứng là: = max ∑ ( ; ( ) ,…, ) (10) ( ; )/ Trong đó: ( ) hàm thông tin câu hỏi: ( ) = ( ; ) Ngoài lý thuyết đáp ứng câu hỏi cung cấp công thức độ lệch chuẩn (SE) sử dụng làm điều kiện dừng hệ thống: ( )= (11) ∑ ( ) Hàm thông tin câu hỏi trả giá trị kỳ vọng thay đổi lực Hay nói cách khác, câu hỏi i đóng góp cho thay đổi tham số lực Công thức (11) xác định tiêu chuẩn ước lượng giới hạn Và ta sử dụng điều kiện dừng hệ thống 3.2 Mô hình trắc nghiệm thích nghi dựa lý thuyết đáp ứng câu hỏi Một mô hình tổng thể TNTN cần có thành phần sau:  Ngân hàng câu hỏi (Item banking);  Các thuật toán: Start (khởi tạo), Select (lựa chọn câu hỏi), Administer (thi hành), Score (đánh giá kết quả), Compute (tính toán), Stop (dừng), Report (báo cáo) Ngân hàng câu hỏi (NHCH) 10 Jos.hueuni.edu.vn Tập 97; Số 9; Năm 2015 Để quản lý hệ thống TNTN, NHCH phải có đủ số lượng tốt câu hỏi phù hợp mô hình TNTN sở lý thuyết đáp ứng câu hỏi (mô hình tham số IRT) Về nguyên tắc, tiêu chí cho câu hỏi tốt không khác so với tiêu chuẩn cho mục trắc nghiệm giấy thông thường Tuy nhiên, câu hỏi phải hiệu chỉnh theo mô hình tham số IRT lựa chọn Trong mô hình tham sô IRT câu hỏi có tham số độ khó, độ phân biệt đoán mò Trong đề tài định lựa chọn mô hình IRT với tham số câu hỏi (độ khó độ phân biệt) để thực hệ thống TNTN Các thuật toán hệ thống TNTN Về hệ thống TNTN phân làm loại: Khởi đầu, Lặp kết thúc Khi thuật toán Start, Stop Report sử dụng lần thuật toán Select Administer, Score Compute lặp nhiều lần trình hoạt động hệ thống Trong thuật toán lựa chọn câu hỏi Select quan trọng hệ thống Trong hệ thống TNTN này, sử dụng mô hình lý thuyết IRT để xây dựng thuật toán Chi tiết mô hình thuật toán trình bày bên Start Select Administer Score Compute Stop no yes Report Hình Mô hình tổng thể hệ thống TNTN dựa lý thuyết IRT 11 - Start: thuật toán mục đích lựa chọn câu hỏi cho kiểm tra Giả sử thí sinh bắt đầu có giá trị lực mức độ trung bình Mặc dù, ta lựa chọn câu hỏi dễ khó Khi thuật toán lựa chọn câu hỏi từ ngân hàng với tham số tương ứng phù hợp - Select: Sau vòng lặp thuật toán lựa chọn câu hỏi có tiêu chí phù hợp với mức lực thí sinh Để lựa chọn câu hỏi, cần có đánh giá lực thí sinh tham số tương ứng câu hỏi Vấn đề trình bày kỹ phần sau - Administer and Score: trình thi hành hệ thống Trong giai đoạn này, câu hỏi trình bày, thí sinh trả lời hệ thống ghi nhận kết - Compute: Thuật toán xử lý điểm số thí sinh Điểm số dựa thông tin mức lực thí sinh kết trả lời câu hỏi - Stop: Sau hệ thống xử lý hoàn thành thao tác cần thiết câu hỏi với thí sinh Hệ thống định dừng tiếp tục trình trắc nghiệm phụ thuộc vào kết Stop Khi điều kiện dừng thõa mãn Stop có kết True, lúc hệ thống dừng ngược lại - Report: Hệ thống thông báo kết đánh giá lực thí sinh đồng thời ghi nhận kết vào hệ thống cho lần kiểm tra có Thuật toán lựa chọn câu hỏi Trong hệ thống TNTN, sau lần lặp hệ thống lựa chọn câu hỏi ngân hàng câu hỏi để đề cử cho trình thực đánh giá Trong mô hình này, câu hỏi chọn cần phù hợp với mức lực thí sinh Chúng sử dụng hàm thông tin câu hỏi (10) lý thuyết đáp ứng câu hỏi để đánh giá lựa chọn câu hỏi phù hợp với khả thí sinh Thuật toán Select gồm bước: - Dựa tham số lực tại, tính toán giá trị hàm thông tin câu hỏi ứng cử (tất câu hỏi chưa đưa cho thí sinh trả lời); - Tìm lựa chọn câu hỏi có giá trị thông tin lớn (với câu hỏi có hàm thông tin lớn có nghĩa câu hỏi phù hợp với khả thí sinh nhất) Với lựa chọn mô hình IRT tham số, hàm thông tin là: ( )= ( )[1 − ( )] (12) 3.3 Hệ thống trắc nghiệm thích nghi Dựa mô hình TNTN đề xuất, nhóm tác giả tiến hành phát triển hệ thống TNTN sau: 12 Jos.hueuni.edu.vn Tập 97; Số 9; Năm 2015 Phần Giao diện thí sinh: Đây phần giao diện làm việc thí sinh thao tác hệ thống TNTN Phần gồm có: - Quản lý đăng nhập: Thí sinh chưa có tài khoản đăng ký để đăng nhập vào hệ thống đánh giá TNTN, hệ thống khởi tạo thí sinh có mức lực trung bình Đối với thí sinh cũ đăng nhập tài khoản có - Giao diện thực trình kiểm tra: Đây nơi thí sinh thực thao tác trả lời câu hỏi hệ thống TNTN Mỗi lượt xuất câu hỏi đáp án lựa chọn Thí sinh chọn đáp án gửi hệ thống Hệ thống đánh giá thông báo kết lựa chọn (đúng/sai) Ngoài ra, thông báo kết việc đánh giá lực thí sinh Quản lý đăng nhập Giao diện thực trình kiểm tra Hệ thống TNTN Quản lý câu hỏi Start Select Administer Giao diện Quản lý thí sinh Score Database Compute Stop Quản trị Hệ thống Report Hình Kiến trúc tổng thể hệ thống TNTN dựa lý thuyết IRT Phần quản trị: Đây phần làm việc người quản trị hệ thống (Giáo viên) Phần gồm có: 13 - Phần giao diện: cho phép người quản trị thực thao tác hệ thống đánh giá TNTN như: thao tác câu hỏi (thêm, xóa, sửa, tìm kiếm) ngân hàng câu hỏi; thao tác thí sinh (xem, xuất kết đánh giá, xem lịch sử, …), thao tác quản trị hệ thống - Quản lý câu hỏi: có nhiệm vụ kết nối thực thao tác cần thiết với ngân hàng câu hỏi (Cơ sở liệu) Ngoài ra, thành phần có chức lấy câu hỏi từ CSDL theo yêu cầu từ hệ thống TNTN - Quản lý thí sinh: cho phép kết nối thực thao tác cần thiết với liệu thí sinh - Quản trị hệ thống: cho phép thiết lập chức hệ thống (đăng nhập, phân quyền, …) - Hệ thống TNTN: thành phần trung tâm hệ thống, thực trình đánh giá thí sinh có yêu cầu Hệ thống lựa chọn câu hỏi, gửi thành phần giao diện, nhận kết quả, đánh giá lực tại, trả kết đánh giá, … - Cơ sở liệu: chứa toàn liệu thông tin câu hỏi, thông tin thí sinh thông tin đăng nhập Hệ thống kết nối với phận quản trị tương ứng để nhận trả liệu theo yêu cầu hệ thống Kết thảo luận Để thử nghiệm mô hình này, tiến hành thiết kế hệ thống TNTN sở mô hình đề xuất, xây dựng ngân hàng câu hỏi cho môn Tin học trường THPT Tôn Đức Thắng – Đức Cơ – Gia Lai Tiến hành thử nghiệm liệu với hệ thống trắc nghiệm thích nghi dựa mô hình đề xuất với thí sinh có giá trị lực 0 ban đầu -1.5, 0, 1.5 sau: Bảng Kết thí sinh đánh giá qua hệ thống TNTN Câu hỏi chọn Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu 10 Câu 11 Câu 12 14 Độ khó (b) -2.51 -3.56 -2.40 -1.93 -2.32 -1.69 -1.58 -1.03 -1.17 -1.58 -1.73 -1.50 0 = -1.5 Độ phân biệt (a) Trả lời 0.80 0.88 0.97 1.05 0.92 0.93 1.12 1.68 1.20 0.96 0.91 1.00 1 1 0 1 Năng lực (k) 0.11 0.13 0.12 0.06 0.05 0.03 0.02 0.01 0.01 0 Tiêu chuẩn lỗi (SE) 2.71 2.09 1.53 1.21 1.07 0.96 0.85 0.71 0.65 0.62 0.6 0.57 0 = Năng lực (k) 0.03 0.04 0.04 0.01 0.01 0.01 0.01 0 0 Tiêu chuẩn lỗi (SE) 3.87 3.2 2.4 1.87 1.65 1.43 1.24 0.9 0.85 0.82 0.78 0 = 1.5 Năng lực (k) 0.01 0.01 0.01 0 0 0 0 Tiêu chuẩn lỗi (SE) 6.47 5.53 4.34 3.5 3.08 2.62 2.34 2.12 1.9 1.77 1.67 1.57 Jos.hueuni.edu.vn Câu 13 Câu 14 Câu 15 Câu 16 Câu 17 Câu 18 Câu 19 Câu 20 Câu 21 Câu 22 Câu 23 Câu 24 Câu 25 Tập 97; Số 9; Năm 2015 -1.38 -1.14 -1.61 -0.91 -1.24 -1.42 -1.12 -1.68 -1.51 -1.31 -0.91 -1.08 -1.10 1.15 1.17 0.98 1.29 1.08 0.87 1.07 0.90 0.91 0.97 1.28 0.91 0.90 1 0 1 1 0 0 0 0 0 0 0 0.55 0.52 0.5 0.48 0.47 0.46 0.45 0.44 0.43 0.42 0.41 0.4 0.39 0 0 0 0 0 0 0.74 0.7 0.68 0.63 0.61 0.6 0.58 0.56 0.55 0.54 0.52 0.51 0.5 0 0 0 0 0 0 1.49 1.41 1.35 1.27 1.22 1.18 1.13 1.1 1.07 1.04 0.97 0.94 Từ bảng cho thấy với giá trị lực giả sử ban đầu khác Trong phương pháp chúng tôi, với đến 10 câu hỏi xác định xác lực thực thí sinh Ngoài ra, với công thức tính toán chủ yếu phụ thuộc vào tham số tương quan lực thí sinh tham số câu hỏi Đây tham số có, việc tính toán dễ dàng nhanh chóng 1.5 0.5 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 -0.5 -1 -1.5 -2 Hình Biểu đồ minh họa kết lực thí sinh mô hình đề xuất Kết luận Bài báo tiến hành phân tích mô hình TNTN có với việc sử dụng thuật toán lựa chọn câu hỏi khác nhau, mô hình thuật toán nói không thỏa mãn khả năng: đánh giá thông số câu hỏi, khả thích ứng liên tục với tham số lực thí sinh, tối ưu hóa số câu hỏi thời gian tính toán Do đề xuất mô hình TNTN sở lý thuyết đáp ứng câu hỏi (IRT) nhằm giải vấn đề nêu 15 Với giúp đỡ máy tính điện tử, việc sử dụng mô hình TNTN cho thấy làm giảm đáng kể thời gian đánh giá kỳ kiểm tra đảm bảo tính xác lực thí sinh so với phương pháp truyền thống Mô hình TNTN mà đề xuất có khả năng:  Đánh giá liên tục thông số câu hỏi cho phép tìm kiếm câu hỏi phù hợp với lực thí sinh cách xác hơn, đồng thời dựa vào tiến hành đánh giá lại thông số câu hỏi nhằm đảm bảo cho trình trắc nghiệm tốt hơn;  Thích ứng liên tục với lực thí sinh khả tính toán nhanh chóng với việc ứng dụng mô hình TNTN máy tính Hướng nghiên cứu hoàn thiện hệ thống TNTN, tiến hành thử nghiệm, đánh giá, so sánh với mô hình TNTN tồn đưa hệ thống vào ứng dụng thực tế Tài liệu tham khảo Salma Parhizgar (2012) Testing and Technology: Past, Present and Future, Shiraz University, Shiraz, Iran ISSN 1799-2591, pp 174-178 Adaptive testing algorithm design methods Authors: Dang Hoai Phuong, Shabalina O.A., Kamaev V.A Proceedings VSTU Series "Actual problems of management, computer science and informatics in technical systems" No: Pages: 107-113 Year 2012 Baker, F (2001) The Basics of Item Response Theory, University of Maryland, College Park, MD: ERIC Clearinghouse on Assessment and Evaluation Embretson, S E & Reise, S P (2000) Item response theory for psychologists Mahwah NJ, Lawrence Erlbaum Associates Costa, D R., Karino, C A., Moura, F A S., & Andrade, D F (2009) A comparison of three methods of item selection for computerized adaptive testing In D J Weiss (Ed.), Proceedings of the 2009 GMAC Conference on Computerized Adaptive Testing Chang, H.H., Ying, Z (1996) A global information approach to computerized adaptive testing Applied Psychological Measurement, 20, 213 Van Der Linden WJ (1998) Bayesian Item Selection Criteria for Adaptive Testing Psychometrika, 63, 201–216 Embretson, S E & Reise, S P (2000) Item response theory for psychologists Mahwah NJ, Lawrence Erlbaum Associates J Rost Logistic mixture models In W J van der Linden and R K Hambleton, editors, Handbook of modern item response theory, pages 449–463 Springer, New York, 1997 BUILDING ADAPTIVE TEST MODEL BASED ON THE ITEM RESPONSE THEORY Le Xuan Tai – Ph.D Đặng Hoài Phương Danang University of Technology - Danang University 16 Jos.hueuni.edu.vn Tập 97; Số 9; Năm 2015 Abstract Currently, Objective test model is being used in Vietnam However, objective test does not really provide accurate result or equality due to several causes: randomly chosen questions for a test are the reason of making that test too hard or too easy, so that it is boring for the candidate to all easy or difficult questions Thus, it is significant to make a model of adaptive test, at each time of testing in which, the candidates will answer questions that are suitable for them Adaptive Test is model test evaluating the ability of candidates with the help of computers By using adaptive test, the number and order of questions are provided to each candidate is different, depending on the current ability of candidate Therefore, the assessment of contes-tants will be more accurate and objective The article discussed and analyzed some avaiable adapting test models and systems as: the adaptive test model uses the method of selecting questions based on the standard maximum information (Maximum Information - MI), the adaptive test model uses the method of selec-ting question based on the local information (Kullback-Leibler - KL), the adaptive test model uses the method of selecting questions based on predictive analysis (maximum expected information - MEI) The models above are effective in reducing the number of required ques-tions for each test However, those models not satisfy a good solution in choosing questions in accordance with the current ability of the contestants In order to solve the above disadvantage, the author proposes to build an adaptive test model based on theory of response questions IRT (Item Response Theory) and build a system test based on the proposed model Keywords: Objective test, Adaptive test, Item Response Theory, Selection Item Algorithm 17