ỨNG DỤNG MÔ HÌNH 3 THAM SỐ BIRNBAUM XÂY DỰNG HỆ THỐNG TỰ ĐỘNG ĐÁNH GIÁ NĂNG LỰC NGƯỜI HỌC
142 Mai Văn Hà, Đặng Hồi Phương ỨNG DỤNG MƠ HÌNH THAM SỐ BIRNBAUM XÂY DỰNG HỆ THỐNG TỰ ĐỘNG ĐÁNH GIÁ NĂNG LỰC NGƯỜI HỌC APPLICATION OF THREE-PARAMETER MODEL BIRNBAUM (3PM) TO BUILD AN AUTOMATIC SYSTEM FOR EVALUATING LEARNERS’ CAPABILITY Mai Văn Hà, Đặng Hoài Phương Trường Đại học Bách khoa, Đại học Đà Nẵng mvha@dut.udn.vn; dhphuong@dut.udn.vn Tóm tắt - Hiệu trình học tập phụ thuộc khách quan vào trình đánh giá lực người học trắc nghiệm máy tính phương pháp đánh giá sử dụng phổ biến Một phương pháp trắc nghiệm cho phép đưa kết đánh giáchính xác, hiệu khách quan mơ hình trắc nghiệm thích nghi Các hệ thống trắc nghiệm thích nghi máy tính xây dựng dựa sở thuật tốn trắc nghiệm thích nghi khác phổ biến thuật tốn trắc nghiệm thích nghi dựa lý thuyết đáp ứng câu hỏi (Item Response Theory IRT) Với giải pháp tồn ba mơ hình toán học lý thuyết đáp ứng câu hỏi việc áp dụng mơ hình tham số Birnbaum (3PM): độ khó, độ phân biệt độ dự đốn để xây dựng hệ thống trắc nghiệm thích nghi linh hoạt cho phép đánh giá lực người học tốt với lượng thông tin tối đa Abstract - The efficiency of a learning process depends objectively on the process of evaluating learners’ capability, and computerized testing system is one of popular methods nowadays The most popular one is adaptive testing which can evaluate learner knowledge accurately and objectively Nowadays, computerized adaptive testing is based on different adaptive algorithms, and the most popular one is Item Response Theory With this solution, there are three mathematical models in the Item Response Theory and the application of three parameter model Birnbaum with levels of difficulty, discrimination and prediction to build the adaptive testing system is most flexible because it gives a better way to evaluate learners with maximum information Từ khóa - trắc nghiệm thích nghi; Lý thuyết đáp ứng câu hỏi; Thuật tốn trắc nghiệm thích nghi; Hệ thống trắc nghiệm thích nghi; Mơ hình tham số BirnBaum Key words - adaptive testing; Item Response Theory; Algorithm of adaptive testing; Adaptive testing system; Three-parameter model (3-PM) Đặt vấn đề Hiện nay, trắc nghiệm phương pháp đánh giá kiến thức người học sử dụng rộng rãi mang lại hiệu tốt, đặc biệt hệ thống trắc nghiệm máy tính Trước đây, hệ thống trắc nghiệm chủ yếu xây dựng sở lý thuyết trắc nghiệm cổ điển (Classical Test Theory - CTT) Lý thuyết trắc nghiệm cổ điểnlà lý thuyết quan trọng liên quan đến khoa học đo lường đánh giá xây dựng dựa khoa học xác suất thống kê [1] Lý thuyết ứng dụng việc phân tích câu hỏi trắc nghiệm nhằm làm tăng chất lượng chúng, loại bỏ, sửa chữa tuyển chọn câu hỏi theo yêu cầu Tuy nhiên, việc ứng dụng lý thuyết trắc nghiệm cổ điển vào hệ thống trắc nghiệm không đánh giá mức độ lực thí sinh cách xác Tất thí sinh phải trả lời số lượng câu hỏi câu hỏi lựa chọn ngẫu nhiên từ ngân hàng câu hỏi Điều khiến thí sinh khơng thể nhận câu hỏi phù hợp với mức độ lực dẫn đến việc đánh giá khơng xác Nhằm khắc phục nhược điểm Lý thuyết trắc nghiệm cổ điển Trắc nghiệm thích nghi phát triển Trắc nghiệm thích nghi [2] q trình trắc nghiệm mà tập hợp câu hỏi đưa để đánh giá phụ thuộc vào khả thí sinh Với việc sử dụng trắc nghiệm thích nghi thứ tự, số lượng, nội dung độ khó câu hỏi đưa cho thí sinh khác nhau, cho phép thí sinh nhận câu hỏi phù hợp với mức độ lực nhất, giúp cho kết đánh giá mức độ lực thí sinh xác khách quan Hiện nay, hệ thống trắc nghiệm thích nghi máy tính xây dựng dựa thuật tốn trắc nghiệm thích nghi khác Một mơ hình sử dụng phổ biến mơ hình trắc nghiệm thích nghi sở lý thuyết đáp ứng câu hỏi (Item Response Theory – IRT) [3] Lý thuyết đáp ứng câu hỏicho phép đánh giá mối tương quan mức độ lực thí sinh với tập hợptham số câu hỏi thông qua hàm thơng tin câu hỏi Do số lượng, thứ tự mức độ câu hỏi đánh giá thí sinh khác Từ [1] và[3] thấy lý thuyết trắc nghiệm cổ điển tiếp cận việc đánh giá thí sinh cấp độ tập hợp câu hỏi đề thi trắc nghiệm, lý thuyết đáp ứng câu hỏi lại tiếp cận cấp độ câu hỏi đưa ra.Ưu điểm trắc nghiệm thích nghi so với lý thuyết trắc nghiệm cổ điển thí sinh trả lời câu hỏi riêng biệt, khác nội dung, độ khó số lượng câu hỏi; thí sinh đánh giá riêng biệt (dựa vào mức độ lực thí sinh) Trong báo này, nhóm tác giả đề xuất sử dụng mơ hình tham số Birnbaum [4] để xây dựng hệ thống trắc nghiệm thích nghi đánh giá lực thí sinh máy tính Xây dựng mơ hình trắc nghiệm thích nghi dựa mơ hình tham số Birnbaum Lý thuyết đáp ứng câu hỏi dựa phân tích cấu trúc tiềm ẩn (LSA) Về chất, lý thuyết đáp ứng câu hỏi xây dựng dựa mơ hình tốn học [5] sử dụng mơ hình logistic, mơ tả phụ thuộc xác suất trả lời câu hỏi trắc nghiệm đưa với mức độ lực thí sinh ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 5(102).2016 Tồn mơ hình tốn học lý thuyết đáp ứng câu hỏi [5]: mơ hình tham số (1PM), mơ hình tham số (2PM) mơ hình tham số Birnbaum (3PM) Các mơ hình khác số lượng tham số câu hỏi Mơ hình tham số [6] đề cập đến phụ thuộc xác suất trả lời câu hỏi thí sinh độ khó câu hỏi b, mơ hình tham số [4] xác suất trả lời câu hỏi phụ thuộc vào độ khó b độ phân biệt a Rõ ràng trường hợp câu hỏi trắc nghiệm nhị phân thí sinh dự đốn để trả lời câu hỏi, mơ hình tham số đời để khắc phục nhược điểm [4] Để đánh giá xác phụ thuộc xác suất trả lời câu hỏi vào tập hợp tham số câu hỏi cần bổ sung tham số độ dự đốn c Như mơ hình trắc nghiệm thích nghi xây dựng dựa mơ hình tham số Birnbaum linh hoạt xác mơ hình khác Theo mơ hình tham số Birnbaum xác suất trả lời câu hỏi i thí sinh j có lực θj tính sau: ( , , )= + (1 − ) (1) Trong đó: p(ai, bi, ci) xác suất trả lời câu hỏi thứ i thí sinh j; ai, bi, ci tập hợp tham số câu hỏi i: độ phân biệt, độ khó độ dự đoán câu hỏi i; θj mức độ lực thí sinh j p (u=1) 1.2 0.8 0.6 0.4 0.2 -4 -2 Hình Đồ thị mơ tả phụ thuộc hàm xác suất trả lời câu hỏi (a=1, b=0, c= 0.25) người học có lực θ Với tham số ai, bi, ci biết câu hỏi i xây dựng đồ thị phụ thuộc hàm xác suất trả lời câu hỏi với lực thí sinh (Hình 1) Tiệm cận hàm xác suất trả lời câu hỏitiến giá trị độ dự đoán c câu hỏi, có nghĩa người học khơng biết trả lời câu hỏi xác suất lựa chọn đáp án cho câu hỏi (xác suất trả lời câu hỏi) c Tham số b câu hỏi xác định điểm uốn đồ thị mà không làm thay đổi đường cong Tham số xác định độ khó câu hỏi, với giá trị b lớn xác suất trả lời câu hỏi thí sinh giảm ngược lại, giá trị b nhỏ xác suất trả lời câu hỏi lớn Tham số độ phân biệt a câu hỏi xác định góc nghiêng đường cong hàm xác suất trả lời câu hỏi điểm uốn (b = θ) Nó cho thấy khả năngcâu hỏi phân biệt thí sinh có mức độ lực khác nhau, hay nói độ phân biệt câu hỏi đại lượng ảnh 143 hưởng đến xác suất trả lời câu hỏi thí sinh có mức độ lực khác Trong mơ hình trắc nghiệm thích nghi ứng dụng IRT phần lớn dựa mơ hình tham số (độ khó độ phân biệt) sử dụng loại câu hỏi trắc nghiệm khác Tuy nhiên để tăng thêm tính xác q trình đánh giá, nhóm tác giả đề xuất sử dụng loại câu hỏi trắc nghiệm khách quan nhiều lựa chọn Với câu hỏi trắc nghiệm khách quan nhiều lựa chọn, câu hỏi trắc nghiệm bổ thêm tham số c độ dự đoán câu trả lời câu hỏi Áp dụng mơ hình trắc nghiệm thích nghi dựatrênlý thuyết đápứngcâuhỏivới mơ hình tham số Birnbaumvới câu hỏi trắc nghiệm khách quan nhiều lựa chọn đượcthựchiệntheo bước sau: Bước 1: Thiết lập mức độ lực ban đầu cho thí sinh; Bước 2: Lặp lại từ bước đến bước gặp điều kiện dừng; Bước 3: Đánh giá tập hợp câu hỏi chưa đưa cho thí sinh tính tốn hàm thơng tin câu hỏi dựa mức độ lực thí sinh; Bước 4: Lựa chọn đưa câu hỏi phù hợp với mức độ lực thí sinh; Bước 5: Đánh giá lại lực thí sinh sở kết trả lời câu hỏi đưa Mức độ lực ban đầu thí sinh khơng xác định, thường lấy giá trị trung bình Lựa chọn câu hỏi phù hợp với mức độ lực thí sinh quan trọng Nếu câu hỏi đưa khó hay dễ thí sinh mang lại thơng tin mức độ lực thí sinh Để đánh giá xác mức độ lực thí sinh cần thiết phải đưa câu hỏi với tham số mang lại thông tin tối đa việc đánh giá mức độ lực thí sinh Theo Birnbaum, câu hỏi trắc nghiệm cung cấp lượng thông tin mức độ lực thí sinh Birnbaum đề xuất hàm thông tin Ii(θ) câu hỏi i tính tốn phụ thuộc vào lực θ thí sinh theo cơng thức sau: ( )= ( ( | , , , ) | , , , ) ( | , , , ) (2) Trong đó: pi(uk = 1|θ, ai, bi, ci) xác suất trả lời câu hỏi i với tập hợp tham số: ai, bi, ci; pi’(uk = 1|θ, ai, bi, ci) đạo hàm bậc xác suất trả lời câu hỏi i theo mức độ lực Như vậy, bước thứ nhất, giá trị hàm thông tin Ii(θ) tính cho tập hợp câu hỏi chưa đưa cho thí sinh Phương pháp phổ biến việc lựa chọn câu hỏi phù hợp với mức độ lực thí sinh sử dụng hàm thông tin lớn Sau trả lời câu hỏi vấn đề đặt đánh giá lại mức độ lực thí sinh giá trị mức độ lực sử dụng để lựa chọn câu hỏi phù hợp với thí sinh Sử dụng phương pháp Maximum likelihood [7] để đánh giá mức độ lực thí sinh sau câu trả lời, tức tìm giá trị mức độ lực mà hàm sau tối đa: 144 Mai Văn Hà, Đặng Hoài Phương ( , ,…, , ) = ( ( ( ( = 1, = 0, = 0, = 0, ) ) ( = 1, ) ) … ( = 1, ) ) → θs Module lựa chọn câu hỏi Module đánh giá lực thí sinh Hay nói cách khác: ( , ,…, , )= Module quản lý câu hỏi ( , )→ (3) Trong đó: u1, u2, …, un tập hợp câu trả lời thí sinh câu hỏi đưa ra; pi(u, θ) xác suất trả lời câu hỏi i thí sinh có mức độ lực θ, tính theo công thức (1) Trắc nghiệm bắt đầu với mức độ lực thí sinh θs, từ cơng thức (3) tiến hành đánh giá lại mức độ lực thí sinh sau trả lời câu hỏi θs+1theo công thức sau: ∑ ( ) = + ∑ ( ) Trong đó: n tập hợp câu hỏi thí sinh trả lời; Si(θs) tính theo cơng thức: ( )= θf Ngân hàng câu hỏi Hình Kiến trúc tổng thể hệ thống trắc nghiệm thích nghi Trắc nghiệm thích nghi Tạo câu hỏi Sửa câu hỏi Đăng nhập User Admin − ( = 1| , , , ) ( = 1| , , , ) ( = 1| , , , ) − ( = 1| , , , ) + pi(ui = 1|θs, ai, bi, ci) pi’(ui = 1|θs, ai, bi, ci) xác suất trả lời câu hỏi i đạo hàm bậc tương ứng xác suất đó; + Ii(θs) – hàm thơng tin câu hỏi i tính theo cơng thức (2) Q trình trắc nghiệm đánh giá mức độ lực thí sinh kết thúc đưa xác mức độ lực thí sinh Trong q trình trắc nghiệm thích nghi theo mơ hình đề xuất, sau câu trả lời mức độ lực thí sinh đánh giá lại Nếu chênh lệch mức độ lực thí sinh hai lần đánh giá liên tiếp nhỏ xem kết đánh giá cuối mức độ lực thí sinh Bởi thí sinh có trả lời thêm câu hỏi mức độ lực thí sinh gần khơng đổi kết đánh giá mức độ lực cuối thí sinh Mơ hình trắc nghiệm thích nghi sử dụng mơ hình xác suất dựa kết thống kê tập hợp tham số câu hỏi ngân hàng câu hỏi trắc nghiệm, cho phép đánh giá mức độ lực thí sinh khách quan xác Xây dựng hệ thống trắc nghiệm thích nghi Nhóm tác giả tiến hành xây dựng hệ thống trắc nghiệm thích nghi sở mơ hình đề xuất, sử dụng mơ hình client-server mơ hình Model View Controller (MVC) Hệ thống trắc nghiệm thích nghi gồm hai module chính: quản lý ngân hàng câu hỏivà trắc nghiệm thích nghi theo mơ hình tham số Birnbaum Kiến trúc tổng thể hệ thống trắc nghiệm thích nghi (Hình 2) Biểu đồ ca sử dụng hệ thống trắc nghiệm thích nghi mơ tả Hình Xóa câu hỏi Xem kết Hình Biểu đồ ca sử dụng hệ thống trắc nghiệm thích nghi Thuật tốn trắc nghiệm thích nghi sở mơ hình tham số Birnbaum mơ tả Hình 4: Begin Thiết lập mức độ lực ban đầu thí sinh θ Đ Điều kiện dừng trắc nghiệm S Tập hợp câu hỏi chưa đưa Tính tốn hàm thơng tin câu hỏi i Ii(θ) Lựa chọn câu hỏi phù hợp với thí sinh Max(Ii(θ)) Nhận kết trả lời ui thí sinh Đánh giá lại mức độ lực thí sinh θ Kết lực thí sinh θ End Hình Thuật tốn trắc nghiệm thích nghi áp dụng mơ hình tham số Birnbaum lý thuyết đáp ứng câu hỏi Nhóm tác giả tiến hành triển khai hệ thống thực tế đánh giá mức độ lực sinh viên với ngân hàng câu hỏi ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 5(102).2016 trắc nghiệm môn học Lập trình hướng đối tượng C++ điều kiện dừng hệ thống trắc nghiệm thích nghi độ biến thiên mức độ lực thí sinh Δθ ≤ 0,01 Giao diện hệ thống trắc nghiệm thích nghi đánh giá lực thí sinh thể Hình Hình 145 Từ Bảng nhóm tác giảđã đưa đồ thị q trình đánh giá lực thí sinh Hình 7: θ 0 10 20 30 40 n Hình Đồ thị mơ tả q trình đánh giá mức độ lực thí sinh q trình trắc nghiệm thích nghi Hình Giao diện hệ thống trắc nghiệm thích nghi đánh giá lực thí sinh Hình Giao diện kết chi tiết trình đánh giá lực thí sinh Kết q trình trắc nghiệm đánh giá mức độ lực thí sinh mô tả bảng sau: Bảng Kết chi tiết q trình đánh giá lực thí sinh hệ thống trắc nghiệm thích nghi Câu hỏi ui Đ Đ Đ S Đ θ 0,0 0,54 0,68 0,85 0,25 0,6 10 11 12 13 14 15 16 Đ S Đ S Đ Đ Đ S Đ Đ Đ 0,9 0,61 0,7 0,46 0,57 0,62 0,74 0,6 0,7 0,81 0,91 θs Câu hỏi 17 18 19 20 21 22 ui S Đ S S Đ S θ 0,77 0,83 0,78 0,7 0,75 0,65 23 24 25 26 27 28 29 30 31 32 33 Đ Đ S Đ Đ Đ S S Đ S Đ 0,7 0,76 0,69 0,71 0,795 0,805 0,75 0,69 0,71 0,69 0,7 Trong đó: θs = mức độ lực ban đầu thí sinh; ui kết trả lời câu hỏi, ui = Đ – trả lời câu hỏi ui = S trường hợp ngược lại Dựa vào đồ thị kết mức độ lực thí sinh rơi vào khoảng 0,7 sau 33 câu hỏi Theo đồ thị thấy câu hỏi đầu tiên, độ biến thiên mức độ lực thí sinh lớn, từ câu hỏi 20 trở độ biến thiên mức độ lực thí sinh bắt đầu giảm xuống Quá trình đánh giá mức độ lực thí sinh kết thúc đánh giá hay nói cách khác mức độ lực thí sinh gần không thay đổi với câu hỏi Sau kết thúc trình đánh giá mức độ lực cuối thí sinh quy đổi thang đo khác lý thuyết dáp ứng câu hỏi [5] Kết luận Hệ thống trắc nghiệm thích nghi sở mơ hình tham số Birnbaum lý thuyết đáp ứng câu hỏi cho phép đánh giá cách liên tục mức độ lực thí sinh q trình trắc nghiệm cách sử dụng hiệu tất thơng tin có sẵn mức độ lực thí sinh tập hợp tham số câu hỏi sở liệu Vì vậy, kết đánh giá lực thí sinh xác khách quan so với lý thuyết trắc nghiệm cổ điển Thông qua việc sử dụng hệ thống trắc nghiệm thích nghi sở mơ hình đề xuất góp phần nâng cao hiệu trình đào tạo, đặc biệt đào tạo trực tuyến Tuy nhiên, hệ thống trắc nghiệm thích nghi đề xuất cịn tồn nhược điểm chưa đánh giá ảnh hưởng chuỗi câu trả lời trước đến kết đánh giá lực thí sinh Vấn đề nhóm tác giả tiếp tục nghiên cứu giải TÀI LIỆU THAM KHẢO [1] Lâm Quang Thiệp, Trắc nghiệm Ứng dụng, NXB Khoa học Kỹ thuật, 2008 [2] J Tian, D Miao, X Zhu, and J Gong, An introduction to the computerized adaptive testing, US-China Education Review, vol 4, no 1, pp 72–81, 2007 [3] Lê Xuân Tài, Đặng Hồi Phương, Xây dựng mơ hình trắc nghiệm thích nghi sở lý thuyết đáp ứng câu hỏi, Tạp chí Khoa học Đại học Huế, T 97, Số 9, 2015 [4] Allan Birnbaum, Some latent trade models and their use in inferring an examinee's ability, M.A: Addison-Wesley, 1968 [5] Lord, F.M, Applications of Item Response Theory to Practical Testing Problems Lawrence Erbaum Associates, Publishers, 1980 [6] Rasch, G., Probablistic Models for Some Intelligence and Attainment Tests Copenhagen, Denmark: Danish Institute for Educational Research, 1960 [7] K Wauters, P Desmet, and W Van Den Noortgate, “Adaptive item-based learning environments based on the item response theory: Possibilities and challenges,” Journal of Computer Assisted Learning, vol 26, no 6, pp 549–562, 2010 (BBT nhận bài: 09/05/2016, phản biện xong: 25/05/2016) ... 1859-1 531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 5(102).2016 Tồn mô hình tốn học lý thuyết đáp ứng câu hỏi [5]: mơ hình tham số (1PM), mơ hình tham số (2PM) mơ hình tham số Birnbaum (3PM)... trình đánh giá lực thí sinh Hình 7: θ 0 10 20 30 40 n Hình Đồ thị mơ tả q trình đánh giá mức độ lực thí sinh trình trắc nghiệm thích nghi Hình Giao diện hệ thống trắc nghiệm thích nghi đánh giá lực. .. phép đánh giá mức độ lực thí sinh khách quan xác Xây dựng hệ thống trắc nghiệm thích nghi Nhóm tác giả tiến hành xây dựng hệ thống trắc nghiệm thích nghi sở mơ hình đề xuất, sử dụng mơ hình client-server