Hiện nay, hình thức thi trắc nghiệm đang được phát triển rộng rãi và thể hiện được khả năng ứng dụng cao của mình. Có nhiều hình thức thi trắc nghiệm đã ra đời. Tất cả các hình thức trắc nghiệm này đều nhằm mục đích đánh giá trình độ, năng lực cũng như kết quả học tập của người học. Hầu hết các hệ thống TNTN hiện nay thường sử dụng Lý thuyết đáp ứng câu hỏi (IRT) để đánh giá mức độ năng lực người học. Tuy nhiên IRT chỉ cho phép đánh giá theo chiều ngang đối với miền kiến thức cần đánh giá. Một mô hình mới phát triển và trở nên phổ biến gần đây đó là mô hình BKT. BKT cho phép đánh giá mức độ kiến thức, kỹ năng của người học đối với từng phân vùng kiến thức nhỏ nhưng lại không tính toán đến mức độ năng lực người học trên toàn miền kiến thức (đánh giá theo chiều sâu). Luận văn chủ yếu nghiên cứu việc kết hợp 2 mô hình TNTN là IRT và BKT lại với nhau để có một mô hình TNTN cải tiến có thể đánh giá thí sinh theo cả chiều sâu và chiều rộng của miền kiến thức. Sau đó sẽ tiến hành cài đặt thuật toán và ứng dụng để triển khai cho các hệ thống thi trắc nghiệm trong thực tế.
ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CÔNG NGHỆ THÔNG TIN Tel (84-511) 3736949, Fax (84-511) 3842771 Website: itf.dut.udn.vn, E-mail: cntt@dut.udn.vn PHẠM NGỌC QUÝ C C R L T DU NGHIÊN CỨU BAYESIAN KNOWLEDGE TRACING XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI LUẬN VĂN THẠC SĨ KỸ THUẬT NGÀNH KHOA HỌC MÁY TÍNH Đà Nẵng, 01/2021 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CÔNG NGHỆ THÔNG TIN Tel (84-511) 3736949, Fax (84-511) 3842771 Website: itf.dut.udn.vn, E-mail: cntt@dut.udn.vn PHẠM NGỌC QUÝ C C R L T NGHIÊN CỨU BAYESIAN KNOWLEDGE TRACING DU XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ : 60.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: TS ĐẶNG HỒI PHƯƠNG Đà Nẵng, 01/2021 LỜI CAM ĐOAN Tơi xin cam đoan: Đây cơng trình nghiên cứu riêng Nội dung đồ án thực hướng dẫn trực tiếp TS Đặng Hoài Phương Các tham khảo dùng đồ án trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Nếu có chép khơng hợp lệ, vi phạm, tơi xin chịu hoàn toàn trách nhiệm C C DU R L T Đà Nẵng, ngày … tháng … năm 2021 Tác giả luận văn Phạm Ngọc Quý MỤC LỤC TÓM TẮT I DANH SÁCH HÌNH ẢNH II DANH SÁCH BẢNG IV DANH SÁCH TỪ VIẾT TẮT V DANH SÁCH CÁC KÝ HIỆU VI MỞ ĐẦU CHƯƠNG 1: SƠ SỞ LÝ LUẬN VÀ THỰC TIỄN 1.1 TỔNG QUAN TRẮC NGHIỆM THÍCH NGHI 1.2 MƠ HÌNH TRẮC NGHIỆM THÍCH NGHI TRÊN CƠ SỞ LÝ THUYẾT ĐÁP ỨNG CÂU HỎI (ITEM RESPONSE THEORY) C C 1.3 BAYESIAN KNOWLEDGE TRACING 10 1.4 MỘT SỐ CƠNG TRÌNH NGHIÊN CỨU ĐÃ CĨ 11 R L T 1.4.1 Modelling Student Knowledge as a Latent Variable in Intelligent Tutoring Systems : A Comparison of Multiple Approaches[12] .11 DU 1.4.2 Learning meets Assessment: On the relation between Item Response Theory and Bayesian Knowledge Tracing[13] 12 1.5 KẾT CHƯƠNG 12 CHƯƠNG 2: XÂY DỰNG MƠ HÌNH TRẮC NGHIỆM THÍCH NGHI 13 2.1 ÁP DỤNG BAYESIAN KNOWLEDGE TRACING ĐỂ ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC 13 2.2 ỨNG DỤNG IRT TRONG MƠ HÌNH TNTN 14 2.3 ƯỚC LƯỢNG THAM SỐ BKT VÀ IRT 17 2.3.1 Tính tốn tham số BKT sử dụng xác suất thực nghiệm 18 2.3.2 Tính tốn tập tham số câu hỏi trắc nghiệm 19 2.4 KẾT CHƯƠNG 21 CHƯƠNG 3: PHÂN TÍCH THIẾT KẾ VÀ TRIỂN KHAI HỆ THỐNG 22 3.1 PHÂN TÍCH CHỨC NĂNG CỦA HỆ THỐNG TRẮC NGHIỆM 22 3.2 PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG TRẮC NGHIỆM 24 3.2.1 Biểu đồ ca sử dụng hệ thống 24 3.2.2 Biểu đồ hệ thống 28 3.2.3 Biểu đồ hoạt động hệ thống .37 3.3 THIẾT KẾ CƠ SỞ DỮ LIỆU 43 3.4 TRIỂN KHAI HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI 46 3.5 KẾT CHƯƠNG 51 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 52 KẾT QUẢ ĐẠT ĐƯỢC 52 HƯỚNG PHÁT TRIỂN 52 TÀI LIỆU THAM KHẢO 53 C C DU R L T i TÓM TẮT NGHIÊN CỨU BAYESIAN KNOWLEDGE TRACING XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI Học viên: Phạm Ngọc Quý Mã số: 60.48.01.01 Chun ngành: Khoa học Máy tính Khóa: 36 Trường Đại học Bách khoa - ĐHĐN Tóm tắt – Hiện nay, hình thức thi trắc nghiệm phát triển rộng rãi thể khả ứng dụng cao Có nhiều hình thức thi trắc nghiệm đời Tất hình thức trắc nghiệm nhằm mục đích đánh giá trình độ, lực kết học tập người học Hầu hết hệ thống TNTN thường sử dụng Lý thuyết đáp ứng câu hỏi (IRT) để đánh giá mức độ lực người học Tuy nhiên IRT cho phép đánh giá theo chiều ngang miền kiến thức cần đánh giá Một mơ hình phát triển trở nên phổ biến gần mơ hình BKT BKT cho phép đánh giá mức độ kiến thức, kỹ người học phân vùng kiến thức nhỏ lại khơng tính tốn đến mức độ lực người học toàn miền kiến thức (đánh giá theo chiều sâu) Luận văn chủ yếu nghiên cứu việc kết hợp mơ hình TNTN IRT BKT lại với để có mơ hình TNTN cải tiến đánh giá thí sinh theo chiều sâu chiều rộng miền kiến thức Sau tiến hành cài đặt thuật toán ứng dụng để triển khai cho hệ thống thi trắc nghiệm thực tế C C R L T DU Từ khóa – Trắc nghiệm thích nghi, IRT, BKT, Item Response Theory, Bayesian Knowledge Tracing, kết hợp BKT IRT RESEARCH BAYESIAN KNOWLEDGE TRACING TO DEPLOY THE ADAPTIVE TESTING SYSTEM Abstract - Currently, the form of multiple choice is being widely developed and demonstrated its high applicability Many multiple-choice forms were born All of these tests are aimed at assessing students' qualifications, competencies and learning outcomes Most of the current Adaptive Test systems often use Item Response Theory (IRT) to assess the learner's competency level However, the IRT only allows horizontal evaluation of the knowledge domain to be assessed A new model that has recently developed and become popular is the BKT model The BKT allows to evaluate the level of knowledge and skills of learners for each small knowledge segment but does not take into account the level of competency of learners in the entire knowledge domain (assessment in depth) The thesis mainly studies the combination of Adaptive Test models, IRT and BKT together to have an improved Adaptive Test model that can evaluate candidates according to both the depth and breadth of the knowledge domain After that, we will install the algorithm into the application to deploy the Adaptive Test system in practice Key words - Adaptive Test, IRT, BKT, Item Response Theory, Bayesian Knowledge Tracing, BKT and IRT ii DANH SÁCH HÌNH ẢNH Số hiệu hình 1.1 1.2 1.3 2.1 2.2 2.3 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 3.14 3.15 3.16 3.17 3.18 3.19 3.20 3.21 3.22 3.23 3.24 3.25 3.26 3.27 Tên hình Thuật tốn trắc nghiệm thích nghi Đường cong đặc trưng câu hỏi Đồ thị đường cong đặc trưng hàm thông tin câu hỏi Bayesion knowledge tracing Đồ thị mô tả phụ thuộc hàm xác suất trả lời câu hỏi (a=1, b=0, c= 0.25) người học có lực θ Lựa chọn liệu hiệu Xác suất thực nghiệm Sơ đồ phân rã chức sinh viên Sơ đồ phân rã chức Admin Biểu đồ ca sử dụng tác nhân sinh viên Biểu đồ ca sử dụng tác nhân admin Biểu đồ ca sử dụng Quản lý trắc nghiệm Biểu đồ ca sử dụng Quản lý học phần lớp học phần Biểu đồ module Thi trắc nghiệm ngẫu nhiên Biểu đồ module Thi trắc nghiệm IRT Biểu đồ module Thi trắc nghiệm mơ hình đề xuất (IRT BKT) Biểu đồ Thêm học phần Biểu đồ Chỉnh sửa học phần Biểu đồ Thêm câu hỏi trắc nghiệm Biểu đồ Chỉnh sửa câu hỏi trắc nghiệm Biểu đồ Thêm đề thi trắc nghiệm Biểu đồ Chỉnh sửa đề thi trắc nghiệm Biểu đồ hoạt động module Thi trắc nghiệm ngẫu nhiên Biểu đồ hoạt động module Thi trắc nghiệm IRT Biểu đồ hoạt động module Thi trắc nghiệm theo mơ hình đề xuất (IRT BKT) Biểu đồ hoạt động Quản lý học phần Biểu đồ hoạt động Quản lý câu hỏi trắc nghiệm Biểu đồ hoạt động Quản lý đề thi Cơ sở liệu Quản lý kiểm tra Cơ sở liệu Quản lý tài khoản, sinh viên, giảng viên Cơ sở liệu Quản lý học phần Cấu trúc đỉnh kiến thức học phần Lập trình hướng đối tượng Tập tham số câu hỏi trắc nghiệm Lập trình hướng đối tượng Thiết lập module thi theo IRT C C DU R L T Trang 10 12 14 17 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 47 iii 3.28 3.29 3.30 Thiết lập module thi theo mơ hình đề xuất (IRT BKT) Thay đổi lực thí sinh trình thi IRT Thay đổi lực thí sinh q trình thi IRT + BKT C C DU R L T 48 49 50 iv DANH SÁCH BẢNG Số hiệu bảng 3.1 3.2 3.3 Tên bảng Ngân hàng câu hỏi trắc nghiệm học phần Lập trình hướng đối tượng Bảng thay đổi lực thí sinh q trình thi IRT Q trình thay đổi lực chuyển trạng thái thí sinh thi phương pháp IRT + BKT C C DU R L T Trang 46 48 49 v DANH SÁCH TỪ VIẾT TẮT BKT Bayesian Knowledge Tracing CSDL Cơ sở liệu CTT Classical Test Theory ICC Item Characteristic Curve IIF Item Information Function IRT Item Response Theory NHCH Ngân hàng câu hỏi TNTN Trắc nghiệm thích nghi DU R L T C C 40 C C R L T DU Hình 3.19 Biểu đồ hoạt động Quản lý học phần Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 41 C C R L T DU Hình 3.20 Biểu đồ hoạt động Quản lý câu hỏi trắc nghiệm Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 42 C C R L T DU Hình 3.21 Biểu đồ hoạt động Quản lý đề thi Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 43 3.3 THIẾT KẾ CƠ SỞ DỮ LIỆU CSDL hệ thống TNTN đề tài thiết kế triển khai hệ quản trị CSDL SQL Server sau: C C R L T DU Hình 3.22 Cơ sở liệu Quản lý kiểm tra Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 44 C C R L T DU Hình 3.23 Cơ sở liệu Quản lý tài khoản, sinh viên, giảng viên Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 45 C C R L T DU Hình 3.24 Cơ sở liệu Quản lý học phần Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 46 3.4 TRIỂN KHAI HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI Để triển khai đánh giá hệ thống trắc nghiệm sở mơ hình đề xuất, tác giả tiến hành triển khai học phần Lập trình hướng đối tượng Học phần xây dựng gồm 06 đỉnh kiến thức: Mở rộng C++, Hướng đối tượng, Đa hóa, Kế thừa đa hình, Template Xử lý ngoại lệ (hình 3.25) C C R L T DU Hình 3.25 Cấu trúc đỉnh kiến thức học phần Lập trình hướng đối tượng Bảng 3.1 Ngân hàng câu hỏi trắc nghiệm học phần Lập trình hướng đối tượng STT Đỉnh kiến thức Số lượng câu hỏi trắc nghiệm Mở rộng C++ 326 Hướng đối tượng 350 Đa hóa 101 Kế thừa đa hình 119 Template 50 Xử lý ngoại lệ 59 Tác giả tiến hành triển khai ngân hàng câu hỏi trắc nghiệm học phần Lập trình hướng đối tượng cho khoảng 1500 sinh viên để lấy kết liệu ban đầu theo hình thức thi Trắc nghiệm ngẫu nhiên Đồng thời tính tốn tập tham số cho câu hỏi ngân hàng theo lý thuyết trắc nghiệm cổ điển tính tốn tham số BKT cho đỉnh kiến thức sử dụng xác suất thực nghiệm Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 47 C C Hình 3.26 Tập tham số câu hỏi trắc nghiệm Lập trình hướng đối tượng R L T Sau tác giả tiến hành triển khai đánh giá sinh viên tập câu hỏi trắc nghiệm học phần Lập trình hướng đối tượng theo 02 mơ hình: IRT mơ hình đề xuất (IRT BKT) DU Hình 3.27 Thiết lập module thi theo IRT Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 48 Hình 3.28 Thiết lập module thi theo mơ hình đề xuất (IRT BKT) C C Sau tiến hành chạy thử nghiệm hệ thống thực tế, ta thu kết mơ sau R L T Bảng 3.2: Bảng thay đổi lực thí sinh q trình thi IRT Câu DU 1 𝛉 1,00000 2,7884 2,4476 2,4977 2,4988 ∆𝛉 1,7884 -0,3408 0,5007 0,0011 0,0012 Câu 10 Đỉnh kiến thức 2 4 𝛉 2,5000 2,4989 2,4984 2,4986 2,4988 ∆𝛉 -0,0011 -0,0005 0,0002 0,0002 0,5177x10-6 Câu 11 12 13 14 15 Đỉnh kiến thức 1 2 𝛉 2,4988 2,4988 2,4988 2,4988 2,4988 ∆𝛉 ~0 ~0 ~0 ~0 ~0 Đỉnh kiến thức Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 49 Câu 16 17 18 19 20 Đỉnh kiến thức 2 4 𝛉 2,4988 2,4988 2,4988 2,4988 2,4988 ∆𝛉 ~0 ~0 ~0 ~0 ~0 2.5 1.5 C C R L T 0.5 DU Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu 10 11 12 13 14 15 16 17 18 19 20 21 Sinh viên Hình 3.29: Thay đổi lực thí sinh q trình thi IRT Bảng 3.3: Quá trình thay đổi lực chuyển trạng thái thí sinh thi phương pháp IRT + BKT Câu Đỉnh kiến thức 1 1 P(T) 80% 80% 80% 80% 80% P(L) 40% 60.23% 44.34& 70.29% 76.83% 𝛉 2,2318 3,6785 3,3574 3,3640 3,3221 ∆𝛉 1,4467 -0,3211 0,0066 -0,0419 0,0001 Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 50 Câu 10 Đỉnh kiến thức 2 2 P(T) 80% 80% 80% 80% 80% P(L) 82.11% 33.33% 50% 68.2% 80.05% 𝛉 3,3222 1,3463 0,6343 2,2342 2,2350 ∆𝛉 0,5474x10-6 -0,7120 1,5999 0,0008 0,2441x10-6 Câu 11 12 13 14 15 Đỉnh kiến thức 3 3 P(T) 80% 80% 80% 80% 80% P(L) 35.23% 45.76% 55.23% 61.56% 72.14% 𝛉 1,2312 2,5327 2,3396 2,4512 2,4666 ∆𝛉 1,3015 -0,1931 0,1116 0,01540 0,0002 Câu 16 17 18 Đỉnh kiến thức P(T) 80% 80% 80% P(L) 81.20% 30% 𝛉 2,4668 ∆𝛉 0,9823x10-6 20 4 80% 80% 55.22% 65.67% 81.10% 1,9879 2,1321 2,6333 2,6344 0,1442 0,5012 0,0011 0,4534x10-6 R L T U D C C 19 4.00000 3.500000 3.00000 2.500000 2.00000 1.500000 1.00000 500000 00000 Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu 10 11 12 13 14 15 16 17 18 19 20 Đỉnh Đỉnh Đỉnh Đỉnh Hình 3.30: Thay đổi lực thí sinh q trình thi IRT + BKT Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 51 Từ liệu nhận được, ta thấy kết đánh giá thí sinh mơ hình gần tương tự Tuy nhiên với mơ hình IRT, câu hỏi khơng trải dài tất miền kiến thức, có đỉnh kiến thức xuất nhiều lần, có đỉnh khơng xuất làm thí sinh Khi có kết hợp với mơ hình BKT Ta nhận thấy câu hỏi trải điều tất miền kiến thức, thí sinh làm câu hỏi với đỉnh kiến thức từ thấp đến cao Mơ hình BKT kết hợp với IRT cho thấy lực cụ thể thí sinh thành phần kiến thức 3.5 KẾT CHƯƠNG Hệ thống trắc nghiệm xây dựng sở mơ hình đề xuất kết hợp IRT BKT cho kết đánh giá tin cậy IRT, đồng thời cung cấp kết chi tiết mức độ kiến thức đỉnh kiến thức C C R L T DU Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 52 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN KẾT QUẢ ĐẠT ĐƯỢC Trong luận văn này, tác giả trình bày kiến thức tổng quan trắc nghiệm thích nghi, lý thuyết đáp ứng câu hỏi, BKT Nêu hạn chế mà mơ hình chưa thể giải Đồng thời đề xuất mơ hình TNTN kết hợp IRT BKT để giải hạn chế đưa Đề tài thực xây dựng thành cơng mơ hình IRT kết hợp BKT cho phép đánh giá theo mức độ kiến thức lực thí sinh Triển khai mơ hình thực tế với Học phần Lập trình hướng đối tượng Khoa Cơng nghệ thông tin, trường Đại học Bách khoa – Đại học Đà Nẵng So sánh kết đạt mơ hình đề xuất mơ hình TNTN sở IRT Tuy nhiên mơ hình đề xuất cịn tồn số hạn chế: C C − Mô hình chưa tính đến ảnh hưởng câu hỏi với nhiều đỉnh kiến thức khác nhau; R L T − Việc tính tốn tham số mơ hình cần cải tiến, áp dụng phương pháp để nâng cao tính xác; DU − Mơ hình miền kiến thức bị ảnh hưởng yếu tố chủ quan HƯỚNG PHÁT TRIỂN − Nghiên cứu giải pháp tự động hiệu chỉnh mơ hình miền kiến thức sở liệu có; − Nghiên cứu ảnh hưởng câu hỏi trắc nghiệm đến nhiều đỉnh kiến thức; − Tối ưu hóa hệ thống trắc nghiệm đáp ứng nhiều số lượng lớn người dùng Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi 53 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] Chang, H.H., Ying, Z (1996), A global information approach to computerized adaptive testing, Applied Psychological Measurement, pp 210-213 Lâm Quang Thiệp (2008), Trắc nghiệm Ứng dụng, NXB Khoa học Kỹ thuật J Tian, D Miao, X Zhu, and J Gong (2007), An introduction to the computerized adaptive testing, US-China Education Review, vol 4, no 1, pp 72–81 Mai Văn Hà, Đặng Hoài Phương (2016), Apply parameters model birnbaum (3pm) to build an automatic system of evaluating learners’ capability, Tạp chí Khoa học Cơng nghệ, Đại học Đà Nẵng, Số 5(102, pp 142-145 Lord, F.M (1980), Applications of Item Response Theory to Practical Testing Problems Lawrence Erbaum Associates, Publishers Corbett, A T and Anderson, J R (1995), Knowledge tracing: Modeling the acquisition of procedural knowledge, User Modeling and User-Adapted Interaction, 4(4), pp 253-278 Rasch, G (1960), Probablistic Models for Some Intelligence and Attainment Tests Copenhagen, Denmark: Danish Institute for Educational Research Allan Birnbaum (1968), Some latent trade models and their use in inferring an examinee's ability, M.A: Addison-Wesley K Wauters, P Desmet, and W Van Den Noortgate (2010), Adaptive itembased learning environments based on the item response theory: Possibilities and challenges, Journal of Computer Assisted Learning, vol 26, no 6, pp 549–562 Empirical Probabilities, https://sites.google.com/site/whawkins90/publications/ep Pardos, Z A., Heffernan, N T (2010) Modeling individualization in a bayesian networks implementation of knowledge tracing In: De Bra, P., Kobsa, A., Chin, D (Eds.) UMAP 2010 LNCS, vol 6075/2010, pp 255-266 Springer, Berlin Heidelberg Richard Davis, Alex Kolchinski, Qandeel Tariq (2016), Modelling Student Knowledge as a Latent Variable in Intelligent Tutoring Systems : A Comparison of Multiple Approaches Benjamin Deonovic, Michael Yudelson, Maria Bolsinova, Meirav Attali, and Gunter Maris (2018), Learning meets Assessment: On the relation between Item Response Theory and Bayesian Knowledge Tracing C C R L T DU Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi C C DU R L T ... knowledge tracing xây dựng hệ thống trắc nghi? ??m thích nghi 29 C C R L T DU Hình 3.8 Biểu đồ module Thi trắc nghi? ??m IRT Nghi? ?n cứu bayesian knowledge tracing xây dựng hệ thống trắc nghi? ??m thích nghi. .. hỏi trắc nghi? ??m Nghi? ?n cứu bayesian knowledge tracing xây dựng hệ thống trắc nghi? ??m thích nghi 34 C C R L T DU Hình 3.13 Biểu đồ Chỉnh sửa câu hỏi trắc nghi? ??m Nghi? ?n cứu bayesian knowledge tracing. .. knowledge tracing xây dựng hệ thống trắc nghi? ??m thích nghi 35 C C R L T DU Hình 3.14 Biểu đồ Thêm đề thi trắc nghi? ??m Nghi? ?n cứu bayesian knowledge tracing xây dựng hệ thống trắc nghi? ??m thích nghi 36 C