Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi (tóm tắt)

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA PHẠM NGỌC QUÝ NGHIÊN CỨU BAYESIAN KNOWLEDGE TRACING XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI C C R UT.L D Chun ngành: Khoa Học Máy Tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ Đà Nẵng, 01/2021 Công trình hồn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS ĐẶNG HOÀI PHƯƠNG Phản biện 1: TS NINH KHÁNH DUY Phản biện 2: TS TRẦN THẾ VŨ C C R UT.L Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp Thạc sĩ kỹ thuật chuyên ngành Khoa học máy tính họp D Trường Đại học Bách khoa – Đại học Đà Nẵng ngày 23 tháng 01 năm 2021 Có thể tìm hiểu luận văn tại: - Trung tâm Học liệu, Đại học Đà Nẵng Trường Đại học Bách khoa; - Thư viện Khoa Công nghệ thông tin, Trường Đại học Bách khoa – Đại học Đà Nẵng MỞ ĐẦU Tổng quan đề tài Hiện hình thức kiểm tra, đánh giá truyền thống hoạt động dạy - học nặng đánh giá khả ghi nhớ, trình bày lại nội dung mà người dạy truyền thụ kiến thức bộc lộ nhiều hạn chế khả vận dụng linh hoạt - sáng tạo kiến thức người học tình thực tế Ở nhiều nước giới nghiên cứu vận dụng phương pháp đánh giá trắc nghiệm Các trắc nghiệm nghiên cứu thử nghiệm cho loại hình dạy - học với nhiều mục đích khác như: trắc nghiệm trí thông minh IQ, trắc nghiệm kiểm tra tiếng Anh TOEFL, trắc nghiệm C C R UT.L kiểm tra luật giao thơng, v.v Trên giới có hình thức trắc nghiệm như: trắc nghiệm chủ quan (Subjective test), trắc nghiệm D khách quan (Objective test) trắc nghiệm thích nghi (Adaptive test) Tất hình thức trắc nghiệm nhằm mục đích đánh giá trình độ, lực kết học tập người học hình thức có phương pháp tiến hành hiệu mang lại khác Một số nghiên cứu gần xu hướng chủ yếu ứng dụng trắc nghiệm thích nghi (TNTN) việc đánh giá kiến thức, nhận thức kỹ người học, đặc biệt mơ hình TNTN máy tính Hầu hết hệ thống TNTN thường sử dụng Lý thuyết đáp ứng câu hỏi (Item Theory Response - IRT) để đánh giá mức độ lực người học IRT cho phép đánh giá mức độ lực người học dựa vào xác xuất trả lời câu hỏi với tập hợp tham số câu hỏi trắc nghiệm Như vậy, thấy mơ hình TNTN sở IRT cho phép đánh giá, phân loại người học toàn miền kiến thức hay nói cách khác cho phép đánh giá theo chiều ngang miền kiến thức cần đánh giá Tuy nhiên nay, với phát triển hệ thống đào tạo điện tử, hệ thống học tập (gia sư) thông minh phát triển sở Bayesian Knowledge Tracing (BKT) Các hệ thống cho phép đánh giá mức độ kiến thức, kỹ người học phân vùng kiến thức nhỏ lại khơng tính tốn đến mức độ lực người học toàn miền kiến thức (đánh giá theo chiều sâu) Do vấn đề đặt xây dựng hệ thống TNTN C C R UT.L cho phép đánh giá theo chiều ngang lẫn chiều sâu nhằm mang lại thông tin tối đa hoạt động học người học, từ nâng cao hiệu D q trình đào tạo Trong luận văn, tác giả đề xuất mơ hình TNTN cải tiến kết hợp BKT & IRT để giải vấn đề nêu Mục đích ý nghĩa đề tài 2.1 Mục đích − Phân tích mơ hình TNTN sở Lý thuyết đáp ứng câu hỏi (Item Theory Response); − Đề xuất cải tiến mơ hình TNTN sử dụng BKT & IRT 2.2 Ý nghĩa khoa học thực tiễn đề tài − Ý nghĩa khoa học: Xây dựng mơ hình TNTN kết hợp BKT IRT; − Phát triển hệ thống Website thi trắc nghiệm hỗ trợ triển khai mơ hình TNTN đề xuất học phần Lập trình hướng đối tượng Khoa Công nghệ Thông tin, trường Đại học Bách khoa – Đại học Đà Nẵng 2.3 Mục tiêu Mục tiêu đề tài xây dựng mơ hình TNTN hỗ trợ hệ thống học tập thơng minh Để thoả mãn mục tiêu cần đạt mục tiêu cụ thể sau: - Phân tích mơ hình TNTN áp dụng lý thuyết đáp ứng câu hỏi để đánh giá mức độ lực thí sinh; - Phân tích hệ thống học tập thông minh sử dụng BKT để đánh giá mức độ kiến thức, kỹ người học; - Phân tích tốn đặt ra: xây dựng mơ hình TNTN kết hợp C C R UT.L BKT IRT cho phép đánh giá mức độ kiến thức, lực thí sinh theo chiều ngang chiều sâu; D - Phát triển hệ thống trắc nghiệm sở mơ hình đề xuất 2.4 Nhiệm vụ Để đạt mục tiêu nhiệm vụ đặt đề tài là: - Nghiên cứu IRT & BKT; - Phân tích vấn đề đặt & đề xuất phương pháp giải quyết; - Xây dựng hệ thống ứng dụng sở mơ hình, phương pháp đề xuất & triển khai thực tế; - Đánh giá kết theo yêu cầu đề tài Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu Đề tài tìm hiểu mơ hình trắc nghiệm thích nghi, mơ hình xây dựng hệ thống học tập thơng minh Từ dựa sở BKT & IRT để xây dựng mơ hình TNTN 3.2 Phạm vi nghiên cứu Phạm vi nghiên cứu: Đề tài sử dụng BKT & IRT làm sở để xây dựng mơ hình TNTN cho học phần Lập trình hướng đối tượng khoa Công nghệ Thông tin, trường Đại học Bách khoa – Đại học Đà Nẵng C C R UT.L Phương pháp nghiên cứu 4.1 Phương pháp lý thuyết D Phân tích đánh giá mơ hình, thuật tốn hệ thống TNTN có khả ứng dụng hệ thống e-learning, đồng thời đề xuất mơ hình TNTN cải tiến giải vấn đề đặt 4.2 Phương pháp thực nghiệm Để xây dựng hệ thống TNTN dựa mơ hình đề xuất cần thực vấn đề sau: - Xây dựng ngân hàng câu hỏi đủ lớn để làm liệu đầu vào cho hệ thống đồng thời xây dựng cấu trúc kiến thức học phần Lập trình hướng đối tượng; - Phân tích, thiết kế xây dựng hệ thống trắc nghiệm sở mơ hình đề xuất; - Triển khai đánh giá hệ thống 5 Kết luận 5.1 Kết đề tài - Xây dựng mơ hình TNTN cải tiến dựa BKT & IRT; - Áp dụng mơ hình xây dựng để tạo hệ thống trắc nghiệm triển khai đánh giá kết cho học phần Lập trình hướng đối tượng, trường Đại học Bách khoa – Đại học Đà Nẵng 5.2 Hướng phát triển đề tài - Hồn thiện mơ hình TNTN khác hệ thống để đánh giá hiệu mơ hình; - Phát triển hệ thống trắc nghiệm phục vụ số lượng người dùng lớn lúc; C C R UT.L - Nghiên cứu giải pháp cho phép hệ thống tự động điều chỉnh cấu trúc kiến thức phù hợp với người học D Bố cục luận văn Luận văn bao gồm nội dung sau: Mở đầu Chương 1: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN Chương 2: XÂY DỰNG MƠ HÌNH TRẮC NGHIỆM THÍCH NGHI Chương 3: PHÂN TÍCH THIẾT KẾ VÀ TRIỂN KHAI HỆ THỐNG Kết luận hướng phát triển Chương 1: SƠ SỞ LÝ LUẬN VÀ THỰC TIỄN Chương giới thiệu hệ thống TNTN phổ biến Lý thuyết đáp ứng câu hỏi áp dụng hệ thống Đồng thời phân tích mơ hình BKT áp dụng hệ thống học tập thông minh để đánh giá kỹ năng, kiến thức người học Phân tích ưu, nhược điểm mơ hình thực tế tại, đưa vấn đề cần giải xây dựng mô hình TNTN theo chiều rộng lẫn chiều sâu kiến thức 1.1 TỔNG QUAN TRẮC NGHIỆM THÍCH NGHI Ta xem TNTN thuật toán lặp với thơng số đầu vào ước tính ban đầu mức độ lực thí sinh, thuật tốn C C R UT.L bao gồm bước sau: - Bước Tất câu hỏi chưa hệ thống lựa chọn D câu hỏi ứng cử cho lựa chọn (dựa vào trình độ lực thí sinh); - Bước Câu hỏi phù hợp với lực thí sinh đưa thí sinh trả lời câu hỏi đó; - Bước Theo kết câu trả lời thí sinh, ước lượng mức độ lực tính tốn; - Bước Quay lại Bước điều kiện dừng TNTN xác định chưa thỏa mãn C C R UT.L D Hình 1.1 Thuật tốn trắc nghiệm thích nghi 1.2 MƠ HÌNH TRẮC NGHIỆM THÍCH NGHI TRÊN CƠ SỞ LÝ THUYẾT ĐÁP ỨNG CÂU HỎI (ITEM RESPONSE THEORY) Hiện có mơ hình tính tốn phổ biến lý thuyết đáp ứng câu hỏi, mô hình phân loại theo số tham số đặc trưng mà sử dụng [5]: mơ hình tham số (1PM), mơ hình tham số (2PM) mơ hình tham số Birnbaum (3PM) Cả ba mơ hình thể chung qua công thức (1.1), gọi đường cong đặc trưng câu hỏi (Item Characteristic Curve - ICC): 𝑃 (𝜃) = 𝑐 + (1 − 𝑐) 1+ 𝑒 ,-./0(1,2) (1.1) Trong đó: - a tham số độ phân biệt câu hỏi (discrimination), cho biết mức độ phân biệt thí sinh có lực mức lực trung bình thí sinh có lực mức lực trung bình; - b tham số độ khó câu hỏi; - c tham số độ dự đoán (guessing) câu hỏi, tham số cho biết trường hợp thí sinh có mức lực thấp trả lời câu hỏi với xác suất Độ dự đốn số câu hỏi, giả thiết không biến đổi theo mức lực thí sinh, < c < 0; - θ biến số biểu thị lực thí sinh (ability); C C R UT.L - P(θ) xác suất để thí sinh có lực θ trả lời câu hỏi D Trong mơ hình hệ thống TNTN dựa sở lý thuyết IRT, lực thí sinh sau lần trả lời câu hỏi là: 𝜃34- = 𝜃3 + ∑3478- 𝑆7 (𝜃3 ) (1.2) ∑3478- 𝐼7 (𝜃3 ) Trong đó: - 𝜃3 : lực thí sinh; - 𝜃34- : lực thí sinh sau trả câu hỏi thứ N với lực 𝜃3 ; - i: câu hỏi thứ i danh sách câu hỏi mà thí sinh trả lời; - 𝐼7 (𝜃3 ): hàm thông tin câu hỏi i đáp ứng cho thí sinh có lực 𝜃3 , tính theo cơng thức sau: 10 Tùy thuộc vào việc thí sinh áp dụng kiến thức k hay sai, xác suất có điều kiện tính sau: 𝑃(𝐿G4- |𝑜𝑏𝑠 = 𝑐𝑜𝑟𝑒𝑐𝑡)CD 𝑃(𝐿G )CD (1 − 𝑃(𝑆)C ) = (1.6) 𝑃(𝐿G )CD (1 − 𝑃 (𝑆)C ) + (1 − 𝑃(𝐿G )CD )𝑃(𝐺)C 𝑃(𝐿G4- |𝑜𝑏𝑠 = 𝑤𝑟𝑜𝑛𝑔)CD = 𝑃(𝐿G )CD 𝑃(𝑆)C (1.7) 𝑃(𝐿G )CD 𝑃(𝑆)C + (1 − 𝑃(𝐿G )CD )(1 − 𝑃 (𝐺 )C ) Xác suất có điều kiện sử dụng để cập nhật xác suất biết kiến thức: 𝑃(𝐿G4- )CD = 𝑃(𝐿G4- |𝑜𝑏𝑠)CD + >1 − 𝑃(𝐿G4- |𝑜𝑏𝑠)CD @𝑃(𝑇)C (1.8) C C R UT.L Và để tính tốn xác suất thí sinh u áp dụng kiến thức k vào câu hỏi tiếp theo: D 𝑃(𝐶G4- )CD = 𝑃 (𝐿G )CD >1 − 𝑃 (𝑆)C @ + >1 − 𝑃(𝐿G )CD @𝑃(𝐺)C (1.9) 1.4 MỘT SỐ CƠNG TRÌNH NGHIÊN CỨU Đà CĨ 1.4.1 Modelling Student Knowledge as a Latent Variable in Intelligent Tutoring Systems : A Comparison of Multiple Approaches [12] 1.4.2 Learning meets Assessment: On the relation between Item Response Theory and Bayesian Knowledge Tracing [13] 1.5 KẾT CHƯƠNG 11 Chương 2: XÂY DỰNG MƠ HÌNH TRẮC NGHIỆM THÍCH NGHI Chương trình bày nội dung nghiên cứu đề tài xây dựng mơ hình TNTN cải tiến dựa IRT & BKT 2.1 ÁP DỤNG BAYESIAN KNOWLEDGE TRACING ĐỂ ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC Mơ hình BKT mơ tả hình 2.1: C C R UT.L D Hình 2.1: Bayesion knowledge tracing Trong đó: - t đỉnh kiến thức - kt biến tiềm ẩn mô tả mức độ kiến thức thí sinh đỉnh kiến thức (biết chưa biết) - yt kết câu trả lời trắc nghiệm thí sinh (đúng khơng đúng) BKT đại diện cho mơ hình Markov ẩn, trạng thái kiến thức thí sinh khơng quan sát kết trả lời câu hỏi thí sinh quan sát Trong BKT, bốn tham số P(L0), P(T), P(G) P(S) cho đỉnh kiến thức định nghĩa sau: 12 already know P(𝐿E ) ≝ 𝑃(𝑘E = 𝑡𝑟𝑢𝑒), (2.1) learn P(T) ≝ 𝑃 (𝑘G = 𝑡𝑟𝑢𝑒|𝑘G,- = 𝑓𝑎𝑙𝑠𝑒), (2.2) guess P(G) ≝ 𝑃 (𝑦G = 𝑡𝑟𝑢𝑒|𝑘G = 𝑓𝑎𝑙𝑠𝑒), (2.3) slip P(S) ≝ 𝑃(𝑦G = 𝑓𝑎𝑙𝑠𝑒|𝑘G = 𝑡𝑟𝑢𝑒), (2.4) Mỗi đỉnh kiến thức có tham số trên, theo mơ hình mạng Bayes tính tốn lại xác suất để cập nhật mức độ kiến thức thí sinh đỉnh kiến thức t sau câu hỏi sau: P(𝐿G = true|𝑦G = true) = 𝑃(𝐿G )(1 − 𝑃 (𝑆)) (2.5) 𝑃 (𝐿G )>1 − 𝑃 (𝑆)@ + (1 − 𝑃(𝐿G ))𝑃(𝐺) C C R UT.L P(𝐿G = true|𝑦G = false) 𝑃(𝐿G )𝑃(𝑆) = (2.6) 𝑃(𝐿G )𝑃(𝑆) + (1 − 𝑃(𝐿G ))(1 − 𝑃 (𝐺 )) D P(𝐿G4- = 𝑡𝑟𝑢𝑒) = 𝑃 (𝐿G |𝑦G ) + >1 − 𝑃 (𝐿G |𝑦G )@𝑃(𝑇) (2.7) P(𝑦G4- = true) = P(𝐿G4- )>1 − P(S)@ + >1 − P(𝑃G4- )@P(G) (2.8) 2.2 ỨNG DỤNG IRT TRONG MƠ HÌNH TNTN Mỗi đỉnh kiến thức bao gồm tập hợp câu hỏi trắc nghiệm liên quan đến đỉnh kiến thức Để xác định xác suất thí sinh có biết kiến thức đỉnh hay khơng ta áp dụng BKT, nhiên vấn đề đặt đỉnh ta lựa chọn câu hỏi để đưa cho thí sinh cách tốt Để đánh giá xác phụ thuộc xác suất trả lời câu hỏi vào tập hợp tham số câu hỏi cần bổ sung tham số độ dự đốn c 13 Theo mơ hình tham số Birnbaum xác suất trả lời câu hỏi i thí sinh j có lực 𝜃k tính sau: P>ul = 1|θn , al , bl , cl @ = cl + (1 − cl ) ,-./qr >st ,ur @ 1+e (2.9) Trong đó: - ui kết đánh giá trả lời câu hỏi i (ui = trả lời câu hỏi thứ i ui = trường hợp ngược lại); - ai, bi, ci tập hợp tham số câu hỏi i: độ phân biệt, độ khó độ dự đốn câu hỏi i; - 𝜃k mức độ lực thí sinh j Theo Birnbaum, câu hỏi trắc nghiệm cung cấp lượng C C R UT.L thông tin mức độ lực thí sinh Birnbaum đề xuất hàm thông tin Ii(θ) câu hỏi i tính tốn phụ thuộc vào D lực θ thí sinh theo cơng thức sau: < >Pl ; (uw = 1|θ, al , bl , cl )@ Il (θ) = (2.10) Pl (uw = 1|θ, al , bl , cl )>1 − Pl (uw = 1|θ, al , bl , cl )@ Trong đó: - Pl (uw = 1|θ, al , bl , cl ) xác suất trả lời câu hỏi i với tập hợp tham số: ai, bi, ci; - Pl (uw = 1|θ, al , bl , cl ) đạo hàm bậc xác suất trả lời câu hỏi i theo mức độ lực; Như vậy, bước thứ nhất, giá trị hàm thơng tin Ii(θ) tính cho tập hợp câu hỏi chưa đưa cho thí sinh Phương pháp phổ biến việc lựa chọn câu hỏi phù hợp với mức độ lực thí sinh sử dụng hàm thông tin lớn 14 Sau trả lời câu hỏi vấn đề đặt đánh giá lại mức độ lực thí sinh giá trị mức độ lực sử dụng để lựa chọn câu hỏi phù hợp với thí sinh Sử dụng phương pháp Maximum likelihood [9] để đánh giá mức độ lực thí sinh sau câu trả lời, tức tìm giá trị mức độ lực mà hàm sau tối đa: f(u- , u< , … , uz , θ) = Pl (u- = 1, θ){| Pl (u- = 0, θ)-,{| Pl (u< = 1, θ){} Pl (u< = 0, θ)-,{} … Pl (uz = 1, θ){~ Pl (uz = 0, θ)-,{~ → max Hay nói cách khác: z C C R UT.L f(u- , u< , … , uz , θ) = ‚ Pl (uw , θ) → max Trong đó: D w8- - 𝑢- , 𝑢< , … , 𝑢ƒ tập hợp câu trả lời thí sinh câu hỏi đưa ra; - 𝑃7 (𝑢C , 𝜃) xác suất trả lời câu hỏi i thí sinh có mức độ lực θ Trắc nghiệm bắt đầu với mức độ lực thí sinh θs, ta tiến hành đánh giá lại mức độ lực thí sinh sau trả lời câu hỏi θs+1 theo công thức sau: θ„4- = θ„ + ∑l…z Sl (θ„ ) (2.11) ∑l…z Il (θ„ ) Trong đó: - n tập hợp câu hỏi thí sinh trả lời; 15 - 𝑆7 (𝜃3 ) tính theo cơng thức: Sl (θ„ ) >ul − Pl (ul = 1|θ„ , al , bl , cl )@ Pl ; (ul = 1|θ„ , al , bl , cl ) = (2.12) P(ul = 1|θ„ , al , bl , cl )>1 − Pl (ul = 1|θ„ , al , bl , cl )@ + Pl (ul = 1|θ„ , al , bl , cl ) Pl ; (ul = 1|θ„ , al , bl , cl ) xác suất trả lời câu hỏi i đạo hàm bậc tương ứng xác suất đó; - 𝐼7 (𝜃3 ) hàm thông tin câu hỏi 2.3 ƯỚC LƯỢNG THAM SỐ BKT VÀ IRT 2.3.1 Tính tốn tham số BKT sử dụng xác suất thực nghiệm Bước xác suất thực nghiệm xác định tập C C R UT.L hợp liệu hiệu để đánh giá cho thí sinh đỉnh kiến thức Giả sử mức độ kiến thức biết không biết, không cho D phép quên (trạng thái chưa biết khơng theo sau trạng thái biết) Tác giả đề xuất sử dụng phương pháp heuristic đơn giản [10] để xác định thời điểm thí sinh học đỉnh kiến thức lựa chọn chuỗi câu hỏi phù hợp Hình 2.2 Lựa chọn liệu hiệu Xác suất thực nghiệm 16 Bước tiếp theo: tính tốn xác suất cho tham số mơ hình BKT từ liệu ban đầu Tham số P(L0) xác suất thí sinh biết trước đỉnh kiến thức (trước bước vào trình đánh giá) tính cách lấy giá trị trung bình thí sinh trong lần trả lời [11], với K kết trả lời câu hỏi liệu hiệu quả: P(𝐿E ) = ∑ 𝐾E (2.13) |𝐾E | Sử dụng 𝐾7 (mức độ kiến thức) 𝐶7 (kết trả lời câu hỏi) liệu hiệu làm sở ta tính tốn 03 tham số cịn lại mơ hình BKT sau: P(T) = ∑7‡E(1 − 𝐾7,- )𝐾7 (2.14) ∑7‡-(1 − 𝐾7,- ) C C R UT.L P(G) = ∑7 𝐶7 (1 − 𝐾7 ) (2.15) ∑7 (1 − 𝐾7 ) P(S) = ∑7(1 − 𝐶7 )𝐾7 (2.16) ∑7 𝐾7 D 2.3.2 Tính tốn tập tham số câu hỏi trắc nghiệm Khi phân tích câu hỏi trắc nghiệm có số cần quan tâm độ khó độ phân biệt câu hỏi trắc nghiệm Độ khó câu hỏi trắc nghiệm số đo nói lên chất lượng câu hỏi trắc nghiệm, có hiệu nghiệm việc phân tán, đánh giá lực thí sinh Theo lý thuyết trắc nghiệm cổ điển độ khó bi câu hỏi trắc nghiệm i tỷ số phần trăm số thí sinh làm câu hỏi trắc nghiệm i tổng số thí sinh tham gia làm câu hỏi trắc nghiệm đó: 17 𝑏7 = 𝑁 (2.17) 𝑁 Trong đó: - N1: số thí sinh trả lời câu hỏi trắc nghiệm i; - N: tổng số thí sinh trả lời câu hỏi trắc nghiệm i Giá trị độ khó b có ý nghĩa quan trọng q trình phân tích câu hỏi Từ thấy mức độ phù hợp câu hỏi trắc nghiệm nhóm thí sinh Ngồi ra, giá trị b cịn giúp xác định số lỗi khác câu hỏi trắc nghiệm để kịp thời điều chỉnh, sửa đổi Giá trị b cho thấy kết làm nhóm thí sinh khác Có thể xác định độ khó phương pháp thống kê C C R UT.L Dựa vào kết trắc nghiệm khách quan phân chia thí sinh thành nhóm: D - Nhóm 1: nhóm thí sinh giỏi (25% ÷ 27% thí sinh có kết trắc nghiệm cao nhất); - Nhóm 2: nhóm thí sinh yếu (25% ÷ 27% thí sinh có kết trắc nghiệm thấp nhất); - Nhóm 3: nhóm thí sinh trung bình (46% ÷ 50% thí sinh cịn lại, khơng phụ thuộc vào nhóm kia) Khi độ khó câu hỏi trắc nghiệm i tính sau: 𝑏7 = 𝑁‰7 + 𝑁Š7 (2.18) 𝑁 Trong đó: - NGi số thí sinh thuộc nhóm giỏi trả lời câu hỏi trắc nghiệm i; 18 - NWi số thí sinh thuộc nhóm yếu trả lời câu hỏi trắc nghiệm i; - N tổng số thí sinh tham gia trả lời câu hỏi trắc nghiệm i Một câu hỏi trắc nghiệm cần có khả phân biệt thí sinh có mức lực khác như: giỏi, khá, trùng bình, yếu, … Khả câu hỏi trắc nghiệm thực phân biệt gọi độ phân biệt thể thông qua tham số độ phân biệt (discriminasion) câu hỏi trắc nghiệm Với câu hỏi trắc nghiệm có độ phân biệt phản ứng thí sinh có mức độ lực khác câu hỏi trắc nghiệm phải khác Độ phân biệt câu hỏi i tính sau: C C R UT.L 𝑎7 = D 𝑁‰7 − 𝑁Š7 (2.19) (𝑁‰7 − 𝑁Š7 )‹0Œ Trong đó: độ phân biệt câu hỏi i Độ phân biệt câu hỏi trắc nghiệm số xác định chất lượng câu trắc nghiệm, có tác dụng phân loại nhóm lực thí sinh 2.4 KẾT CHƯƠNG 19 Chương 3: PHÂN TÍCH THIẾT KẾ VÀ TRIỂN KHAI HỆ THỐNG Chương nhằm mục đích trình bày q trình xây dựng triển khai hệ thống Website trắc nghiệm sở mô hình đề xuất, tiến hành triển khai hệ thống trắc nghiệm xây dựng môn học cụ thể 3.1 PHÂN TÍCH CHỨC NĂNG CỦA HỆ THỐNG TRẮC NGHIỆM 3.2 PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG TRẮC NGHIỆM 3.2.1 Biểu đồ ca sử dụng hệ thống C C R UT.L 3.2.2 Biểu đồ hệ thống 3.2.3 Biểu đồ hoạt động hệ thống D 3.3 THIẾT KẾ CƠ SỞ DỮ LIỆU 3.4 TRIỂN KHAI HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI Sau tiến hành chạy thử nghiệm hệ thống thực tế, ta thu kết mơ sau Bảng 3.1: Bảng thay đổi lực thí sinh trình thi IRT Câu Đỉnh kiến thức θ ∆θ Câu Đỉnh kiến thức θ ∆θ Câu 1 1,00000 1,7884 2,5000 -0,0011 11 2,7884 -0,3408 2,4989 -0,0005 12 2,4476 0,5007 2,4984 0,0002 13 2,4977 0,0011 2,4986 0,0002 14 2,4988 0,0012 10 2,4988 0,5177x10 -6 15 20 Đỉnh kiến thức θ ∆θ Câu Đỉnh kiến thức θ ∆θ 2,4988 ~0 16 2,4988 ~0 2.5 1.5 0.5 2,4988 ~0 17 2,4988 ~0 2,4988 ~0 18 2,4988 ~0 2,4988 ~0 19 2,4988 ~0 2,4988 ~0 20 2,4988 ~0 Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu 10 Câu 11 Câu 12 Câu 13 Câu 14 Câu 15 Câu 16 Câu 17 Câu 18 Câu 19 Câu 20 Câu 21 C C R UT.L D Sinh viên Hình 3.1: Thay đổi lực thí sinh q trình thi IRT Bảng 3.2: Quá trình thay đổi lực chuyển trạng thái thí sinh thi phương pháp IRT + BKT Câu Đỉnh kiến thức P(T) P(L) θ ∆θ 1 80% 40% 2,2318 1,4467 80% 60.23% 3,6785 -0,3211 80% 44.34& 3,3574 0,0066 80% 70.29% 3,3640 -0,0419 80% 76.83% 3,3221 0,0001 21 Câu Đỉnh kiến thức P(T) P(L) θ ∆θ Câu Đỉnh kiến thức P(T) P(L) θ ∆θ Câu Đỉnh kiến thức P(T) P(L) θ ∆θ 80% 82.11% 3,3222 0,5474x10 -6 11 80% 35.23% 1,2312 1,3015 16 80% 81.20% 2,4668 0,9823x10 -6 80% 33.33% 1,3463 -0,7120 12 80% 45.76% 2,5327 -0,1931 17 80% 30% 1,9879 0,1442 80% 50% 0,6343 1,5999 13 80% 55.23% 2,3396 0,1116 18 80% 55.22% 2,1321 0,5012 80% 68.2% 2,2342 0,0008 14 80% 61.56% 2,4512 0,01540 19 80% 65.67% 2,6333 0,0011 C C R UT.L D 10 80% 80.05% 2,2350 0,2441x10 -6 15 80% 72.14% 2,4666 0,0002 20 80% 81.10% 2,6344 0,4534x10 -6 Câu Câu Câu Câu Câu Câu Câu Câu Câu Câu 10 Câu 11 Câu 12 Câu 13 Câu 14 Câu 15 Câu 16 Câu 17 Câu 18 Câu 19 Câu 20 4.0000 3.0000 2.0000 1.0000 0.0000 Đỉnh Đỉnh Đỉnh Đỉnh Hình 3.2: Thay đổi lực thí sinh trình thi IRT + BKT 22 Từ liệu nhận được, ta thấy kết đánh giá thí sinh mơ hình gần tương tự Tuy nhiên với mơ hình IRT, câu hỏi không trải dài tất miền kiến thức, có đỉnh kiến thức xuất nhiều lần, có đỉnh khơng xuất làm thí sinh Khi có kết hợp với mơ hình BKT Ta nhận thấy câu hỏi trải điều tất miền kiến thức, thí sinh làm câu hỏi với đỉnh kiến thức từ thấp đến cao Mô hình BKT kết hợp với IRT cịn cho thấy lực cụ thể thí sinh thành phần kiến thức 3.5 KẾT CHƯƠNG D C C R UT.L 23 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN KẾT QUẢ ĐẠT ĐƯỢC Trong luận văn này, tác giả trình bày kiến thức tổng quan trắc nghiệm thích nghi, lý thuyết đáp ứng câu hỏi, BKT Nêu hạn chế mà mơ hình chưa thể giải Đồng thời đề xuất mơ hình TNTN kết hợp IRT BKT để giải hạn chế đưa Đề tài thực xây dựng thành cơng mơ hình IRT kết hợp BKT cho phép đánh giá theo mức độ kiến thức lực thí sinh Triển khai mơ hình thực tế với Học phần Lập trình hướng đối tượng Khoa Cơng nghệ thông tin, trường Đại học Bách khoa – C C R UT.L Đại học Đà Nẵng So sánh kết đạt mơ hình đề xuất mơ hình TNTN sở IRT D Tuy nhiên mơ hình đề xuất cịn tồn số hạn chế: - Mơ hình chưa tính đến ảnh hưởng câu hỏi với nhiều đỉnh kiến thức khác nhau; - Việc tính tốn tham số mơ hình cần cải tiến, áp dụng phương pháp để nâng cao tính xác; - Mơ hình miền kiến thức bị ảnh hưởng yếu tố chủ quan 24 HƯỚNG PHÁT TRIỂN − Nghiên cứu giải pháp tự động hiệu chỉnh mơ hình miền kiến thức sở liệu có; − Nghiên cứu ảnh hưởng câu hỏi trắc nghiệm đến nhiều đỉnh kiến thức; − Tối ưu hóa hệ thống trắc nghiệm đáp ứng nhiều số lượng lớn người dùng D C C R UT.L