(Luận văn thạc sĩ) ứng dụng mạng bayes xây dựng hệ thống đánh giá mức độ kiến thức năng lực người học

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA -  - TRẦN THỊ TUYẾT MAI ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2019 ii ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA - TRẦN THỊ TUYẾT MAI ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC Chuyên ngành : Khoa học máy tính Mã số : 8480101 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: Tiến sĩ Đặng Hoài Phương Đà Nẵng – Năm 2019 i LỜI CAM ĐOAN Tôi xin cam đoan : Những nội dung luận văn thực hướng dẫn trực tiếp thầy giáo TS Đặng Hoài Phương Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm công bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, xin chịu hoàn toàn trách nhiệm Tác giả luận văn Trần Thị Tuyết Mai ii LỜI CẢM ƠN Trước hết, xin bày tỏ lòng biết ơn sâu sắc đến Tiến sĩ Đặng Hồi Phương, người thầy nhiệt tình hướng dẫn tơi hồn thành luận văn thời gian qua Tơi xin bày tỏ lịng biết ơn chân thành đến khoa Công nghệ thông tin Trường ĐH Bách khoa, Đại học Đà Nẵng trường ĐH Quảng Bình, tất thầy cô giáo tham gia giảng dạy suốt q trình tơi học tập hồn thành chuyên đề thạc sĩ khoá 35 ngành Khoa học máy tính trường Đại học Quảng Bình Tôi xin cảm ơn thầy cô giáo Ban giám hiệu, tổ Tin học trường THPT Lê Quý Đơn – Bố Trạch - Quảng Bình, nơi tơi công tác giảng dạy, giúp đỡ tạo điều kiện cho tơi q trình học tập Cuối cùng, tơi xin gửi lời cảm ơn tới gia đình, bạn bè, đồng nghiệp - người cổ vũ động viên tơi để tơi hồn thành tốt luận văn Tuy có nhiều cố gắng, luận văn chắn khơng tránh khỏi thiếu sót cần góp ý, sửa chữa Rất mong nhận ý kiến đóng góp thầy bạn đọc Học viên Trần Thị Tuyết Mai iii MỤC LỤC DANH SÁCH CÁC CHỮ VIẾT TẮT vi DANH SÁCH CÁC BẢNG BIỂU vii DANH SÁCH CÁC HÌNH viii MỞ ĐẦU 1 Lý chọn đề tài Mục đích ý nghĩa đề tài 2.1 Mục đích 2.2 Ý nghĩa khoa học thực tiễn đề tài Mục tiêu nhiệm vụ 3.1 Mục tiêu 3.2 Nhiệm vụ Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu 5.1 Phương pháp lý thuyết 5.2 Phương pháp thực nghiệm Cấu trúc luận văn CHƯƠNG I: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN 1.1 Tổng quan trắc nghiệm thích nghi 1.2 Mơ hình tổng quan TNTN 1.3 Kết chương 10 CHƯƠNG II: XÂY DỰNG MÔ HÌNH TNTN TRÊN CƠ SỞ MẠNG BAYES 11 2.1 Mạng Bayes 11 2.1.1 Giới thiệu 11 2.1.2 Công thức Bayes 11 2.1.3 Cấu trúc mạng Bayes 12 2.1.4 Bảng xác suất có điều kiện (CPT) 13 2.2 Thuật toán TNTN tổng quát 14 2.3 Xây dựng đồ thị kiến thức 15 2.3.1 Đỉnh chứng 15 2.3.2 Đỉnh kiến thức 15 2.4 Mơ hình TNTN theo kiến thức sở mạng Bayes IRT 16 2.5 Thuật toán TNTN sở Lý thuyết đáp ứng câu hỏi 18 2.6 Đánh giá tập hợp tham số câu hỏi trắc nghiệm 23 2.7 Kết luận 26 CHƯƠNG III: XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI 27 3.1 Phân tích thiết kế hệ thống 27 iv 3.2 Triển khai hệ thống đánh giá kết 39 3.2.1 Thiết kế liệu hệ thống 39 3.2.2 Đánh giá kết thực nghiệm 39 3.3 Kết luận 41 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 42 TÀI LIỆU THAM KHẢO 43 v ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC Học viên: Trần Thị Tuyết Mai Mã số: 8480101 Khóa: K35.KMT.QB Chun ngành: Khoa học máy tính Trường Đại học Bách khoa - ĐHĐN Tóm tắt : Kiểm tra đánh giá khâu quan trọng trình dạy học, giúp giáo viên điều chỉnh việc dạy học sinh kịp thời điều chỉnh việc học Hiện có nhiều hình thức kiểm tra đánh giá học sinh mơ hình trắc nghiệm thích nghi đánh giá tối ưu Trắc nghiệm thích nghi phương pháp đánh giá trình độ người học hình thức kiểm tra trắc nghiệm khách quan theo hướng tiếp cận lực người học Luận văn nghiên cứu trắc nghiệm thích nghi, lý thuyết đáp ứng câu hỏi, mạng Bayes trình bày mơ hình trắc nghiệm thích nghi dựa lý thuyết đáp ứng câu hỏi sử dụng mạng Bayes Luận văn giới thiệu phân tích thiết kế hệ thống mơ hình ứng dụng thích nghi cho mơn cụ thể bậc phổ thông kết hướng phát triển Từ khóa: Trắc nghiệm thích nghi, trắc nghiệm khách quan, lý thuyết trắc nghiệm cổ điển, lý thuyết đáp ứng câu hỏi, mạng Bayes BAYESIAN NETWORK APPLICATION TO BUILD A SYSTEM OF EVALUATING LEARNER'S KNOWLEDGE AND CAPABILITY Student: Tran Thi Tuyet Mai Major: Computer Science Code: 8480101 Course: K35.KMT.QB Polytechnic University - Da Nang University Abstract: Assessment is an important step in the teaching process, helping teachers adjust their teaching and students to adjust their learning promptly Currently, there are many forms of student assessment and the adaptive testing model is considered to be the most optimal Adaptive testing is a method of assessing learner's qualifications by examining objective tests according to learner's ability approach This thesis studies adaptive testing, the item response theory, Bayesian networks and presents adaptive testing model based on the theory of responding to questions using Bayesian networks The thesis also introduces the analysis of adaptive model system design for one universal subject with the results and the next development direction Keywords: Adaptive Test, Objective Test, Classical Test Theory, Item Response Theory, Bayes Network vi DANH SÁCH CÁC CHỮ VIẾT TẮT BN CAT CPT CTT IRT HS NHCH THPT TNTN TS Bayes Network Computer Adaptive Testing Conditional Probability Table Classical Test Theory Item Response Theory Học sinh Ngân hàng câu hỏi Trung học phổ thơng Trắc nghiệm thích nghi Thí sinh vii DANH SÁCH CÁC BẢNG BIỂU Bảng 1: CPT biến “Road Conditions” mạng Bayes theo hình 2.2 13 Bảng 2: CPT biến “Precipitation” mạng Bayes theo hình 2.2 13 Bảng 3: Cấu trúc đỉnh kiến thức môn tin học lớp 11 .39 Bảng 4: Kết đánh giá mức độ kiến thức môn Tin học 11 40 viii DANH SÁCH CÁC HÌNH Hình 1.1 Các thành phần mơ hình TNTN Hình 1.2 Mô tả hoạt động TNTN Hình 2.1 Mơ hình minh họa cho mạng Bayes [9] 11 Hình 2.2 Cấu trúc đơn giản mạng Bayes tự nhiên 12 Hình 2.3 Cấu trúc mạng Bayes tổng quát 13 Hình 2.4 Thuật tốn tổng qt TNTN 15 Hình 2.5 BN cho môn học S đỉnh thành phần kiến thức 17 Hình 3.1 Sơ đồ phân rã chức hệ thống 28 Hình 3.2 Biểu đồ ca sử dụng hệ thống 29 Hình 3.3 Biểu đồ lớp hệ thống 30 Hình 3.4 Biểu đồ hoạt động Admin 31 Hình 3.5 Biểu đồ hoạt động quản lý đồ thị kiến thức 32 Hình 3.6 Biểu đồ hoạt động thí sinh 33 Hình 3.7 Biểu đồ hoạt động lựa chọn câu hỏi phù hợp 34 Hình 3.8 Biểu đồ module lựa chọn câu hỏi theo mức độ lực hệ thống trắc nghiệm thích nghi 35 Hình 3.9 Biểu đồ module lựa chọn câu hỏi ngẫu nhiên hệ thống trắc nghiệm thích nghi 36 Hình 3.10 Biểu đồ trạng thái hoạt động thi thí sinh 36 Hình 3.11 Giao diện quản lý Admin 37 Hình 3.12 Giao diện quản lý ngân hàng câu hỏi 37 Hình 3.13 Giao diện quản lý thí sinh 38 Hình 3.14 Giao diện làm trắc nghiệm thí sinh 38 Hình 3.15 Kết trắc nghiệm 02 nhóm học sinh 40 39 3.2 Triển khai hệ thống đánh giá kết 3.2.1 Thiết kế liệu hệ thống Tôi triển khai hệ thống thực tế với môn Tin học lớp 11 trường THPT THPT Lê Quý Đôn - Quảng Bình Mơn học phân làm 03 thành phần kiến thức (Bảng 4) với 150 câu hỏi trắc nghiệm Để xác định trọng số đo mức độ cần thiết đỉnh kiến thức môn Tin học, đề xuất trọng số = Số tiết dạy chương / Tổng số tiết mơn học Bảng mô tả cấu trúc môn Tin học lớp 11 số lượng câu hỏi trắc nghiệm tương ứng cho chương Bảng 3: Cấu trúc đỉnh kiến thức môn tin học lớp 11 Số câu hỏi Đỉnh kiến thức Nội dung Số tiết Trọng số trắc nghiệm Tổng quan ngơn ngữ lập Đỉnh 17 0.354 55 trình & cấu trúc cú pháp Kiểu liệu có cấu trúc & Đỉnh 20 0.417 70 tập tin Chương trình & lập Đỉnh 11 0.229 35 trình có cấu trúc Tương ứng với môn học Tin học lớp 11, xây dựng ngân hàng câu hỏi trắc nghiệm đỉnh thành phần kiến thức Các câu hỏi trắc nghiệm sử dụng loại câu hỏi trắc nghiệm nhiều lựa chọn với đáp án, có đáp án Do đó, tham số độ dự đoán câu hỏi trắc nghiệm có giá trị 0,25 mơ hình trắc nghiệm khác Tơi tiến hành cho học sinh trắc nghiệm với ngân hàng câu hỏi trắc nghiệm nêu sử dụng lý thuyết cổ điển để đánh giá tập hợp tham số ngân hàng câu hỏi trắc nghiệm theo phương pháp thống kê đề xuất 3.2.2 Đánh giá kết thực nghiệm Dựa kết đánh giá tập hợp tham số ngân hàng câu hỏi trắc nghiệm cho môn Tin học lớp 11 nêu trên, tơi cho nhóm học sinh (mỗi nhóm gồm học sinh) có mức độ kiến thức gần tiến hành trắc nghiệm hệ thống với mơ hình trắc nghiệm (mơ hình Birbaum & mơ hình đề xuất) Cả nhóm học sinh có mức độ lực & kiến thức đáp ứng tốt với môn Tin học lớp 11 Kết trắc nghiệm thể trang Bảng Hình 3.15 40 Bảng 4: Kết đánh giá mức độ kiến thức môn Tin học 11 Thí sinh Xác suất Đỉnh Xác suất Đỉnh Xác suất Đỉnh Examinee 0.78 0.8 0.75 Examinee 0.75 0.81 0.75 Examinee 0.9 0.67 0.6 Examinee 0.78 0.83 0.55 0,8 0,6 0,4 Ability 0,2 0 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 -0,2 -0,4 -0,6 -0,8 -1 The number of assigned item Exeminee Examinee Examinee Examinee Hình 3.15 Kết trắc nghiệm 02 nhóm học sinh Từ hình 3.15 thấy rằng, mức độ lực nhóm học sinh gần cho kết đánh giá tương tự Các kết cho thấy mức độ lực nhóm học sinh đáp ứng với môn học Tin học 11 dựa ngân hàng câu hỏi đánh giá Do nói mơ hình đề xuất cho phép đánh giá xác mức độ lực người học Bên cạnh đó, từ hình 3.15 thấy số lượng câu hỏi trắc nghiệm trung bình cần thiết để đánh giá mức độ lực & kiến thức học sinh theo mơ hình đề xuất 19.5 câu, mơ hình Birbaum 23 câu hỏi Đồng thời, biên độ dao động mức độ lực sinh viên mơ hình đề xuất nhỏ so với mơ hình Birbaum Vì vậy, nói đánh giá mức độ lực người học mơ hình đề xuất có hiệu so với mơ hình Birbaum Từ Bảng thấy Examinee & hai học sinh đánh giá theo mơ hình đề xuất Examinee & đánh giá theo mơ hình Birbaum Rõ ràng mức 41 độ lực học sinh đáp ứng tốt với môn học Tin học 11, nhiên xét mức độ kiến thức đáp ứng học sinh đỉnh thành phần kiến thức theo mơ hình đề xuất học sinh có xác suất hiểu đỉnh lớn 0.7 (có thể xem hiểu tất đỉnh thành phần kiến thức) 02 học sinh lại đánh giá theo mơ hình Birbaum lại có xác suất hiểu đỉnh nhỏ 0.7 (có nghĩa học sinh ko hiểu hết đỉnh kiến thức) Do đó, nói mơ hình đề xuất vừa cho phép đánh giá mức độ lực thí sinh, đồng thời cho phép theo dõi chi tiết mức độ đáp ứng kiến thức thí sinh với thành phần kiến thức chi tiết môn học 3.3 Kết luận Trong chương này, triển khai xây dựng hệ thống trắc nghiệm thích nghi sở mơ hình đề xuất & mơ hình trắc nghiệm thích nghi tồn Triển khai hệ thống thực tế đánh giá kết đạt Từ kết cho thấy mơ hình đề xuất cho phép đánh giá mức độ lực & kiến thức thí sinh xác có hiệu 42 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN A Kết luận Qua đề tài “Ứng dụng mạng bayes xây dựng hệ thống đánh giá mức độ kiến thức lực người học” luận văn đạt số kết sau: - Xây dựng mô TNTN sở mạng Bayes kết hợp với IRT; - Xây dựng hệ thống Website trắc nghiệm sở mơ hình đề xuất nhằm nâng cao hiệu trình đánh giá người học B Hạn chế Tuy nhiên, giới hạn đề tài này, mơ hình cịn điểm chưa đạt được: - Hiệu mơ hình đề xuất phụ thuộc vào tham số đầu vào ngân hàng câu hỏi; - Vector trọng số xác định mức độ quan trọng đỉnh thành phần kiến thức phụ thuộc vào yếu tố chủ quan; - Hệ thống Website trắc nghiệm chưa thể đáp ứng số lượng lớn người học kiểm tra đồng thời C Hướng phát triển - Phát triển phương pháp đánh giá vector trọng số xác định mức độ quan trọng đỉnh thành phần kiến thức từ liệu thu nhận thực tế - Nghiên cứu áp dụng Dynamic Bayes vào hệ thống để nâng cao tính hiệu mơ hình đề xuất 43 TÀI LIỆU THAM KHẢO [1] Novick, M.R (1966), The axioms and principal results of classical test theory, Journal of Mathematical Psychology, 3(11), 1-18 [2] Van-Der-Linden, W.J.; and Glas, C.A.W (2010), Elements of adaptive testing, New York: Springer [3] Meijer, R.R.; and Nering, M.L (1999), Computerized Adaptive Testing: Overview and Introduction, Applied Psychological Measurement, 23(3), 87-94 [4] Chen, C.M.; Lee, H.M.; and Chen, Y.H (2005), Personalized e-learning system using Item Response Theory, Computers in Education, 44, 237–255 [5] Wauters, K.; Desmet, P.; and Noortgate, W.V.D (2010), Adaptive item-based learning environments based on the item response theory: possibilities and challenges, Journal of Computer Assisted Learning, 26(6), 549-562 [6] Van-Der-Linden, W.J.; and Glas, C.A (2000), Computerized adaptive testing: Theory and practice, Dordrecht, The Netherlands: Kluwer Academic Publishers [7] Wauters, K.; Desmet, P.; and Van Den Noortgate, W (2010), Adaptive item-based learning environments based on the item response theory: Possibilities and challenges, Journal of Computer Assisted Learning, vol 26, no 6, pp 549–562 [8] Brian S G E Sahely; David M Bagley (2001), “Diagnosing upsets in anaerobic wastewater treatment using Bayesian Belief Networks”, Journal of Environmental Engineering 127(4) (2001) [9] Murphy, K (2001): “ A brief introduction to graphical models and Bayesian Networks ” October 14, 2001 [10] Long D Nguyen (2005), “Accident risks of working- at- heights in building construction: An Assessment Framework”, Term project report, May 5, 2005 [11] Charles River Analytics, Inc (2004): “ About Bayesian Belief Networks ” [12] Kevin P Murphy (2001), “An introdution to graphical models”, 10 May 2001 [13] Ado Abdu Bichi, Rahimah Embong, Mustafa Mamat Danjuma A Maiwada, “Comparison of Classical Test Theory and Item Response Theory: A Review of Empirical Studies”, Australian Journal of Basic and Applied Sciences, vol 7, No 9, pp 549-556, 2015 [14] Richard McMunn, Abstract Reasoning tests Sample Test Questions and answers for the Abstract Reasoning tests, How2Become, 2014, 125 pp 44 ... tồn số nhược điểm: đánh giá mức độ lực thí sinh theo chiều ngang kiến thức, … Vì tơi đề xuất đề tài ? ?Ứng dụng mạng Bayes xây dựng hệ thống đánh giá mức độ kiến thức lực người học? ?? để khắc phục... 43 v ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC Học viên: Trần Thị Tuyết Mai Mã số: 8480101 Khóa: K35.KMT.QB Chun ngành: Khoa học máy tính Trường Đại học. ..ii ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA - TRẦN THỊ TUYẾT MAI ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC Chuyên ngành : Khoa học máy