Ứng dụng mạng bayes xây dựng hệ thống trắc nghiệm thích nghi

Hệ thống trắc nghiệm thích nghi TNTN đã được nghiên cứu hiện thực hóa và ứng dụng rộng rải nhờ tính chính xác và khách quan trong quá trình đánh giá năng lực kiến thức của thí sinh Tuy nhiên những mô hình và hệ thống TNTN đã tồn tại vẫn còn một số nhược điểm nhất định Nghiên cứu này được đề xuất nhằm khắc phục mở rộng tính toán cho hệ thống TNTN có câu hỏi chứa nhiều tham số chọn lựa câu hỏi phù hợp với mức độ kiến thức hiện tại của thí sinh Luận văn đã khái quát về TNTN giới thiệu các hệ thống TNTN đã tồn tại Từ lý thuyết mạng Bayes lý thuyết đáp ứng câu hỏi tác giả đã thiết kế và xây dựng hệ thống TNTN Các phân tích đánh giá hệ thống cũng được giới thiệu trong luận văn Tác giả đã tóm tắt các kết quả đạt được và đưa ra hướng phát triển tiếp theo

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN THỊ TỐ LOAN ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN THỊ TỐ LOAN ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI Chun ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT Người hướng dẫn khoa học: TS ĐẶNG HOÀI PHƯƠNG Đà Nẵng - Năm 2017 i LỜI CAM ĐOAN Tôi xin cam đoan đề tài “Ứng dụng mạng Bayes xây dựng hệ thống trắc nghiệm thích nghi” cơng trình nghiên cứu riêng tơi hướng dẫn TS Đặng Hồi Phương Các nội dung nghiên cứu, kết đề tài trung thực Tác giả Trần Thị Tố Loan ii TÓM TẮT LUẬN VĂN ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI Trần Thị Tố Loan, học viên cao học khóa 31, chuyên ngành Khoa học máy tính, mã số: 60.48.01, trường Đại học Bách Khoa - Đại học Đà Nẵng Tóm tắt - Hệ thống trắc nghiệm thích nghi (TNTN) nghiên cứu, thực hóa ứng dụng rộng rải nhờ tính xác khách quan q trình đánh giá lực, kiến thức thí sinh Tuy nhiên, mơ hình hệ thống TNTN tồn số nhược điểm định Nghiên cứu đề xuất nhằm khắc phục, mở rộng tính tốn cho hệ thống TNTN có câu hỏi chứa nhiều tham số, chọn lựa câu hỏi phù hợp với mức độ kiến thức thí sinh Luận văn khái quát TNTN, giới thiệu hệ thống TNTN tồn Từ lý thuyết mạng Bayes, lý thuyết đáp ứng câu hỏi tác giả thiết kế xây dựng hệ thống TNTN Các phân tích đánh giá hệ thống giới thiệu luận văn Tác giả tóm tắt kết đạt đưa hướng phát triển Từ khóa – Trắc nghiệm thích nghi; mạng Bayes; lý thuyết đáp ứng câu hỏi; thuật toán ước lượng lực BAYESIAN NETWORK APPLICATIONS FOR BUILDING COMPUTERIZED ADAPTIVE TESTING SYSTEMS Abstract - Computerized Adaptive Testing (CAT) has been research, actualize and wide apply because of their accuracy and objective in process of testing ability and knowledge of the candidate However existing CAT system model still have some limitation This research was proposed inorder to resolve; expand the calculation ability of CAT sytem which have many parameters; select the suitable question depend on candidate’s current knowledge level The thesis is generaly describle about CAT; introduce about existing CAT model From Bayesian Network theory; Item Response Theory adapt to question which designes and created the CAT system Among these, the fuzzy controller to optimized the calculation for the ability estimatation agrorithm of student The review and analysis for te system also mention in the Thesis The author was summarize the successful result and given the improvement direction next step Key words - Computerized Adaptive Testing; Bayesian Network; Item Response Theory; the ability estimatation agrorithm of student iii MỤC LỤC LỜI CAM ĐOAN i TÓM TẮT LUẬN VĂN ii MỤC LỤC iii DANH MỤC CÁC CHỮ VIẾT TẮT v DANH MỤC CÁC KÝ HIỆU vi DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH viii DANH MỤC CÁC BIỂU ĐỒ ix MỞ ĐẦU 1 Lý chọn đề tài Mục đích ý nghĩa đề tài Mục tiêu nhiệm vụ Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Kết dự kiến CHƯƠNG CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN 1.1 Tổng quan trắc nghiệm thích nghi 1.1.1 Khái niệm trắc nghiệm thích nghi 1.1.2 Lịch sử TNTN 1.2 Các thành phần mơ hình TNTN 1.2.1 Ngân hàng câu hỏi 1.2.2 Thuật toán lựa chọn câu hỏi 1.2.3 Đánh giá lực thí sinh 1.2.4 Điều kiện dừng 1.3 Hoạt động mơ hình TNTN 1.4 Phân tích mơ hình TNTN CHƯƠNG XÂY DỰNG MƠ HÌNH TRẮC NGHIỆM THÍCH NGHI 2.1 Lý thuyết mạng Bayes 2.1.1 Giới thiệu 2.1.2 Định nghĩa mạng Bayes 2.1.3 Mạng Bayes nhân 10 2.1.4 Học cấu trúc 10 2.1.5 Học tham số 10 2.1.6 Suy luận mạng Bayes 11 2.1.7 Ứng dụng 11 iv 2.2 Lý thuyết đáp ứng câu hỏi 12 2.2.1 Giới thiệu 12 2.2.2 Mơ hình IRT tham số 12 2.3 Xây dựng mơ hình TNTN dựa mạng Bayes kết hợp IRT tham số 14 2.3.1 Mơ hình TNTN 14 2.3.2 Ngân hàng câu hỏi 15 2.3.3 Thuật toán TNTN 16 2.3.4 Thuật toán lựa chọn câu hỏi 17 2.3.5 Ước lượng lực thí sinh 17 2.3.6 Thuật toán dừng 25 CHƯƠNG XÂY DỰNG VÀ TRIỂN KHAI HỆ THỐNG 26 3.1 Phân tích chức hệ thống TNTN 26 3.1.1 Biểu đồ đặc tả chức thí sinh 26 3.1.2 Biểu đồ đặc tả chức giáo viên 27 3.1.3 Biểu đồ đặc tả chức hệ thống 28 3.2 Biểu đồ use case hệ thống TNTN 28 3.2.1 Các tác nhân hệ thống 28 3.2.2 Use case thí sinh 28 3.2.3 Use case giáo viên 29 3.3 Biểu đồ trạng thái hệ thống TNTN 29 3.3.1 Biểu đồ trạng thái giáo viên 29 3.3.2 Biểu đồ trạng thái thí sinh 30 3.3.3 Biểu đồ trạng thái hệ thống 31 3.4 Biểu đồ hệ thống TNTN 32 3.5 Biểu đồ hoạt động hệ thống TNTN 33 3.5.1 Biểu đồ hoạt động thí sinh 33 3.5.2 Biểu đồ hoạt động giáo viên 34 3.5.3 Biểu đồ hoạt động hệ thống 35 3.6 Thiết kế sở liệu 36 3.7 Triển khai hệ thống TNTN 36 3.8 Đánh giá hệ thống TNTN 37 TÀI LIỆU THAM KHẢO 42 PHỤ LỤC QUYẾT ĐỊNH GIAO ĐỀ TÀI BẢN SAO KẾT LUẬN CỦA HỘI ĐỒNG, BẢN SAO NHẬN XÉT CỦA CÁC PHẢN BIỆN v DANH MỤC CÁC CHỮ VIẾT TẮT TNTN TNKQ CSDL NHCH Trắc nghiệm thích nghi Trắc nghiệm khách quan Cơ sở liệu Ngân hàng câu hỏi vi DANH MỤC CÁC KÝ HIỆU a b P(i) θ Độ phân biệt câu hỏi Độ khó câu hỏi Xác suất trả lời câu hỏi thứ i Năng lực thí sinh vii DANH MỤC CÁC BẢNG Số bảng Tên bảng Trang 1.1 Bảng đánh giá thuật toán lựa chọn MI, KL MEI (+: có, -: khơng) 2.1 Thiêt kế giả định môn Mathematics 19 2.2 Phân cấp chi tiết môn Mathematics 19 2.3 Xác suất trả lời câu hỏi 25 3.1 Bộ câu hỏi ước lượng tham số theo IRT tham số 37 3.2 Kết đánh giá lực thí sinh 40 viii DANH MỤC CÁC HÌNH Số hiệu 1.1 2.1 2.2 2.3 2.4 2.5 2.6 2.7 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 Tên hình Mơ hình hoạt động hệ thống TNTN Mơ hình TNTN Thuật tốn TNTN Các phương án mơ hình quan hệ nhân BN mô mối quan hệ chủ đề khái niệm Mạng Bayes cho TNTN Chuyển đổi ICC Sử dụng G(x) để tính xác suất Biểu đồ đặc tả chức thí sinh Biểu đồ đặc tả chức giáo viên Biểu đồ đặc tả chức hệ thống Biểu đồ Use case thí sinh Biểu đồ Use case giáo viên Biểu đồ trạng thái giáo viên Biểu đồ trạng thái thí sinh Biểu đồ trạng thái hệ thống Biểu đồ hệ thống Biểu đồ hoạt động thí sinh Biểu đồ hoạt động giáo viên Biểu đồ hoạt động hệ thống Trang 14 16 21 22 23 23 24 26 27 28 28 29 29 30 31 32 33 34 35 37 Bảng 3.1 Bộ câu hỏi ước lượng tham số theo IRT tham số Câu hỏi 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 3.8 Độ khó 2.0 2.0 2.0 1.0 2.0 2.0 2.0 2.0 2.0 0.6 2.0 1.49 1.91 1.49 2.0 1.5 1.13 2.0 2.0 2.0 1.73 2.0 2.0 1.68 0.4 Độ phân biệt 1.61 2.4 1.4 1.42 0.81 1.56 1.14 1.19 0.71 1.95 0.72 2.29 2.0 2.29 1.85 0.97 2.66 0.71 0.81 1.14 0.78 1.23 1.57 2.12 0.77 Câu hỏi 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 Độ khó 2.0 1.8 1.0 2.0 0.8 1.4 1.0 1.0 0.7 1.3 1.0 2.0 2.0 2.0 1.8 1.6 1.27 2.0 0.9 1.5 1.2 1.36 0.8 1.0 2.0 Độ phân biệt 1.58 2.5 1.77 1.01 0.6 1.6 2.24 1.58 1.72 0.92 0.51 2.32 0.35 0.82 1.36 2.33 0.45 1.48 1.7 1.3 0.25 1.65 2.09 1.76 0.63 Đánh giá hệ thống TNTN Hệ thống TNTN xây dựng tiêu chí đánh giá lực thí sinh thứ tự là: Rớt, khơng đạt, đạt, trung bình, trung bình khá, khá, giỏi, giỏi, xuất sắc (tương ứng với giá trị từ -2.0 tới 2.0) Đánh giá 1: Lựa chọn câu hỏi phù hợp với lực với thí sinh Xét thí sinh có lực = -0.5 (trung bình) Khi thí sinh bắt đầu làm bài, hệ thống TNTN cần chọn lựa câu hỏi cho thỏa mãn tiêu chí phù hợp lực thí sinh, hay nói cách khác câu hỏi dành cho thí sinh khơng q khó khơng q dễ 38 Biểu đồ 3.1 Biểu đồ biểu diễn lựa chọn câu hỏi cho thí sinh có θ= -0.5 Trong biểu đồ trên, đường màu xanh biểu diễn cho xác suất trả lời câu hỏi P(i) thí sinh, đường màu đỏ biểu diễn cho thông tin lựa chọn câu hỏi phù hợp I(i) cho thí sinh Qua biểu đồ ta dễ dàng nhận thấy câu hỏi thứ 11, xác suất trả lời thí sinh gần 0.5 giá trị thông tin câu hỏi cao so với câu hỏi lại Điều đồng nghĩa với việc câu hỏi số 11 câu hỏi phù hợp với lực thí sinh Đánh giá 2: Sự lựa chọn câu hỏi thi sinh có lực khác Xét hai thí sinh có lực cao = 1.5 thí sinh có lực thấp =-1.5 Hệ thống TNTN lựa chọn câu hỏi phù hợp với lực thí sinh kết biểu diễn hai biểu đồ sau: 39 Biểu đồ 3.2 Biểu đồ biểu diễn lựa chọn câu hỏi cho thí sinh có θ= -1.5 θ= 1.5 Đánh giá 3: Kết thực nghiệm hệ thống TNTN Tiến hành triển khai hệ thống TNTN để đánh giá lực thí sinh ngân hàng câu hỏi (được xây dựng theo chuẩn mơ hình IRT tham số) có 50 câu hỏi NHCH đánh giá gồm 20 câu hỏi mơn học Lập trình Web Sau triển khai q trình thực nghiệm, thu kết sau: Khi thí sinh bắt đầu đánh giá lực mơn học, thí sinh gán mức lực thí sinh, hế thống tiếp tục lựa chọn câu hỏi phù hợp với thí sinh tiếp nhận kết câu trả lời (đúng 1, sai 0) từ thí sinh, sau tính tốn Sau trả lời thêm 13 câu hỏi hệ thống lựa chọn cho thí sinh, thí sinh kết thúc đánh giá với kết tính tốn hệ thống là: 0= 0.4936 có câu trả lời sai có 11 câu trả lơi đúng, với độ tin cậy 78.8% Qua bảng 3.2 ta thấy hệ thống TNTN chọn lựa nhiều câu hỏi khác với độ khó độ phân biệt khác để tiến hành tính tốn lực thí sinh q trình làm đánh giá Đối vế TNKQ, thông thường kiểm tra tối thiểu gồm 30 câu hỏi với độ tin cậy kiểm tra mong đợi khoảng 68% Như vậy, với thuật toán TNTN ứng dụng mạng Bayes, đánh giá lực thí sinh hồn thành sau 13 câu hỏi với độ tin cậy đạt 78.8% 40 Bảng 3.1 Kết đánh giá lực thí sinh Câu hỏi Khởi tạo 10 11 12 13 Câu hỏi Độ khó chọn (b) 23 46 33 11 02 87 35 68 79 02 72 43 54 -1.24 -.154 -1.15 0.27 0.34 1.38 1.29 0.49 1.19 0.67 1.16 0.95 -1.12 Độ phân biệt (a) 1.57 -1.34 -1.62 1.60 1.80 -1.37 0.87 -1.35 -1.93 -0.49 0.79 1.20 1.51 Trả lời 1 1 1 0 1 Năng lực (θ) Độ tin cậy -0.5662 -0.3716 -0.2583 -0.1424 -0.1642 0.0062 0.4219 0.5979 0.3611 0.2261 0.4390 0.3349 0.4242 0.4963 46.2 58.1 61.2 62.1 68.3 69.0 69.7 72.2 72.8 73.9 74.3 75.8 78.8 Dựa kết tính tốn lực thí sinh, hế thống tiếp tục lựa chọn câu hỏi phù hợp với thí sinh tiếp nhận kết câu trả lời (đúng 1, sai 0) từ thí sinh, sau tính tốn Sau trả lời thêm 13 câu hỏi hệ thống lựa chọn cho thí sinh, thí sinh kết thúc đánh giá (thỏa mãn điều kiện dừng hệ thống) với kết tính tốn hệ thống là: 0= 0.4936 có câu trả lời sai có câu trả lơi đúng, với độ tin cậy 78.8% Như với mơ hình trăc nghiệm thích nghi kết hợp mạng Bayes IRT tham số, đánh giá thí sinh diễn 13 câu hỏi tổng số 20 câu hỏi 41 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong luận văn này, tác giả trình bày kiến thức tổng quan TNTN, mạng Bayes, lý thuyết đáp ứng cau hỏi, so sánh mơ hình TNTN tồn tại, xây dựng mơ hình TNTN theo mơ hình xây dựng đánh giá số kết đạt Đề tài thực xây dưng thành cơng mơ hình TNTN dựa lý thuyết mạng Bayes kết hợp lý thuyết IRT sử dụng mơ hình tham số Sử dụng mơ hình xây dựng tiến hành xây dựng hệ thống TNTN để đánh giá lực thí sinh mơn học Lập trình Web sinh viên Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ Thuật Vĩnh Long Hệ thống TNTN xây dựng hoạt động cách mềm dẻo, linh hoạt, có tính xác cao khắc phục thiếu sót, nhược điểm tồn đọng hệ thống TNTN tồn tại, nâng cao hiệu quả, tính xác cơng tác kiểm định đánh giá lực thí sinh Trong thời gian tới, tác giả tiếp tục nghiên cứu hoàn thiện hệ thống TNTN xây dựng, tiến hành thử nghiệm, đánh giá, so sánh với mơ hình TNTN tồn để hiệu chỉnh tính cịn thiếu sót hệ thống đưa hệ thống vào ứng dụng thực tế 42 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Mai Văn Hà*, Đặng Hồi Phương (2016), “Ứng dụng mơ hình tham số Birnbaum xây dựng hệ thống tự động đánh giá lực người học”, Tạp chí Khoa học Công nghệ ĐHĐN, 5(102), trang 146 [2] PGS.TS Trần Khánh Đức (2012), Đo Lường Và Đánh Giá Trong Giáo Dục, NXB Đại học quốc gia Hà Nội [3] Trần Bá Hoành (1997), Đánh giá giáo dục, NXB Giáo dục Hà Nội [4] Trần Kiêm Hồng (2008), Trắc nghiệm khách quan đánh giá lực nhận thức người học [5] Lê Xuân Tài, Đặng Hoài Phương (2015), “Xây dựng mơ hình trắc nghiệm thích nghi sở lý thuyết đáp ứng câu hỏi”, Một số vấn đề tiên tiến công nghệ thông tin truyền thông, trang 5-17 [6] Lâm Quang Thiệp (2008), Trắc nghiệm Ứng dụng, NXB Khoa học kỹ thuật [7] Dương Thiệu Tống (2005), Trắc nghiệm đo lường thành học tập, NXB Khoa học xã hội Tiếng nước [8] Angel Syang (1993), “COMPUTERIZED ADAPTIVE TESTING IN COMPUTER SCIENCE : Assessing Student Programming Abilities”, ACM-24thCSE-2/93 lN,USA, ACM 0-89791 -566 -6/93 /000210053, pp.53-57 [9] Baker, F (2001) The Basics of Item Response Theory, University of Maryland, College Park, MD: ERIC Clear-inghouse on Assessment and Evaluation [10] Bernard P Veldkamp, Mariagiulia Matteucci (2013), Bayes Computerized Adaptive Testing [11] Chang, H.H., Ying, Z (1996) A global information approach to computerized adaptive testing Applied Psychological Measurement, 20, 213 [12] Costa, D R., Karino, C A., Moura, F A S., & Andrade, D F (2009) A comparison of three methods of item selection for computerized adaptive testing In D J Weiss (Ed.), Proceedings of the 2009 GMAC Conference on Computerized Adaptive Testing [13] Gin-Fon N Ju, Alfred Bork (2005), The Implementation of an Adaptive Test on the Computer, Proceedings of the Fifth IEEE International Conference on Advanced Learning Technologies (ICALT’05) [14] Guido Makrankysky (2012), Computerized Adaptive Testing in Industrial and Organizational Psychology, University of Twente the Netherlands [15] Guzmán, E., Conejo, R., & García-Hervás, E (2005), “An Authoring Environment for Adaptive Testing, Educational Technology & Society”, 66- 76 43 [16] John Michael Linacre, Ph.D.MESA Psychometric LaboratoryUniversity of [17] [18] [19] [20] Chicago (2000), “Computer-Adaptive Testing: A Methodology Whose Time Has Come”, Seoul, South Korea: Komesa Press K Wauters, P Desmet, and W Van Den Noortgate, “Adaptive item-based learning environments based on the item response theory: Possibilities and challenges,” Journal of Computer Assisted Learning, vol 26, no 6, pp 549–562, 2010 Michel C Desmarais and Xiaoming Pu (2005) Computer Adaptive Testing: Comparison of a probabilistic network approach with Item Response Theory Ecole Polytechnique de Montreal, Montreal, QC, Canada Salma Parhizgar (2012) Testing and Technology: Past, Present and Future, Shiraz University, Shiraz, Iran ISSN 1799-2591 Van Der Linden WJ (1998) Bayes Item Selection Criteria for Adaptive Testing Psychometrika, 63, 201–216 PHỤ LỤC Chức hệ thống TNTN: Đối với giáo viên: người thông qua hệ thống để đánh giá lực thí sinh thơng qua làm mà thí sinh trực tiếp thao tác với hệ thống Chức mà hệ thống TNTN cung cấp cho giáo viên sau: - Đăng nhập vào hệ thống TNTN; - Tạo danh sách tài khoản thí sinh: tạo tài khoản đơn lẻ hay tạo dựa danh sách có sẵn; - Tạo mới/ xóa/ sửa mơn học; - Tạo / xóa/ sửa/ tìm kiếm/ giới hạn thời gian trả lời cho câu hỏi hay cho toàn kiểm tra; - Thống kê đánh giá thí sinh theo môn học hay theo buổi học: tên môn học, tên thí sinh, lớp, thời gian kiểm tra Đối với thí sinh: người thơng qua hệ thống TNTN thể lực (kiến thức) thân thông qua kiểm tra mà hệ thống cung cấp Các chức mà hệt thống TNTN cung cấp cho thí sinh sau: - Đăng nhập vào hệ thống TNTN; - Thay đổi thông tin cá nhân; - Chọn môn học để làm kiểm tra hệ thống TNTN; - Xem kết quả: kết kiểm tra lực, thống kê kiểm tra (số câu trả lời đúng, sai, thời gian làm thời gian trả lời cho câu hỏi) Mô tả hoạt động giáo viên: - Giáo viên sử dụng trình duyệt Web để đăng nhập vào hệ thống; - Tạo môn học; - Thêm/ thay đổi câu hỏi vào ngân hàng câu hỏi; - Thêm/ thay đổi thơng tin thí sinh làm kiểm tra; - Thống kê kết đánh giá Mô tả hoạt động thí sinh: - Đăng nhập vào hệ thống TNTN với tài khoản mà giáo viên cung cấp; - Làm kiểm tra; - Xem kết kiểm tra ... TNTN tồn tại, từ đưa lý để xây dựng TNTN sở mạng Bayes 1.1 Tổng quan trắc nghi? ??m thích nghi 1.1.1 Khái niệm trắc nghi? ??m thích nghi Trắc nghi? ??m thích nghi (TNTN), tiếng Anh gọi “Adaptive Test”... thuật tốn hệ thống TNTN có khả ứng dụng giáo dục Việt Nam;ây Đưa kết luận sở cho việc lựa chọn mạng Bayes làm tảng để xây dựng mơ hình TNTN; Nghi? ?n cứu áp dụng mạng Bayes xây dựng hệ thống TNTN... hình hệ thống TNTN có cịn tồn nhiều hạn chế, nên định hướng nghi? ?n cứu đề tài: ? ?Ứng dụng mạng Bayes xây dựng mô hình trắc nghi? ??m thích nghi? ?? cần thiết để khắc phục tồn nêu 9 CHƯƠNG XÂY DỰNG