Ứng dụng mạng Bayes xây dựng hệ thống đánh giá mức độ kiến thức năng lực người học

1 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN THỊ TUYẾT MAI ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC Chuyên ngành: Khoa học máy tính Mã số : 8480101 TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng – Năm 2019 Cơng trình hoàn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: Tiến sĩ Đặng Hoài Phương Phản biện 1: TS Phạm Minh Tuấn Phản biện 2: TS Đậu Mạnh Hoàn Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ kỹ thuật họp Trường Đại học Bách khoa vào ngày 25 tháng năm 2019 Có thể tìm hiểu luận văn tại: − Trung tâm Học liệu, Đại học Đà Nẵng Trường Đại học Bách khoa − Thư viện Khoa công nghệ thông tin, Trường Đại học Bách khoa – ĐHĐN Đà Nẵng – Năm 2019 MỞ ĐẦU Lý chọn đề tài Kiểm tra đánh giá kết học học tập học sinh khâu có vai trị quan trọng q trình dạy học Nó đảm bảo mối liên hệ ngược trình dạy học mơn, giúp giáo viên điều chỉnh việc dạy học sinh kịp thời điều chỉnh việc học Các phương pháp đánh giá truyền thống như: vấn đáp, tự luận,… thường cho kết có độ xác khơng cao, tốn thời gian, khơng khách quan tập trung đánh giá mặt kiến thức, chưa ý đến đánh giá lực người học Một mơ hình trắc nghiệm nghiên cứu trắc nghiệm thích nghi (TNTN) máy tính (Computerized Adaptive Testing - CAT) Mơ hình cho phép lựa chọn câu hỏi phù hợp với mức kiến thức lực thí sinh Năng lực thí sinh cập nhật thường xuyên trình đánh giá trình đánh giá kết thúc đưa xác mức kiến thức lực thực thí sinh Ngày nay, với phát triển vượt bậc khoa học máy tính nên vấn đề triển khai hệ thống TNTN dựa sở mơ hình tốn học hồn tồn khả thi Một số mơ hình TNTN nghiên cứu thực hóa như: mơ hình TNTN sở lý thuyết đáp ứng câu hỏi, mơ hình TNTN sở lơgic mờ, … Tuy nhiên mơ hình TNTN kể tồn số nhược điểm: đánh giá mức độ lực thí sinh theo chiều ngang kiến thức,… Vì tơi đề xuất đề tài “Ứng dụng mạng Bayes xây dựng hệ thống đánh giá mức độ kiến thức lực người học” để khắc phục nhược điểm 2 Mục đích ý nghĩa đề tài 2.1 Mục đích - Xây dựng mơ hình trắc nghiệm thích nghi sở Mạng Bayes; - Xây dựng hệ thống TNTN sở mơ hình đề xuất triển khai ứng dụng cho việc đánh giá kiến thức kỹ môn Tin học lớp 11 học sinh trường THPT Lê Q Đơn - Quảng Bình - Góp phần vào hướng nghiên cứu mơ hình thích nghi, đặc biệt TNTN nhằm ứng dụng cho thực tiễn giáo dục Việt Nam 2.2 Ý nghĩa khoa học thực tiễn đề tài - Mơ hình TNTN đề xuất kết hợp hai lĩnh vực nghiên cứu trắc nghiệm thích nghi lý thuyết mạng Bayes Mục tiêu nhiệm vụ 3.1 Mục tiêu - Xây dựng mơ hình TNTN sở mạng Bayes & IRT; - Hiện thực hóa hệ thống TNTN đánh giá mức độ lực người học dựa mơ hình đề xuất 3.2 Nhiệm vụ - Nghiên cứu mơ hình trắc nghiệm thích nghi đánh giá mức độ lực, kiến thức người học; - Phát biểu, phân tích cài đặt giải thuật cho tốn đặt (ứng dụng mạng Bayes); - Xây dựng mơ hình ứng dụng hệ thống; - Đánh giá kết theo yêu cầu đề tài Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu: Đề tài tìm hiểu phương pháp đánh giá kiến thức, nhận thức kỹ năng; mơ hình thuật tốn trắc nghiệm; lý thuyết mạng Bayes Từ dựa sở lý thuyết mạng Bayes để xây dựng mơ hình TNTN Phạm vi nghiên cứu: Đề tài sử dụng lý thuyết mạng Bayes làm sở để xây dựng mơ hình TNTN cho mơn học Tin học lớp 11 trường THPT Lê Quý Đôn – Quảng Bình Phương pháp nghiên cứu 5.1 Phương pháp lý thuyết Phân tích đánh giá mơ hình, thuật tốn hệ thống TNTN có khả ứng dụng thực tiễn giáo dục Việt Nam Từ đó, đưa kết luận sở cho việc lựa chọn lý thuyết mạng Bayes làm tảng để xây dựng mơ hình TNTN 5.2 Phương pháp thực nghiệm - Xây dựng hệ thống TNTN sở mơ hình đề xuất - Xây dựng sở liệu ngân hàng câu hỏi môn Tin học lớp 11 - Triển khai đánh giá hệ thống TNTN đề xuất thực tế Cấu trúc luận văn Luận văn gồm chương Chương 1: Cơ sở lý luận thực tiễn Chương 2: Xây dựng mô hình TNTN sở mạng Bayes Chương 3: Xây dựng hệ thống trắc nghiệm thích nghi CHƯƠNG I: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN 1.1 Tổng quan trắc nghiệm thích nghi 1.2 Mơ hình tổng quan TNTN Về TNTN có thành phần hình thức trắc nghiệm khách quan: ngân hàng câu hỏi (Calibrated item bank), thuật toán lựa chọn câu hỏi (Item selection algorithm), thuật toán đánh giá (Scoring algorithm) điều kiện dừng (Termination criterion) Tuy nhiên, thành phần có điểm khác so với trắc nghiệm khách quan Hình 1.1 Các thành phần mơ hình TNTN Hoạt động TNTN hay thuật tốn TNTN thuật tốn lặp (hình 1.2), có thao tác như: Khởi tạo lực khởi đầu thí sinh; Lựa chọn câu hỏi để chọn câu hỏi phù hợp từ ngân hàng câu hỏi thí sinh thực hiện; Nhận kết phản hồi để ghi nhận kết trả lời từ thí sinh: Ước lượng lực dùng để thực tính tốn để ước lượng lại lực thí sinh; Điều kiện dừng tập điều kiện để xác định việc tiếp tục lựa chọn câu hỏi kết thúc q trình đánh giá Hình 1.2 Mơ tả hoạt động TNTN 1.2.1 Mơ hình TNTN sở lý thuyết đáp ứng câu hỏi Trắc nghiệm thích nghi dựa lý thuyết đáp ứng câu hỏi phương pháp sử dụng lý thuyết đáp ứng câu hỏi để xây dựng hệ thống TNTN việc lựa chọn câu hỏi cho thí sinh (dựa giá trị đặc trưng câu hỏi) cho câu hỏi lựa chọn phải phù hợp với lực thí sinh thời điểm trả lời xong câu hỏi Giá trị lực thí sinh 𝜃 giá trị tham số đặc trưng (độ khó, độ phân biệt, độ đốn mị) cho câu hỏi kết hợp với công thức tính tốn chứng minh định câu hỏi lựa chọn đưa đánh giá thí sinh 1.2.2 Mơ hình thích nghi sở chuỗi Markov Mơ hình trắc nghiệm thích nghi sử dụng lý thuyết đáp ứng câu hỏi khơng tính tốn đến mối tương quan câu trả lời Mặt khác tương quan câu trả lời thí sinh cung cấp thơng tin câu hỏi cho phép khảo sát ảnh hưởng câu hỏi với ảnh hưởng thể câu trả lời Và mối tương quan cho phép đánh giá cách gián tiếp chất lượng ngân hàng câu hỏi Hiện số tác giả đề xuất sử dụng chuỗi Markov để đánh giá mối tương quan câu trả lời mơ hình TNTN Nếu xem mơ hình chuỗi câu trả lời chuỗi Markov đồng Theo luật số lớn định lý Poisson xác suất chuyển trạng thái khơng thay đổi với giá trị xác suất khác bước chuyển điều kiện số lượng thử nghiệm đủ lớn Với việc sử dụng mơ hình Markov hàm thông tin tối đa đánh giá mức độ kiến thức thí sinh trắc nghiệm thích nghi thay đổi Nếu trình trắc nghiệm đánh giá thí sinh nhận vector tập hợp câu trả lời (𝑥0 , 𝑥1 , … , 𝑥𝑛 ) lý thuyết đáp ứng câu hỏi hàm tính khả tối đa xem xác suất khơng điều kiện Điều cho thấy mơ hình trắc nghiệm thích nghi sử dụng chuỗi Markov để đánh giá lực người học xác mơ hình TNTN sở lý thuyết đáp ứng câu hỏi Mơ hình trắc nghiệm thích nghi sử dụng mơ hình xác suất dựa kết thống kê tập hợp tham số câu hỏi ngân hàng câu hỏi trắc nghiệm, cho phép đánh giá mức độ lực thí sinh khách quan xác Tuy nhiên, mơ hình TNTN sở IRT chuỗi Markov tồn hạn chế cho phép đánh giá mức độ lực thí sinh theo chiều ngang kiến thức cần đánh giá (dựa vào tập ngân hàng câu hỏi trắc nghiệm) Do tơi đề xuất ứng dụng Bayes Network (BN) để xây dựng hệ thống trắc nghiệm thích nghi cho phép đánh giá mức độ kiến thức thí sinh với thành phần kiến thức nội dung cần đánh giá 1.3 Kết chương Chương tiến hành nghiên cứu khái niệm trắc nghiệm thích nghi, phân tích mơ hình TNTN sở IRT chuỗi Markov hệ thống TNTN phổ biến Từ nêu lên hạn chế mơ hình TNTN cho phép đánh giá mức độ lực thí sinh theo chiều ngang nội dung kiến thức đề xuất áp dụng BN để xây dựng hệ thống TNTN cho phép đánh giá mức độ kiến thức thí sinh theo chiều sâu nội dung kiến thức cần đánh giá CHƯƠNG II: XÂY DỰNG MƠ HÌNH TNTN TRÊN CƠ SỞ MẠNG BAYES 2.1 Mạng Bayes 2.1.1 Giới thiệu 2.1.2 Công thức Bayes BBNs dựa lý thuyết xác suất có điều kiện Thomas Bayes, ông đưa qui luật xác suất, gọi cơng thức Bayes [10] Công thức đơn giản sau: 𝑃(𝐴) 𝑃(𝐴|𝐵) = 𝑃(𝐵|𝐴) 𝑃(𝐵) (2) Trong đó: - 𝐴 𝐵 hai kiện xảy phụ thuộc với - 𝑃(𝐴) xác suất kiện 𝐴; - 𝑃(𝐵) xác suất kiện 𝐵; - 𝑃(𝐵/𝐴) xác suất có điều kiện 𝐵 biết trước 𝐴 xảy ra; - 𝑃(𝐴/𝐵) xác suất có điều kiện 𝐴 biết trước 𝐵 xảy 2.1.3 Cấu trúc mạng Bayes Mạng Bayes mơ hình trực tiếp mà biến đại diện nút (node), mối quan hệ nhân hai biến biểu thị mũi tên gọi “edge” Mũi tên hướng từ nút nguyên nhân “parent node” đến nút kết “child node” Nút kết phụ thuộc có điều kiện vào nút nguyên nhân Mỗi nút (hay biến) có trạng thái (state) tùy thuộc đặc trưng biến Cụ thể, theo hình 2.2, nút “tuyết rơi” nút nguyên nhân ảnh hưởng đến nút kết “tình trạng đường” chúng có trạng thái tương ứng [11] 10 Bảng 1: CPT biến “Road Conditions” mạng Bayes theo hình 2.2 Parent node Child node Precipitation Road Conditions Impassable Passable None 0.05 0.95 Light 0.10 0.90 Heavy 0.70 0.30 Theo bảng 1, ta thấy: “nếu tuyết rơi (Precipitation) trạng thái nhẹ (Light) khả (hay xác suất) để đường (Road Conditions) qua (Passable) 90%; khơng thể qua (Impassable) 10%” Trong mạng bayes, nút mà khơng có ngun nhân (no parent) gây gọi nút gốc (root node) CPT nút gọi xác suất ban đầu (prior probability) Theo hình 2.2, CPT nút Precipitation mơ tả bảng Bảng 2: CPT biến “Precipitation” mạng Bayes theo hình 2.2 Precipitation None Light Heavy 0.800 0.150 0.005 Như nói mạng Bayes đồ thị có hướng phi chu trình mà đó: - Các nút biểu diễn biến - Các cung biểu diễn quan hệ phụ thuộc thống kê biến phân phối xác suất địa phương cho giá trị cho trước giá trị cha 11 Nếu có cạnh từ nút A tới nút B, biến B phụ thuộc trực tiếp vào biến A, A gọi cha B Nếu với biến 𝑋𝑖,𝑗 ∈ {1, , 𝑁} tập hợp biến cha ký hiệu parents(X i ), phân phối có điều kiện phụ thuộc biến tích phân phối địa phương 𝑃𝑟(𝑋1 , … , 𝑋𝑛 ) = ∏𝑛𝑖=1 𝑃 𝑟(𝑋𝑖 │𝑃𝑟𝑎𝑟𝑒𝑛𝑡𝑠(𝑋𝑖 )) (3) Nếu 𝑋𝑖 khơng có cha, ta nói phân phối xác suất địa phương khơng có điều kiện, khơng, có điều kiện Nếu biến biểu diễn nút quan sát, ta nói nút nút hiển nhiên (evidence node) 2.2 Thuật tốn TNTN tổng qt Các mơ hình thuật tốn TNTN thường xây dựng theo mơ hình tổng thể gồm bước sau (Hình 2.4): Hình 2.3 Thuật tốn tổng qt TNTN Bước 1: Xác định câu hỏi lại ngân hàng câu hỏi trắc nghiệm chưa đưa đánh giá thí sinh Trong tập câu hỏi cần lựa chọn câu hỏi tốt phù hợp với mức độ (năng lực, kiến thức) thí sinh 12 Bước 2: Đề xuất câu hỏi cho TS trả lời thu nhận kết trả lời Bước 3: Dựa vào kết câu trả lời TS, tính tốn lại mức độ kiến thức, lực TS Bước 4: Lặp lại bước đến xác định mức độ lực, kiến thức TS theo điều kiện dừng 2.3 Xây dựng đồ thị kiến thức Để áp dụng BN xây dựng mơ hình TNTN theo mức độ kiến thức thí sinh, cần xây dựng mơ hình miền kiến thức cần đánh giá (cụ thể mơ hình kiến thức môn học) Nghĩa cần xây dựng đồ thị kiến thức bao gồm đỉnh cung Trong cách tiếp cận đề xuất chia làm 02 loại đỉnh sau: đỉnh chứng & đỉnh kiến thức 2.3.1 Đỉnh chứng Đỉnh chứng (Evidential nodes) định nghĩa câu hỏi trắc nghiệm ngân hàng câu hỏi trắc nghiệm Rõ ràng, muốn áp dụng mơ hình BN hệ thống ta cần biết xác suất trả lời câu hỏi trắc nghiệm thí sinh Theo IRT, xác suất trả lời câu hỏi phụ thuộc vào mức độ lực thí sinh Các nút sử dụng để thu thập thông tin liên quan đến mức độ lực thí sinh thành phần kiến thức 2.3.2 Đỉnh kiến thức Đỉnh kiến thức (Knowledge nodes) mô tả nội dung kiến thức cần đánh giá phân cấp từ mức độ tổng quát đến chi tiết Trong luận văn đưa mơ hình với cấp độ mơ tả nội dung cần đánh giá bao gồm: đỉnh môn học & đỉnh thành phần kiến thức - Đỉnh môn học cho phép đánh giá mức độ kiến thức thí sinh có đáp ứng hay khơng, mơ hình đề xuất thông thường tồn 01 đỉnh môn học 13 Quan hệ đỉnh chứng & đỉnh kiến thức mơ hình TNTN: - Quan hệ đỉnh chứng & đỉnh kiến thức, xét quan hệ đỉnh chứng đỉnh thành phần kiến thức Tôi áp dụng mạng Bayes nhân trường hợp này, có nghĩa việc đánh giá mức độ kiến thức sinh viên đỉnh thành phần kiến thức phụ thuộc vào kết câu trả lời thí sinh đỉnh chứng (câu hỏi trắc nghiệm) Vì để trả lời câu hỏi trắc nghiệm u cầu thí sinh phải nắm rõ số đỉnh kiến thức liên quan - Quan hệ đỉnh kiến thức biểu diễn theo sơ đồ phân cấp bao gồm mức: đỉnh môn học & đỉnh thành phần kiến thức Việc đánh giá thí sinh có kiến thức mơn học phải đánh giá phụ thuộc vào mức độ kiến thức thí sinh tâp hợp đỉnh thành phần kiến thức đỉnh mơn học 2.4 Mơ hình TNTN theo kiến thức sở mạng Bayes IRT Giả sử đỉnh môn học S bao gồm tập hợp đỉnh thành phần kiến thức 𝐾𝑁𝑖 đói 𝑖 = 1, … , 𝑚 (với 𝑚 số lượng thành phần kiến thức môn học S) Mức độ kiến thức thí sinh thành phần kiến thức 𝐾𝑁𝑖 đánh giá tập ngân hàng câu hỏi trắc nghiệm 𝑄𝑖𝑗 có liên quan đến thành phần kiến thức 𝐾𝑁𝑖 Tuy nhiên, thực tế, đỉnh thành phần kiến thức 𝐾𝑁𝑖 có mức độ ảnh hưởng khác đến việc đánh giá thí sinh có hiểu mơn học hay khơng Do đỉnh thành phần kiến thức có đại đượng để xác định mức độ quan trọng đỉnh thành phần kiến thức tổng thể mơn học Do tơi đề xuất vector trọng số để đo tầm quan trọng thành phần kiến thức 𝐾𝑁𝑖 môn học 𝑆 sau: 𝑤 = {𝑤1 , … , 𝑤𝑛 } Trong hệ số wi tương ứng 14 với mức độ quan trọng thành phần kiến thức KNi với môn học S Như biểu diễn mơn học S cặp (𝐾𝑁𝑖 , 𝑤𝑖 ), đó: - 𝐾𝑁𝑖 tập hợp thành phần kiến thức độc lập môn học 𝑆, với 𝑖 = 1, … , 𝑛 (𝑛 số lượng thành phần kiến thức môn học 𝑆); - 𝑤𝑖 vector trọng số xác định mức độ cần thiết thành phần kiến thức 𝐾𝑁𝑖 môn học 𝑆, với 𝑖 = 1, … , 𝑛 & ∑𝑛𝑖=1 𝑤𝑖 = Để đánh giá mức độ kiến thức thí sinh môn học S phụ thuộc vào xác suất thí sinh hiểu mơn học S sau: 𝑃 (𝑆 | ({𝐾𝑁𝑖 = 1}𝑖∈𝑆 , {𝐾𝑁𝑗 = 1}𝑗∉𝑆 )) = ∑𝑖∈𝑆 𝑤𝑖 ∑𝑛𝑗=1 𝑤𝑗 (4) Một thành phần kiến thức 𝐾𝑁𝑖 bao gồm tập câu hỏi trắc nghiệm có liên quan đến thành phần kiến thức 𝐾𝑁𝑖 dùng để đánh giá mức độ kiến thức thí sinh thành phần kiến thức 𝐾𝑁𝑖 Vấn đề đặt đánh giá mức độ kiến thức thí sinh đỉnh thành phần kiến thức Để đánh giá thí sinh có thơng hiểu kiến thức đỉnh thành phần kiến thức hay khơng cần phải tính đại lượng mức độ kiến thức đỉnh thành phần kiến thức thí sinh Theo lý thuyết trắc nghiệm cổ điển, mức độ kiến thức thí sinh đỉnh thành phần kiến thức tính theo cơng thức (6) 𝐾𝑖 = 𝑁1𝑖 𝑁𝑖 (6) Trong đó: - 𝐾𝑖 – mức độ kiến thức thí sinh đỉnh kiến thức 𝑖; - 𝑁1𝑖 – số câu trả lời thí sinh đỉnh kiến thức 𝑖; - 𝑁𝑖 – số câu hỏi đưa cho TS đỉnh kiến thức 𝑖 Với đề xuất với giá trị 𝐾𝑖 > 0.7 hiểu mức độ kiến thức thí sinh đáp ứng đỉnh thành phần kiến thức 𝐾𝑁𝑖 (𝐾𝑁𝑖 = 1) ngược lại 15 có nghĩa mức độ kiến thức thí sinh khơng đáp ứng đỉnh thành phần kiến thức 𝐾𝑁𝑖 (𝐾𝑁𝑖 = 0) Qua đó, ta thấy đại lượng mức độ kiến thức đỉnh thành phần kiến thức phụ thuộc vào số lượng câu trả lời thí sinh Do đó, việc sử dụng thuật tốn để lựa chọn câu hỏi cho thí sinh quan trọng Ở tơi đề xuất sử dụng thuật tốn dựa Lý thuyết đáp ứng câu hỏi theo mô hình tham số để lựa chọn câu hỏi đỉnh thành phần kiến thức 2.5 Thuật toán TNTN sở Lý thuyết đáp ứng câu hỏi Lý thuyết đáp ứng câu hỏi dựa phân tích cấu trúc tiềm ẩn (LSA) Về chất, lý thuyết đáp ứng câu hỏi xây dựng dựa mơ hình tốn học [3, 4] sử dụng mơ hình logistic, mô tả phụ thuộc xác suất trả lời câu hỏi trắc nghiệm đưa với mức độ lực thí sinh Tồn mơ hình tốn học lý thuyết đáp ứng câu hỏi [3, 4]: mơ hình tham số (1PM), mơ hình tham số (2PM) mơ hình tham số Birnbaum (3PM) Các mơ hình khác số lượng tham số câu hỏi Để đơn giản hóa mơ hình tốn học, thơng thường xét trường hợp câu hỏi trắc nghiệm nhị phân, tức câu hỏi có hai mức trả lời: (đúng) (sai) Theo mơ hình tham số Birnbaum xác suất trả lời câu hỏi i thí sinh j có lực θj tính sau: 𝑝(𝑢𝑖 = 1|𝜃𝑗 , 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 ) = 𝑐𝑖 + (1 − 𝑐𝑖 ) 1+𝑒 −1.7𝑎𝑖 (𝜃𝑗 −𝑏𝑖 ) (7) Trong đó: - 𝑢𝑖 kết đánh giá trả lời câu hỏi 𝑖 (𝑢𝑖 = trả lời 16 câu hỏi thứ 𝑖 𝑢𝑖 = trường hợp ngược lại) thí sinh 𝑗; - Với tham số 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 biết câu hỏi 𝑖 xây dựng đồ thị phụ thuộc hàm xác suất trả lời câu hỏi với lực thí sinh (Hình 2.6) Hình 2.6 Đồ thị mô tả phụ thuộc hàm xác suất trả lời câu hỏi (𝒂 = 𝟏, 𝒃 = 𝟎, 𝒄 = 𝟎 𝟐𝟓) người học có lực 𝜽 Trong mơ hình trắc nghiệm thích nghi ứng dụng IRT phần lớn dựa mơ hình tham số (độ khó độ phân biệt) sử dụng loại câu hỏi trắc nghiệm khác Tuy nhiên để tăng thêm tính xác trình đánh giá, thơng thường loại câu hỏi trắc nghiệm khách quan nhiều lựa chọn đề xuất sử dụng Với câu hỏi trắc nghiệm khách quan nhiều lựa chọn, câu hỏi trắc nghiệm bổ thêm tham số c độ dự đoán câu trả lời câu hỏi Áp dụng mơ hình trắc nghiệm thích nghi dựa lý thuyết đáp ứng câu hỏi với mô hình tham số Birnbaum với câu hỏi trắc nghiệm khách quan nhiều lựa chọn thực theo bước sau: Bước 1: Thiết lập mức độ lực ban đầu cho thí sinh; 17 Bước 2: Lặp lại từ bước đến bước gặp điều kiện dừng; Bước 3: Đánh giá tập hợp câu hỏi chưa đưa cho thí sinh tính tốn hàm thơng tin câu hỏi dựa mức độ lực thí sinh; Bước 4: Lựa chọn đưa câu hỏi phù hợp với mức độ lực thí sinh; Bước 5: Đánh giá lại lực thí sinh sở kết trả lời câu hỏi đưa Mức độ lực ban đầu thí sinh khơng xác định, thường lấy giá trị trung bình Lựa chọn câu hỏi phù hợp với mức độ lực thí sinh quan trọng Nếu câu hỏi đưa q khó hay q dễ thí sinh mang lại thơng tin mức độ lực thí sinh Để đánh giá xác mức độ lực thí sinh cần thiết phải đưa câu ỏi với tham số mang lại thông tin tối đa việc đánh giá mức độ lực thí sinh Theo Birnbaum, câu hỏi trắc nghiệm cung cấp lượng thơng tin mức độ lực thí sinh Birnbaum đề xuất hàm thông tin Ii (θ) câu hỏi i tính tốn phụ thuộc vào lực θ thí sinh theo công thức sau: (𝑝𝑖 ′ (𝑢𝑘 = 1|𝜃, 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 )) 𝐼𝑖 (𝜃) = 𝑝𝑖 (𝑢𝑘 = 1|𝜃, 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 )(1 − 𝑝𝑖 (𝑢𝑘 = 1|𝜃, 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 )) (8) 18 Hình 2.7 Thuật tốn trắc nghiệm thích nghi theo mơ hình Birnbaum Như vậy, bước thứ nhất, giá trị hàm thơng tin 𝐼𝑖 (𝜃) tính cho tập hợp câu hỏi chưa đưa cho thí sinh Phương pháp phổ biến việc lựa chọn câu hỏi phù hợp với mức độ lực thí sinh sử dụng hàm thông tin lớn Sau trả lời câu hỏi vấn đề đặt đánh giá lại mức độ lực thí sinh giá trị mức độ lực sử dụng để lựa chọn câu hỏi phù hợp với thí sinh Sử dụng phương pháp Maximum likelihood [7] để đánh giá mức độ lực thí sinh sau câu trả lời, tức tìm giá trị mức độ lực mà hàm sau tối đa: 19 𝑓(𝑢1 , 𝑢2 , … , 𝑢𝑛 , 𝜃) = 𝑝𝑖 (𝑢1 = 1, 𝜃)𝑢1 𝑝𝑖 (𝑢1 = 0, 𝜃)1−𝑢1 𝑝𝑖 (𝑢2 = 1, 𝜃)𝑢2 𝑝𝑖 (𝑢2 = 0, 𝜃)1−𝑢2 … 𝑝𝑖 (𝑢𝑛 = 1, 𝜃)𝑢𝑛 𝑝𝑖 (𝑢𝑛 = 0, 𝜃)1−𝑢𝑛 → 𝑚𝑎𝑥 Hay nói cách khác: 𝑛 𝑓(𝑢1 , 𝑢2 , … , 𝑢𝑛 , 𝜃) = ∏ 𝑝𝑖 (𝑢𝑘 , 𝜃) → 𝑚𝑎𝑥 Trong đó: (9) 𝑘=1 - 𝑢1 , 𝑢2 , … , 𝑢𝑛 tập hợp câu trả lời thí sinh câu hỏi đưa ra; - 𝑝𝑖 (𝑢, 𝜃) xác suất trả lời câu hỏi 𝑖 thí sinh có mức độ lực 𝜃, tính theo cơng thức (7) Trắc nghiệm bắt đầu với mức độ lực thí sinh 𝜃𝑠 , từ cơng thức (3) tiến hành đánh giá lại mức độ lực thí sinh sau trả lời câu hỏi 𝜃𝑠+1 theo công thức sau: 𝜃𝑠+1 = 𝜃𝑠 + ∑𝑖𝜖𝑛 𝑆𝑖 (𝜃𝑠 ) ∑𝑖𝜖𝑛 𝐼𝑖 (𝜃𝑠 ) (10) Quá trình trắc nghiệm đánh giá mức độ lực thí sinh kết thúc đưa xác mức độ lực thí sinh Trong q trình trắc nghiệm thích nghi theo mơ hình đề xuất, sau câu trả lời mức độ lực thí sinh đánh giá lại Nếu chênh lệch mức độ lực thí sinh hai lần đánh giá liên tiếp nhỏ xem kết đánh giá cuối mức độ lực thí sinh Bởi thí sinh có trả lời thêm câu hỏi mức độ lực thí sinh gần khơng đổi kết đánh giá mức độ lực cuối thí sinh 20 2.6 Đánh giá tập hợp tham số câu hỏi trắc nghiệm Như vậy, vấn đề xây dựng phát triển hệ thống trắc nghiệm cho phép tiến hành đánh giá kiến thức người học sở mô hình trắc nghiệm thích nghi cần thiết, nhằm nâng cao hiệu tính xác Trong mơ hình đề xuất, mức độ xác phụ thuộc vào chất lượng ngân hàng câu hỏi trắc nghiệm hay nói cách khác phụ thuộc vào tập hợp thông số câu hỏi trắc nghiệm Vấn đề đặt làm đánh giá thông số câu hỏi có chất lượng, nhằm nâng cao hiệu trình trắc nghiệm đánh giá kết mức độ lực người học Tôi đề xuất áp dụng Lý thuyết Trắc nghiệm cổ điển (Classical Test Theory) [13] lý thuyết quan trọng liên quan đến khoa học đo lường đánh giá xây dựng dựa khoa học xác suất thống kê Lý thuyết ứng dụng việc phân tích câu hỏi nhằm làm tăng chất lượng chúng, loại bỏ, sửa chữa tuyển chọn câu hỏi theo yêu cầu Khi phân tích câu hỏi có số cần quan tâm độ khó độ phân biệt: Độ khó câu hỏi số đo nói lên chất lượng câu hỏi, có hiệu nghiệm việc phân tán, đánh giá lực thí sinh Theo lý thuyết trắc nghiệm cổ điển [4] độ khó bi câu hỏi i tỷ số phần trăm số thí sinh làm câu hỏi i tổng số thí sinh tham gia làm câu hỏi đó: 𝑏𝑖 = 𝑁1 𝑁 (12) Giá trị độ khó b câu hỏi chưa nói lên câu hỏi tốt hay khơng, nói lên độ khó tương đối câu hỏi nhóm thí sinh tham gia làm trắc nghiệm Nếu nhóm thí sinh khác trả lời câu hỏi giá trị độ khó b khác 21 Giá trị độ khó b có ý nghĩa quan trọng q trình phân tích câu hỏi Từ thấy mức độ phù hợp câu hỏi nhóm thí sinh Ngồi ra, giá trị b giúp xác định số lỗi khác câu hỏi để kịp thời điều chỉnh, sửa đổi Giá trị b cho thấy kết làm nhóm thí sinh khác Theo [14], nói đến độ khó câu hỏi, ta phải xem xét câu hỏi khó đối tượng Nhờ việc thử nghiệm đối tượng thí sinh phù hợp, xác định độ khó phương pháp thống kê Dựa vào kết trắc nghiệm khách quan phân chia thí sinh thành nhóm: Nhóm 1: nhóm thí sinh giỏi (25% ÷ 27% thí sinh có kết trắc nghiệm cao nhất); Nhóm 2: nhóm thí sinh yếu (25% ÷ 27% thí sinh có kết trắc nghiệm thấp nhất); Nhóm 3: nhóm thí sinh trung bình (46% ÷ 50% thí sinh cịn lại, khơng phụ thuộc vào nhóm kia) Khi độ khó câu hỏi i tính sau: 𝑁𝐺𝑖 + 𝑁𝑊𝑖 𝑏𝑖 = (13) 2𝑁 Độ khó câu hỏi có giá trị khoảng [0, 1], giá trị độ khó gần độ khó câu hỏi tăng, ngược lại giá trị độ khó gần độ khó câu hỏi giảm Thơng thường độ khó câu hỏi chấp nhận nằm khoảng [0.25, 0.75], câu hỏi có độ khó lớn 0,75 dễ, có độ khó nhỏ 0,25 khó Tuy nhiên với kiểm tra lớp học Osterlind (1989) cho độ khó câu hỏi nên nằm khoảng [0.4, 0.8] Dưới 0.4 nghĩa câu hỏi khó 0.8 câu hỏi dễ thí sinh 22 Độ phân biệt câu hỏi liên quan đến độ khó câu hỏi Nếu câu hỏi dễ đến mức thí sinh làm độ phân biệt thí sinh có kết câu hỏi Ngược lại, câu hỏi khó đến mức thí sinh làm sai độ phân biệt Từ trường hợp giới hạn nói nói muốn có độ phân biệt tốt câu hỏi phải có độ khó mức trung bình Từ [13], độ phân biệt câu hỏi i tính sau: 𝑁𝐺𝑖 − 𝑁𝑊𝑖 (14) 𝑁 Độ phân biệt câu hỏi số xác định chất lượng câu trắc nghiệm, có tác dụng phân loại nhóm lực thí sinh Theo Ebel (1956): 𝑎𝑖 = - Nếu 𝑎𝑖 ≤ câu hỏi i khơng có độ phân biệt hay nói cách khác câu hỏi khơng phân biệt thí sinh có mức độ lực khác nhau; - Nếu < 𝑎𝑖 < câu hỏi i có độ phân biệt thấp; - Nếu 0.3 ≤𝑎𝑖 < câu hỏi i có đ đề xuất với giá trị 𝐾𝑖 > 0.7 độ phân biệt cao Độ khó độ phân biệt có mối quan hệ tỷ lệ thuận với Tuy nhiên, độ khó đạt đết mức độ 100% độ phân biệt Những câu hỏi có giá trị sử dụng 2.7 Kết luận Trong chương tìm hiểu lý thuyết mạng Bayes, áp dụng vào xây dựng đồ thị kiến thức đồng thời đề xuất mô hình TNTN theo kiến thức sở tổng hợp mạng Bayes IRT Bên cạnh tơi đề xuất áp dụng lý thuyết trắc nghiệm cổ điển việc đánh giá tập tham số ngân hàng câu hỏi trắc nghiệm 23 CHƯƠNG III: XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI 3.1 Phân tích thiết kế hệ thống 3.2 Triển khai hệ thống đánh giá kết 3.2.1 Thiết kế liệu hệ thống 3.2.2 Đánh giá kết thực nghiệm 3.3 Kết luận Trong chương trình bày việc triển khai xây dựng hệ thống trắc nghiệm thích nghi sở mơ hình đề xuất & mơ hình trắc nghiệm thích nghi tồn Triển khai hệ thống thực tế đánh giá kết đạt Từ kết cho thấy mơ hình đề xuất cho phép đánh giá mức độ lực & kiến thức thí sinh xác có hiệu 24 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Qua đề tài “Ứng dụng mạng bayes xây dựng hệ thống đánh giá mức độ kiến thức lực người học” luận văn đạt số kết sau: - Xây dựng mô TNTN sở mạng Bayes kết hợp với IRT; - Xây dựng hệ thống Website trắc nghiệm sở mơ hình đề xuất nhằm nâng cao hiệu trình đánh giá người học Tuy nhiên, giới hạn đề tài này, mơ hình điểm chưa đạt được: - Hiệu mơ hình đề xuất phụ thuộc vào tham số đầu vào ngân hàng câu hỏi; - Vector trọng số xác định mức độ quan trọng đỉnh thành phần kiến thức phụ thuộc vào yếu tố chủ quan; - Hệ thống Website trắc nghiệm chưa thể đáp ứng số lượng lớn người học kiểm tra đồng thời Hướng phát triển Phát triển phương pháp đánh giá vector trọng số xác định mức độ quan trọng đỉnh thành phần kiến thức từ liệu thu nhận thực tế Nghiên cứu áp dụng Dynamic Bayes vào hệ thống để nâng cao tính hiệu mơ hình đề xuất ... cịn tồn số nhược điểm: đánh giá mức độ lực thí sinh theo chiều ngang kiến thức, … Vì đề xuất đề tài ? ?Ứng dụng mạng Bayes xây dựng hệ thống đánh giá mức độ kiến thức lực người học? ?? để khắc phục nhược... đề tài ? ?Ứng dụng mạng bayes xây dựng hệ thống đánh giá mức độ kiến thức lực người học? ?? luận văn đạt số kết sau: - Xây dựng mô TNTN sở mạng Bayes kết hợp với IRT; - Xây dựng hệ thống Website trắc... định mức độ lực, kiến thức TS theo điều kiện dừng 2.3 Xây dựng đồ thị kiến thức Để áp dụng BN xây dựng mơ hình TNTN theo mức độ kiến thức thí sinh, cần xây dựng mơ hình miền kiến thức cần đánh giá