Nghiên cứu xây dựng thuật toán trắc nghiệm thích nghi trên cơ sở mô hình markov

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG LÊ VIẾT HIỆP NGHIÊN CỨU XÂY DỰNG THUẬT TOÁN TRẮC NGHIỆM THÍCH NGHI TRÊN CƠ SỞ MƠ HÌNH MARKOV Chun ngành: Khoa học máy tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng – Năm 2015 Cơng trình hồn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS ĐẶNG HOÀI PHƯƠNG Phản biện 1: PGS.TS Võ Trung Hùng Phản biện 2: TS Nguyễn Quang Thanh Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Kỹ thuật họp Đại học Đà Nẵng vào ngày 12 tháng 12 năm 2015 Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin-Học liệu, Đại học Đà Nẵng - Trung tâm Học liệu, Đại học Đà Nẵng MỞ ĐẦU TÍNH CẤP THIẾT CỦA ĐỀ TÀI Để việc đổi giáo dục có kết tốt việc đổi phương pháp dạy học cần có phương pháp hỗ trợ thi cử phù hợp với cấp độ kiến thức, đánh giá lực từngthí sinh.Hiện nay, việc thi cử phần lớn bậc học chuyển từ thi tự luận sang trắc nghiệm khách quan, hình thức thi có nhiều ưu điểm vượt trội có việc ứng dụng cơng nghệ thơng tintrong tổ chức, xây dựng hệ thống câu hỏi đánh giá kết thí sinh Hiện nhiều mơ hình sử dụng lý thuyết đáp ứng câu hỏi IRT để tạo ngân hàng câu hỏi có chất lượng, câu hỏi có độ khó, độ phân biệt độ đốn mò, … Tuy nhiên, việc lựa chọn chuỗi câu hỏitrong câu hỏi thích nghi, phân loại với trình độcủa thí sinhtrong đề thi trắc nghiệm vấn đề khó khăn mà phương pháp nhiều hạn chế Để giải vấn đề lựa chọn chuỗi câu hỏi đáp ứng với trình độ thí sinh dựa vào lực thí sinh qua câu trả lời trước đó, có nhiều cơng trình nghiên cứu đưa hệ thống trắc nghiệm thích nghi dựa lý thuyết đáp ứng câu hỏi (IRT) Tuy nhiên, mơ hình giải vấn đề lựa chọn câu hỏi tiếp theodựa kết tính tốn xác suất ứng với giá trị đầu vào lực thí sinh giá trị tham số câu hỏi mà chưa giải liên kết câu hỏi, xác suất trả lời (sai) thí sinhđối với câu hỏi chuỗi câu hỏi thích nghi lựa chọn Trước thực tế đó, định hướng TS.Đặng Hồi Phương mở cho tơi hướng nghiên cứu lĩnh vực trắc nghiệm thích nghi là: “Ứng dụng mơ hình Markovđể xây dựng thuật tốn trắc nghiệm thích nghi” Hướng nghiên cứu nội dung luận văn mà lựa chọn MỤC TIÊU NGHIÊN CỨU Mục tiêu nghiên cứu luận văn nhằmxây dựng thuật tốn trắc nghiệm thích nghi sử dụng mơ hình Markov sở lý thuyết IRT.Dựa lý thuyết nghiên cứu tiến hành xây dựng hệ thống trắc nghiệm thích nghi mang lại hiệu cao việc đánh giá phân loại trình độ thí sinh ĐỐI TƢỢNG VÀ PHẠM VI NGHIÊN CỨU Để đạt mục đích trên, luận văn xác định đối tượng phạm vi nghiên cứu sau: - Phân tích mơ hình thuật tốn trắc nghiệm thích nghi - Nghiên cứu lý thuyết IRT mơ hình Markov - Nghiên cứu xây dựng mối tương quan câu trả lời câu hỏi mơ hình trắc nghiệm thích nghi (xây dựng mối liên kết cặp câu hỏi dựa vào câu trả lời trước đó) - Xây dựng thuật tốn trắc nghiệm thích nghi đánh giá khả thí sinh dựa vào mơ hình Markov sở lý thuyết IRT - Xây dựng hệ thống trắc nghiệm thích nghi sở thuật tốn vừa xây dựng - So sánh đánh giá kết đạt PHƢƠNG PHÁP NGHIÊN CỨU Phương pháp nghiên cứu luận văn sử dụng kiến thức lý thuyết đáp ứng câu hỏi (IRT), mơ hình Markov, kiến thức khoa học máy tính, đồ thị, xác suất để biểu diễn mơ hình thí sinh, chuỗi câu hỏi chế thích nghi tạo chuỗi câu hỏi phù hợp với trình độ thí sinh Xây dựng hệ thống thi trắc nghiệm dựa kết lý thuyết nghiên cứu Triển khai thử nghiệm, so sánh đánh giá kết đạt Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN Ý nghĩa khoa học:Luận văn có ý nghĩa quan trọng, góp phần vào việc tạo lý thuyết mới, công cụ việc xây dựng hệ thống trắc nghiệm thích nghi Ý nghĩa thực tiễn: Ứng dụng lý thuyết nghiên cứu để xây dựng hệ thống trắc nghiệm thích nghi hiệu đánh giá phân loại trình độ thí sinh CẤU TRÚC LUẬN VĂN Tác giả trình bày luận văn theo cấu trúc sau: Mở đầu Đặt vấn đề xây dựng luận văn Chương 1.Tổng quan sở lý thuyết Chương Xây dựng mơ hình, thuật tốn TNTN Chương Xây dựng hệ thống TNTN Kết luận hướng phát triển đề tài CHƢƠNG TỔNG QUAN CƠ SỞ LÝ THUYẾT 1.1 KHÁI NIỆM VỀ TRẮC NGHIỆM THÍCH 1.1.1 Khái niệm Trắc nghiệm thích nghi (TNTN) Adaptive test phương pháp đánh giá trình độ thí sinh (học sinh, sinh viên, ứng viên …) hình thức kiểm tra trắc nghiệm khách quan (TNKQ) theo hướng tiếp cận lực thí sinh Phương pháp sử dụng chuỗi câu hỏi tương ứng với mức lực thí sinh cụ thể [14], [26], [28] Dựa phản hồi sinh viên, chương trình máy tính điều chỉnh độ khó câu hỏi suốt q trình đánh giá Ví dụ, thí sinh trả lời câu hỏi cách xác nhận câu hỏi khó hơn, ngược lại hệ thống tạo câu hỏi dễ cho thí sinh Bằng cách tạo thích ứng cho thí sinh, đánh giá giống việc thiết kế câu hỏi riêng dành cho thí sinh từ nhanh chóng xác định kỹ thí sinh nắm vững Cách tiếp cận đại diện cho cải thiện đáng kể so với đánh giá phương pháp trắc nghiệm truyền thống sử dụng nhiều trường học nay, cung cấp điểm số xác cho tất thí sinh phạm vi đầy đủ liên tục [26], [28] Hệ thống TNTN hệ thống phần mềm phục vụ cơng tác đánh giá trình độ thí sinh Ngồi đặc tính hệ thống thi trắc nghiệm khách quan bình thường, hệ thống TNTN phát triển dựa sở mơ hình TNTN để đạt mục đích xây dựng chuỗi câu hỏi phù hợp với lực thí sinh Như vậy, Hệ thống trắc nghiệm thích nghi = Hệ thống thi trắc nghiệm + Thuật tốn lựa chọn câu hỏi thích nghi với trình độ thí sinh phương pháp đánh giá 1.1.2 Nguyên tắc xây dựng hệ thống 1.1.3 Tính tất yếu trắc nghiệm thích nghi 1.1.4 Các lĩnh vực áp dụng TNNT - Kiểm tra giáo dục; - Đánh giá kết y tế; - Cấp giấy phép, giấy chứng nhận lực cá nhân [2] 1.2 CÁC PHƢƠNG PHÁP ĐÁNH GIÁ THÍCH NGHI 1.2.1 Phƣơng pháp đánh giá xấp xỉ tuyến tính 1.2.2 Phƣơng pháp trắc nghiệm dựa vào dung môn học 1.2.3 Phƣơng pháp trắc nghiệm phân biệt 1.2.4 Phƣơng pháp dựa lý thuyết đáp ứng câu hỏi 1.3 BẢNG ĐÁNH GIÁ CÁC HỆ THỐNG TNTN HIỆN TẠI Bảng 1.1 Bảng đánh giá hệ thống TNTN Đánh Số câu Xác suất Khả Liên kết giá hỏi để Thời gian trả lời thích ứng nội dung thơng xác định tính tốn Phương pháp đúng/sai liên tục số tiêu hàm câu hỏi với câu hỏi câu chuẩn thông tin tham số hỏi lỗi Xấp xỉ tuyến tính Mơ hình nội +/+/dung mơn học Trắc nghiệm + +/+/phân biệt IRT + + +/+/- +:Có hỗ trợ-:Khơng hỗ trợ-/+: Có khơng hỗ trợ tùy trường hợp 1.4 TỔNG KẾT CHƢƠNG Phân tích mơ hình trên, mơ hình có khuyết điểm cần giải sau: - Khơng tính xác suất trả lời sai câu hỏi để lựa chọn cho phù hợp; - Khơng có độ liên kết câu hỏi chuỗi câu hỏi mà thí sinh trả lời; - Chỉ phù hợp với số lượng câu hỏi nhỏ, câu trả lời tự do, thí sinh phải hồn thành tất câu hỏi NHCH; - Một số mơ hình khơng tính tốn thơng số, khơng có khả thích ứng liên tục với tham số lực thí sinh CHƢƠNG XÂY DỰNG MƠ HÌNH THUẬT TỐN TRẮC NGHIỆM THÍCH NGHI 2.1 LÝ THUYẾT ĐÁP ỨNG CÂU HỎI (Item Response Theory – IRT) 2.1.1 Định nghĩa Theo Wikipedia, lý thuyết đáp ứng câu hỏi (Item Response Theory – IRT) lý thuyết khoa học đo lường giáo dục, đời từ nửa sau kỷ 20 tiếp tục hoàn thiện Khác với lý thuyết Trắc nghiệm cổ điển (Clasical Test Theory – CTT), nhà tâm trắc học (psychometricians) cố gắng xây dựng lý thuyết trắc nghiệm cho khắc phục hạn chế việc tiếp cận lực thực thí sinh CTT tiếp cận cấp độ đề kiểm tra, lý thuyết trắc nghiệm đại tiếp cận lực thí sinh cấp độ câu hỏi, phân tích tương quan lực thí sinh câu hỏi cần đáp ứng lý thuyết gọi Lý thuyết đáp ứng câu hỏi[21] 2.1.2 Cơ sở lý thuyết a Nguyên tắc xây dựng Trước tiên, cần xây dựng ngân hàng câu hỏi câu hỏi hệ thống kiểm sốt thơng qua tham số đặc trưng.Đối với thí sinh, hệ thống cần tính tốn xây dựng mối tương quan lực thí sinh câu hỏi đáp ứng - Mơ hình tham số (mơ hình Rasch): Chỉ xét đến độ khó b câu hỏi; - Mơ hình tham số: Mơ hình có xét đến độ phân biệt a câu hỏi; - Mơ hình tham số: Xét đến mức độ đốn mò c thí sinh trả lời câu hỏi Cơng thức tổng qt mơ hình tham số: (2.1) Sau xây dựng ngân hàng câu hỏi mà câu hỏi hệ thống kiểm soát tham tham số đặc trưng a,b,c nêu Người xây dựng hệ thống tiếp tục xét đến việc đáp ứng câu hỏi tương quan với lực thí sinh thời điểm [16], [18], [21] b Đáp ứng câu hỏi nhị phân đới với mơ hình đơn chiều c Mơ hình Rash d Điểm thực đường cong đặc trưng đề trắc nghiệm e Hàm thông tin câu hỏi đề thi trắc nghiệm f Ước lượng lực thí sinh tham số câu hỏi g So kết nối đề trắc nghiệm i Trắc nghiệm đa phân trắc nghiệm đa chiều 2.2 MƠ HÌNH MARKOV 2.2.1 Tổng quan Trong lý thuyết xác suất, mơ hình Markov mơ hình ngẫu nhiên dùng để mơ hình hóa hệ thống thay đổi ngẫu nhiên giả định trạng thái tương lai phụ thuộc vào trạng thái mà không phụ thuộc vào chuỗi kiện trước (nghĩa rằng, giả định tính chất Markov) [15], [19], [22] 10 Theo mơ hình Markov ta có 04 trạng thái chuyển đổi bao gồm: (0,0), (01), (1,0), (1,1) Ta có ma trận chuyển đổi trạng thái sau: [ ] - Để mô tả hành vi chuỗi Markov chuyển trạng thái câu hỏi cần phải thiết lập xác suất ban đầu câu trả lời đúng, ma trận xác suất chuyển trạng thái sau: ( ) (2.17) Trong đó: - giá trị lực thí sinh thời điểm k; - : xác suất trả lời sai câu hỏi thứ k, trả lời sai câu hỏi thứ k-1 ứng với giá trị lực thời điểm k ; - : xác suất trả lời câu hỏi thứ k, trả lời sai câu hỏi thứ k-1 ứng với giá trị lực thời điểm k ; - : xác suất trả lời sai câu hỏi thứ k, trả lời câu hỏi thứ k-1 ứng với giá trị lực thời điểm k ; - : xác suất trả lời câu hỏi thứ k, trả lời câu hỏi thứ k-1 ứng với giá trị lực thời điểm k Các phần tử ma trận P mô tả xác suất q trình chuyển đổi 11 trang thái, khơng phụ thuộc vào số bước (số câu hỏi) tất bước Do đó, tác giả sử dụng chuỗi Markov để tìm xác suất cuối trạng thái sau: (2.18) (2.19) Để tính tốn liên kết câu hỏi phụ thuộc vào chuỗi câu trả lời, đề xuất sử dụng mơ hình Markov để đánh giá khả thí sinh.Mơ hình mơ hình tổng quát xây dựng từ lý thuyết IRT lý thuyết trắc nghiệm cổ điển Phương án đơn giản mơ hình sử dụng chuỗi Markov để mô tả chuỗi câu trả lời sai thí sinh Sự chuyển trạng thái từ trạng thái sang trạng thái khác mô tả chuỗi Markov xác định ma trận xác suất chuyển trạng thái (2.17) Sử dụng mơ hình IRT tham số nói rằng: xác suất trả lời câu hỏi theo lý thuyết IRT xác suất có điều kiện tính sau: (2.20) (2.21) Trong đó: - : Tham số a câu hỏi thứ i ứng với câu trả lời sai; - : Tham số a câu hỏi thứ i ứng với câu trả lời đúng; 12 - : Tham số b câu hỏi thứ i ứng với câu trả lời sai; - : Tham số b câu hỏi thứ i ứng với câu trả lời Dựa vào thay đổi phụ thc chuỗi Markov, tính tốn hàm thông tin i câu hỏi: - Nếu câu trả lời trước sai: (2.22) - Nếu câu tra lời trước đúng: (2.23) Phương pháp đề xuất để đánh giá khả thí sinh cho phép xét đến khía cạnh tương quan câu hỏi khả thí sinh câu hỏi lựa chọn Vì vậy, thuật tốn trắc nghiệm thích nghi sở mơ hình Markov Lý thuyết đáp ứng câu hỏi linh hoạt so với thuật tốn trắc nghiệm thích nghichỉ sử dụng lý thuyết đáp ứng câu hỏi  Thuật toán lựa chọn câu hỏi: 13 Bắt đầu Danh sách câu hỏi đề cử Năng lực thí sinh () MaxInfor:=0; i:=1 Tính hàm đặc trưng câu hỏi i Pi() Tính hàm thơng tin câu hỏi i Ii() no MaxInfor