Ứng dụng phân tích lớp tiềm ẩn xây dựng hệ thống trắc nghiệp thích nghi

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA  NGUYỄN THỊ VÂN THU ỨNG DỤNG PHÂN TÍCH LỚP TIỀM ẨN XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng – Năm 2017 Cơng trình hồn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: TS ĐẶNG HOÀI PHƯƠNG Phản biện 1: Phản biện 2: Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Kỹ thuật, , họp Trường Đại học Phạm Văn Đồng vào ngày 17 06 tháng năm 2018 Có thể tìm hiểu luận văn tại:  Trung tâm Học liệu Truyền thông, Trường Đại học Bách khoa, ĐHĐN  Thư viện Khoa CNTT, Trường Đại học Bách khoa – ĐHĐN MỞ ĐẦU Lý chọn đề tài Hiện nay, hình thức thi trắc nghiệm đưa vào sử dụng rộng rãi việc đánh giá lực người học nhằm thúc đẩy tính tích cực chủ động người học Tuy nhiên, kiểm tra trắc nghiệm giấy hình thức kiểm tra để đánh giá số lượng lớn người học lúc tốn nhiều thời gian công sức, kết đánh giá không xác khách quan Nhằm mục đích khắc phục hạn chế hình thức thi trắc nghiệm máy tính ứng dụng rộng rãi phổ biến trình kiểm tra, đánh giá kiến thức người học Và mơ hình trắc nghiệm máy tính sử dụng phổ biến rộng rãi mơ hình trắc nghiệm thích nghi (TNTN) Các hệ thống trắc nghiệm thích nghi máy tính (Computerized Adaptive Testing – CAT) cho phép lựa chọn câu hỏi trắc nghiệm phù hợp với mức độ kiến thức lực người học Ứng dụng CAT cho phép tự động đánh giá người học khác với tập hợp câu hỏi trắc nghiệm khác số lượng, nội dung thứ tự câu hỏi Mức độ lực kiến thức người học đánh giá thường xuyên trình trắc nghiệm, hệ thống ngừng độ biến thiên mức độ lực kiến thức nhỏ Từ nâng cao hiệu q trình đánh giá kết mức độ lực, kiến thức cuối người học xác khách quan Một mơ hình TNTN sử dụng phổ biến mơ hình dựa lý thuyết đáp ứng câu hỏi (Item Theory Response – IRT), câu hỏi lựa chọn dựa hàm thông tin câu hỏi mức độ ước lượng lực người học Tuy nhiên, kết đánh giá mức độ kiến thức, lực người học sở mơ hình IRT phụ thuộc vào tập hợp tham số câu hỏi trắc nghiệm Trong trường hợp tập hợp câu hỏi trắc nghiệm khơng phù hợp kết đánh giá sở mơ hình IRT khơng xác Vì vậy, nhằm mục đích khắc phục hạn chế nêu tác giả đề xuất chọn đề tài luận văn cao học: “Ứng dụng phân tích lớp tiềm ẩn xây dựng hệ thống trắc nghiệm thích nghi” Mục đích ý nghĩa đề tài a Mục đích - Xây dựng mơ hình trắc nghiệm thích nghi sở ứng dụng phân tích lớp tiềm ẩn (LCA) phương pháp lựa chọn câu hỏi theo thơng tin tồn cục (KL); - Xây dựng hệ thống TNTN sở mơ hình đề xuất triển khai ứng dụng cho việc đánh giá mức độ lực môn Tin học học sinh Trường THCS Nghĩa An – Xã Nghĩa An – Tỉnh Quảng Ngãi; - Góp phần vào hướng nghiên cứu mơ hình thích nghi, đặc biệt TNTN nhằm ứng dụng cho thực tiễn giáo dục Việt Nam b Ý nghĩa khoa học thực tiễn đề tài - Ý nghĩa khoa học: + Ứng dụng phân tích lớp tiềm ẩn (LCA) phương pháp lựa chọn câu hỏi theo thơng tin tồn cục (KL) xây dựng mơ hình trắc nghiệm thích nghi; + Kết làm tài liệu tham khảo nghiên cứu mơ hình thích nghi - Ý nghĩa thực tế: Hiện thực hóa hệ thống trắc nghiệm thích nghi sở mơ hình đề xuất, triển khai hệ thống thực tế đánh giá kết đạt c Mục tiêu Mục tiêu đề tài nghiên cứu LCA phương pháp lựa chọn câu hỏi theo thông tin tồn cục (KL) Hiện thực hóa hệ thống tự động đánh giá kiến thức người học sở mô hình đề xuất Để thỏa mãn mục tiêu cần đạt mục tiêu cụ thể sau: - Nghiên cứu, phân tích mơ hình, phương pháp hệ thống trắc nghiệm thích nghi nay; - Xây dựng mơ hình TNTN sở ứng dụng Latent Class Analysis phương pháp lựa chọn câu hỏi theo thơng tin tồn cục (KL); - Đánh giá tính hiệu mơ hình đề xuất d Nhiệm vụ Để đạt mục tiêu nhiệm vụ đặt đề tài là: - Phân tích nắm vững mơ hình, phương pháp, đưa tốn cần giải - Phân tích đề xuất mơ hình giải tốn; - Hiện thực hóa hệ thống dựa mơ hình đề xuất triển khai, đánh giá kết đạt thực tế Đối tượng phạm vi nghiên cứu Trong khuôn khổ luận văn thuộc loại nghiên cứu ứng dụng, tác giả giới hạn nghiên cứu vấn đề sau: - Nghiên cứu phân tích mơ hình TNTN sở lý thuyết đáp ứng câu hỏi (Item Theory Response – IRT); - Nghiên cứu LCA thuật toán lựa chọn câu hỏi sở phương pháp lựa chọn câu hỏi theo thơng tin tồn cục (KL) ứng dụng mơ hình TNTN Phương pháp nghiên cứu a Phương pháp lý thuyết - Thu thập phân tích tài liệu có liên quan đến đề tài; - Nghiên cứu phân tích lớp tiềm ẩn (LCA); - Nghiên cứu phương pháp lựa chọn câu hỏi theo thơng tin tồn cục (KL) - Đánh giá lựa chọn phương hướng giải vấn đề b Phương pháp thực nghiệm - Xây dựng mơ hình TNTN sở LCA phương pháp lựa chọn câu hỏi theo thơng tin tồn cục; - Hiện thực hóa hệ thống trắc nghiệm sở mơ hình đề xuất; - Triển khai hệ thống đánh giá kết mơ hình đề xuất Kết luận a Kết đề tài - Xây dựng mô hình TNTN dựa phân tích lớp tiềm ẩn phương pháp lựa chọn câu hỏi theo thơng tin tồn cục; - Hiện thực hóa hệ thống TNTN sở mơ hình đề xuất triển khai ứng dụng cho việc đánh giá mức độ lực môn Tin học học sinh Trường THCS Nghĩa An – Xã Nghĩa An – Tỉnh Quảng Ngãi b Hướng phát triển đề tài - Nghiên cứu, phát triển mơ hình TNTN mà phương pháp lựa chọn câu hỏi phụ thuộc vào mức độ lực kiến thức mà phụ thuộc vào tập hợp câu hỏi trắc nghiệm câu trả lời trước đó; - Tối ưu hóa hệ thống TNTN xây dựng để triển khai diện rộng Bố cục luận văn Cấu trúc luận văn trình bày bao gồm phần sau: MỞ ĐẦU: Giới thiệu sơ lý chọn đề tài, mục đích nghiên cứu, đối tượng phạm vi nghiên cứu, phương pháp nghiên cứu, ý nghĩa khoa học thực tiễn đề tài CHƯƠNG 1: TRẮC NGHIỆM THÍCH NGHI Chương nhằm mục đích giới thiệu tổng quan TNTN, thành phần bản, hoạt động chung mơ hình TNTN Phân tích so sánh mơ hình hệ thống TNTN có, từ rút kết luận phải xây dựng mơ hình TNTN sở phân tích lớp tiềm ẩn CHƯƠNG 2: XÂY DỰNG MƠ HÌNH TRẮC NGHIỆM THÍCH NGHI TRÊN CƠ SỞ PHÂN TÍCH LỚP TIỀM ẨN (LATENT CLASS ANALYSIS – LCA) Chương đưa khái niệm phân tích lớp tiềm ẩn phương pháp lựa chọn câu hỏi theo thơng tin tồn cục Từ đó, xây dựng mơ hình TNTN đề xuất Ứng dụng phân tích lớp tiềm ẩn kết hợp phương pháp lựa chọn câu hỏi theo thơng tin tồn cục vào hệ thống TNTN CHƯƠNG 3: XÂY DỰNG HỆ THỐNG, TRIỂN KHAI VÀ ĐÁNH GIÁ Chương nhằm mục đích trình bày trình xây dựng triển khai hệ thống Website trắc nghiệm sở mơ hình đề xuất, tiến hành triển khai hệ thống trắc nghiệm xây dựng môn học cụ thể Chương - TRẮC NGHIỆM THÍCH NGHI Chương nhằm mục đích giới thiệu tổng quan TNTN, thành phần bản, hoạt động chung mơ hình TNTN Phân tích so sánh mơ hình hệ thống TNTN có, từ rút kết luận phải xây dựng mơ hình TNTN sở phân tích lớp tiềm ẩn 1.1 Tổng quan TNTN 1.1.1 Khái niệm 1.1.2 Lịch sử phát triển 1.1.3 Các thành phần TNTN TNTN có thành phần bản: NHCH (Calibrated item bank), thuật toán lựa chọn câu hỏi (Item selection algorithm), thuật toán đánh giá (Scoring algorithm) điều kiện dừng (Termination criterion) [10][11][12] Hình 1.1 Các thành phần TNTN 1.1.4 Hoạt động chung mơ hình TNTN Hình 1.2 Mơ hình hoạt động TNTN Về hoạt động mơ hình TNTN thuật toán lặp sau: - Bước 1: Khởi tạo giá trị lực ban đầu thí sinh - Bước 2: Dựa vào lực thí sinh, lựa chọn câu hỏi phù hợp từ câu hỏi chưa chọn - Bước 3: Đưa câu hỏi chọn đến thí sinh, thí sinh trả lời, thu nhận kết câu trả lời - Bước 4: Ước lượng lại lực thí sinh dựa kết thu nhận - Bước 5: Kiểm tra điều kiện dừng sai quay lại bước 1.2 Lý thuyết đáp ứng câu hỏi Hiện có mơ hình tính tốn phổ biến IRT, mơ hình phân loại theo số tham số đặc trưng mà sử dụng Mơ hình Rasch [19] đề cập đến phụ thuộc xác suất trả lời câu hỏi thí sinh độ khó câu hỏi b, mơ hình Brinbaum tham số [3] xác suất trả lời câu hỏi phụ thuộc vào độ khó b độ phân biệt a Rõ ràng trường hợp câu hỏi trắc nghiệm nhị phân thí sinh dự đốn để trả lời câu hỏi, mơ hình Brinbaum tham số đời để khắc phục nhược điểm [3] Để đánh giá xác phụ thuộc xác suất trả lời câu hỏi vào tập hợp tham số câu hỏi cần bổ sung tham số độ dự đoán c Cả ba mơ hình thể chung qua cơng thức (1.1), gọi đường cong đặc trưng câu hỏi (Item Characteristic Curve - ICC) (1.1) Trong đó: Các tham số giá trị lực thí sinh, a độ phân biệt câu hỏi, b độ khó câu hỏi c độ đốn mò thí sinh câu hỏi gọi xác suất để thí sinh có lực trả lời câu hỏi 1.3 Mơ hình trắc nghiệm thích nghi sở IRT 1.3.1 Mơ hình Rasch Sử dụng mơ hình Rasch tính tốn xác suất thí sinh có lực trả lời câu hỏi i theo cơng thức sau: (1.2) Trong đó: số logarit tự nhiên (e lực thí sinh; 2.718); tham số độ khó câu hỏi thứ i Mơ hình Rasch phản ánh mối quan hệ thí sinh câu hỏi Một ưu điểm lớn mơ hình Rasch tách biệt lực thí sinh đặc trưng câu hỏi (độ khó) phép đo lường 1.3.2 Mơ hình Birnbaum tham số 1.3.3 Mơ hình Birnbaum tham số Mơ hình trắc nghiệm thích nghi sử dụng mơ hình xác suất dựa kết thống kê tập hợp tham số câu hỏi ngân hàng câu hỏi trắc nghiệm, cho phép đánh giá mức độ lực thí sinh khách quan xác 1.3.4 Hạn chế mơ hình TNTN theo IRT Mơ hình Rasch xét đến độ khó câu hỏi, mơ hình Birnbaum tham số xét thêm độ phân biệt câu hỏi, mơ hình tham số xét thêm mức độ dự đốn thí sinh trả lời câu hỏi Bảng 1.4 Đối chiếu mơ hình TNTN theo IRT tồn Phương pháp lựa Đánh giá Đánh giá chọn câu hỏi phù NHCH trắc mức độ lực hợp với mức độ nghiệm thí sinh lực Mơ hình + + Rasch Mơ hình + + Birnbaum tham số Mơ hình Birnbaum + + tham số Từ bảng 1.4 mơ hình TNTN sở lý thuyết IRT tồn hạn chế đánh giá NHCH trắc nghiệm Vì vậy, tác giả đề 10 quan sát có tập liệu Giả sử, cửa hàng có tập liệu khách hàng chủ cửa hàng tin cách khách hàng chia thành nhóm dựa vào quan tâm tiềm sản phẩm cửa hàng Tuy nhiên, tập liệu cửa hàng biến xác định khách hàng thuộc nhóm Tổng quát hơn, có nhiều nhóm khác tổng thể cá nhân nhóm cư xử cách khác Nhưng khơng có biến xác định nhóm Các nhóm người tiêu dùng với sỏ thích mua sắm khác nhau, thiếu niên với lối sống khác nhau… Phương pháp phân tích lớp tiềm ẩn xác định phân loại nhóm Nó cho biết cá nhân thuộc nhóm đặc điểm nhóm nhận biết với nhóm khác Trong phân tích lớp tiềm ẩn sử dụng biến danh mục để ghi nhận nhóm Các mơ hình phân tích lớp tiềm ẩn gồm hai phần (i) tính tốn xác suất mà cá nhân thuộc nhóm; (ii) mơ tả mối quan hệ nhóm với biến quan sát Các biến quan sát ở dạng nhị phân, thứ tự biến liên tục Sau ước lượng mơ hình, tính tốn xác suất cá nhân thuộc nhóm tính tốn giá trị biên trung bình biến quan sát nhóm ẩn 2.1.2 Mục đích hạn chế Các mơ hình TNTN sở IRT ước lượng mức độ lực thí sinh quy mô tiềm ẩn Trong luận văn tác giả đề xuất hướng tiếp cận khác, phân loại thí sinh dựa xác suất phân lớp Điều có nghĩa cần thiết phải xây dựng NHCH với việc phân lớp (mỗi lớp có tập hợp NHCH phù hợp) Mỗi thí sinh có xác suất phân vào lớp cụ thể, thông tin xác suất sử dụng để tính tốn xác suất thành viên lớp tiềm ẩn lớp Trong thực tế, có ba lựa chọn để sử dụng kết CAT dựa LCA xây dựng NHCH Thứ nhất, kết thành viên lớp tiềm ẩn đơn giản sử dụng phân 11 loại Thứ hai, thơng tin phân loại sử dụng bổ sung cho việc đánh giá mức độ lực thí sinh sở sử dụng IRT Cuối cùng, kết xác suất thành viên lớp sử dụng để cung cấp thơng tin mức độ lực & khả thí sinh 2.2 Mơ hình TNTN đề xuất 2.2.1 Phân tích lớp tiềm ẩn (LCA) LCA phương pháp phân tích biến quan sát (việc trả lời câu hỏi) quan sát (manifest variables) có liên quan đến biến khơng quan sát (năng lực thí sinh) biến tiềm ẩn [14] Trong IRT, biến quan sát được xác định, biến tiềm ẩn (mức độ lực thí sinh) liên tục thay đổi Về chất, mơ hình LCA cung cấp xác suất kết mờ với phân lớp, mơ hình IRT mang lại ước lượng mức độ lực thí sinh tình trạng liên tục Trong mơ hình LCA, thí sinh phạm vi lớp có đặc điểm chung tiêu chí định, thí sinh lớp khác không giống Trong LCA, tham số: số lượng lớp tiềm ẩn kích thước lớp xác định Giả sử cần xác định xác suất thí sinh i rơi vào lớp tiềm ẩn C với tổng số lớp tiềm ẩn): (C = 1,…, P( (2.1) Trong đó: - P(C=c| ) xác suất thí sinh rơi vào lớp tiềm ẩn C; - ) tập hợp câu trả lời thí sinh i j câu hỏi trắc nghiệm đưa Kết đánh giá câu trả lời trắc nghiệm kết nhị phân, , (kết câu trả lời thứ j thí sinh i) cho biết tỷ lệ sinh viên thuộc lớp C 12 Một khía cạnh khác sử dụng LCA với giải pháp mơ hình chia thí sinh vào lớp tiềm ẩn với xác suất định Xác suất lớp tiềm ẩn ước lượng cho thí sinh thuộc vào lớp C, với mẫu câu trả lời thí sinh i : (2.2) Được gọi xác suất kéo theo (a posterior probability) Ví dụ, thí sinh trả lời câu hỏi trắc nghiệm xác suất tính theo cơng thức sau: (2.3) Trong LCA, thí sinh trả lời câu hỏi trắc nghiệm thuộc vào lớp tiềm ẩn với xác suất định Do đó, thí sinh định thuộc lớp tiềm ẩn có giá trị xác suất P(C = c| ) cao Vài số xem xét kết luận số lượng lớp yêu cầu cho phù hợp với liệu xác định kích cỡ lớp tốt Một số đo lường số phù hợp -2 log likelihood (-2LL), so sánh số mơ hình với số lượng lớp không ổn định [16] Một số phù hợp khác tiêu chuẩn thông tin Bayesian [18], coi số tốt cho việc phân biệt mơ hình với lớp tiềm ẩn khác BIC định nghĩa là: BIC = -2 , (2.4) Trong tham số mơ hình tự N đại diện cho kích thước mẫu Tiêu chuẩn thông tin sử dụng -2LL điều chỉnh số lượng tham số kích cỡ mẫu mơ hình, dẫn đến độ tin cậy số cải thiện [16] 2.2.2 Phương pháp lựa chọn câu hỏi theo thơng tin tồn cục (KL) Trong luận văn, tác giả đề xuất sử dụng thuật toán lựa chọn câu hỏi theo thơng tin tồn cục (KL) nhằm lựa chọn câu hỏi 13 NHCH trắc nghiệm phân lớp theo LCA Bản chất thông tin KL [15] hai phân bố xác suất biểu diễn dạng: Sự phân bố xác suất liệu Thông thường, thường thể cho phân bố đại diện cho mơ hình xấp xỉ Do đó, phản ánh khoảng cách phân chia hai phân bố khoảng cách khơng phải khoảng cách mặt tốn học, phương pháp khơng đối xứng với Giá trị thông tin KL lớn số hai phân bố thống kê khác Cheng đề xuất ứng dụng thuật toán KL [7] giúp lựa chọn câu hỏi để nâng cao chẩn đoán nhận thức Điểm quan trọng chẩn đoán nhận thức phân loại người hồ sơ nhận thức, Trạng thái thực hồ sơ thuộc tính người khơng rõ Do đó, thơng tin KL xếp có điều kiện mẫu trả lời , cho biết ước tính trạng thái chẩn đoán nhận thức người thứ xếp có điều kiện , với trạng thái chẩn đốn nhận thức tiềm ẩn khác, đo Khi áp dụng thơng tin KL, tính tốn cho biết ước tính trạng thái tiềm ẩn khác , với , xếp khác dựa , đưa : (2.5) Cơng thức (2.5) sử dụng cho mơ hình với hai trạng thái tiềm ẩn Tuy nhiên, có nhiều trạng thái ẩn khác, sử 14 dụng tổng thông tin KL trạng thái ẩn trạng thái tiềm ẩn khác tất sử dụng [17]: (2.6) Sự lựa chọn câu hỏi sau dựa mục đích tìm câu hỏi với có mức tối đa thí sinh trạng thái tiềm ẩn cụ thể Dựa vào thông tin KL tối đa câu hỏi, với ước tính trạng thái tiềm ẩn, câu hỏi chọn Nếu có hai trạng thái tiềm ẩn, tổng hợp thơng tin KL công thức (2.6) không cần thiết 2.3 Xây dựng mơ hình TNTN dựa phân tích lớp tiềm ẩn Một mơ hình tổng thể TNTN cần có thành phần sau: - Ngân hàng câu hỏi (NHCH); - Các thuật toán: Khởi tạo, Lựa chọn câu hỏi, Thi hành, Đánh giá kết quả, Tính tốn, Dừng, Báo cáo NHCH: Để quản lý hệ thống TNTN, NHCH phải có lượng câu hỏi trắc nghiệm đủ lớn câu hỏi trắc nghiệm phù hợp với mô hình TNTN sở LCA Về nguyên tắc, cần có số câu hỏi để xác định lớp mà thí sinh thuộc vào, lớp phải có câu hỏi để đánh giá lại lực thí sinh để định có phân lại lớp cho thí sinh hay giữ ngun Thuật tốn lựa chọn câu hỏi: Trong hệ thống TNTN, sau lần thí sinh phân lớp, lớp hệ thống lựa chọn câu hỏi tập câu hỏi dùng để đánh giá thí sinh thuộc lớp đề cử cho q trình thực phân lớp đánh giá Trong mơ hình này, để câu hỏi chọn phù hợp với mức lực thí sinh, tác giả sử dụng hàm thông tin câu hỏi KL để đánh giá lựa chọn câu hỏi phù hợp với khả thí sinh Trong hàm thơng tin câu hỏi theo KL tính: 15 Câu hỏi lựa chọn dựa mức lực thí sinh Cho i câu hỏi thứ i ngân hàng câu hỏi (i=1 n) k số câu hỏi chọn (đưa cho thí sinh) Gọi tập hợp câu hỏi chọn ; tập tập tập hợp câu hỏi lại chưa chọn Khi câu hỏi thứ k chọn theo nguyên tắc: với giá trị lực , câu hỏi lựa chọn câu hỏi thứ k có giá trị nhất: hàm thơng tin { Trong đó: Và Hình 2.1 Mơ hình TNTN đề xuất ( }, ) lớn 16 Hình 2.2 Mơ hình hoạt động TNTN đề xuất Khi thí sinh bắt đầu làm trắc nghiệm, hệ thống lấy ngẫu nhiên số câu hỏi cụ thể câu hỏi dùng để xác định lớp mà thí sinh thuộc vào Sau trả lời xong số câu hỏi câu hỏi bản, hệ thống tính xác suất thí sinh lớp theo phân tích lớp tiềm ẩn Lớp có xác suất lớn thí sinh thuộc vào nhóm Q trình phân lớp tiếp tục thực thí sinh trả lời câu hỏi dừng số câu hỏi tối đa độ biến thiên mức độ lực thí sinh nhỏ Sau thí sinh xếp vào lớp đó, hệ thống tiến hành đánh giá lại mức độ lực thí sinh Thuật tốn: - Bước 1: Phân lớp ban đầu cho thí sinh dựa vào tập câu hỏi trắc nghiệm tính giá trị xác suất theo cơng thức (2.3) tìm lớp có giá trị xác suất lớn nhất, đưa thí sinh vào lớp - Bước 2: Lựa chọn câu hỏi phù hợp với mức độ lực thí sinh dựa vào tập câu hỏi lớp mà thí sinh thuộc cách sử dụng cơng thức (1.4) (tính mức độ lực thí sinh 17 theo IRT) phương pháp lựa chọn câu hỏi theo thơng tin tồn cục để phân lại lớp cho thí sinh Q trình lặp liên tục gặp điều kiện dừng - Bước 3: Kiểm tra điều kiện dừng hệ thống + Nếu chưa thỏa mãn hệ thống tiến hành tính xác suất xe thí sinh thuộc lớp đánh giá lại mức độ lực thí sinh, tiếp tục lặp lại bước thứ + Nếu thỏa mãn kết phân lớp kết cuối thí sinh 2.4 Kết luận Chương tác giả tìm hiểu khái niệm phân tích lớp tiềm ẩn phương pháp lựa chọn câu hỏi theo thơng tin tồn cục Từ đó, xây dựng mơ hình TNTN đề xuất Ứng dụng phân tích lớp tiềm ẩn kết hợp phương pháp lựa chọn câu hỏi theo thơng tin tồn cục vào hệ thống TNTN giúp cho hệ thống hoạt động linh hoạt, xác Việc ứng dụng phân tích lớp tiềm ẩn giúp tối ưu hóa q trình đánh giá thí sinh kết hợp phương pháp lựa chọn câu hỏi theo thông tin toàn cục đưa câu hỏi phù hợp với thí sinh thời điểm đánh giá Chương - XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI Chương nhằm mục đích trình bày q trình xây dựng triển khai hệ thống Website trắc nghiệm sở mơ hình đề xuất, tiến hành triển khai hệ thống trắc nghiệm xây dựng môn tin học trường THCS Nghĩa An – TP Quảng Ngãi - Quảng Ngãi 3.1 Cấu trúc hệ thống TNTN Hệ thống TNTN xây dựng sở Website phục vụ đánh giá lực thí sinh qua hình thức thi trắc nghiệm thích nghi Trong có hai hình thức phân quyền dành cho đối tượng sử dụng hệ thống thí sinh admin 18 Dành cho admin: Thực chức quản lý toàn hoạt động hệ thống có chức chính: + Quản lý câu hỏi: Có thể thêm, sửa, xóa nội dung câu hỏi mơn học cần thi trắc nghiệm; + Quản lý nhóm câu hỏi: Thêm, sửa, xóa câu hỏi nhóm; + Quản lý thí sinh: Theo dõi việc làm thí sinh Dành cho thí sinh: Thực cơng việc như: + Đăng kí tài khoản: Đăng ký tài khoản để truy cập Website làm trắc nghiệm; + Đăng nhập vào hệ thống: Để làm thi trắc nghiệm; + Làm thi: Các câu hỏi hiển thị thí sinh bắt đầu trả lời để hệ thống tính tốn lực; + Xem kết thi: Sau thi xong thí sinh xem kết thi mình; + Xem bảng xếp hạng: Hệ thống có nhiều thí sinh thi với nhau, thí sinh theo dõi thứ hạng bảng xếp hạng 3.2 Biểu đồ CA hệ thống Website Thi Trắc Nghiệm Admin Thí sinh Quản lý câu hỏi Đăng ký tài khoản Quản lý nhóm câu hỏi Đăng nhập Quản lý đề thi Làm thi Quản lý thí sinh Xem lich sử thi Xem bảng xếp hạng Hình 3.1 Sơ đồ phân rã chức hệ thống 19 3.3 Biểu đồ lớp hệ thống NhomCauHoi MonHoc Thuộc - idMonHoc: int - tenMonHoc: string + int ThemMonHoc(string) + bool XoaMonHoc(string) + bool SuaMonHoc(int, string) 1 Bao gôm * CauHoi 1 - idNhomCauHoi: int - idMonHoc: int - tenNhomCauHoi: string + int ThemNhom(int, string) + bool SuaNhom(int, int, string) + bool XoaNhom(int) 1 Thuộc * Bao gồm - idCauhoi: int - noiDung: string - soDapAn: int - a: float - b: float - c: float - thoiHianTraLoi: int + int ThemCauHoi(string, int, string[], string[], float, flo at, float, int) +bool XoaCauHoi(int) +bool SuaDoiCauHoi(int, string, int, string[], string[], float, float, float, int) CauHoiCuaNhom 1 Của * Bao gồm - idCauHoiCuaNhom: int - idNhomCauHoi: int - idCauHoi: int + void ThemCauHoiVaoNhom(int, int[]) + void XoaCauHoiRaKhoiNh om(int, int) DapAn ChiTietLichSu - idDapAn: int - idCauHoi: int - noiDung: string - isDapAnDung: bool - idChiTiet: int - idLichSuLamBai: int - cauHoiThu: int - hamThongTin: float - traLoiDung: bool - trinhDo: float ThiSinh - idThiSinh: int - hoTen: string - ngaySinh: DateTime - gioiTinh: string - email: string - tenDangNhap: string - matKhau: string - tongSoBaiLam: int - tongDiem: float - xepLoai: string - trinhDo: float + void ThemDapAn(int,string,bool) + void XoaDapAn(int) + int ThemChiTiet(int, int, float, bool, float) + bool XoaChiTiet(int) * Gồm Của 1 1 Của LichSuLamBai + int ThemThiSinh(string, DateTime, string, string, string, string) + bool EditThiSinh(string, string, DateTime, string) + bool Cap NhatTrinhDo(int, float, string, float) + bool XoaThiSinh(string) Bao gồm * - idLichSuLamBai: int - idThiSinh: int - thoiGian: DateTime + void ThemLichSuLamBai(int, DataTime) + void XoaLichSu(int) ThiTheoTrinhDo - tapCacDinh: List - tapCacDinhDaQua: List - dinhDienTai: NhomCauHoi - tapCauHoi: List - tapCauHoiDaCo: List - hamThongTinCacCauHoi: List - trinhDoThiSinh: float - cauHoiDuocChon: CauHoi + TinhHamThongTinCacCauHoi() + TimCauHoiDauTien() + TimNhomTiepTheo () + TimCauHoiTiepTheo() + ChamCauTraLoi() + UpdateTrinhDo() Hình 3.3 Biểu đồ lớp hệ thống 3.4 Biểu đồ hệ thống 3.5 Biểu đồ hoạt động 3.6 Một số hình ảnh giao diện hệ thống 20 Hình 3.10 Giao diện quản lý câu hỏi 3.7 Triển khai hệ thống đánh giá kết 3.7.1 Triển khai hệ thống trắc nghiệm thích nghi Để triển khai đánh giá hệ thống trắc nghiệm thích nghi, tác giả tiến hành xây dựng hệ thống trắc nghiệm thích nghi để đánh giá lực thí sinh dựa ngân hàng câu hỏi môn Tin học dành cho học sinh trường THCS Nghĩa An – Xã Nghĩa An – Tỉnh Quảng Ngãi 3.7.2 Đánh giá hệ thống Hệ thống trắc nghiệm thích nghi xây dựng tiêu chí đánh giá lực (kiến thức) thí sinh Với năm từ 2014 đến 2017 có 50 thí sinh thực trắc nghiệm, có bảng số liệu số thí sinh thuộc vào lớp sau: Bảng 3.1 Số thí sinh thuộc lớp từ năm 2014 – 2017 Năm Lớp Lớp Lớp 2014 19 18 13 2015 19 19 11 2016 17 18 15 2017 19 18 13 21 Bảng 3.2 Xác suất trung bình lớp qua năm Lớp Lớp Lớp 0.377 0.359 0.265 0.388 0.386 0.226 0.345 0.368 0.288 0.385 0.361 0.255 0.374 0.369 0.259 Năm 2014 2015 2016 2017 Trong đó, lớp lớp thí sinh có mức lực trung bình, lớp lớp thí sinh có mức lực khá, lớp lớp thí sinh có mức lực giỏi Xác suất thí sinh lớp giải pháp , sử dụng để lớp sử dụng để tính ước lượng nhóm LCA bị hạn chế Bảng 3.1 thấy giải pháp lớp phân biệt tốt lớp xác suất trung bình cho kết xác việc khơng vượt qua câu hỏi 0.9 Xá c suấ t x ác 0.8 0.7 0.6 0.5 Lớp 0.4 Lớp 0.3 Lớp 0.2 0.1 j1 j2 j3 j4 j5 j6 j7 j8 j9 j10 Câu hỏi Hình 3.16 Quá trình đánh giá thí sinh thuộc lớp khác với 10 câu hỏi 22 Hình 3.17 Quá trình đánh giá thí sinh thuộc lớp khác với 15 câu hỏi Phương pháp lựa chọn câu hỏi ngẫu nhiên (Random) phương pháp lựa chọn câu hỏi theo thơng tin tồn cục (KL) so sánh xác theo tỷ lệ thí sinh phân loại Để đánh giá hiệu phương pháp lựa chọn câu hỏi, độ dài trắc nghiệm dành cho hai phương pháp 10, 15 câu hỏi Trong hai phương pháp lớp chứa thí sinh có khả trả lời câu hỏi xác Kết nghiên cứu trình bày bảng 3.2 dạng sai số trung bình (mean) sai số chuẩn (SD) số thí sinh phân loại xác 50 lần lặp lại với độ dài trắc nghiệm 10, 15 câu hỏi Dựa vào bảng 3.2 thấy rằng, hai giải pháp phương pháp lựa chọn câu hỏi theo thơng tin tồn cục (KL) với 10 câu hỏi thực phân loại lại xác so với phương pháp lựa chọn câu hỏi ngẫu nhiên Hơn nữa, giải pháp lớp, phương pháp lựa chọn câu hỏi theo thông tin toàn cục (KL) thực tốt phương pháp lựa chọn câu hỏi ngẫu nhiên phân loại lại thí sinh trả lời xác 23 Lớp lớp khó dự đốn hai phương pháp lựa chọn câu hỏi Lớp với thí sinh phân loại lại xác Bảng 3.2 cho thấy kết mô với 15 câu hỏi lựa chọn cho kiểm tra trắc nghiệm thích nghi với tỷ lệ thí sinh trả lời câu hỏi phân loại xác cao so với kiểm tra trắc nghiệm thích nghi với 10 câu hỏi Bảng 3.3 Kết so sánh chọn câu hỏi ngẫu nhiên sử dụng KL Số câu hỏi Random KL lớp Mean SD Mean SD 10 câu hỏi - lớp Lớp 0.867 0.0249 0.905 0.0272 Lớp 0.753 0.0323 0.819 0.0348 Lớp 0.863 0.0256 0.873 0.0344 15 câu hỏi - lớp Lớp 0.918 0.0213 0.948 0.0202 Lớp 0.848 0.0284 0.896 0.0226 Lớp 0.912 0.0221 0.922 0.0183 Từ bảng 3.2 cho thấy phương pháp lựa chọn câu hỏi theo thơng tin tồn cục (KL) tốt phương pháp lựa chọn câu hỏi ngẫu nhiên việc ước tính số lượng thành viên lớp với tỷ lệ xác cao 3.8 Kết luận Hệ thống trắc nghiệm thích nghi xây dựng cho kết đánh giá tốt với việc ứng dụng phân tích lớp tiềm ẩn lựa chọn câu hỏi theo thơng tin tồn cục để xây dựng mơ hình TNTN Bên cạnh đó, mơ hình TNTN xây dựng khắc phục nhược điểm mơ hình dựa IRT liệu kiểm tra, áp dụng thuật toán lựa chọn câu hỏi theo thơng tin tồn cục giúp lựa chọn câu hỏi phù hợp xây dựng kiểm tra thích ứng 24 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong luận văn này, tác giả trình bày kiến thức tổng quan trắc nghiệm thích nghi, phân tích lớp tiềm ẩn, lý thuyết đáp ứng câu hỏi, so sánh mơ hình trắc nghiệm thích nghi tồn tại, xây dựng mơ hình trắc nghiệm thích nghi theo mơ hình xây dựng đánh giá số kết đạt Đề tài thực xây dựng thành cơng mơ hình trắc nghiệm thích nghi dựa phân tích lớp tiềm ẩn phương pháp lựa chọn câu hỏi theo thông tin tồn cục Sử dụng mơ hình xây dựng tiến hành xây dựng hệ thống trắc nghiệm thích nghi để đánh giá lực (kiến thức) thí sinh môn Tin học, trường THCS Nghĩa An, TP.Quảng Ngãi, tỉnh Quảng Ngãi Hệ thống TNTN xây dựng hoạt động cách mềm dẻo, linh hoạt, có tính xác cao khắc phục thiếu sót, nhược điểm tồn đọng hệ thống TNTN tồn tại, nâng cao hiệu quả, tính xác công tác kiểm định đánh giá lực (kiến thức) thí sinh Tuy nhiên vấn đề mơ hình chưa xây dựng giải pháp phân tích lớp tiềm ẩn cho nhiều ba lớp Trong thời gian tới, tác giả tiếp tục nghiên cứu hồn thiện hệ thống trắc nghiệm thích nghi xây dựng, tiến hành thử nghiệm, đánh giá, so sánh với mơ hình trắc nghiệm thích nghi tồn để hiệu chỉnh tính thiếu sót hệ thống ... học: Ứng dụng phân tích lớp tiềm ẩn xây dựng hệ thống trắc nghi m thích nghi Mục đích ý nghĩa đề tài a Mục đích - Xây dựng mơ hình trắc nghi m thích nghi sở ứng dụng phân tích lớp tiềm ẩn (LCA)... tổng quan trắc nghi m thích nghi, phân tích lớp tiềm ẩn, lý thuyết đáp ứng câu hỏi, so sánh mơ hình trắc nghi m thích nghi tồn tại, xây dựng mơ hình trắc nghi m thích nghi theo mơ hình xây dựng đánh... trắc nghi m Vì vậy, tác giả đề xuất đề tài: Ứng dụng phân tích lớp tiềm ẩn xây dựng hệ thống trắc nghi m thích nghi sử dụng phân tích lớp tiềm ẩn (LCA) kết hợp phương pháp lựa chọn câu hỏi