Xây dựng hệ thống giám sát quá trình thi trắc nghiệm trực tuyến dựa trên phân tích hình ảnh

MỤC LỤC I MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu đề tài Phạm vi nghiên cứu đề tài Cách tiếp cận, phương pháp nghiên cứu, kỹ thuật sử dụng 4.1 Cách tiếp cận 4.2 Phương pháp nghiên cứu, kỹ thuật sử dụng: CHƯƠNG NGHIÊN CỨU, ĐỀ XUẤT PHƯƠNG THỨC ÁP DỤNG HỌC MÁY ĐỂ PHÁT HIỆN BẤT THƯỜNG CỦA NGƯỜI THI KHI THI TRỰC TUYẾN DỰA TRÊN PHÂN TÍCH HÌNH ẢNH KHN MẶT QUA WEBCAM 1.1 Phát biểu toán cảnh báo hành vi bất thường người thi trực tuyến dựa hình ảnh 1.2 Tổng quan nghiên cứu liên quan cảnh báo hành vi bất thường người thi trực tuyến dựa thuật tốn nhận dạng ảnh khn mặt 1.3 Kết luận chương 18 CHƯƠNG NGHIÊN CỨU, ĐỀ XUẤT GIẢI PHÁP TÍCH HỢP MÔ ĐUN HỌC MÁY CẢNH BÁO HÀNH VI BẤT THƯỜNG CỦA NGƯỜI THI VÀO HỆ THỐNG THI TRỰC TUYẾN 19 2.1 Mơ hình tổng quan hệ thống thi trực tuyến 19 2.2 Nghiên cứu, phân tích lựa chọn mơ hình học máy cảnh báo hành vi bất thường dựa hình ảnh 22 2.3 Tích hợp mơ hình học máy cảnh báo hành vi bất thường dựa hình ảnh người thi vào hệ thống thi trực tuyến 29 2.4 Kết luận chương 39 CHƯƠNG THỬ NGHIỆM VÀ ĐÁNH GIÁ 41 3.1 Đánh giá hiệu mơ hình đề xuất 41 3.2 Kết luận chương 48 CHƯƠNG KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN 49 III DANH MỤC TÀI LIỆU THAM KHẢO 53 DANH MỤC TỪ VIẾT TẮT STT Từ viết tắt Tiếng Việt PTIT Học viện Công nghệ Bưu Viễn thơng KHCN Khoa học Cơng nghệ GD&ĐT Giáo dục đào tạo HĐH Hệ điều hành DANH MỤC BẢNG BIỂU Bảng 3.1 Một số samples tập liệu LFW 42 DANH MỤC HÌNH VẼ Hình 1.1: Chiến lược tìm kiếm mơ hình học máy hệ thống quản lý thi Hình 1.2: Tổng quan tích hợp thành phần AI 10 Hình 1.3: Minh họa cho tốn thị giác máy tính 11 Hình 1.4: Các đặc trưng cần trích xuất 11 Hình 1.5: So sánh đặc trưng trích xuất với codewords 12 Hình 1.6: Sơ đồ thuật tốn khối Bag of word 12 Hình 1.7: Các tệp XML phân loại Haar-Cascade 14 Hình 1.8: Các hình chữ nhật đặc trưng Haar Cascade 14 Hình 1.9 Cách hoạt động Haar Cascade nhận diện khn mặt 15 Hình 1.10 Minh họa output khoảng cách dùng FaceNet 16 Hình 1.11 Quy trình nhận dạng hình ảnh FaceNet 17 Hình 1.12 Cấu trúc mơ hình FaceNet 17 Hình 2.1: Mơ hình học máy tích hợp vào hệ thống thi trực tuyến 19 Hình 2.2: Minh họa dị tìm khuôn mặt (tiny face) 22 Hình 2.3: Ví dụ minh họa cách mơ hình phát vật thể 23 Hình 2.4: Mơ hình học máy nhận diện khn mặt 24 Hình 2.5: Mơ tả trình học dựa Triplet loss 26 Hình 2.6 Bộ liệu CASIA-Webface 28 Hình 2.7: Minh họa mơ hình tích hợp học máy 30 Hình 2.8: Một số tệp hình ảnh khn mặt sinh viên PTIT 31 Hình 3.1 ROC curve 45 Hình 3.2: Đăng nhập vào hệ thống thi trực tuyến ………………………… 48 Hình 3.3: Thí sinh lựa chọn kỳ thi đề vào làm thi 49 Hình 3.4: Thí sinh làm thi hệ thống nhận diện bất thường dựa theo công nghệ học máy phát khuôn mặt hoạt động 50 I MỞ ĐẦU Lý chọn đề tài Trong bối cảnh chuyển đổi số xu tất yếu, khách quan diễn mạnh mẽ lĩnh vực giáo dục đào tạo chuyển xu đó, việc tổ chức giảng dạy, đánh giá, khảo thí tảng số, trực tuyến quan tâm đầu tư, triển khai thực Tuy nhiên thực tế thấy Việt Nam công tác đánh giá, khảo thí chủ yếu tập trung vào việc kiểm tra, đánh giá kết dạy học, tập trung vào đánh giá khả tiếp thu kiến thức cung cấp trình đào tạo hy vọng giảm tối thiểu bất lợi xảy trình kiểm tra, xác định xác trình độ người học Tuy nhiên, môi trường thi trắc nghiệm hình thức trực tuyến dễ xảy gian lận Người học trực tiếp truy cập nhiều nguồn liệu Hơn nữa, việc trì tốc độ cao khả kết nối internet đáng tin cậy cho tất học sinh thông qua kỳ thi khó đảm bảo Tất vấn đề ảnh hưởng đến tính trung thực, tính bảo vệ tồn khách quan kỳ thi trực tuyến Tại Việt Nam, thi trực tuyến giải pháp tình thế, bất khả kháng Khi người coi thi kiểm sốt thí sinh thơng qua máy tính từ xa, webcam, mic sinh viên khơng thể việc giám sát thí sinh phịng thi trực tiếp Tóm lại, để cơng tác đánh giá, khảo thí hiệu hay đánh giá lực học sinh theo hình thức thi trắc nghiệm trực tuyến, học viên nhận thấy tổ chức kỳ thi trắc nghiệm trực tuyến giống cách thi trắc nghiệm truyền thống, khác thí sinh thay đến phịng thi ngồi nhà làm bài, nộp hệ thống phần mềm, có giám sát giảng viên thơng qua webcam mic, với cách cần tin tưởng vào trung thực học sinh Các biện pháp kỹ thuật để phát gian lận có khơng thể triệt để Với lý trên, học viên lựa chọn đề tài nghiên cứu: “Xây dựng hệ thống giám sát trình thi trắc nghiệm trực tuyến dựa phân tích hình ảnh” Mục tiêu đề tài Nghiên cứu xây dựng thí điểm hệ thống hỗ trợ thi trắc nghiệm trực tuyến nhằm ứng dụng công nghệ chủ chốt Cách mạng công nghiệp lần thứ vào hoạt động chuyển đổi số giáo dục Hệ thống giám sát trình thi trắc nghiệm trực tuyến dựa phân tích hình ảnh giúp ngăn chặn hành vi gian lận thí sinh phịng thi góp phần đảm bảo kết thi khách quan, cơng minh bạch, góp phần nâng cao chất lượng đào tạo Phạm vi nghiên cứu đề tài Cơng tác khảo thí truyền thống triển khai không gian mạng, hay gọi đánh giá, khảo thí trực tuyến gồm nhiều giai đoạn, quy trình, nhiệm vụ xây dựng ngân hàng câu hỏi, tổ chức thi, chấm điểm công bố điểm thi Tuy nhiên, giai đoạn thì: (1) xây dựng ngân hàng đề thi trắc nghiệm trực tuyến khơng chịu tác động từ phía sinh viên mà công việc thực giảng viên, hội đồng thi sở đào tạo; (2) chấm thi công bố điểm thi trắc nghiệm khơng chịu tác động từ phía sinh viên mà cơng việc thực tự động với tham gia xây dựng đáp án từ giảng viên, hội đồng thi sở đào tạo; (3) tổ chức thi giai đoạn mà sinh viên tham gia nhân tố quan trọng trình tổ chức thi, việc ngăn chặn hành vi gian lận thí sinh phịng thi góp phần đảm bảo kết thi khách quan, công minh bạch, góp phần nâng cao chất lượng đào tạo Do vậy, phạm vi nghiên cứu đề tài, học viên tập 46 Hình 3.2: Đăng nhập vào hệ thống thi trực tuyến 47 Hình 3.3: Thí sinh lựa chọn kỳ thi đề vào làm thi 48 Hình 3.4: Thí sinh làm thi hệ thống nhận diện bất thường dựa theo công nghệ học máy phát khuôn mặt hoạt động 3.2 Kết luận chương Trong chương 3, tác giả trình bày nội dung thử nghiệm đánh giá mơ hình học máy cảnh báo hành vi bất thường dựa hình ảnh người thi trực tuyến tảng đại học số Học viện Cơng nghệ Bưu Viễn thơng, sản phẩm nghiên cứu tác giả phát triển dạng mơ-đun dễ dàng tích hợp với S-link, thơng qua giao diện quản trị quản trị viên thấy chức khảo thí trực tuyến Từ kết thử nghiệm ứng dụng cổng thông tin đào tạo trực tuyến Học viện Cơng nghệ Bưu Viễn thông cho thấy chức hiệu mơ hình học máy cảnh báo hành vi bất thường dựa hình ảnh người thi trực tuyến đáp ứng đầy đủ yêu cầu luận văn đề 49 CHƯƠNG KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN Trong bối cảnh chuyển đổi số xu tất yếu, khách quan diễn mạnh mẽ lĩnh vực giáo dục đào tạo chuyển xu đó, đại dịch COVID-19 kiểm soát, việc tổ chức giảng dạy, đánh giá, khảo thí tảng số, trực tuyến quan tâm đầu tư, triển khai thực Tuy nhiên thực tế thấy Việt Nam cơng tác đánh giá, khảo thí chủ yếu tập trung vào việc kiểm tra, đánh giá kết dạy học, tập trung vào đánh giá khả tiếp thu kiến thức cung cấp trình đào tạo hy vọng giảm tối thiểu bất lợi xảy q trình kiểm tra, xác định xác trình độ người học Môi trường thi trực tuyến dễ xảy gian lận Hơn nữa, việc trì tốc độ cao khả kết nối internet đáng tin cậy cho tất thí sinh thơng qua kỳ thi khó đảm bảo Tất vấn đề ảnh hưởng đến tính trung thực, tính bảo vệ tồn khách quan kỳ thi trực tuyến Từ cho thấy tính cấp thiết việc ứng dụng cơng nghệ cơng tác khảo thí trực tuyến, đảm bảo an tồn, cơng khai, minh bạch, ngăn chặn hành vi gian lận cảnh báo hành vi gian lận thí sinh Với lý trên, học viên lựa chọn đề tài nghiên cứu: “Xây dựng hệ thống giám sát trình thi trắc nghiệm trực tuyến dựa phân tích hình ảnh” Từ việc xác định nhiệm vụ đặt ra, , học viên thực đề tài theo nội dung chính:  Nghiên cứu, đề xuất phương pháp áp dụng học máy để phát bất thường người thi thi trực tuyến dựa hình ảnh webcam Kết nghiên cứu nội dung trình bày chi tiết Chương báo cáo 50  Nghiên cứu, đề xuất giải pháp tích hợp mô đun học máy cảnh báo hành vi bất thường người thi vào hệ thống thi trực tuyến Kết nghiên cứu nội dung trình bày chi tiết Chương báo cáo  Thử nghiệm mơ hình học máy cảnh báo hành vi bất thường dựa hình ảnh người thi trực tuyến Kết nghiên cứu nội dung trình bày chi tiết Chương báo cáo Đề tài mang lại nhiều giá trị thực tiễn, đóng góp cho việc xử lý quy trình nghiệp vụ sở giáo dục đại học trở nên nhanh thuận tiện có ý nghĩa tác động đến lĩnh vực liên quan Đối với lĩnh vực KHCN có liên quan: Xây dựng hệ thống giám sát trình thi trắc nghiệm trực tuyến dựa phân tích hình ảnh có ý nghĩa quan trọng đóng góp thực tiễn việc ứng dụng giải pháp cơng nghệ thông tin lĩnh vực giáo dục đào tạo đại học Việt Nam nói chung, loại bỏ tình trạng phịng chống gian lân thi cử nói riêng Hệ thống xây dựng dựa cơng nghệ trí tuệ nhân tạo, thơng qua tảng Web để tương tác với người dùng Bên cạnh đó, giải pháp cơng nghệ cốt lõi xử lý hình ảnh, phát bất thường, mơ hình học máy, học sâu, … Những công nghệ làm tảng đánh giá tốt, tối ưu giúp cho cộng đồng khoa học có thêm tham chiếu so sánh nhằm hồn thiện nghiên cứu, có thêm lựa chọn công nghệ ứng dụng vào thực tiễn Đối với kinh tế - xã hội, với mơi trường: Có thể thấy, tiềm phát triển sản phẩm hệ thống ứng dụng trí tuệ nhân tạo phục vụ hoạt động đánh giá, khảo thí trực tuyến Mặc dù đạt số kết khả quan thực nghiên cứu đề tài, tác giả nhận thấy số vấn đề sau cần có phối hợp triển khai sở đào tạo quan chức năng, cụ thể là: 51 1) Các quy định hành đào tạo trực tuyến nói riêng, ứng dụng cơng nghệ thơng tin nói chung giáo dục đại học Việt Nam khiêm tốn, chưa đủ để tạo hành lang pháp lý cho phát triển đào tạo trực tuyến, khảo thí trực tuyến Vì vậy, Bộ GD&ĐT cần xây dựng tiêu chí chung cho cơng tác đánh giá đảm bảo chất lượng đào tạo trực tuyến, làm sở cho đơn vị đào tạo tổ chức giám sát, thực quản lý trình đào tạo để đảm bảo chất lượng 2) Trong thực tế, thí sinh ngồi tham gia kỳ thi trực tuyến triển khai từ xa cần phải trang bị thiết bị công nghệ phục vụ cho cơng tác giám thị, điều khó thực với số lượng lớn thí sinh Do vậy, giải pháp đưa cần ưu tiên triển khai hệ thống khảo thí trực tuyến chỗ, quan tâm đầu tư phịng thực hành máy tính trang bị camera 360 độ, có độ phân giải cao thay nhìn thấy phía mặt trước thí sinh phía sau lưng có hành vi bất thường, camera theo vết hành vi thực zoom cận cảnh hành vi, tự động xoay camera cho phù hợp 3) Trong thực tế, có nhiều hành vi đến từ thí sinh khơng phải hành vi bất thường, có nhiều trường hợp thí sinh điều kiện khách quan mà có hành vi khác với thí sinh khác hành vi bình thường (ví dụ sinh viên bị lệch/vẹo cột sơng nên ngồi thẳng, sinh viên bị lệch cổ nên khơng thể nhìn diện webcam, …); Ngồi với tiến khoa học cơng nghệ có nhiều cách thức mà thí sinh gian lận đeo tai nghe siêu nhỏ, sử dụng nhiều hình, chia sẻ hình … Vì vậy, đề tài cần tiếp tục nghiên cứu mở rộng khả ngăn chặn phát hiện, cảnh báo hành vi gian lận thí sinh với mơ hình trí tuệ nhân tạo tiên tiến 52 4) Khảo thí trực tuyến khảo thí truyền thống, có nhiều hình thức kiểm tra, đánh giá sinh viên, hình thức kiểm tra đánh giá giúp cho cơng tác đánh giá chất lượng giảng dạy, chất lượng học tập sinh viên (khả theo thang đánh giá Bloom), … thay hệ thống dừng triển khai hình thức trắc nghiệm khách quan tương lai đề tài cần tiếp tục mở rộng với nhiều hình thức tự luận, vấn đáp, báo cáo tập lớn/bài tập tiểu luận, … 53 III [1] DANH MỤC TÀI LIỆU THAM KHẢO “Vu, T N (2007) Hệ thống khảo thí trực tuyến mạng Journal of Technical Education Science, (5), 48-55.” [2] “Chatelier, G (2018) E-Learning within the Framework of UNESCO.” [3] “Video Conferencing, Cloud Phone, Webinars, Chat, Virtual Events | Zoom.” https://zoom.us/ (accessed Jun 14, 2022) [4] “Google Meet.” https://meet.google.com/ (accessed Jun 14, 2022) [5] “Classroom,” Google for Education https://edu.google.com/workspace- for-education/classroom/ (accessed Jun 14, 2022) [6] “Video Conferencing, Meetings, Calling | Microsoft Teams.” https://www.microsoft.com/content/microsoft/bade/en-us/microsoft-teams/groupchat-software (accessed Jun 14, 2022) [7] “Áp dụng AI vào giám sát thi cử mùa Covid-19 Truy cập tại: https://www.giaoduc.edu.vn/ap-dung-ai-vao-giam-sat-thi-cu-mua-covid-19-20212021.htm.” [8] “How AI-based Exams are Helping Universities Scale Online Examinations https://blog.mettl.com/ai-based-exams/.” [9] “Turani, A A., Alkhateeb, J H., & Alsewari, A A (2020, December) Students online exam proctoring: a case study using 360 degree security cameras In 2020 emerging technology in computing, communication and electronics (ETCCE) (pp 1-5) IEEE.” [10] https://www.researchgate.net/figure/Search-strategy-for-ML-in-the-exam- management-system-Full-size-DOI_fig1_360685889; A systematic review on machine learning models for online learning and examination systems [11] https://link.springer.com/chapter/10.1007/978-3-030-78270-2_26