(Luận văn thạc sĩ) nghiên cứu và phát triển ứng dụng quản lý, phát hiện hành vi gian lận trong thi trực tuyến

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG o0o NGUYỄN VĂN HUY NGHIÊN CỨU VÀ PHÁT TRIỂN ỨNG DỤNG QUẢN LÝ, PHÁT HIỆN HÀNH VI GIAN LẬN TRONG THI TRỰC TUYẾN ĐỀ ÁN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI 2023 BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG o0o NGUYỄN VĂN HUY NGHIÊN CỨU VÀ PHÁT TRIỂN ỨNG DỤNG QUẢN LÝ, PHÁT HIỆN HÀNH VI GIAN LẬN TRONG THI TRỰC TUYẾN CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN Mã số: 8.48.01.04 ĐỀ ÁN THẠC SỸ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS ĐỖ XUÂN CHỢ HÀ NỘI 2023 i LỜI CAM ĐOAN Học viên xin cam đoan đề án “Nghiên cứu phát triển ứng dụng quản lý, phát hành vi gian lận thi trực tuyến” thân học viên nghiên cứu hoàn thành hướng dẫn PGS.TS Đỗ Xuân Chợ Các số liệu, thông tin thu thập kết nghiên cứu đề tài trung thực Học viên xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm 2023 Học viên Nguyễn Văn Huy ii LỜI CẢM ƠN Để hoàn thành đề án tốt nghiệp “Nghiên cứu phát triển ứng dụng quản lý, phát hành vi gian lận thi trực tuyến” lời học viên xin gửi cảm ơn sâu sắc tới PGS.TS Đỗ Xuân Chợ hướng dẫn bảo học viên tận tình suốt thời gian làm khóa luận Học viên xin chân thành cảm ơn Ban giám hiệu nhà trường, thầy cô Trường Học viện Công nghệ Bưu Viễn thơng, giảng viên dạy cho học viên kiến thức, kỹ năng, giúp đỡ để học viên hoàn thành đề án Bản đề án khơng tránh thiếu sót, mong thầy cô giáo hội đồng chấm đề án xem xét, đóng góp ý kiến để đề án hồn thiện Xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2023 Học viên Nguyễn Văn Huy iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC HÌNH VẼ v DANH MỤC BẢNG BIỂU vii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT viii PHẦN MỞ ĐẦU 1 Lý chọn đề tài Tổng quan vấn đề nghiên cứu 2.1 Các phương pháp phát gian lận thi trực tuyến 2.2 Kết luận Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu .5 Phương pháp nghiên cứu .6 PHẦN NỘI DUNG .7 CHƯƠNG TỔNG QUAN VỀ GIAN LẬN TRONG THI TRỰC TUYẾN 1.1 Tổng quan gian lận thi trực tuyến 1.2 Phương pháp phát giải pháp ngăn chặn gian lận 1.2.1 So sánh phương pháp phát truyền thống phương pháp sử dụng cơng nghệ trí tuệ nhân tạo .9 1.2.2 Các phương pháp phát giải pháp ngăn chặn gian lận 11 1.3 Các ảnh hưởng gian lận thi trực tuyến 19 1.4 Kết luận 21 CHƯƠNG 2: CÁC HỆ THỐNG QUẢN LÝ VÀ PHÁT HIỆN GIAN LẬN THI TRỰC TUYẾN HIỆN NAY .22 2.1 Các hệ thống quản lý phát gian lận .22 2.1.1 EduExam: Hệ thống tổ chức thi trực tuyến kết hợp giám sát chống gian lận AI .22 iv 2.1.2 Edunow: Phần mềm chống gian lận thi online hệ thống thi trực tuyến Edunow 28 2.1.3 ProctorU: Phần mềm giám sát thi trực tuyến 32 2.2 Những tính khác biệt ứng dụng quản lý, phát gian lận thi trực tuyến 34 2.3 Kết luận 35 CHƯƠNG 3: PHÁT TRIỂN ỨNG DỤNG QUẢN LÝ, PHÁT HIỆN HÀNH VI GIAN LẬN TRONG THI TRỰC TUYẾN SỬ DỤNG TẬP LUẬT .36 3.1 Phân tích yêu cầu chức ứng dụng 36 3.2 Thiết kế hệ thống 37 3.2.1 Kiến trúc hệ thống 37 3.2.2 Thiết kế sở liệu 38 3.3 Phát triển hệ thống 39 3.3.1 Các yêu cầu công cụ phát triển hệ thống 39 3.3.2 Phát triển giao diện 40 3.4 Giới thiệu tập luật phương pháp phát hiện, xử lý 41 3.4.1 Các tập luật nghiên cứu 41 3.4.2 So sánh phương pháp phát dựa tập luật phương pháp khác [13] .44 3.4.3 Phương pháp phát thu log 45 3.5 Thử nghiệm đánh giá 52 3.5.1 Yêu cầu thiết bị tham gia thi trực tuyến 52 3.5.2 Một số kịch thử nghiệm phân tích kết 53 3.5.3 Đánh giá hệ thống 59 3.6 Kết luận 59 KẾT LUẬN .61 TÀI LIỆU THAM KHẢO 62 v DANH MỤC HÌNH VẼ Hình 1.1 Gian lận thi trực tuyến Hình 2.1 Ứng dụng Edu Exam 25 Hình 2.2 Màn hình phát gian lận Edu Exam 26 Hình 2.3 Màn hình chung Edu Exam .26 Hình 2.4 Màn hình báo cáo Edu Exam 27 Hình 2.5 Màn hình cảnh báo 27 Hình 2.6 Giao diện quản lý hệ thống Edunow 28 Hình 2.7 Màn hình kiểm tra trước vào thi 32 Hình 2.8 Màn hình giám sát phân tích q trình thi 32 Hình 3.1 Kiến trúc hệ thống .37 Hình 3.2 Mơ hình Diagram 38 Hình 3.3 Trang chủ ứng dụng 40 Hình 3.4 Màn hình trang quản trị .40 Hình 3.5 Màn hình thi thí sinh 41 Hình 3.6 Mơ hình tổng qt thu xử lý log vi phạm .45 Hình 3.7 Mơ hình chi tiết chung phát xử lý vi phạm 46 Hình 3.8 Cơ chế phát xử lý vi phạm 47 Hình 3.9 Mơ hình thu log rời khỏi trang thi .48 Hình 3.10 Luồng thu xử lý log rời khỏi trang thi 49 Hình 3.11 Mơ hình thu log không tương tác với thi 50 Hình 3.12 Mơ hình thu log xử lý vi phạm ngắt kết nối thi 51 Hình 3.13 Danh sách thi diễn 53 Hình 3.14 Cảnh báo thí sinh rời khỏi trang thi 54 Hình 3.15 Cảnh báo không tương tác phút 54 Hình 3.16 Vi phạm số lần cho phép 55 Hình 3.17 Cảnh báo ngắt kết nối mạng thi 55 Hình 3.18 Thơng báo nhắc nhở thí sinh vi phạm .56 Hình 3.19 Lịch sử kết thi thí sinh .56 vi Hình 3.20 Thiết lập tập luật vi phạm 57 Hình 3.21 Danh sách thí sinh tham gia phòng thi 57 Hình 3.22 Màn hình danh sách vi phạm thí sinh .58 Hình 3.23 Thơng báo đóng thi thành cơng 58 Hình 3.24 Màn hình nhắc nhở thí sinh .59 vii DANH MỤC BẢNG BIỂU Bảng 3.1 Danh sách chức ứng dụng 37 viii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết Tắt Tiếng Anh Tiếng Việt RESTFull API RESTFull API Tiêu chuẩn dùng việc thiết kế API cho ứng dụng web (thiết kế Web services) Log Log Cách hoạt động ghi lại liên tục thông báo hoạt động hệ thống dịch vụ triển khai hệ thống file tương ứng Javascript Javascript Một ngôn ngữ lập trình cơng nghệ cốt lõi World Wide Web, với HTML CSS 49 Bắt đầu Thí sinh bắt đầu thi Thí sinh tab sang trang khác mở ứng dụng khác Kết thúc Nhận kết Server nhận kết xử lý Thu thập log {{Rest API}} Gửi thông tin log xuống server xử lý Hình 3.10 Luồng thu xử lý log rời khỏi trang thi - Thí sinh bắt đầu làm thi - Thí sinh chuyển tab mở sang ứng dụng khác: Sự kiện visibilitychange() kích hoạt để thu log - Gửi thông tin xuống server thông qua RESTful API[6] - Server xử lý trả kết * Luật theo dõi hoạt động trang thi: Luật sử dụng Javascript để kiểm tra thu log thí sinh khơng tương tác với thi khoảng thời gian định sau: Bằng cách đăng ký theo dõi kiện trang thi để đảm bảo thông báo trình duyệt phát khơng có tương tác thí sinh thi Để phát hành vi đề án nghiên cứu đề xuất sử dụng kiện mousemove keydown JavaScript Khi kiện xảy ra, đặt biến đếm thời gian kiểm tra tương tác khoảng thời gian tùy theo cấu hình cảu thi mà người quản trị cài đặt ví dụ phút 50 document.onlick document.mousemove Thí sinh Màn hình thi phút Gửi thơng báo qua socket Giám thị Màn hình giám sát Gửi cảnh báo 1- Nhận log 2- Xử lý log 3- Kiểm tra quản lý cấu hình vi phạm - Phân tích vi phạm đưa hướng xử lý Đưa định xử lý Xử lý vi phạm Kết thúc thi Lưu lại liệu vào database CSDL Tiếp tục theo dõi Hình 3.11 Mơ hình thu log không tương tác với thi 3.4.3.3 Phương pháp thu log tập luật kiểm tra ngắt kết nối thi Luật sử dụng Javascript kết hợp với WebSocket để kiểm tra thu log thí sinh tham gia thi ngắt kết nối thi sau: Sử dụng WebSocket để trì kết nối liên tục với máy chủ, xử lý kiện kết nối phương thức onOpen() ngắt kết nối phương thức onClose() WebSocket Khi xảy kiện kết nối ngắt kết nối, gửi yêu cầu đến máy chủ để ghi log trực tiếp đến máy chủ thông qua WebSocket để ghi log xử lý 51 Các kiện send() Thí sinh onOpen() onClose() Màn hình thi Gửi thơng báo qua socket Giám thị Màn hình giám sát Gửi Thơng báo vi phạm Sử lý kiện kết nối Xử lý kiện đóng kết nối Xử lý kiện nhận gửi tin Đưa định xử lý Xử lý vi phạm Kết thúc thi Lưu lại liệu vào database CSDL Tiếp tục theo dõi Hình 3.12 Mơ hình thu log xử lý vi phạm ngắt kết nối thi Để thu log bắt trường hợp kết nối ngắt kết nối thí sinh phịng thi thơng qua WebSocket [10], bạn thực bước sau: * Máy chủ WebSocket: - Tạo máy chủ WebSocket để lắng nghe xử lý kết nối từ client - Khi kết nối WebSocket thiết lập, gán danh sách kết nối vào phòng thi tương ứng - Lắng nghe kiện onOpen, onClose để phát có kết nối thiết lập đóng kết nối từ client - Khi có kiện onOpen, ghi log thơng báo kết nối thành cơng thí sinh phịng thi 52 - Khi có kiện onClose, ghi log thơng báo ngắt kết nối thí sinh phịng thi - Khi có kiện nhận thơng báo từ người giám thị đến thí sinh phịng thi * Client (Thí sinh): - Khi thí sinh mở trang thi, sử dụng JavaScript để thiết lập kết nối WebSocket tới máy chủ WebSocket - Trong kiện onOpen WebSocket, gửi thông tin đăng nhập liệu cần thiết khác để xác định thí sinh phòng thi - Trong kiện onClose WebSocket, ghi log thơng báo ngắt kết nối thí sinh * Client (Giám thị): - Khi giám thị mở trang theo dõi thi, sử dụng JavaScript để thiết lập kết nối WebSocket tới máy chủ WebSocket - Trong kiện onOpen WebSocket, gửi thông tin đăng nhập liệu cần thiết khác để xác định thí sinh phòng thi - Trong kiện onClose WebSocket, ghi log thơng báo ngắt kết nối thí sinh - Trong kiện onMessage để nhận thông báo danh sách thí sinh tham gia phịng thi, quản lý trạng thái thi thí sinh - Trong kiện send() để gửi thơng báo cảnh báo cho thí sinh vi phạm * Thu log: - Thiết kế chế log để ghi lại kiện kết nối ngắt kết nối từ thí sinh phịng thi - Log ghi vào sở liệu, tệp tin, hệ thống quản lý log khác Với luồng thu log này, thí sinh kết nối ngắt kết nối từ trang thi thông qua WebSocket, có ghi log tương ứng để theo dõi phân tích kiện 3.5 Thử nghiệm đánh giá 3.5.1 Yêu cầu thiết bị tham gia thi trực tuyến * Điều kiện tối thiểu học sinh/sinh viên cần chuẩn bị: - 01 máy vi tính laptop 53 - 01 điện thoại có camera cài Zoom Cloud Meetings - Thiết bị liên lạc với cán coi thi (điện thoại bàn, điện thoại di động) trường hợp thiết bị tham gia thi trực tuyến gặp cố như: kết nối Internet, kết nối không ổn định, camera hỏng, điện ý muốn * Yêu cầu thiết bị đảm bảo: - Camera micro hoạt động bình thường - Máy tính điện thoại có kết nối với Internet * Chuẩn bị trước vào thi: - Kiểm tra lại thiết bị thi hoạt động tốt trước thi 15 phút - Đăng nhập vào ứng dụng - Thẻ sinh viên; cước công dân; lái xe; hộ chiếu để cán coi thi kiểm tra chụp ảnh yêu cầu Trường hợp khơng có loại giấy tờ sinh viên/học viên phải gửi Email xin hoãn thi - Điều chỉnh Webcam để rõ khn mặt khơng gian phía sau sinh viên, học viên - Sử dụng thiết bị dự thi suốt thời gian thi - Bật loa máy tính để nghe yêu cầu từ cán coi thi Tắt micro ứng dụng Zoom để không gây nhiễu âm 3.5.2 Một số kịch thử nghiệm phân tích kết 3.5.2.1: Thử nghiệm chức với vài trị học sinh/ thí sinh Bước 1: Đăng nhập vào hệ thống lấy danh sách thi chưa kết thúc Hình 3.13 Danh sách thi diễn 54 Bước 2: Tham gia thi thử nghiệm bắt vi phạm theo quy tắc nghiên cứu * Thử nghiệm rời khỏi hình thi thi: Hình 3.14 Cảnh báo thí sinh rời khỏi trang thi - Khi thí sinh rời khỏi trang thi ghi nhận log cảnh báo kèm số lần vi phạm * Thử nghiệm không tương tác với thi thi: Hình 3.15 Cảnh báo khơng tương tác q phút - Trong q trình thi mà thí sinh khơng tương tác với thi khoảng phút xuất cảnh báo * Thử nghiệm vi phạm số lần cho phép: 55 Hình 3.16 Vi phạm số lần cho phép - Khi thí sinh tham gia thi vi phạm số lần cho phép bị đẩy khỏi hình thi thi khơng ghi nhận - Thí sinh khơng thể quay lại làm thi ghi nhận lỗi vào hệ thống * Thử nghiệm ngắt kết nối mạng tắt trang thi chưa nộp bài: Hình 3.17 Cảnh báo ngắt kết nối mạng thi - Khi thí sinh ngắt kết nối mạng tắt trang web thi xuất cảnh báo * Thử nghiệm bị giáo viên nhắc nhở vi phạm: 56 Hình 3.18 Thơng báo nhắc nhở thí sinh vi phạm - Khi thí sinh vi phạm giáo viên có thẻ nhắc nhở trực tiếp thơng qua WebSocket * Thử nghiệm lấy lịch sử kết thi thí sinh: Hình 3.19 Lịch sử kết thi thí sinh 3.5.2.2: Thử nghiệm chức với vài trò giáo viên Bước 1: Thực thiết lập cấu hình tập luật 57 Hình 3.20 Thiết lập tập luật vi phạm * Cấu hình tập luật bao gồm thông tin:  Mã quy tắc: Dùng để định danh cho quy tắc  Tên quy tắc: Tên hiển thị quy tắc  Số lần vi phạm nhắc nhở: Cấu hình số lượng vi phạm đến số lượng cấu hình thí sinh nhận cảnh báo tự động  Số lần vi phạm dừng thi: Cấu hình số lượng thí sinh vi phạm đến số lương cấu hình bị tự động dừng thi  Mức độ ưu tiên: Cấu hình bao gồm mức độ LOW, MEDIUM, HIGH Tùy vào mức độ để xác định số lần cảnh báo số lần vi phạm bị dừng thi  Trạng thái: Trạng thái áp dụng tập luật  Mô tả: Mô tả lại chức tập luật Bước 2: Lấy danh sách phòng thi kiểm tra số lượng thí sinh thi Hình 3.21 Danh sách thí sinh tham gia phịng thi 58 - Giám thị/ Giáo viên vào hình danh sách phòng thi diễn vào xem chi tiết - Trong xem chi tiết thí sinh tham gia hiển thị thí sinh bao gồm thơng tin: Tên thí sinh, Trạng thái kết nối, số lần vi phạm button xem chi tiết vi phạm Hình 3.22 Màn hình danh sách vi phạm thí sinh - Khi giám thị bấm vào nút xem chi tiết hiển thị danh sách vi phạm thí sinh giám thị xem xét để đóng thi thí sinh gửi thơng tin nhắc nhở Hình 3.23 Thơng báo đóng thi thành công 59 - Khi giám thị bấm nút Dừng thi thí sinh thì bị đóng trả thơng báo thành cơng Hình 3.24 Màn hình nhắc nhở thí sinh - Khi giám thị gửi thơng báo cho thí sinh, hệ thống sử dụng websocket để gửi thông báo đến cho thí sinh vi phạm thi 3.5.3 Đánh giá hệ thống Qua phần thử nghiệm, đề án nghiên cứu, phát triển áp dụng thành công tập luật cấu hình thực thiện chế thu log vi phạm thí sinh làm thi ứng dụng phát quản lý gian lận thi trực tuyến Đề án đưa đề xuất phương pháp chung để phát xử lý gian lận, tiêu biểu tập luật phân tích áp dụng vào ứng dụng Tuy nhiên, để áp dụng cho hệ thống chống gian lận thi trực tuyến lớn cần nghiên cứu bổ sung thêm tập luật 3.6 Kết luận Chương tiến hành phân tích nghiên cứu để xác định chức thiết kế hệ thống cần triển khai Các module đề xuất để phân tách phát triển hệ thống theo phần riêng biệt Nghiên cứu tạo số tập luật để áp dụng vào ứng dụng, giúp phát hành vi vi phạm dựa tập luật Một chế xử lý vi phạm đề xuất, từ thí sinh vi phạm thí sinh nhận kết xử lý 60 Dựa phân tích nghiên cứu trên, đề án áp dụng kết vào phát triển ứng dụng thực thử nghiệm đánh giá chức Đặc biệt, việc áp dụng tập luật cấu hình giúp đạt kết tốt việc phát xử lý hành vi vi phạm Các kết thử nghiệm đánh giá để đảm bảo tính hiệu đáng tin cậy hệ thống Từ phân tích nghiên cứu trên, đề án thành công việc áp dụng vào phát triển ứng dụng đưa thử nghiệm đánh giá kết chức chính, dựa việc cấu hình tập luật phù hợp Qua đó, đề án đưa mơ hình quản lý phát gian lận hiệu thi trực tuyến, đồng thời đảm bảo tính cơng độ tin cậy trình thi 61 KẾT LUẬN Trong phạm vi đề án, tiến hành nghiên cứu chi tiết phát triển ứng dụng quản lý phát hành vi gian lận thi trực tuyến Nghiên cứu thực với mục tiêu xác định phương pháp hiệu để phát xử lý hành vi gian lận, nhằm cải thiện trình quản lý phát gian lận thi trực tuyến, đồng thời tăng tính cơng độ tin cậy trình thi Kết nghiên cứu mang lại hỗ trợ quan trọng cho tổ chức giáo dục nhà trường, giúp đảm bảo chất lượng giáo dục tạo môi trường thi công công tâm Trong đề án, tập trung vào việc nghiên cứu phát triển phương pháp phát xử lý dựa tập luật cấu hình cho ứng dụng quản lý phát gian lận nhà trường Các đóng góp dự kiến đề án bao gồm: Tiến hành khảo sát số hệ thống thi trực tuyến có chức chống gian lận Qua việc nghiên cứu, tơi tìm hiểu công nghệ giải pháp áp dụng hệ thống này, từ đánh giá ưu điểm nhược điểm chúng Xây dựng triển khai thử nghiệm ứng dụng quản lý phát hành vi gian lận trình thi trực tuyến Tôi phát triển ứng dụng sử dụng phương pháp phát gian lận nghiên cứu, tiến hành thử nghiệm để đánh giá hiệu ứng dụng việc phát xử lý hành vi gian lận Trong trình nghiên cứu, phát nhiều hạn chế thách thức Để giải chúng, u cầu tơi có tảng tri thức rộng sâu hơn, với tìm hiểu áp dụng công nghệ tiên tiến lĩnh vực 62 TÀI LIỆU THAM KHẢO [1] A M Kupriyanov A M Temnikov, "Cheating detection methods in online exams," Proceedings of the 2018 IEEE International Conference on Advanced Trends in Information Theory (ATIT), pp 194-197, 2018 [2] Jurafsky, D., & Martin, J H (2020) Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition (3rd edition) Pearson Education [3] Feng-Kuang Chiang, Dan Zhu, Wenhao Yu,"A systematic review of academic dishonesty in online learning environments", 28 February 2022 [4] Alemira Switzerland AG, "5 ways to Cheat on Online Exams with Proctoring", Jun, 2022 [5] Yunfei Lai, “A Comparison of Traditional Machine Learning and Deep Learning in Image Recognition”, ICEMCE 2019 [6] Yelkar Anjali Rajendra Pawar Reena Vishwas Khopkar Diksha Anil Ratwadkar Pallavi Pravin, “ONLINE EXAM PROCTORING SYSTEM”, January 2022 [7] Measure learning, “What are the negative impacts of cheating on students in college?”, FEBRUARY 8, 2023 [8] Kinoti Patrick, Dr Sylvester O McOyowo and Dr Henry O Okoyo, "Addressing Impersonation Threats in Online Assessment Environment Using Temporal Information and System Interactions", Vol 3(6) pp 215-220, June, 2015 [9] J Redmon and A Farhadi, " Introduction to browser events ", September 21, 2022 [10] ArpitAsati, " What is WebSocket and how it is different from the HTTP?”, 2016 [11] Sam Newman, "Building Microservices: Designing Fine-Grained Systems", March 17, 2015 [12] "Architecting Modern Web Applications: Building Single-Page, Multi-Page, and Hybrid Web Apps" by Steve Otto and Michael Keeling, 2009 [13] Jakub Karczewski, “Machine Learning Models vs Rule Based Systems in fraud prevention”, 14 March 2020 63 BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc BÁO CÁO GIẢI TRÌNH SỬA CHỮA, HOÀN THIỆN ĐỀ ÁN TỐT NGHIỆP Họ tên học viên: Nguyễn Văn Huy Chuyên ngành: Hệ thống thông tin Khóa: 2021 - 2023 Tên đề tài: Nghiên cứu phát triển ứng dụng quản lý, phát hành vi gian lận thi trực tuyến Người hướng dẫn khoa học: PGS.TS Đỗ Xuân Chợ Ngày bảo vệ: 29/07/2023 Các nội dung học viên sửa chữa, bổ sung đề án tốt nghiệp theo ý kiến đóng góp Hội đồng chấm đề án tốt nghiệp: TT Ý kiến hội đồng Sửa chữa học viên Hiệu chỉnh lỗi soạn thảo, lỗi ngữ pháp Học viên rà soát, chỉnh sửa lỗi soạn thảo, lỗi ngữ pháp Trình bày phương pháp phát hành vi gian Học viên trình bày bổ sung chương lận trực tuyến Bổ sung thêm ứng dụng hệ thống phòng chống Học viên trình bày bổ sung chương gian lận thị trường Bổ sung ưu nhược điểm, so sánh phương Học viên bổ sung so sánh phương pháp phát gian lận tập luật pháp phát gian lận sử dụng tập luật phương pháp khác Bổ sung trích dẫn, tài liệu tham khảo phương pháp khác Học viên bổ sung chương Học viên bổ sung trích dẫn, tài liệu tham khảo Hà Nội, ngày tháng năm 2023 Ký xác nhận CHỦ TỊCH HỘI ĐỒNG CHẤM ĐỀ ÁN THƯ KÝ HỘI ĐỒNG NGƯỜI HƯỚNG DẪN KHOA HỌC HỌC VIÊN GS.TS Từ Minh Phương TS Phan Thị Hà PGS.TS Đỗ Xuân Chợ Nguyễn Văn Huy