Hệ thống giám sát tự động hoạt động của học sinh tham gia tiết tự học tại trường để đánh giá xếp loại hạnh kiểm

Hệ thống giám sát tự động hoạt động của học sinh tham gia tiết tự học tại trường để đánh giá xếp loại hạnh kiểm Hệ thống giám sát tự động hoạt động của học sinh tham gia tiết tự học tại trường để đánh giá xếp loại hạnh kiểm Hệ thống giám sát tự động hoạt động của học sinh tham gia tiết tự học tại trường để đánh giá xếp loại hạnh kiểm

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG TRƯƠNG PHÁP HỆ THỐNG GIÁM SÁT TỰ ĐỘNG HOẠT ĐỘNG CỦA HỌC SINH THAM GIA TIẾT TỰ HỌC TẠI TRƯỜNG ĐỂ ĐÁNH GIÁ XẾP LOẠI HẠNH KIỂM LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Đồng Nai, Năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG - - TRƯƠNG PHÁP HỆ THỐNG GIÁM SÁT TỰ ĐỘNG HOẠT ĐỘNG CỦA HỌC SINH THAM GIA TIẾT TỰ HỌC TẠI TRƯỜNG ĐỂ ĐÁNH GIÁ XẾP LOẠI HẠNH KIỂM Chuyên ngành: Công nghệ thông tin Mã số chuyên ngành: 8480201 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS TRẦN BÌNH LONG Đồng Nai, Năm 2023 i LỜI CAM ĐOAN Tôi xin cam đoan nội dung trình bày luận văn cơng trình nghiên cứu tơi, hướng dẫn TS Trần Bình Long, trường Đại học Lạc Hồng Trong luận văn này, kiến thức từ công trình có liên quan kế thừa lại, có trích dẫn đầy đủ Mã nguồn cài đặt hệ thống, thực nghiệm, kết quả, số liệu hình ảnh sử dụng luận văn trung thực Người thực Trương Pháp ii LỜI CẢM ƠN Trong trình thực Luận văn tốt nghiệp cao học, tơi xin chân thành gửi lời cảm ơn sâu sắc đến:  Thầy TS Trần Bình Long tận tình hướng dẫn, định hướng dành thời gian quý báu để góp ý cho tơi hồn thành luận văn  Ban giám hiệu, Khoa sau đại học trường Đại học Lạc Hồng, thầy cô Khoa Công nghệ Thông tin giảng dạy, truyền đạt kiến thức kinh nghiệm quý báu, bảo tạo điều kiện cho hoàn thành luận văn Xin chân thành cảm ơn Trương Pháp iii TRƯỜNG ĐẠI HỌC LẠC HỒNG KHOA SAU ĐẠI HỌC ¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯ TÓM TẮT LUẬN VĂN (Dùng cho luận văn người hướng dẫn) Đề tài: Hệ thống giám sát tự động hoạt động học sinh tham gia tiết tự học trường để đánh giá xếp loại hạnh kiểm Ngành: Công nghệ thông tin Mã số: 921000115 Học viên: Trương Pháp Người hướng dẫn: TS Trần Bình Long NỘI DUNG TÓM TẮT Nội dung giao kết mong đợi người hướng dẫn - Nghiên cứu trí tuệ nhân tạo (AI - Artificial Intelligence), máy học (Machine Learning) phương pháp sử dụng học máy, học sâu (Deep Learning) mà cụ thể thuật toán mạng nơron nhân tạo CNN (Convolutional Neural Network) mơ hình Yolo v8 - Thu thập thơng tin, liệu, nghiên cứu liên quan - Tiền xử lý ảnh Phân tích liệu - Lựa chọn mơ hình, giải thuật đề xuất công nghệ sử dụng - Xây dựng hệ thống - Thử nghiệm đánh giá kết - Hoàn thiện hệ thống, viết báo cáo luận văn Cách thức giải vấn đề Để hỗ trợ giáo viên việc nhận xét đánh giá hạnh kiểm học sinh tham gia tiết tự học trường Cần phần mềm xử lý nhận dạng khuôn mặt hoạt động học sinh, để từ có đánh giá mặt hạnh kiểm học sinh tiết tự học Giải pháp đưa để giải vấn đề xây dựng “Hệ thống giám sát tự động iv hoạt động học sinh tham gia tiết tự học trường để đánh giá xếp loại hạnh kiểm” thực theo bước sau: - Bước 1: Tạo liệu bao gồm hình ảnh học sinh hình ảnh hoạt động học sinh lớp - Bước 2: Chuẩn hóa liệu hình ảnh - Bước 3: Sử dụng Yolo v8 để huấn luyện nhận diện khuôn mặt hành động - Bước 4: Viết chương trình Kết hợp bước triển khai xây dựng thành phần mềm hệ thống giám sát tự động hoạt động học sinh tham gia tiết tự học trường để đánh giá xếp loại hạnh kiểm Tạo mô hình huấn luyện huấn luyện liệu mạng CNN viết ngôn ngữ Python, sử dụng thư viện OpenCV, face recognition, Yolo v8 thư viện học máy Đồng Nai, Ngày … tháng … năm 2023 HỌC VIÊN Trương Pháp v MỤC LỤC LỜI CAM ĐOAN I LỜI CẢM ƠN II MỤC LỤC V DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT VII DANH MỤC CÁC HÌNH VẼ ĐỒ THỊ VIII DANH MỤC CÁC BẢNG X CHƯƠNG GIỚI THIỆU ĐỀ TÀI 1.1 Lý chọn đề tài 1.2 Mục tiêu luận văn .2 1.3 Phạm vi đối tượng nghiên cứu .2 1.4 Nội dung thực 1.5 Phương pháp thực .3 1.6 Đóng góp luận văn .3 1.7 Cấu trúc luận văn CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Trí tuệ nhân tạo (Artificial intelligence - AI) 2.2 Học máy (Machine Learning - ML) 2.3 Thuật toán mạng nơron nhân tạo (Artificial Neural Network Algorithm) .7 2.3.1 Cơ chế hoạt động mạng nơron nhân tạo: 2.4 Học sâu (Deep Learning - DL) 2.5 Mạng thần kinh tích chập (Convolutional Neural Network - CNN) 10 2.5.1 Lớp tích chập [4] .11 2.5.2 Lớp gộp chung (Pooling Layer) [4] 14 2.5.3 Lớp kết nối đầy đủ (Fully Connected Layer) 16 2.5.4 Các tham số lọc 16 2.5.5 Điều chỉnh siêu tham số 17 2.6 Các công cụ dùng luận văn 19 2.6.1 Nhận dạng khuôn mặt (Face Recognition) [9] 19 2.6.2 Nhận dạng hành động (Action Recognition) 21 2.6.3 Yolo (You Only Look Once) [10] 22 vi 2.6.4 Adobe Photoshop .33 2.6.5 Makesence.ai 34 CHƯƠNG XÂY DỰNG DATASET VÀ THIẾT KẾ CHƯƠNG TRÌNH 37 3.1 Mơ tả toán 37 3.2 Hình ảnh đầu vào 37 3.2.1 Xây dựng liệu 37 3.3 Tiền xử lý ảnh 39 3.4 Xây dựng mơ hình học sâu (Yolo v8) 42 3.5 So khớp nhận dạng 43 3.6 Đánh giá mơ hình 44 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 47 4.1 Cài đăt môi trường 47 4.1.1 Ngơn ngữ lập trình Python 47 4.1.2 Thiết kế giao diện 49 4.1.3 Huấn luyện mơ hình google colab 49 4.2 Thực nghiệm 51 4.3 Đánh giá mơ hình 53 CHƯƠNG KẾT LUẬN .57 5.1 Kết luận 57 5.2 Hướng phát triển đề tài 57 TÀI LIỆU THAM KHẢO 59 vii DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT STT Ký hiệu viết tắt Nội dung viết tắt AI Artificial Intelligence ML Machine Learning DL Deep Learning CNN Convolutional Neural Network RNN Recurrent Neural Networks NN Neural networks ANN Artificial neural network GPU Graphics Processing Unit OpenCV Open Source Computer Vision 10 Yolo You Only Look Once 11 GAN Generative Adversarial Network 12 LSTM Long Sort Term Memory 13 IOU Intersection Over Union 14 SNN Simulated neural networks 15 GUI Graphical User Interface viii DANH MỤC CÁC HÌNH VẼ ĐỒ THỊ Hình 2.1 Mối quan hệ AI, ML DL .5 Hình 2.2 Phân loại học máy Hình 2.3 Cấu trúc mạng nơron nhân tạo Hình 2.4 Minh họa chế hoạt động mạng nơron nhân tạo .8 Hình 2.5 Deep Learning Hình 2.6 Mạng nơron tích chập CNN .11 Hình 2.7 Mơ phép tích chập 12 Hình 2.8 Kết phép nhân tích chập 12 Hình 2.9 Hình ảnh tích chập lọc khác 13 Hình 2.10 Đồ thị hàm Relu 14 Hình 2.11 Minh họa sau dùng phép gộp chung .15 Hình 2.12 Lớp kết nối đầy đủ Fully Connected Layer 16 Hình 2.13 Minh họa chiều lọc .17 Hình 2.14 Độ trượt 17 Hình 2.15 Kích thước future map .17 Hình 2.16 Nhận dạng khuôn mặt Face Recognition .19 Hình 2.17 Hệ thống nhận dạng khn mặt 20 Hình 2.18 Hệ thống nhận dạng hành động 21 Hình 2.19 Mơ hình nhận dạng hành động .22 Hình 2.20 Mơ hình mạng Yolo 23 Hình 2.21 Cách Yolo v1 hoạt động 24 Hình 2.22 Yolo v3 25 Hình 2.23 Kiến trúc mạng Yolo v4 26 Hình 2.24 So sánh Yolo v4 phiên trước 26 Hình 2.25 Kiến trúc mạng Yolo v5 27 Hình 2.26 Kiến trúc mạng Yolo v6 28 Hình 2.27 So sánh Yolo v6 với phiên 28 Hình 2.28 Yolo v7 29 Hình 2.29 So sánh Yolo v7 với phiên trước 30 Hình 2.30 So sánh hiệu suất Yolo v7 30