Ứng dụng mô hình yolo xây dựng hệ thống giám sát thí sinh trong phòng thi

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN TRẦN VĂN MẠNH ỨNG DỤNG MÔ HÌNH YOLO XÂY DỰNG HỆ THỐNG GIÁM SÁT THÍ SINH TRONG PHÒNG THI Ngành: Khoa học dữ liệu ứng dụng Mã số: 8.90.46.48 Ngƣời hƣớng dẫn: TS LÊ XUÂN VINH LỜI CAM ĐOAN Tôi Trần Văn Mạnh cam đoan rằng Đề án thạc sĩ "Ứng dụng mô hình YOLO xây dựng hệ thống giám sát thí sinh trong phòng thi" là kết quả nghiên cứu của bản thân tôi dƣới sự hƣớng dẫn của TS Lê Xuân Vinh Tôi xin cam đoan rằng tất cả các kết quả nghiên cứu trong đề án này là trung thực và chƣa từng đƣợc công bố trƣớc đó; Các tƣ liệu, dữ liệu và thông tin từ nguồn bên ngoài đƣợc trích dẫn và tham khảo rõ ràng trong Đề án; Tôi không sao chép, vay mƣợn hoặc lạm dụng các ý tƣởng, nội dung hoặc công trình của ngƣời khác mà không đƣợc phép; Tôi chịu trách nhiệm hoàn toàn về những sai sót hay thiếu sót có thể xuất hiện trong đề án Tôi hiểu rõ về tầm quan trọng của việc tuân thủ đạo đức nghiên cứu và những hậu quả có thể xảy ra nếu phát hiện có gian lận hay vi phạm quy tắc trong quá trình thực hiện đề án Bình Định, ngày 21 tháng 11 năm 2023 Người thực hiện Trần Văn Mạnh LỜI CẢM ƠN Để hoàn thành Đề án thạc sĩ này, em xin tỏ lòng biết ơn sâu sắc đến thầy TS Lê Xuân Vinh đã tận tình hƣớng dẫn trong suốt quá trình viết báo cáo đề án thạc sĩ Em chân thành cảm ơn quý Thầy, Cô trong Khoa Công Nghệ Thông Tin, Khoa Toán và Thống kê, Phòng Đào tạo Sau Đại học, Trƣờng Đại học Quy Nhơn đã tận tình truyền đạt kiến thức trong những năm em học tập Với vốn kiến thức đƣợc tiếp thu trong quá trình học không chỉ là nền tảng cho quá trình nghiên cứu khoa học mà còn là hành trang quý báu để em bƣớc vào đời một cách vững chắc và tự tin Em chân thành cảm Trung tâm trí tuệ nhân tạo - FPT Software đã cho phép và tạo điều kiện thuận lợi để em thực tập tại công ty Cuối cùng em kính chúc quý thầy, cô dồi dào sức khỏe và thành công trong sự nghiệp cao quý Bình Định, ngày 21 tháng 11 năm 2023 Trần Văn Mạnh MỤC LỤC MỞ ĐẦU 1 1 Lý do chọn đề tài 1 2 Tổng quan tình hình nghiên cứu đề tài 2 3 Mục tiêu nghiên cứu 2 4 Đối tƣợng và phạm vi nghiên cứu 3 4.1 Đối tượng nghiên cứu 3 4.2 Phạm vi nghiên cứu 3 5 Nội dung nghiên cứu 3 6 Phƣơng pháp nghiên cứu 3 CHƢƠNG 1 KIẾN THỨC CƠ SỞ CỦA HỌC MÁY VÀ HỌC SÂU 4 1.1 Giới thiệu 4 1.1.1 Khái niệm 4 1.1.2 Ứng dụng của học máy 4 1.1.3 Phân loại các phương pháp học máy 5 1.1.4 Các bước tiến hành trong bài toán học máy 7 1.2 Mạng Nơ-ron (Neural Network) 8 1.2.1 Mô hình nơ-ron nhân tạo 8 1.2.2 Mô hình mạng nơ-ron nhân tạo 10 1.2.3 Quy tắc delta 11 1.2.3.1 Quy tắc đào tạo delta 11 1.2.3.2 Hàm kích hoạt 13 1.2.4 Thuật toán lan truyền ngược 14 1.3 Học sâu (Deep Learning) 18 1.3.1 Giới thiệu về học sâu (Deep Learning) 18 1.3.2.Cấu trúc mạng CNN 19 1.3.2.1 Lớp tích chập (Convolutional Layer) 20 1.3.2.2 Bước nhảy (Stride) 23 1.3.2.3 Đường viền (Padding) 23 1.3.2.4 Lớp hiệu chỉnh (Hàm phi tuyến- ReLU) 24 1.3.2.5 Lớp gộp (Pooling Layer) 25 1.3.2.6 Lớp kết nối đầy đủ (Fully Connected- FC) 27 1.3.2.7 Lớp đầu ra (Output Layer) 28 1.3.3 Các kỹ thuật cơ bản trong Học sâu (Deep Learning) 29 1.4 Kết luận chƣơng 1 30 CHƢƠNG 2 MÔ HÌNH MẠNG YOLO VÀ THUẬT TOÁN SORT (SIMPLE ONLINE REALTIME OBJECT TRACKING) 31 2.1 Giới thiệu chung về YOLO 31 2.2 Kiến trúc của YOLO 32 2.2.1 Kiến trúc YOLO 32 2.2.1.1 Kiến trúc mạng YOLO 32 2.2.1.2 Cách YOLO hoạt động 34 2.2.1.3 Hàm đánh giá độ chính xác (Intersection Over Union-IOU) 35 2.2.1.4 Hàm lỗi (Loss Function) 36 2.2.2 Kiến trúc YOLO v7 39 2.2.2.1 Mạng tổng hợp lớp hiệu quả mở rộng (E-ELAN) 40 2.2.2.2 Nhân rộng mô hình (Model scaling) hợp chất YOLO v7 41 2.2.3 Các phương pháp BoF (Bag-of-freebies) trong YOLO v7 43 2.2.3.1 Tích chập tái tham số hóa theo kế hoạch 43 2.2.3.2 Thô cho phụ trợ và tốt cho mất mát 46 2.2.3.3 Kiến thức tiềm ẩn (Implicit Knowledge) 48 2.3 Thuật toán SORT (Simple Online Realtime Object Tracking) 48 2.3.1 Giải thuật Hungary 51 2.3.2 Bộ lọc Kalman (Kalman Filter) 54 2.4 Kết luận chƣơng 2 58 CHƢƠNG 3 ỨNG DỤNG YOLO XÂY DỰNG MÔ HÌNH HỖ TRỢ GIÁM SÁT THÍ SINH TRONG PHÒNG THI 59 3.1 Giới thiệu và phân tích bài toán 59 3.2 Xây dựng chƣơng trình thử nghiệm 60 3.3 Kiểm tra và đánh giá kết quả 61 3.3.1 Huấn luyện mô hình 61 3.3.1.1 Tiền xử lý ảnh (dữ liệu huấn luyện) 61 3.3.1.2 Nhận diện đối tượng 63 3.3.1.3 Để tính khoảng cách 67 3.3.1.4 Kiểm tra khoảng cách 71 3.3.1.5 Hiển thị kết quả 74 3.3.2 Đánh giá mô hình 77 3.4 Kết luận chƣơng 3 78 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 79 TÀI LIỆU THAM KHẢO 81 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Chữ viết tắt Nguyên mẫu Diễn giải AI Artificial Intelligence Trí tuệ nhân tạo DL Deep Learning Học sâu ML Machine Learning Học máy YOLO You Only Look Once Bạn Chỉ Nhìn Một Lần IoT Internet of Things Internet vạn vật SSD mAP Solid State Drive Là ổ đĩa bán dẫn, ở thể FPS đặc, dạng rắn BoF Mean Average Precision trung bình cộng giá trị AP của các class khác nhau Frames per second là thông số đo lƣờng số lƣợng hình ảnh mà bộ xử lý đồ họa (GPU) có thể kết xuất và hiển thị trên màn hình của bạn trong mỗi giây Bag of Features Túi đặc trƣng SORT SIMPLE ONLINE Theo dõi đối tƣợng trực CNN REALTIME OBJECT tuyến thời gian thực VGG TRACKING đơn giản Convolutional Neural Mạng học sâu tích chập Network Visual Geometry Group Nhóm hình học thị giác DANH MỤC CÁC BẢNG Bảng 1.1 Các phƣơng pháp padding 24 Bảng 1.2 Một số biến thể của hàm ReLU 25 Bảng 1.3 Các dạng pooling 26 Bảng 2.1 Các layer trong mạng darknet-53 33 Bảng 2.2 Các Layer của mạng YOLO 39 DANH MỤC CÁC HÌNH Hình 1.1 Mô hình nơ- ron sinh học 8 Hình 1.2 Mô hình nơ- ron trong toán học 8 Hình 1.3 Kiến trúc mạng Nơ-ron nhân tạo (Neural network) 10 Hình 1.4 Đơn vị xử lý 11 Hình 1.5 Đồ thị hàm Sigmoid 14 Hình 1.6 Đồ thị hàm ReLU 14 Hình 1.7 Mạng nơ-ron 15 Hình 1.8 Cấu trúc cơ bản của mạng CNN (Lecun, 1998) 19 Hình 1.9 Minh họa việc áp dụng phép toán Conv 21 Hình 1.10 Minh họa việc áp dụng phép toán Conv 21 Hình 1.11 Minh họa việc áp dụng phép toán Conv 22 Hình 1.12 Minh họa sự kết hợp của hình ảnh với các bộ lọc khác nhau 22 Hình 1.13 Lớp tích chập hoạt động với stride là 2 23 Hình 1.14 Minh họa thêm các số 0 vào vùng này 23 Hình 1.15 Minh họa lớp ReLU 25 Hình 1.16 Minh họa lớp pooling phổ biến 26 Hình 1.17 Minh họa lớp pooling 26 Hình 1.18 Minh họa lớp pooling với kích thƣớc ảnh 224 x 224 27 Hình 1.19 Bố trí các biến đổi hình thành nên cấu trúc mạng CNN 27 Hình 2.1 Sơ đồ kiến trúc mạng YOLO 32 Hình 2.2 Minh hoạt việc chia ô của các đối tƣợng trong ảnh 34 Hình 2.3 Minh họa giá trị hàm Localization 37 Hình 2.4 So sánh các mô hình 40 Hình 2.5: Cách thức hoạt động của YOLO v7 41 Hình 2.6 Mô hình thử nghiệm tái tham số hóa 43 Hình 2.7 Model thông thƣờng (trái) và model có Aux Head (phải) 44