Xử lý dữ liệu ảnh với mô hình yolo và ứng dụng vào bài toán điểm danh tự động

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN NGUYỄN THANH HIỆP XỬ LÝ DỮ LIỆU ẢNH VỚI MÔ HÌNH YOLO VÀ ỨNG DỤNG VÀO BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG LUẬN VĂN THẠC SĨ KHOA HỌC DỮ LIỆU ỨNG DỤNG Bình Định – Năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN NGUYỄN THANH HIỆP XỬ LÝ DỮ LIỆU ẢNH VỚI MÔ HÌNH YOLO VÀ ỨNG DỤNG VÀO BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG Ngành : Khoa học dữ liệu ứng dụng Mã số : 8904648 Ngƣời hƣớng dẫn: TS LÊ XUÂN VINH LỜI CAM ĐOAN Em Nguyễn Thanh Hiệp cam đoan rằng luận văn thạc sĩ có tiêu đề "Xử lí dữ liệu ảnh với mô hình YOLO và ứng dụng vào bài toán điểm danh tự động" là kết quả và là công trình nghiên cứu của bản thân em dưới sự hướng dẫn của thầy TS Lê Xuân Vinh Em xin cam đoan rằng tất cả các kết quả nghiên cứu và phân tích trong luận văn này là chân thực và chưa từng được công bố trước đó Các nội dung trích dẫn từ tư liệu, dữ liệu, thông tin và từ các bài nghiên cứu của các tác giả khác mà em đã trình bày trong luận văn này đã được ghi rõ nguồn trong phần tài liệu tham khảo Bình Định, ngày tháng 10 năm 2023 Người thực hiện Nguyễn Thanh Hiệp LỜI CẢM ƠN Lời đầu tiên em xin gửi lời cảm ơn và lòng biết ơn sâu sắc đến thầy TS Lê Xuân Vinh đã tận tình hướng dẫn, chỉ bảo cho em trong suốt quá trình viết báo cáo luận văn thạc sĩ Em xin chân thành cảm ơn quý thầy, cô trong Khoa Công Nghệ Thông Tin, Khoa Toán và Thống kê, Phòng Đào Tạo Đại Học, Phòng Đào tạo sau Đại học, Trường Đại Học Quy Nhơn đã tận tình giảng dạy, truyền đạt kiến thức, hướng dẫn nghiên cứu khoa học và giúp đỡ cho em trong suốt những năm tháng em học tập tại trường từ năm nhất đại học cho đến ngưỡng cửa thời khắc này Em xin chân thành cảm ơn các anh, chị, em và các bạn học viên Khoa học dữ liệu ứng dụng, những người đã hỗ trợ, giúp đỡ, động viên tinh thần và chia sẻ kinh nghiệm quý báu giúp em vượt qua những khó khăn, vướng mắc để có thể hoàn thành bài luận văn này Em biết rằng sự học là hơn cả một đời người và lượng kiến thức thì rất là nhiều và dài vô tận, nên những lượng kiến thức em đã học được ở đây từ trường, lớp, cơ sở, môi trường đào tạo vẫn chưa bao giờ là đủ đối với bản thân em Mặc dù em đã rất cố gắng trong quá trình viết luận văn cũng như báo cáo, nhưng em tin chắc rằng không thể tránh khỏi những thiếu sót, sai sót Vì vậy em rất mong nhận được những ý kiến đánh giá, phê bình và đóng góp của quý thầy, cô, anh, chị và các bạn Cuối cùng một lần nữa em kính chúc quý thầy, cô giáo dồi dào sức khỏe và thành công trong sự nghiệp trồng người./ Bình Định, ngày tháng 10 năm 2023 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC LỜI MỞ ĐẦU 1 1 Lý do chọn đề tài 1 2 Mục tiêu nghiên cứu 3 3 Đối tượng và phạm vi nghiên cứu 4 4 Nội dung nghiên cứu 4 5 Phương pháp nghiên cứu 4 CHƢƠNG I: KIẾN THỨC CƠ SỞ LIÊN QUAN 5 1.1 Học máy, học máy bằng mạng ANN 5 1.1.1 Học máy 5 1.1.2 Học máy bằng mạng ANN 8 1.2 Học sâu, mạng CNN 11 1.2.1 Học sâu 11 1.2.2 Mạng CNN 13 1.3 Bài toán nhận dạng đối tượng 18 1.3.1 Một số khái niệm liên quan 18 1.3.2 Nhận dạng khuôn mặt 19 1.3.3 Cách thức hoạt động 20 1.3.4 Mô tả bài toán 21 1.3.5 Kết luận chương I 23 CHƢƠNG II: MÔ HÌNH YOLO 24 2.1 Cấu trúc mô hình YOLO 24 2.1.1 Input Layer 24 2.1.2 Backbone Network 25 2.1.3 Detection Head trong mô hình YOLO 27 2.1.4 Bounding Box Regression trong mô hình YOLO 28 2.1.5 Non-Maximum Suppression (NMS) trong mô hình YOLO 29 2.1.6 Output (Đầu ra) trong mô hình YOLO 31 2.2 Dữ liệu 33 2.3 Thuật toán YOLO 34 2.4 Hàm Loss 35 2.5 Huấn luyện 36 2.6 Kết luận chương II 38 CHƢƠNG III: ỨNG DỤNG CỦA MÔ HÌNH MẠNG YOLO TRONG VIỆC NHẬN DIỆN KHUÔN MẶT 39 3.1 Phát biểu bài toán điểm danh tự động 39 3.2 Dữ liệu huấn luyện 41 3.2.1 Thu thập dữ liệu 41 3.2.2 Xử lý dữ liệu và gán nhãn 43 3.3 Thành phần của mô hình 45 3.3.1 Tìm hiểu về YOLO v5 45 3.3.2 Tổ chức thư mục 46 3.3.3 Chọn mô hình 47 3.3.4 Xây dựng mô hình YOLOv5 trên môi trường Colab 47 3.4 Huấn luyện mô hình 48 3.4.1 Huấn luyện mô hình 48 3.4.2 Phân tích dữ liệu đầu vào 49 3.4.3 Huấn luyện mô hình 50 3.4.5 Đánh giá mô hình điểm danh học sinh 56 3.5 Sử dụng mô hình để diểm danh 60 3.5.1 Mô hình nhận dạng dựa trên biến val 60 3.5.2 Áp dụng vào thực tế 63 3.5.3 Kết luận chương III 65 KẾT LUẬN 66 DANH MỤC TÀI LIỆU THAM KHẢO 67 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ ( BẢN SAO) 1 LỜI MỞ ĐẦU 1 Lý do chọn đề tài Trong thời đại số hóa mạnh mẽ như hiện nay, dữ liệu ảnh đã trở thành một nguồn thông tin vô cùng quý báu và phổ biến Chúng ta sử dụng ảnh hàng ngày để lưu giữ những kỷ niệm quý giá, chia sẻ trải nghiệm của mình, và truyền tải thông điệp Tuy nhiên, giữa bộn bề thông tin này, ẩn chứa những tri thức và giá trị có thể đánh thức tiềm năng to lớn nếu biết cách khai thác và xử lý dữ liệu ảnh một cách hiệu quả Trong cuộc cách mạng này, mô hình Deep Learning đã nổi lên như một công cụ mạnh mẽ cho việc xử lý dữ liệu ảnh Deep Learning đại diện cho một loạt các thuật toán và kiến trúc mạng nơ-ron sâu, cho phép máy tính tự động học hỏi từ dữ liệu và hiểu được ngữ cảnh của hình ảnh Điều này đã mở ra cánh cửa cho nhiều ứng dụng mới mẻ và quan trọng, và một trong những ứng dụng hàng đầu của Deep Learning trong lĩnh vực này là nhận dạng khuôn mặt Deep Learning đã chứng minh sức mạnh của nó trong xử lý dữ liệu ảnh bằng việc giải quyết các bài toán phức tạp mà trước đây được coi là khó khăn hoặc thậm chí là không thể Mô hình Deep Learning, đặc biệt là mạng nơ-ron sâu (Deep Neural Networks), đã làm cho việc nhận dạng, phân loại, và xử lý ảnh trở nên hiệu quả hơn và chính xác hơn Khả năng học từ dữ liệu: Một trong những ưu điểm lớn của Deep Learning là khả năng học từ dữ liệu Thay vì phụ thuộc vào việc lập trình cụ thể, Deep Learning cho phép mô hình học cách hiểu và trích xuất thông tin từ dữ liệu ảnh Điều này tự nhiên dẫn đến việc cải thiện đáng kể khả năng nhận dạng khuôn mặt và xử lý ảnh Kiến trúc mạng nơ-ron sâu: Deep Learning sử dụng mạng nơ-ron sâu với nhiều tầng ẩn, cho phép mô hình biểu diễn thông tin ảnh dưới nhiều khía 2 cạnh khác nhau Điều này giúp mô hình hiểu được sự phức tạp trong dữ liệu ảnh và tạo ra các biểu đồ biểu diễn rất mạnh mẽ Học chuyển giao: Deep Learning cũng đã đưa ra khái niệm về học chuyển giao, cho phép mô hình được đào tạo trước trên một tập dữ liệu lớn và sau đó được sử dụng trong các bài toán cụ thể khác Điều này làm giảm đáng kể thời gian và nguồn lực đào tạo mô hình Nhận dạng khuôn mặt là một trong những ứng dụng tiêu biểu của Deep Learning trong xử lý dữ liệu ảnh Từ việc mở khóa điện thoại thông minh bằng khuôn mặt, đến giám sát an ninh, quản lý thời gian làm việc, và thậm chí trong lĩnh vực y tế để xác định bệnh lý, nhận dạng khuôn mặt đã đi vào đời sống hàng ngày của chúng ta Ứng Dụng Trong An Ninh: Nhận dạng khuôn mặt đã giúp cải thiện tính bảo mật trong nhiều tình huống, từ kiểm soát truy cập vào các khu vực nhạy cảm đến theo dõi tội phạm và mất cắp Hệ thống này có khả năng nhận dạng người nhanh chóng và hiệu quả Quản Lý Thời Gian Làm Việc: Trong môi trường công nghiệp, nhận dạng khuôn mặt đã giúp tự động hóa việc ghi nhận thời gian làm việc và quản lý nhân sự một cách hiệu quả hơn Điều này giúp tăng năng suất và giảm sai sót Ứng Dụng Y Tế: Trong lĩnh vực y tế, nhận dạng khuôn mặt có thể được sử dụng để xác định và theo dõi tiến triển của bệnh lý, đặc biệt là trong việc theo dõi các vấn đề về sức khỏe của bệnh nhân Mặc dù có những thành tựu đáng kể, việc xử lý dữ liệu ảnh và nhận dạng khuôn mặt bằng Deep Learning vẫn đối mặt với nhiều thách thức Các vấn đề về bảo mật, quyền riêng tư, và đạo đức nổi lên khi chúng ta sử dụng công nghệ này một cách rộng rãi Sự hiểu biết và ứng dụng có trách nhiệm 3 của Deep Learning trong các lĩnh vực như công nghiệp, chính trị và y tế cũng đặt ra nhiều câu hỏi quan trọng Hướng phát triển của đề tài này sẽ không chỉ tập trung vào cách xử lý dữ liệu ảnh và nhận dạng khuôn mặt một cách hiệu quả hơn mà còn đề cập đến các khía cạnh đạo đức và xã hội của việc sử dụng Deep Learning trong lĩnh vực này Chúng ta cũng sẽ nghiên cứu các tiềm năng ứng dụng mới, từ trợ lý ảo đến xe tự hành và nhiều ứng dụng khác Trong bối cảnh này, đề tài "Xử lí dữ liệu ảnh với mô hình YOLO và ứng dụng vào bài toán điểm danh tự động" sẽ đóng góp vào sự hiểu biết và khám phá vô tận về cách mà Deep Learning có thể thay đổi cách chúng ta xử lý và sử dụng dữ liệu ảnh Hy vọng rằng thông qua việc nghiên cứu này, chúng ta sẽ có cái nhìn sâu sắc hơn về tiềm năng và các vấn đề cần xem xét khi áp dụng Deep Learning trong xử lý dữ liệu ảnh và nhận dạng khuôn mặt 2 Mục tiêu nghiên cứu Mục tiêu nghiên cứu của luận văn "Xử lí dữ liệu ảnh với mô hình YOLO và ứng dụng vào bài toán điểm danh tự động" là: Nghiên cứu và hiểu rõ về cơ sở lý thuyết của Deep Learning: Đề tài sẽ mục tiêu nghiên cứu các kiến thức cơ bản và nâng cao về Deep Learning, bao gồm các kiến thức về mạng nơ-ron sâu (Deep Neural Networks), thuật toán học máy, và các kiến thức liên quan đến xử lý dữ liệu ảnh Phát triển mô hình Deep Learning cho nhận dạng khuôn mặt: Chúng ta sẽ xây dựng và tối ưu hóa một mô hình Deep Learning đáng tin cậy để nhận dạng khuôn mặt từ dữ liệu ảnh Điều này bao gồm việc chọn lựa kiến trúc mạng, đào tạo mô hình trên tập dữ liệu lớn, và kiểm định mô hình để đảm bảo tính chính xác và ổn định