Bước vào năm 2022, công nghệ nhận diện khuôn mặt đang phát triển ở tốc độ chóng mặt và việc sử dụng công nghệ này ngày càng trở nên phổ biến hơn. Không chỉ là trong những lĩnh vực phổ biến như bán lẻ, văn phòng, an toàn xe buýt, các hãng hàng không mà còn hiện diện trong ngành y tế
VŨ THÀNH CHUNG TRƯỜNG ĐẠI HỌC DUY TÂN KHOA ĐIỆN - ĐIỆN TỬ * THIẾT KẾ HỆ THỐNG KIỂM SOÁT LƯU LƯỢNG NGƯỜI RA VÀO VÀ KHÔNG MANG KHẨU TRANG VŨ THÀNH CHUNG THIẾT KẾ HỆ THỐNG KIỂM SOÁT LƯU LƯỢNG NGƯỜI RA VÀO VÀ KHƠNG MANG KHẨU TRANG KHĨA LUẬN TỐT NGHIỆP ĐIỆN-ĐIỆN TỬ * NĂM 2022 Đà Nẵng, 2022 TRƯỜNG ĐẠI HỌC DUY TÂN KHOA ĐIỆN - ĐIỆN TỬ KHÓA LUẬN TỐT NGHIỆP THIẾT KẾ HỆ THỐNG KIỂM SỐT LƯU LƯỢNG NGƯỜI RA VÀO VÀ KHƠNG MANG KHẨU TRANG CHUYÊN NGÀNH: HỆ THỐNG NHÚNG GVHD: ThS VÕ HOÀNG ANH SVTH: VŨ THÀNH CHUNG LỚP: K24EHN MSSV: 24211709040 Đà Nẵng, 2022 KHÓA LUẬN TỐT NGHIỆP NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Vũ Thành Chung Ngành: Hệ Thống Nhúng Giảng viên hướng dẫn: Võ Hoàng Anh Ngày nhận đề tài: 30/09/2022 Ngày nộp đề tài: 09/12/2022 Tên đề tài: THIẾT KẾ HỆ THỐNG KIỂM SỐT LƯU LƯỢNG NGƯỜI RA VÀO VÀ KHƠNG MANG KHẨU TRANG Nội dung thực hiện đề tài: - Thiết kế, xây dựng phần mềm mơ hình - Tìm hiểu, nghiên cứu thiết kế - Tìm hiểu áp dụng xử lý ảnh cho hệ thống - Xây dựng chương trình kiểm soát lưu lượng người vào - Xây dựng chương trình người khơng mang trang - Chạy thử nghiệm, cân chỉnh sửa lỗi mơ hình - Nhận xét, đánh giá chung toàn hệ thống - Viết báo cáo - Báo cáo đề tài tốt nghiệp - Sản phẩm: Thiết kế hệ thống kiểm soát lưu lượng người vào không mang trang GIẢNG VIÊN HƯỚNG DẪN KHÓA LUẬN TỐT NGHIỆP NHẬN XÉT Nhận xét giáo viên hướng dẫn: Đà Nẵng, Ngày Tháng Năm 2022 Giáo Viên hướng dẫn (Ký ghi rõ họ tên) KHÓA LUẬN TỐT NGHIỆP LỜI CAM ĐOAN Tôi xin cam đoan đồ án tốt nghiệp đề tài “Thiết kế hệ thống kiểm sốt lưu lượng người vào khơng mang trang” cơng trình nghiên cứu tơi, tất số liệu kết nghiên cứu đồ án hồn tồn trung thực khơng xuất chép hay sử dụng để bảo vệ cho học vị Những phần có sử dụng tài liệu tham khảo có đồ án liệt kê nêu rõ phần tài liệu tham khảo Nếu sai tơi xin chịu hồn tồn trách nhiệm chịu tất kỷ luật khoa nhà trường đề Sinh viên thực KHÓA LUẬN TỐT NGHIỆP LỜI CẢM ƠN Lời đầu tiên, em khơng biết nói ngồi bày tỏ biết ơn sâu sắc đến thầy cô Trong suốt chặng đường học tập làm đồ án tốt nghiệp em nhận hướng dẫn, giúp đỡ tận tình thầy Đặc biệt, em xin bày tỏ kính trọng lịng biết ơn sâu sắc đến thầy giáo hướng dẫn Th.S Võ Hoàng Anh, thầy người trực tiếp hướng dẫn, giúp đỡ cho em để em hồn thành đồ án Trong trình học tập nghiên cứu, em có sai sót gì, kính mong thầy bỏ qua cho em! Em xin kính chúc thầy cô luôn khỏe mạnh ngày thành cơng đường giảng dạy Em xin trân trọng cảm ơn Đà Nẵng, Ngày 18 Tháng 12 Năm 2022 Sinh Viên thực (Ký ghi rõ họ tên) KHÓA LUẬN TỐT NGHIỆP MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP .1 NHẬN XÉT LỜI CẢM ƠN MỤC LỤC LIỆT KÊ HÌNH .7 DANH MỤC TỪ VIẾT TẮT MỞ ĐẦU .10 Chương GIỚI THIỆU .11 1.1 Tổng quan đề tài .11 1.1.1 Mục đích .11 1.1.2 Phương pháp nguyên cứu 11 1.1.3 Phạm vi nghiên cứu .12 1.2 Cấu trúc đồ án 12 Chương CƠ SỞ LÝ THUYẾT 13 2.1 Giới thiệu phần phần mềm visual studio code 13 2.2 Giới thiệu ngôn ngữ python 15 2.3 Tổng quan xử ảnh 17 2.3.1 Xử lý ảnh (XLA) ? .17 2.3.2 Các vấn đề xử lý ảnh 20 2.3.3 Các quan hệ điểm ảnh 21 2.4 Thư viện OPENCV 23 2.4.1 Giới thiệu OPENCV .23 2.4.2 Cấu trúc tổng quan .24 2.5 Phát đối tượng theo dõi đối thượng 24 2.5.1 Phát đối tượng .24 KHÓA LUẬN TỐT NGHIỆP 2.5.2 Theo dõi đối tượng 26 2.6 Phát đối tượng với học sâu 27 2.6.1 Máy dò ảnh đơn để phát đối tượng 28 2.6.2 MobileNets: Mạng thần kinh hiệu (sâu) 29 Chương XÂY DỰNG CHƯƠNG TRÌNH VÀ MƠ PHỎNG .31 3.1 Xây dựng chương trình hệ thống kiểm sốt lưu lượng người vào 31 3.1.1 Hiểu phát đối tượng so với theo dõi đối tượng 31 3.1.2 Kết hợp phát đối tượng theo dõi đối tượng 31 3.1.3 Cấu trúc dự án .32 3.1.4 Thuật toán theo dõi centroid 33 3.2 Xây dựng máy dò mặt nạ 37 3.2.1 Máy dò mặt nạ .37 3.2.2 Bộ liệu mặt nạ tạo .38 3.2.3 Thuật toán máy dò mặt nạ 43 3.3 Kết phần mềm 48 3.4 Kết mô phần mềm Visual studio code 48 3.4.1 Kết mô đếm lưu lượng người vào 48 3.4.2 Kết mô nhận diện mặt nạ qua video .50 3.4.3 Kết mô nhận diện mặt nạ qua Camera 52 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .54 4.1 Kết luận 54 4.2 Hướng phát triển 54 TÀI LIỆU THAM KHẢO 55 KHÓA LUẬN TỐT NGHIỆP LIỆT KÊ HÌNH Hình 2.1 Hình ảnh phần mềm Visual Studio Code .13 Hình 2.2 Hình ảnh giao diện tính Git Visual Studio Code 14 Hình 2.3 Hình ảnh Giao diện terminal Visual Studio Code 15 Hình 2.4 Hình ảnh trình xử lý ảnh 17 Hình 2.5 Hình ảnh bước hệ thống xử lý ảnh .17 Hình 2.6 Hình ảnh sơ đồ phân tích, xử lý ảnh lưu đồ thơng tin khối .20 Hình 2.7 Hình ảnh lân cận điểm ảnh tọa độ (x, y) 21 Hình 2.8 Hình ảnh thành phần thư viện OpenCV 24 Hình 2.9 Hình ảnh phát đối tượng .25 Hình 2.10 Hình ảnh theo dõi đối tượng .27 Hình 2.11 Hình ảnh ví dụ phát đối tượng cách sử dụng Máy phát ảnh chụp đơn (SSD) 28 Hình 2.12 Hình ảnh mạng thần kinh hiệu .29 Hình 3.1 Hình ảnh cấu trúc dự án .32 Hình 3.2 Hình ảnh xây dựng theo dõi đối tượng đơn giản thông qua tập lệnh centroids với Python 33 Hình 3.3 Hình ảnh tính khoảng cách 34 Hình 3.4 Hình ảnh theo dõi đối tượng centroid 35 Hình 3.5 Hình ảnh gán ID cho đối tượng .36 Hình 3.6 Hình ảnh giai đoạn bước để xây dựng máy dò mặt nạ 37 Hình 3.7 Hình ảnh tập liệu phát mặt nạ bao gồm hình ảnh “mask” “no mask” 38 Hình 3.8 Hình ảnh người không mang trang 39 Hình 3.9 Hình ảnh áp dụng tính nhận diện khn mặt .40 Hình 3.10 Hình ảnh trích xuất ROI khn mặt với OpenCV NumPy cắt .40 Hình 3.11 Hình ảnh phát điểm mốc khuôn mặt .41 Hình 3.12 Hình ảnh trang 41 Hình 3.13 Hình ảnh trang đặt lên khn mặt .42 Hình 3.14 Hình ảnh mặt nạ nhân tạo hiển thị .42 Hình 3.15 Hình ảnh thuật tốn thu thập liệu 44 Hình 3.16 Hình ảnh thuật tốn huấn luyện mơ hình 44 KHĨA LUẬN TỐT NGHIỆP Hình 3.17 Cấu trúc mạng CNN 45 Hình 3.18 Hình ảnh thuật tốn nhận diện mặt nạ qua camera .47 Hình 3.19 Hình ảnh kết phần mềm .48 Hình 3.20 Hình ảnh kết mô đếm lưu lượng người vào 48 Hình 3.21 Hình ảnh kết mơ đếm người vào(1) 49 Hình 3.22 Hình ảnh kết mơ đếm người vào(2) 49 Hình 3.23 Hình ảnh kết mô đếm người vào(3) 50 Hình 3.24 Hình ảnh kết mô nhận diện mặt nạ qua video(1) 50 Hình 3.25 Hình ảnh kết mơ nhận diện mặt nạ qua video(2) 51 Hình 3.26 Hình ảnh kết mơ nhận diện mặt nạ qua Camera(1) 52 Hình 3.27 Hình ảnh kết mô nhận diện mặt nạ qua Camera(2) 52