Ứng dụng công nghệ nhận diện khuôn mặt để xây dựng hệ thống kiểm soát vào ra tại trung tâm hành chính thành phố đà nẵng

ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC SƢ PHẠM ĐÀ NẴNG NGUYỄN HỮU NHĨ ỨNG DỤNG CÔNG NGHỆ NHẬN DIỆN KHN MẶT ĐỂ XÂY DỰNG HỆ THỐNG KIỂM SỐT VÀO RA TẠI TRUNG TÂM HÀNH CHÍNH THÀNH PHỐ ĐÀ NẴNG LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Đà Nẵng, Năm 2023 ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC SƢ PHẠM ĐÀ NẴNG NGUYỄN HỮU NHĨ ỨNG DỤNG CÔNG NGHỆ NHẬN DIỆN KHUÔN MẶT ĐỂ XÂY DỰNG HỆ THỐNG KIỂM SỐT VÀO RA TẠI TRUNG TÂM HÀNH CHÍNH THÀNH PHỐ ĐÀ NẴNG Chuyên ngành: Hệ thống thông tin Mã số: 848.01.04 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN KHOA HỌC: TS NGUYỄN TRẦN QUỐC VINH Đà Nẵng, Năm 2023 i LỜI CẢM ƠN Lời đầu tiên, em xin chân thành gửi lời cảm ơn Quý Thầy Cô Trường Đại học Sư phạm Đà Nẵng, nơi em theo học Cao học Em xin trân trọng cảm ơn Quý Thầy Cô Trường Đại học Bách Khoa Đà Nẵng, Đại học Quốc gia Hà Nội, Đại học Khoa học Huế, đặc biệt Quý Thầy Cơ Khoa Tin học tận tình dạy dỗ tạo điều kiện tốt cho lớp em thân em suốt trình theo học Trường Em xin cảm ơn tỏ lòng biết ơn sâu sắc đến với Thầy giáo Tiến sĩ Nguyễn Trần Quốc Vinh tận tình dạy dỗ, hướng dẫn khoa học giúp đỡ em suốt trình nghiên cứu hồn thành luận văn Tơi xin cảm ơn gia đình, đồng nghiệp đặc biệt bạn học viên Cao học khóa 39, 40, 41 Trường Đại học Sư phạm Đà Nẵng hỗ trợ thực đề tài v MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii TÓM TẮT iii MỤC LỤC .v DANH MỤC VIẾT TẮT vii DANH MỤC C C BẢNG BI U viii DANH MỤC HÌNH VẼ, ĐỒ THỊ ix MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ đề tài .2 Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa thực tiễn đề tài Kết dự kiến Cấu trúc luận văn CHƢƠNG TỔNG QUAN VỀ PHÁT HIỆN VÀ NHẬN DẠNG KHN MẶT 1.1 Lịch sử hình thành phát triển công nghệ nhận dạng khuôn mặt 1.2 Hệ thống nhận dạng khuôn mặt 1.2.1 Các bước hệ thống nhận dạng khn mặt 1.2.2 Bài toán nhận dạng khuôn mặt .7 1.3 Tổng quan phƣơng pháp nhận dạng khuôn mặt 1.3.1 Phương pháp toàn diện 1.3.2 Phương pháp tiếp cận hình học 10 1.4 Kết chƣơng 12 CHƢƠNG ỨNG DỤNG CÔNG NGHỆ NHẬN DIỆN KHUÔN MẶT ĐỂ XÂY DỰNG HỆ THỐNG KIỂM SOÁT RA VÀO TẠI TRUNG TÂM HÀNH CHÍNH .13 2.1 Các đặc trƣng Histograms of oriented gradients (HOG) 13 2.1.1 Tính tốn gradient .13 2.1.2 Các bước tính HOG 14 2.2 Bộ phân lớp tuyến tính SVM (Support Vector Machines) .17 2.2.1 Giới thiệu SVM 17 2.2.2 Siêu phẩm tối ưu 17 vi 2.3 Mạng nơron tích chập Convolutional Neural Network 19 2.3.1 Khái niệm 19 2.3.2 Cấu trúc mạng nơ ron tích chập 19 2.3.3 Thuật toán FaceNet 24 2.4 Giải pháp tổng thể nhận dạng khn mặt ngƣời Trung tâm hành thành phố Đà Nẵng 27 2.4.1 Phát khuôn mặt sử dụng đặc trưng Histograms of Oriented Gradients (HOG) phân lớp tuyến tính SVM .29 2.4.2 Nhận dạng khuôn mặt người phương pháp trích chọn đặc trưng sử dụng lớp mạng neural học sâu Face Net phân lớp khn mặt sử dụng hàm chi phí ba (Tripletbased Loss Function) 32 2.5 Xây dựng sở liệu khuôn mặt cán bộ, công chức viên chức Trung tâm Hành .35 2.6 Kết chƣơng 36 CHƢƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 38 3.1 Môi trƣờng thực nghiệm 38 3.1.1 Thư viện mã nguồn mở NumPy [9] dùng việc xây dựng, biểu diễn, lưu trữ thao tác liệu 38 3.1.2 Thư viện OpenCV [10] để thực thao tác xử lý ảnh 38 3.2 Triển khai hệ thống nhận dạng khuôn mặt .45 3.2.1 Xây dựng Module phát khuôn mặt sử dụng đặc trưng Histograms of Oriented Gradients (HOG) phân lớp tuyến tính SVM 46 3.2.2 Xây dựng Module nhận dạng khuôn mặt người phương pháp trích chọn đặc trưng sử dụng lớp mạng neural học sâu Face Net phân lớp khn mặt sử dụng hàm chi phí ba (Tripletbased Loss Function) .52 3.2.3 Triển khai xây dựng phần mềm nhận dạng khuôn mặt Python, Pycharm 55 3.3 Kết chƣơng 58 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 59 DANH MỤC TÀI LIỆU THAM KHẢO 60 vii DANH MỤC VIẾT TẮT Từ viết tắt Ý nghĩa AI Artificial Intelligence – Trí tuệ nhân tạo IoT Internet of things - Kết nối Internet vạn vật CNN Convolutional Neural Network - Mạng nơ ron tích chập ML Machine Learning - Học máy DL Deep Learning - Học sâu PCA Principal Component Analysis – Phân tích thành phàn SVM Support Vector Machine – Bộ phân lớp tuyến tính HOG Histograms of Oriented Gradients – Bộ mô tả đặc trưng ICA Independent Component Analysis – Phân tích thành phần độc lập LDA Linear Discriminant Analysis (LDA) – Phân tích biệt thức tuyến tính ReLU Rectified Linear Unit – Điều chỉnh đơn vị tuyến tính YOLO You Only Look Once – Một hệ thống mang nơ ron nhân tạo phát đối tượng thời gian thực DNN Deep Neural Network - Mơ hình mạng nơ ron học sâu SIFT Scale-Invariant Feature Transform - Phép biến đổi đối tượng địa lý bất biến theo tỷ lệ GPU Graphics Proccessing Unit - Bộ xử lý đồ họa viii DANH MỤC CÁC BẢNG BIỂU Số hiệu Tên bảng Trang Bảng 2.1 Những biến thể ReLU 21 Bảng 2.2 Phân loại nhận diện vật thể 21 Bảng 2.3 Phát vật thể 22 Bảng 2.4 Mô hình xác nhận khn mặt nhận diện khn mặt 23 cỉNG HO XHèI CHổNGH(AVIặT NAM I HèC NÂNG Ùc l-p -Tđ - H¡nh phúc TR¯ÜNG I HÌC S¯ PH M Nng ngày(tháng S nm 2021 SÑ:/42QD-HSP QUYắT ấNA Vviầc giao ti v trỏch nhiầm hng dônlu-n thĂcsi HIặU TRUịNG TRUĩNG I HèCSỡ PH M -HéN Cn cỗ Nghi nh 32/CP ngy 044/1994 cỗa Chinh phi v viầc l-p Ăi hc NĐng: CĐn cớ Nghậ quvt sế 08NO-HH gay 12/7/202l cỗa Hi Ïng ¡i hÍc N±ng ban hành Quy ch¿ tÕ chộc v hogt ng cỗa Ăi hc Nng: Cn ct Thong t sẹ 15/2014/TT-BGDéT ngy 15/5/2014 cỗa B GiÊo dåc £o t¡o vÁ viÇc ban hành Quy ché t¡o trình Ù th¡c s): Cn cí Qn dËnh sẹ 1060/0-HSP ngn 01/11/2016 cỗa Hiầu Trnríng Ăi hc Sr ph¡m- HN vÁ viÇc ban hành Qu Ënh tĂo trỡnh thĂc s), Xột nghậ cỗa Tríng phòng Phòng t¡o QUYÉT N: iÃu Giao cho hÍc viên Ngun Hïu Nh), ngành HÇ thĨng thơng tin, lÛp K39.HTTT thđc hiÇn Á t£i lu-n v£n èng dång cơng nghÇnh-n diÇn khn m·tà xây dđng hÇ thĐng kiÃm sốt vào t¡i Trung tâm Hành thành phĐ Nàng di sủ dĐn cỗa TS Nguyn TrĐn Qc Vinh, Tr°Ýng ¡i hÍc Su ph¡m -B¡i hÍc N«ng iÁu HÍc viên ng°Ýi h°Ûng d«n có tên ß iÁu I°ãc h°¡ng qun lãi thđc hiÇn nhiÇm vå úng theo Quy chêào t¡o trình dÙ th¡c s) BÙ Giáo dåc và£o tao ban hành vQuy ậnh vo tĂo trỡnh thĂc s) cỗa Tríng ¡i hÍc Su ph¡m -¡i hÍc Nng iÁu 3.Thu tr°¡ng d¡n vË liên quan, ng°Ýi h°Ûng d£n lu-n vàhÍc viên cótên ß iÁu l cn cé Quv¿t inh thi hành HIỈUTR¯ÚNG N¡i nh-n: - Nh° ieu 3(ê thđc hiÇn): - Ban Giám hiÇu (e biêt): -Luu: VT T TR¯ÜNG I HâC S¯PHAM PGS TS L°u Trang