Phương pháp nhận dạng khuôn mặt người và ứng dụng trong quản lý nhân sự

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ THUỶ PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT NGƯỜI VÀ ỨNG DỤNG TRONG QUẢN LÝ NHÂN SỰ Ngành: Khoa học máy tính Chuyên Ngành: Khoa học máy tính Mã Số: 8480101.01 LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: Ts Nguyễn Văn Vinh HÀ NỘI-NĂM 2018 Nguyễn Thị Thủy Đại Học Công Nghệ LỜI CAM ĐOAN Luận văn thạc sĩ đề tài “Nhận dạng khuôn mặt người ứng dụng quản ly nhân sự” cơng trình cá nhân tơi Các nội dung nghiên cứu kết quả trình bày luân văn trung thực rõ ràng Các tài liệu tham khảo trích dẫn đầy đủ ghi rõ nguồn gốc Tác giả luận văn ky ghi rõ họ tên Nguyễn Thị Thủy Đại Học Công Nghệ MỤC LỤC LỜI CAM ĐOAN .i MỤC LỤC ii DANH MỤC HÌNH VẼ, ĐỒ THỊ iv DANH MỤC CÁC TỪ VIẾT TẮT vi PHẦN MỞ ĐẦU 1 Ly chọn đề tài .1 Mục đích nghiên cứu luận văn, đối tượng, phạm vi nghiên cứu Mục đích luận văn: Nội dung luân văn CHƯƠNG 1: BÀI TỐN NHẬN ĐỐI TƯỢNG NHẬN DẠNG KHN MẶT 1.1 Tổng quan khái niệm liên quan đến nhận dạng khuôn mặt .3 1.1.1 Hệ thống sinh trắc học .3 1.1.2 Hệ thống nhận dạng khuôn mặt .3 1.1.3 Hệ thống xác minh hay xác thực khuôn mặt .3 1.1.4 Những thách thức tốn nhận dạng khn mặt 1.2 Tổng quan về ứng dụng tương tác người máy liên quan tới khuôn mặt 1.3 Hướng tiếp cận lĩnh vực nhận dạng khn mặt .4 1.3.1 Các cơng trình nghiên cứu về Phương pháp nhận dạng kiểm chứng chất lượng cho hệ thống nhận dạng khuôn mặt 1.3.2 Hướng tiếp cận luận văn CHƯƠNG 2: CÁC KỸ THUẬT CHO NHẬN DẠNG KHUÔN MẶT I Học máy 1.1 Phương pháp Deep Learning (CNN) Nguyễn Thị Thủy Đại Học Công Nghệ 1.2 Phương pháp truyền thống II Các kỹ thuật sử dụng nhận dạng khuôn mặt 10 2.1 Phát khuôn mặt (Viola Jone Face detection) .10 2.2 Trích chọn đặc trưng Weber local Descripor- WLD 13 2.3 Giới thiệu phương pháp phân tích thành phần PCA .16 2.3.1 Giới thiệu phương pháp PCA 16 2.3.2 Đặc trưng PCA 20 2.3.3 Phương pháp phân tích thành phần chính(PCA) 20 2.3.4 Các bước thực trích chọn đặc trưng PCA 22 2.4 Học máy hộ trợ vestor SVM .24 2.4.1 Cơ sở ly thuyết .24 2.4.2 SVM tuyến tính .24 2.4.3 SVM Phi Tuyến tính 26 CHƯƠNG 3: ỨNG DỤNG CÁC KỸ THUẬT TRONG NHẬN DẠNG KHUÔN MẶT 31 3.1 Phát khuôn mặt (Viola Jone Face Detection) 31 3.2 Trích chọn đặc trưng (WLD) 31 3.3 Phân tích thành phần PCA nhận dạng/phân lớp SVM .32 3.4 Mô tả liệu .33 3.4.1 Thu nhập liệu 33 3.4.2 Biểu diễn liệu khn mặt máy tính 35 3.4.3 Dữ liệu huấn luyện 36 3.5 Kết quả thực nghiệm 36 3.6 Ứng dụng quản ly nhân sự 38 3.6.1 Mơ hình nhận dạng quản ly nhân sự 38 3.6.2 Giao diện hình chức nhận dạng .39 3.6.3 Giao diện hình chức quản ly phận 40 3.6.4 Giao diện hình chức quản ly phòng ban .41 3.6.5 Giao diện hình chức quản ly nhân sự 42 Nguyễn Thị Thủy Đại Học Công Nghệ KẾT LUẬN 43 DANH MỤC TÀI LIỆU THAM KHẢO…………………………………….43 DANH MỤC HÌNH VẼ, ĐỒ THỊ Hình 0.1 So sách tác vụ nhận dạng khuôn mặt xác minh khn mặt .3 Hình 0.2 Mơ nhận dạng khuôn mặt Hình 0.3 Haar Features sử dụng Violo Jones 10 Hình 0.4 Applying on a give image 10 Hình 0.5 Ví dụ về Haar features 11 Hình 0.6 Ví dụ ảnh Integral .11 Hình 0.7 Ảnh ví dụ tính Ơ pixcel 12 Hình 0.8 Các bước loại khn mặt hay khơng 13 Hình 0.9 Kết quả phát khuôn mặt 13 Hình 0.10 Tính kích thích sai khác 15 Hình 0.11 Ảnh ảnh gốc, ảnh thứ ảnh trích chọn đặc trưng .15 Hình 0.12 Minh họa về tính tốn WLD 16 Hình 0.13 Lụa chọn trục toạ độ để biểu diễn liệu [11] 18 Hình 0.14 Siêu măt phân cách tuyến tính cho trường hợp phân cách ky Hiệu support vestor diểm bao viền trịn 22 Hình 0.15 ảnh, H, với hình vng [1,-1] €R2 ánh xạ ϴ 26 Hình 0.16 nhị phân: Cấu trúc nhị phân với số lớp số mũ Phải: số mũ không số mũ 28 Hình 0.17 Mơ hình trình tạo đặc trưng mặt 31 Hình 0.18 Mơ hình sử dụng nhận dạng khuôn mặt 31 Hình 0.19 Mơ hình q trình tạo đặc trưng mặt 32 Hình 0.20 ảnh ban đầu biểu diễn theo trọng số eigenface 33 Hình 0.21 Ví dụ về ảnh người Yale face Database .34 Nguyễn Thị Thủy Đại Học Cơng Nghệ Hình 0.22 Ảnh 12 khuôn mặt người đánh thứ tự từ đến 12 34 Hình 0.23 Kích thước chuẩn hóa mẫu khn mặt học tập 35 Hình 0.24 Một phần tập ảnh luyện .36 Hình 0.25 Một phần tập ảnh thử nghiệm 36 Hình 0.26 Bảng 1.1 Bảng Thực nghiệm nhận dạng số lượng ảnh 37 Hình 0.27 kết quả thực nghiệm so với sử dụng PCA 37 Hình 0.28 Mơ hình nhận dạng cửa vào quan 38 Nguyễn Thị Thủy Đại Học Công Nghệ DANH MỤC CÁC TỪ VIẾT TẮT PCA Principal Component Analysis SVM Support Vector Machine WLD Weber Local Description CNN Convolutional Neural Network Nguyễn Thị Thủy Đại Học Công Nghệ PHẦN MỞ ĐẦU Lý chọn đề tài Nhận dạng khuôn mặt lĩnh vực xử ly ảnh Và ngày nhận dạng sử dụng rộng rãi nhiều lĩnh vực đời sống nhận dạng lĩnh vực thương mại, hay phát lĩnh vực an ninh, hay xử ly video, hình ảnh Một ứng dụng tiểu biểu nhận dạng sử dụng phổ biến nhận dạng khuôn mặt người ứng dụng điện thoại di động cụ thể IphoneX Sangsung sử dụng Hiện có nhiều Phương pháp nhận dạng khác xây dựng để nhận dạng người cụ thể giới thực ta nói tới số phương pháp như: học máy học sâu.Tuy nhiên hai phương pháp lại có nhược điểm lớn phải xây dựng tập sở liệu lớn đồng thời việc xử ly liệu lớn đòi hỏi phải nhanh xác Vậy nên hai phương pháp thời gian để nhận dạng nhiệm vụ đặt nghiên cứu xây dựng chương trình sử dụng Phương pháp nhận dạng có độ xác cao mà khối lượng thời gian tính tốn lại Để giải vấn đề xin đề xuất phương pháp phát khuôn mặt sử dụng phương pháp Viola jone face detection, trích chọn đặc trưng sử dụng phương pháp Weber local Descriptor kết hợp phân tích thành phần sử dụng phương pháp PCA học máy vestor (SVM) để nhận dạng khuôn mặt Mục đích nghiên cứu luận văn, đối tượng, phạm vi nghiên cứu Mục đích luận văn: Nguyễn Thị Thủy Đại Học Công Nghệ Nghiên cứu đề tài nhằm mục đích tìm hiểu tốn nhận dạng khn mặt, từ xây dựng hệ thống ứng dụng thực tiễn như: điểm danh, giám sát người vào, an ninh sân bay Đối tượng phạm vi áp dụng: Đề tài tập trung tìm hiểu số phương pháp nhận dạng khuôn mặt người phổ biến đưa phương án nhận dạng cho tốn nhận dạng khn mặt người Để đặt mục tiêu đề tài tập trung tìm hiểu nội dung sau: - Tìm hiểu phương pháp phát khuôn mặt sử dụng phương pháp Viola Jones Face Detection - Trích chọn đặc trưng sử dụng phương pháp Weber Local Description - Phương pháp phân tích thành phần - Phương pháp học máy vestor (SVM) Nội dung luân văn Luận văn gồm chương, cụ thể sau: Chương 1: BÀI TOÁN NHẬN ĐỐI TƯỢNG NHẬN DẠNG KHN MẶT Nguyễn Thị Thủy Đại Học Cơng Nghệ Giới thiệu cách thức nhận dạng khuôn mặt người, nên nhận dạng người khn mặt, tầm quan trọng toán thực tiễn, số ứng dụng thực tiễn toán nhận dạng khuôn mặt Chương 2: CÁC KỸ THUẬT CHO NHẬN DẠNG KHUÔN MẶT Giới thiệu về phương pháp sử dụng nhận dạng khuôn mặt sử dụng luận văn phương pháp phát khuôn mặt( Viola Jone Face Detection), phương pháp trích chọn đặc trưng (WLD), phân tích thành phần (PCA) máy vector hỗ trợ (SVM) Chương 3: ỨNG DỤNG CÁC KỸ THUẬT TRONG NHẬN DẠNG KHN MẶT Đưa mơ hình xây dựng tốn nhận dạng khuôn mặt người, bước thực đánh giá thử nghiệm CHƯƠNG 1: BÀI TOÁN NHẬN ĐỐI TƯỢNG NHẬN DẠNG KHUÔN MẶT 1.1 Tổng quan khái niệm liên quan đến nhận dạng khuôn mặt 1.1.1 Hệ thống sinh trắc học Nguyễn Thị Thủy Đại Học Công Nghệ Với ảnh thực nghiệm, tập luấn luyện có ảnh kết quả phương phát PCA phương pháp phát khuôn mặt kết hợp PCA – SVM 3.6 Ứng dụng quản lý nhân 3.6.1 Mơ hình nhận dạng quản lý nhân Từ mơ hình nhận dạng khn mặt mà luận văn trình bày Tơi xin đề xuất ứng dụng quản ly nhận sự sử dụng nhận dạng khn mặt Như mơ hình bên dưới: đặt camera trước vào quan, người đứng trước camera hệ thống nhận thơng tin người thực mở cửa, nhập thơng tin chức nhận dạng Hình 0.28 Mơ hình nhận dạng cửa vào quan Nguyễn Thị Thủy 47 Đại Học Công Nghệ 3.6.2 Giao diện hình chức nhận dạng Dữ liệu cập nhập vào hình danh mục chấm công sau hệ thống nhận dạng thông tin người qua cửa châm công quan Nguyễn Thị Thủy 48 Đại Học Công Nghệ 3.6.3 Giao diện hình chức quản lý phận Chức cho phép người dùng thêm thông tin phân quan vào hệ thống Nguyễn Thị Thủy 49 Đại Học Công Nghệ Nguyễn Thị Thủy 50 Đại Học Cơng Nghệ 3.6.4 Giao diện hình chức quản lý phòng ban Chức cho phép người dùng thêm thơng tin phịng ban quan vào hệ thống Nguyễn Thị Thủy 51 Đại Học Công Nghệ 3.6.5 Giao diện hình chức quản lý nhân Chức cho phép người dùng thêm thông tin nhân sự quan vào hệ thống Nguyễn Thị Thủy 52 Đại Học Công Nghệ Nguyễn Thị Thủy 53 Đại Học Công Nghệ KẾT LUẬN Luận văn tốt nghiệp trình bày chi tiết, cụ thể về nhận dạng khuôn mặt người dựa kỹ thuật phát khuôn mặt sử dụng phương pháp Viola Jone Face Detection, trích chọn đặc trưng sử dụng Weber local descriptor, phân tích thành phần sử dụng PCA phân lớp SVM Và xây dựng chương trình thử nghiệm để đánh giá kết quả việc sử dụng kỹ thuật phương pháp để nhận dạng Từ thực nghiệm ta thu số kết quả đánh giá về thuật toán sử dụng Các kết quả đạt cho thấy độ xác chương trình tương đối cao khoảng 96% nhận dạng Những kết quả tổng kết sau:  Giới thiệu chi tiết về phương pháp phát khuôn mặt sử dụng phương pháp Viola Jone face detection  Giới thiệu chi tiết về phương pháp trích chọn đặc trưng  Giới thiệu chi tiết về phương pháp phân tích thành phần máy vestor hỗ trợ (SVM)  Nhận xét đánh giá kết quả đạt cho tốn nhận dạng khn mặt Nguyễn Thị Thủy 54 Đại Học Công Nghệ  Đưa sự kết hợp phương pháp cũ, đơn giản, hiệu quả độ xác tương đương tốt phương pháp khác Tuy nhiên, thời gian có hạn cộng thêm khối lượng cơng việc lớn nên cịn số vấn đề y tưởng mà luận văn chưa thực Nhằm cải thiện khả hoạt động chương trình, chương trình có thêm chức năng:  Tự động đưa ảnh nhận dạng về kích thước phù hợp ta thực quét ảnh đưa vào chương trình nhận dạng đưa kết quả  Nhận dạng mặt người qua webcam Ý tưởng đưa nhập vào hình ảnh trực tiếp từ webcam hình ảnh webcam mơ tả người với khung nền biến đổi người đám đơng Sau chương trình phát khoanh vùng vị trí khn mặt khung hình truy xuất sở liệu đưa thơng tin về người Đó y tưởng phát triển tương lai luận văn Hiện tại, chương trình thực hai chức đưa vào ảnh đưa kết quả nhận dạng Nguyễn Thị Thủy 55 Đại Học Công Nghệ Nguyễn Thị Thủy 56 Đại Học Công Nghệ TÀI LIỆU THAM KHẢO [1] Kyungnam Kim Department of Computer Science University of Maryland, College Park MD 20742, USA, Face Recognition using Principle Component Analysis [2 Guru Kashi Universiy, Sardulgarh Road, Talwandi Sabo, Punjab 151302, India, Face Recognition and Detection using Viola-Jones and Cross Correlation Method [3] Baback Moghaddam and Alex Pentland (1998), Beyond Linear Eigenspaces: Bayesian Matching for Face Recognition, Face Recognition from Nguyễn Thị Thủy 57 Đại Học Công Nghệ Theory and Applications, MIT Media Laboratory, 20 Ames St Cambridge, MA 02139, USA, pp 230-243 [4] Jie Chen, Member, IEEE, Shiguang Shan, Member, IEEE, Chu He, Guoying Zhao, Matti Pietikäinen, Senior Member, IEEE, Xilin Chen, Senior Member, IEEE, Wen Gao, Fellow, IEEE, WLD: A Robust Local Image Descriptor [5] Alaa Eleyan and Hasan Demirel, PCA and LDA based Neural Networks for Human Face Recognition, Eastern Mediterranean University, Northern Cyprus [6] Christopher J.C Burges (1998), A Tutorial on Support Vector Machines for Pattern Recognitio, Data Mining and Knowledge Discovery 2, pp 121 -167 [7] Daniel Bgraham Nigel M Allinson (1998), Characterising Virtual Eigensignatures for General Purpose Face Recognition, Face Recognition from Theory and Applications, Image Engineering and Neural Computing Group, Department of Electrical Engineering and Electronics, University of Manchester Institute of Science and Technology Manchester M60 1QD, UK, pp 446-456 [8] Emmanuel Viennet and Francoise Fogelman Soulie (1998), Connectionists Methods for Human face Rrocessing, Face Recognition from Theory and Applications, University Paris 13, 93430 Villetaneuse, France, pp 124156 Nguyễn Thị Thủy 58 Đại Học Công Nghệ [9] Guodong Guo, Stan Z.Li, Kap Luk Chan (2001), Learning Similarity for Texture Image Retrieval, School of EEE, Nanyang, Technological University Nanyang Avenue, Singapore [10] Bernd Heisele, Purdy Ho and Tomaso Poggio, Face Recognition with Support Vector Machines: Global versus Component-based Approach, Massachusetts Institute of Technology Center for Biological and Computational Learning Cambridge, MA 02142 [11] H Moon, P.J Phillips, Computational and Performance aspects of PCAbased Face Recognition Algorithms, Perception, Vol 30, 2001, pp 303-321 [12] Jeffrey Huang, Chengjun Liu, and Harry Wechsler, Eye Detection and Face Recognition Using Evolutionary Computation, Face Recognition from Theoryand Applications, Department of Computer Science, George Mason University, pp 348-377 [13] Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor Elagin, Hartmut Neven, and Christoph (1998), Computer Science Department and Center for Neural Engineering, Face Recognition from Theory and Applications, University of Southrn California Los Angeles, USA, pp 186-205 [14] K Jonsson, J Matas, J Kittler, Y.P Li, Learning Support Vectors for Face Verification and Recognition, Proc of the IEEE International Conference onAutomatic Face and Gesture Recognition, 26-30 March 2000, Grenoble, France, pp 208-213 Nguyễn Thị Thủy 59 Đại Học Công Nghệ [15] M.A Turk, A.P Pentland, Face Recognition Using Eigenfaces, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Maui, Hawaii, USA, 3-6 June 1991, pp 586-591 [16] M.Kirby and L.Sirovich, Application of the karhunen-loeve procedure for the characterization of human faces, IEEE Pattern Analysis and Machine Intelligence, vol.12, no 1, 1990, pp.103-108 [17] M Turk, A Pentland, Eigenfaces for Recognition, Journal of Cognitive Neurosicence, Vol 3, No 1, 1991, pp 71 -86 [18] Rabia Jafri and Hamid R Arabnia, A Survey of Face Recognition Techniques, Journal of Information Processing Systems, Vol.5, No.2, June 2009, pp 44-68 [19] Setiawan Hadi, Iping Supriana Suwardi, and Farid Wazdi, Technology of Face Recognition for Security System, Mathematics Department UNPAD, Jl Dipati Ukur 35 Bandung [20] Steven W.Smith (1999), Chapter 27: Data compression, The Scientist and Engineer’s Guide to Digital Signal Processing, California Technical Publishing San Diego, California, pp 481 -502 [21] T.Kohonen, Self-organzation and Associative Memory, SpringerVerlag, Berlin, 1989 [22] Wenyi Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets, John Weng (1998), Discriminant Analysis of Principal Components for Face Recognition, Face Recognition from Theory and Applications, Centrer for Automation Research, University of Maryland, pp 73-85 Nguyễn Thị Thủy 60 Đại Học Công Nghệ Nguyễn Thị Thủy 61 Đại Học Công Nghệ ... thực tiễn tốn nhận dạng khn mặt Chương 2: CÁC KỸ THUẬT CHO NHẬN DẠNG KHUÔN MẶT Giới thiệu về phương pháp sử dụng nhận dạng khuôn mặt sử dụng luận văn phương pháp phát khuôn mặt( Viola Jone... để xác minh nhận dạng người dựa vào đặc trưng sinh học người 1.1.2 Hệ thống nhận dạng khn mặt Hệ thống nhận dạng khuôn mặt hệ thống thiết kế để tìm thơng tin người Kĩ thuật nhận dạng kiểm tra... vực nhận dạng khuôn mặt Nguyễn Thị Thủy Đại Học Công Nghệ 1.3.1 Các cơng trình nghiên cứu Phương pháp nhận dạng kiểm chứng chất lượng cho hệ thống nhận dạng khn mặt Bài tốn nhận dạng khn mặt