Nghiên cứu kỹ thuật nhận dạng khuôn mặt người xây dựng hệ thống camera chống trộm

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA MAI XUÂN PHÚ NGHIÊN CỨU KỸ THUẬT NHẬN DẠNG KHUÔN MẶT NGƯỜI XÂY DỰNG HỆ THỐNG CAMERA CHỐNG TRỘM LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng - Năm 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA MAI XUÂN PHÚ NGHIÊN CỨU KỸ THUẬT NHẬN DẠNG KHUÔN MẶT NGƯỜI XÂY DỰNG HỆ THỐNG CAMERA CHỐNG TRỘM Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Phạm Minh Tuấn Đà Nẵng - Năm 2017 LỜI CAM ĐOAN Tôi cam đoan luận văn “Nghiên cứu kỹ thuật nhận dạng khuôn mặt người Xây dựng hệ thống camera chống trộm” cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Luận văn thực sở nghiên cứu lý thuyết hướng dẫn khoa học TS Phạm Minh Tuấn Tác giả Mai Xuân Phú NGHIÊN CỨU KỸ THUẬT NHẬN DẠNG KHUÔN MẶT NGƯỜI XÂY DỰNG HỆ THỐNG CAMERA CHỐNG TRỘM Học viên: Mai Xuân Phú Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 Khóa: K31 Trường Đại học Bách khoa – ĐHĐN Tóm tắt–Ngày nay, nhận dạng khuôn mặt ứng dụng rộng rãi nhiều lĩnh vực đời sống nhận diện lĩnh vực thương mại, phát tội phạm, xử lý video,…Hiện có nhiều phương pháp khác xây dựng để nhận diện người cụ thể Tuy nhiên để nhận diện người giới thực ta phải xây dựng tập sở liệu đủ lớn Việc xử lý liệu lớn địi hỏi phải nhanh xác Nhiệm vụ đặt nghiên cứu xây dựng chương trình sử dụng phương pháp nhận diện có độ xác cao thời gian tính tốn Eigenfaces phương pháp tiếng hiệu trình làm giảm số thuộc tính tập liệu đầu vào Từ khóa – phát khn mặt, theo vết khn mặt, nhận diện khn mặt, eigenfaces, trích rút đặc trưng FACE RECOGNITION RESEARCHING ESTABLISHING A CAMERA SECURITY SYSTEM Abstract – Nowadays, face recognition is widely used in many fields of life such as recognition in commercial field, crime detection, video processing, etc There are many diffirent methods were be built to recognize a particular person However, to recognize a person in real life, we have to build a large enough database The data processing requires the quick and accuration The assignment is research and building the program with high precision along withthe minimum of time Eigenfaces is well known the quite effective method in the process of the dimensional reduction of input data Keyworks – face detection, video tracking,face recoginion, eigenfaces, feature extraction MỤC LỤC MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Bố cục luận văn CHƯƠNG GIỚI THIỆU TỔNG QUAN 1.1 TỔNG QUAN SINH TRẮC HỌC 1.2 BÀI TOÁN NHẬN DẠNG KHUÔN MẶT 1.2.1 Nhận dạng dựa đặc trưng khuôn mặt 1.2.2 Nhận dạng dựa xét tồn khn mặt 1.2.3 Điểm mạnh hạn chế công nghệ nhận dạng khuôn mặt 1.3 HỆ THỐNG CAMERA GIÁM SÁT .7 1.4 GIỚI THIỆU VỀ OPENCV 1.4.1 Các ứng dụng OpenCV 1.4.2 Chức OpenCV .9 1.4.3 Cấu trúc OpenCV 1.4.4 Thư viện EmguCV 10 CHƯƠNG KỸ THUẬT NHẬN DẠNG KHUÔN MẶT 11 2.1 PHÁT HIỆN KHUÔN MẶT 11 2.1.1 Đặc trưng Haar-like 11 2.1.2 Thuật toán tăng tốc Adaboost .13 2.2 THEO VẾT KHUÔN MẶT THEO TRÌNH TỰ VIDEO 16 2.3 NHẬN DẠNG KHUÔN MẶT .17 2.3.1 Tiền xử lý 17 2.3.2 Trích rút đặc trưng 17 2.3.3 Nhận dạng khuôn mặt 22 2.3.4 Ví dụ Eigenface 22 CHƯƠNG XÂY DỰNG HỆ THỐNG CAMERA AN NINH 25 3.1 PHÂN TÍCH THIẾT KẾ HỆ THỐNG 25 3.1.1 Xác định yêu cầu 25 3.1.2 Biểu đồ ca sử dụng 26 3.1.3 Cơ sở liệu 27 3.1.4 Sơ đồ lớp .28 3.1.5.Chức phát khuôn mặt người 29 3.1.6 Chức cảnh báo âm phát khuôn mặt 30 3.2 KẾT QUẢ CHẠY CHƯƠNG TRÌNH 31 3.2.1.Giao diện chương trình 31 3.2.2 Giao diện chương trình nhận dạng khn mặt 32 3.2.3 Giao diện chương trình tạo tập huấn luyện .32 3.2.4 Giao diện tùy chỉnh .34 3.3 KẾT QUẢ THỰC NGHIỆM 34 3.3.1 Chức phát khuôn mặt 34 3.3.2 Chức theo vết khuôn mặt 36 3.3.3 Chức nhận dạng khuôn mặt 36 3.4 NHẬN XÉT 38 KẾT LUẬN VÀ KIẾN NGHỊ 39 TÀI LIỆU THAM KHẢO PHỤ LỤC DANH MỤC CÁC TỪ VIẾT TẮT CV CSDL FR FRS : Computer Vision : Cơ sở liệu : Face Recognition : Face Recognition System FE LDA : Feature Extraction : Linear Discriminant Analysis OCR PCA : Optical Character Recognition : Principal Component Analysis SVM : Suport Vector Machine DANH MỤC CÁC HÌNH Số hiệu hình Tên hình Trang 1.1 Hệ thống nhận dạng khuôn mặt 1.2 Vector chiếu tối đa hóa phân chia vơ hướng 1.3 Cấu trúc OpenCV 2.1 Đặc trưng theo cạnh 11 2.2 Đặc trưng theo đường 12 2.3 Đặc trưng theo xung quanh tâm 12 2.4 Đặc trưng theo đường chéo 12 2.5 Cách tính Integral Image ảnh 13 2.6 Cách tính tổng giá trị Pixel vùng cần tính 13 2.7 Hệ thống nhận dạng khuôn mặt 17 2.8 Q trình trích trút đặc trưng 18 3.1 Usecase hệ thống 26 3.2 Cơ sở liệu hình ảnh huấn luyện 27 3.3 Sơ đồ lớp hệ thống nhận dạng 28 3.4 Sơ đồ thuật toán phát khn mặt 29 3.5 Sơ đồ thuật tốn cảnh báo âm phát khuôn mặt 30 3.6 Giao diện chương trình 31 3.7 Giao chương trình nhận dạng khn mặt 32 3.8 Giao diện chương trình tạo tập huấn luyện 33 3.9 Cơ sở liệu hình ảnh huấn luyện 33 3.10 Giao diện tùy chỉnh hệ thống 34 MỞ ĐẦU Tính cấp thiết đề tài Thừa hưởng thành tựu khoa học kỹ thuật phát triển Nhận diện khuôn mặt công nghệ ứng dụng rộng rãi đời sống ngày người hệ thống giám sát tòa nhà, sân bay, trạm ATM, hệ thống chấm cơng, camera chống trộm, xác thực danh tính,….có nhiều phương pháp nhận dạng khuôn mặt để nâng cao hiệu suất nhiên dù hay nhiều phương pháp gặp phải khó khăn, thử thách độ sáng, hướng nghiêng, kích thước hình ảnh, hay ảnh hưởng tham số môi trường Hiện phương pháp nhận dạng khuôn mặt chia thành nhiều hướng theo tiêu chí khác Trên thực tế người ta chia phương pháp nhận dạng khuôn mặt thành ba loại: phương pháp tiếp cận toàn cục (Global, Eigenfaces-PCA, Fisherfaces-LDA), phương pháp tiếp cận dựa đặc điểm cục (Local Feature Based, LBP, Gabor Wavelets) phương pháp lai (Hybrid, kết hợp hai phương pháp tiếp cận toàn cục phương pháp tiếp cận dựa đặc điểm cục bộ).Trong đó, Eigenfaces phương pháp trích rút đặc trưng nhằm giảm số chiều ảnh đơn giản mang lại hiệu tốt Hệ thống hoạt động ổn định có tính thích nghi cao liệu đầu vào thay đổi nhiều Hệ thống camera giám sát ngày trở lên phổ biến sử dụng rộng rãi nhiều lĩnh vực với mục đích hỗ trợ an ninh cho cơng ty, ngân hàng, cửa hàng, , camera có khả lưu trữ liệu video cần thuê nhân viên quan sát phát có người xâm nhập Phương pháp khơng hiệu quả, tốn chi phí, thời gian phụ thuộc nhiều vào yếu tố người, khó khăn việc tìm kiếm liệu Với mong muốn đưa nhìn tổng quan phương pháp nhận dạng khuôn mặt, vận dụng phương pháp nhận dạng khuôn mặt dùng Eigenfaces để xây dựng hệ thống camera an ninh Tôi chọn đề tài "Nghiên cứu kỹ thuật nhận dạng khuôn mặt người Xây dựng hệ thống camera chống trộm" làm đề tài tốt nghiệp Mục tiêu nghiên cứu Tìm hiểu phương pháp nhận dạng khn mặt người vận dụng xây dựng hệ thống camera chống trộm Để hoàn thành mục tiêu đặt ra, cần thực nhiệm vụ sau: - Tìm hiểu phương pháp xác định khn mặt người; - Tìm hiểu phương pháp theo vết đối tượng; - Tìm hiểu phương pháp nhận dạng khuôn mặt người; - Xây dựng hệ thống camera chống trộm Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu - Phương pháp xác định khuôn mặt người - Phương pháp theo vết đối tượng - Phương pháp nhận dạng khuôn mặt 3.2 Phạm vi nghiên cứu - Tập trung tìm hiểu kỹ thuật nhận dạng khuôn mặt người - Ứng dụng kỹ thuật nhận dạng khuôn mặt người xây dựng hệ thống camera chống trộm Phương pháp nghiên cứu 4.1 Nghiên cứu lý thuyết - Thu thập, tìm hiểu, phân tích tài liệu vềnhận dạng khn mặt - Tìm hiểu phương pháp nhận dạng khuôn mặt - Nghiên cứu công cụ xây dựng hệ thống 4.2 Nghiên cứu thực nghiệm - Thu thập liệu thực tế - Trích rút thuộc tính đặc trưng từ liệu thực tế - Phân tích u cầu chương trình - Thiết kế hệ thống triển khai xây dựng chương trình - Kiểm thử đánh giá kết Bố cục luận văn Nội dung luận văn gồm nội dung sau đây: Chương 1.Giới thiệu tổng quan Nội dung chương giới thiệu toán nhận dạng khn mặt, ứng dụng tốn vào thực tế hạn chế nhận dạng khuôn mặt Hệ thống camera giám sát thư viện mã nguồn mở OpenCV Chương 2.Nhận dạng khuôn mặt Eigenface Nội dung chương trình bày việc xây dựng hệ thống nhận dạng bao gồm việc phát khn mặt, theo vết khn mặt, trích rút đặc trưng nhận dạng khuôn mặt sử dụng Eigenfaces Chương Xây dựng hệ thống camera chống trộm Nội dung chương tập trung phân tích yêu cầu hệ thống, xác định chức chính, xây dựng sơ đồ hoạt động ứng dụng, tiến hành cài đặt ứng dụng 39 KẾT LUẬN VÀ KIẾN NGHỊ KẾT LUẬN Nhận dạng khuôn mặt toán hấp dẫn, nhận nhiều quan tâm nhà nghiên cứu tính ứng dụng to lớn thực tế Luận văn trình bày tổng quan phương pháp nhận dạng khn mặt người; phát khuôn mặt dựa đặc trưng Haar-like; theo vết khuôn mặt chuyển động video; xây dựng chương trình thử nghiệm sử dụng phương pháp nhận dạng khuôn mặt người Eigenfaces; kiểm thử đánh giá tính ổn định hiệu suất hệ thống qua có hiểu biết sâu phương pháp nhận dạng Hệ thống camera an ninh thực chức giám sát, lưu trữ video, thực cảnh báo âm thanh, tin nhắn hình qua email có người xuất khung hình, nhận dạng khn mặt để quản lý vào Giúp giải phóng sức lao động cho nhân viên an ninh, nâng cao hiệu cho hệ thống camera an ninh Tuy nhiên kết nhận dạng ta thu nằm điều kiện cụ thể Việc ứng dụng hệ thống vào thực tế gặp phải vấn đề thách thức điều kiện môi trường, chất lượng ảnh thu Tỉ lệ phát khn mặt, nhận dạng cịn chưa cao, chưa có chế thiết lập tự động tham số nên áp dụng hệ thống vào điều kiện cụ thể cần có điều chỉnh thiết lập Chưa tối ưu hóa giải thuật cách tốt để tận dụng hiệu phần cứng HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Để hệ thống camera an ninh ứng dụng rộng rãi vào thực tế, mang lại hiệu cao hướng phát triển giúp hệ thống lý tưởng hơn: - Xây dựng sở liệu khuôn mặt chung đủ lớn để nâng cao độ xác cho hệ thống - Hệ thống thống kê, báo cáo lần xuất khuôn mặt nhận dạng cảm xúc, biểu khuôn mặt để đưa phương án đảm bảo an ninh - Hệ thống mở rộng thêm chức điểm danh nhân viên, kết hợp phương pháp nhận dạng khác mống mắt, vân tay để kiểm soát vào cho khu vực yêu cầu vấn đề an ninh cao - Hệ thống áp dụng toán chuyển tiếp camera phát bất thường hệ thống camera giám sát - Xây dựng thuật tốn nâng cao chất lượng hình ảnh, giảm tác động yếu tố môi trường, tăng tốc độ xử lý cho hệ thống - Tăng cường chất lượng thiết bị thu nhận hình ảnh để nâng cao hiệu suất 40 độ xác, hiệu hệ thống sử dụng loại camera chống nước có khả hoạt động tốt mơi trường thiếu ánh sáng - Có hình thức đề phòng cố lượng nguồn điện dự phịng để đảm bảo hệ thống có khả hoạt động liên tục không bị ngắt quãng - Hồn thiện chương trình để triển khai ứng dụng vào thực tế TÀI LIỆU THAM KHẢO Tiếng Việt Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phúc Doãn (2009), “Tổng quan phương pháp xác định khn mặt người”, Tạp chí khoa học Trần Thanh Việt, Trần Công Chiến, Huỳnh Cao Tuấn, Nguyễn Hữu Nam, Đỗ Năng Toàn, Trần Hành (2012), "Một kỹ thuật phát hiện, bám sát đối tượng ứng dụng", Tạp chí khoa học điện tử Tiếng nước ngồi Sheifali Gupta, O.P.Sahoo, Ajay Goel, Rupesh Gupta (2010), “A New Optimized Approach to Face Recognition Using EigenFaces”, Global Journal of Computer Science and Technology, Vol 10 Issue (Ver 1.0) Sandeep Mishra, Anupam Dubey (2015), “Face Recognition Approaches: A Survey” International Journal of Computing and Business Research (IJCBR) ISSN (Online) : 2229-6166 Volume Issue Dr Pramod Kumar, Mrs Monika Agarwal, Miss Stuti Nagar (2013), “A Survey on Face Recognition System - A Challenge”, International Journal of Advanced Research in Computer and Communication Engineering Vol 2, Issue Subrat Kumar Rath, Siddharth Swarup Rautaray (2014), “A Survey on Face Detection and Recognition Techniques in Different Application Domain”, I.J Modern Education and Computer Science, 2014, 8, 34-44, Published Online August 2014 in MECS (http://www.mecs-press.org/), DOI: 10.5815/ijmecs.2014.08.05 Rabia Jafri* and Hamid R Arabnia* (2009), "A Survey of Face Recognition Technique", Journal of Information Processing Systems, Vol.5, No.2 Mejda Chihaoui * (2008), Akram Elkefi, Wajdi Bellil and Chokri Ben Amar, "A Survey of 2D Face Recognition Techniques" Etienne Corvee and Francois Bremond (2012), "Combining face detection and people tracking in video sequences" 10 Jannik Boll Nielsen (2010), "Face Detection and Recognition in Video-Streams", Kongens Lyngby 2010 IMM-B.Sc-2010-14 11 Wei-Lun Chao (2009), "Face Recognition", GICE, National Taiwan University 12 Rajib Saha, Debotosh Bhattacharjee (2013), "Face Recognition Using Eigenfaces", International Journal of Emerging Technology and Advanced Engineering, ISSN 2250-2459, ISO 9001:2008 Certified Journal, Volume 3, Issue 13 Johannes Stallkamp, Hazım K Ekenel, Rainer Stiefelhagen (2011), "Video-based Face Recognition on Real-World Data", Interactive System Labs, University of Karlsruhe, Germany Website 14 https://en.wikipedia.org/wiki/Eigenface 15 http://opencv.org/ PHỤ LỤC import numpy as np from scipy import misc # for loading image np.random.seed(1) # filename structure path = 'unpadded/' # path to the database ids = range(1, 16) # 15 persons states = ['centerlight', 'glasses', 'happy', 'leftlight', 'noglasses', 'normal', 'rightlight','sad', 'sleepy', 'surprised', 'wink' ] prefix = 'subject' surfix = '.pgm' # data dimension h = 116 # hight w = 98 # width D = h * w N = len(states)*15 K = 100 # collect all data X = np.zeros((D, N)) cnt = for person_id in range(1, 16): for state in states: fn = path + prefix + str(person_id).zfill(2) + '.' + state + surfix X[:, cnt] = misc.imread(fn).reshape(D) cnt += # Doing PCA, note that each row is a datapoint from sklearn.decomposition import PCA pca = PCA(n_components=K) # K = 100 pca.fit(X.T) # projection matrix U = pca.components_.T ... pháp nhận dạng khuôn mặt, vận dụng phương pháp nhận dạng khuôn mặt dùng Eigenfaces để xây dựng hệ thống camera an ninh Tôi chọn đề tài "Nghiên cứu kỹ thuật nhận dạng khuôn mặt người Xây dựng hệ thống. .. TỐN NHẬN DẠNG KHN MẶT 1.2.1 Nhận dạng dựa đặc trưng khuôn mặt 1.2.2 Nhận dạng dựa xét tồn khn mặt 1.2.3 Điểm mạnh hạn chế công nghệ nhận dạng khuôn mặt 1.3 HỆ THỐNG CAMERA. .. định khuôn mặt người - Phương pháp theo vết đối tượng - Phương pháp nhận dạng khuôn mặt 3.2 Phạm vi nghiên cứu - Tập trung tìm hiểu kỹ thuật nhận dạng khuôn mặt người - Ứng dụng kỹ thuật nhận dạng