Xác định mặt người sử dụng các đặc trưng hình học 3d

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ VŨ THỊ TUYẾT XÁC ĐỊNH MẶT NGƢỜI SỬ DỤNG CÁC ĐẶC TRƢNG HÌNH HỌC 3D LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ VŨ THỊ TUYẾT XÁC ĐỊNH MẶT NGƢỜI SỬ DỤNG CÁC ĐẶC TRƢNG HÌNH HỌC 3D Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS ĐỖ NĂNG TOÀN Hà Nội - 2015 LỜI CẢM ƠN Lời xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo PGS.TS Đỗ Năng Toàn, Phó viện trƣởng Viện Công nghệ thông tin - Đại học Quốc gia Hà Nội Trong thời gian làm luận văn tốt nghiệp Thầy dành nhiều thời gian quý báu tận tình bảo, hƣớng dẫn nghiên cứu, thực luận văn Tôi xin đƣợc cảm ơn thầy giáo, cô giáo giảng dạy trình học tập làm luận văn Các thầy cô giúp có hiểu biết sâu sắc lĩnh vực mà nghiên cứu để vận dụng kiến thức vào công tác hiệu Xin cảm ơn gia đình, bạn bè, đồng nghiệp tạo điều kiện tốt nhất, động viên, cổ vũ suốt trình học tập nghiên cứu để hoàn thành luận văn tốt nghiệp Hà Nội, tháng 10 năm 2015 Học viên thực LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu độc lập thân có giúp đỡ lớn thầy hƣớng dẫn Những số liệu, kết đƣợc đƣa luận văn trung thực chƣa đƣợc công bố công trình nghiên cứu khác Trong luận văn có tham khảo số tài liệu số tác giả đƣợc liệt kê phần tài liệu tham khảo cuối luận văn Hà Nội, tháng 10 năm 2015 Học viên thực MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC BẢNG MỞ ĐẦU Chƣơng KHÁI QUÁT VỀ NHẬN DẠNG MẶT NGƢỜI 1.1 Bài toán nhận dạng mặt ngƣời 1.1.1 Giới thiệu 1.1.2 Tầm quan trọng nhận dạng mặt ngƣờiError! defined Bookmark not 1.1.3 Ứng dụng toán nhận dạng mặt ngƣờiError! Bookmark not defined 1.1.4 Các hƣớng tiếp cận nhận dạng mặt ngƣờiError! not defined Bookmark 1.1.4.1 Hƣớng tiếp cận dựa tri thức Error! Bookmark not defined 1.1.4.2 Hƣớng tiếp cận dựa đặc trƣng không thay đổi Error! Bookmark not defined 1.1.4.3 Hƣớng tiếp cận dựa so sánh khớp mẫuError! not defined 1.1.4.4 Hƣớng tiếp cận dựa diện mạoError! defined Bookmark Bookmark not 1.1.5 Những khó khăn toán nhận dạng mặt ngƣời Error! Bookmark not defined 1.2 Nhận dạng mặt ngƣời dựa đặc trƣng 3DError! defined Bookmark not Chƣơng PHÁT HIỆN MẶT NGƢỜI SỬ DỤNG ĐẶC TRƢNG 3D Error! Bookmark not defined 2.1 Đặc trƣng 3D Error! Bookmark not defined 2.2 Rút trích đặc trƣng lồi lõm Error! Bookmark not defined 2.2.1 Điểm lồi điểm lõm Error! Bookmark not defined 2.2.2 Dò tìm lấy vùng lồi, lõm Error! Bookmark not defined 4 2.2.3 Dò tìm phát vùng lồi, lõm nhiều mức khác Error! Bookmark not defined 2.2.4 Tối ƣu tốc độ việc dò tìm Error! Bookmark not defined 2.3 Xây dựng cấu trúc lồi lõm Error! Bookmark not defined 2.4 Xây dựng hàm tính độ tƣơng đồng hai câyError! Bookmark not defined 2.4.1 Độ tƣơng đồng hai nút Error! Bookmark not defined 2.4.2 Độ tƣơng đồng hai Error! Bookmark not defined 2.4.3 Không gian khoảng cách hai câyError! Bookmark not defined 2.5 Nhận dạng Error! Bookmark not defined 2.5.1 Cơ sở lý thuyết Error! Bookmark not defined 2.5.2 Canh biên đặc trƣng khuôn mặt Error! Bookmark not defined 2.5.2.1 Kỹ thuật dò biên Error! Bookmark not defined 2.5.2.2 Canh biên Error! Bookmark not defined 2.5.3 Xử lý độ sáng tập ảnh mẫu Error! Bookmark not defined 2.5.4 Gán nhãn Error! Bookmark not defined 2.5.5 Thống kê Error! Bookmark not defined 2.5.6 Các đánh giá dùng phát khuôn mặtError! Bookmark not defined 2.5.7 Hậu xử lý Error! Bookmark not defined Chƣơng CÀI ĐẶT VÀ THỬ NGHIỆM Error! Bookmark not defined 3.1 Môi trƣờng thử nghiệm Error! Bookmark not defined 3.2 Tập ảnh thử nghiệm Error! Bookmark not defined 3.3 Kết thử nghiệm Error! Bookmark not defined 3.4 Nhận xét Error! Bookmark not defined 3.5 Một số ảnh kết tiêu biểu Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO DANH MỤC HÌNH VẼ Hình 1.1: Hệ thống nhận dạng mặt ngƣời Error! Bookmark not defined Hình 1.2: Hệ thống đa độ phân giải Error! Bookmark not defined Hình 1.3: Phƣơng pháp chiếu Error! Bookmark not defined Hình 1.4: Mô hình mạng Nơ ron H Rowley Error! Bookmark not defined Hình 1.5: Mô hình Markov xác định khuôn mặt Error! Bookmark not defined Hình 1.6: Các trạng thái ẩn mô hình MarkovError! Bookmark not defined Hình 1.7: Vector quan sát để huấn luyện mô hình Markov ẩn Error! Bookmark not defined Hình 2.1 Dò tìm thông tin lồi lõm Error! Bookmark not defined Hình 2.2: Dò tìm vùng lồi lõm ảnh Error! Bookmark not defined Hình 2.3: Tập lọc Error! Bookmark not defined Hình 2.4: Dò tìm vùng lồi lõm nhiều mức khác nhauError! Bookmark not defined Hình 2.5: Ảnh tích phân Error! Bookmark not defined Hình 2.6: Tính tổng độ sáng hình chữ nhật R(l,r,t,b)Error! Bookmark not defined Hình 2.7: Cây cấp bậc Error! Bookmark not defined Hình 2.8: Cây cấp bậc đƣợc rút trích từ khuôn mặtError! Bookmark not defined Hình 2.9: Vị trí vùng tƣơng đối nút Error! Bookmark not defined Hình 2.10: Cách tính vector đại diện độ sáng nútError! Bookmark not defined Hình 2.11: Các thông tin nút rút trích đƣợcError! Bookmark not defined Hình 2.12: Biểu diễn khuôn mặt không gianError! Bookmark not defined Hình 2.13: Chọn k chuẩn Error! Bookmark not defined Hình 2.14: Đánh giá điểm có thuộc lớp khuôn mặt hay khôngError! Bookmark not defined Hình 2.15: Canh biên vị trí khuôn mặt Error! Bookmark not defined Hình 2.16: Hiệu chỉnh độ sáng cân lƣợc đồError! Bookmark not defined Hình 2.17: Gán nhãn cho tập ảnh học Error! Bookmark not defined Hình 2.18: Mô hình phát mặt ngƣời Error! Bookmark not defined Hình 3.1: Một số ảnh khuôn mặt tập ảnh Markus Weber Error! Bookmark not defined 7 Hình 3.2 Một số ảnh khuôn mặt tập ảnh Markus Weber Error! Bookmark not defined Hình 3.2: Một số trƣờng hợp phát Error! Bookmark not defined Hình 3.3: Trƣờng hợp phát chƣa Error! Bookmark not defined DANH MỤC BẢNG Bảng 1: Kết thử nghiệm rút trích đặc trƣng mứcError! Bookmark not defined Bảng 2: Kết thử nghiệm rút trích đặc trƣng mứcError! Bookmark not defined Bảng 3: Kết thử nghiệm tập ảnh không chứa khuôn mặt Error! Bookmark not defined Bảng 4: Kết thử nghiệm tiếp cận diện mạo tập ảnh Error! Bookmark not defined MỞ ĐẦU Lý chọn đề tài Hiện với phát triển vƣợt bậc kỹ thuật số mạng toàn cầu, vấn đề an ninh, bảo mật thông tin ngày trở nên quan trọng khó khăn Những vụ đánh cắp tài khoản thẻ tín dụng hay đột nhập trái phép vào hệ thống máy tính, tòa nhà quan nhà nƣớc, phủ xảy ngày nhiều Hơn 200 triệu đô la số tiền bị thất thoát Mỹ vào năm 2012 vụ gian lận xâm nhập trái phép nói [21] Hầu hết vụ phạm pháp này, bọn tội phạm lợi dụng khe hở trình truy cập vào hệ thống thông tin kiểm soát đa số hệ thống thực quyền truy cập ngƣời sử dụng không dựa vào thông tin “chúng ta ai” mà chủ yếu dựa vào “chúng ta có gì” Hay nói cách khác, thông tin mà ngƣời sử dụng cung cấp cho hệ thống không dựa vào đặc trƣng họ nhƣ mặt, mũi, vân tay mà họ sở hữu nhƣ họ tên, ngày tháng năm sinh, số chứng minh thƣ nhân dân, mật mã, số thẻ tín dụng Những thông tin không mang tính đặc trƣng mà mang tính xác thực ngƣời sử dụng mà chúng bị chép đánh cắp kẻ trộm hoàn toàn truy cập vào hệ thống sử dụng liệu họ muốn Từ yêu cầu đó, công nghệ cho phép việc xác thực dựa vào chất cá nhân Công nghệ đƣợc phát triển theo hƣớng sinh trắc học, phƣơng pháp tự động cho phép xác thực hay nhận dạng cá nhân dựa vào đặc trƣng sinh học ngƣời nhƣ đặc điểm khuôn mặt, vân tay… đặc điểm liên quan đến hành vi nhƣ giọng nói, chữ viết nên có độ xác cao khó bị giả mạo Các đặc trƣng sinh học ngƣời khó thay đổi, đặc trƣng hành vi thay đổi yếu tố tâm lý nhƣ mệt mỏi, căng thẳng hay bệnh tật Chính lý mà hệ thống nhận dạng dựa đặc trƣng sinh học thƣờng hiệu so với hệ thống nhận dạng dựa vào đặc trƣng hành vi Nhận dạng mặt ngƣời số phƣơng pháp nhận dạng dựa vào đặc trƣng sinh học cho kết xác cao Hơn nữa, số đặc trƣng sinh học ngƣời khuôn mặt đóng vai trò quan trọng trình giao tiếp ngƣời với ngƣời mang lƣợng thông tin giàu có, chẳng hạn nhƣ dựa vào khuôn mặt xác định giới tính, độ tuổi, cảm xúc Nhận dạng khuôn mặt toán nhƣng thách thức lớn độ phức tạp Do đến toán thu hút đƣợc quan tâm nhiều nhà khoa học Từ lý chọn đề tài: “Xác định mặt ngƣời sử dụng đặc trƣng hình học 3D” làm đề tài luận văn tốt nghiệp Mục tiêu, nhiệm vụ nghiên cứu Tìm hiểu mô hình toán nhận dạng bƣớc thực để xây dựng hệ thống nhận dạng mặt ngƣời; Tìm hiểu, nắm đƣợc công nghệ đƣợc áp dụng bƣớc hệ thống; Hiểu rõ lý thuyết toán học tính chất đặc trựng kỹ thuật đƣợc sử dụng để giải toán khuôn khổ luận văn; Tìm hiểu sử dụng công cụ hữu ích nhằm phục vụ cho toán nhận dạng mặt ngƣời Đối tƣợng phạm vi nghiên cứu Đối tƣợng nghiên cứu: Các phƣơng pháp, thuật toán phục vụ cho việc phát nhận dạng mặt ngƣời ảnh; sở liệu chuẩn Phạm vi nghiên cứu: Luận văn tập trung vào nghiên cứu phát mặt ngƣời dựa vào đặc trƣng hình học khuôn mặt Phƣơng pháp nghiên cứu Các phƣơng pháp nghiên cứu lý thuyết nhƣ: Phƣơng pháp phân tích tổng hợp lý thuyết, phƣơng pháp mô hình hóa Phƣơng pháp nghiên cứu thực tiễn nhƣ: Phƣơng pháp phân tích tổng kết kinh nghiệm, phƣơng pháp quan sát khoa học 9 Kết cấu luận văn Ngoài phần mở đầu, mục lục, kết luận, tài liệu tham khảo, đề tài gồm chƣơng nhƣ sau: Chƣơng 1: Khái quát nhận dạng mặt ngƣời Tìm hiểu chung toán nhận dạng mặt ngƣời, ứng dụng toán số phƣơng pháp nhận dạng mặt ngƣời Chƣơng 2: Phát mặt ngƣời sử dụng đặc trƣng 3D Trình bày đặc trƣng lồi lõm khuôn mặt phát mặt ngƣời dựa vào đặc trƣng lồi lõm Chƣơng 3: Cài đặt thử nghiệm Xây dựng chƣơng trình ứng dụng số kết thu đƣợc 10 Chƣơng KHÁI QUÁT VỀ NHẬN DẠNG MẶT NGƢỜI 1.1 Bài toán nhận dạng mặt ngƣời 1.1.1 Giới thiệu Nhận dạng khuôn mặt khái niệm mẻ, đƣợc phát triển vào năm 60 kỷ trƣớc Khi đó, ngƣời ta phải dùng tới phƣơng pháp tính toán thủ công để xác định vị trí, khoảng cách phận khuôn mặt Về sau, vào cuối thập niên 80, kỹ thuật nhận diện khuôn mặt dần đƣợc cải thiện M Kirby L Sirovich [11] phát triển phƣơng pháp tìm mặt riêng (eigenface) sử dụng phƣơng pháp phân tích thành phần (Principal component analysis - PCA), đánh dấu bƣớc ngoặt ngành công nghệ nhận diện khuôn mặt Ngày nay, dễ dàng nhìn thấy ứng dụng công nghệ nhận diện khuôn mặt việc điều tra tội phạm, kiểm tra hành khách sân bay hay việc xác thực truy cập vào hệ thống Thuật toán nhận diện khuôn mặt đƣợc chia làm hai loại hình học (geometric) trắc quang (photometric) Hình học nhận diện khuôn mặt dựa vào đặc trƣng khuôn mặt nhƣ mắt, mũi, miệng, gò má; trắc quang phƣơng pháp biến hình ảnh thành giá trị so sánh với giá trị mẫu để nhận diện Ngày nhà nghiên cứu phát triển kỹ thuật nhận diện khuôn mặt riêng, nhƣng phổ biến có ba loại phân tích thành phần (Principal component analysis - PCA), phân tích phân lớp tuyến tính (Linear discriminant analysis - LDA) phƣơng pháp đồ thị đàn hồi (Elastic Bunch Graph Matching - EBGM) Cách nhận diện khuôn mặt sử dụng phƣơng pháp phân tích thành phần phụ thuộc nhiều vào sở liệu ban đầu chứa ảnh mẫu góc quay camera nhƣ ánh sáng Phƣơng pháp sử dụng thuật toán đại số để tìm giá trị mặt riêng vector riêng so sánh với giá trị mẫu, ta thu đƣợc khuôn mặt cần nhận diện Ƣu điểm phƣơng pháp giảm thiểu đƣợc liệu cần sử dụng làm mẫu Còn phƣơng pháp phân lớp tuyến tính lại phân loại lớp chƣa biết thành lớp biết, mà khuôn mặt tạo thành lớp khác biệt khuôn mặt lớp nhỏ Cả phân tích thành phần phân lớp tuyến tính chọn cách thống kê lấy mẫu, chọn lọc để nhận diện khuôn mặt Phƣơng pháp lại đồ thị đàn hồi chia mặt thành mạng lƣới gồm nút với khuôn mặt có khoảng 80 điểm nút Vị trí nút giúp xác định khoảng cách hai mắt, độ dài sống mũi, độ sâu hốc mắt, hình dạng gò má… Điểm khó phƣơng pháp cần tính toán xác khoảng cách điểm nút, phải dùng 11 TÀI LIỆU THAM KHẢO Tiếng Việt [1] PGS.TS Đỗ Năng Toàn, TS Phạm Việt Bình, Xử lý ảnh, Đại học Thái Nguyên, 2007 Tiếng Anh [2] A Yuille, P.Halinan, and D Cohen, “Feature Extraction from Faces Using efomable Template”, Int’l J Computer Vision, vol 8, no 2, pp 99-111, 1992 [3] C Kotropoulos and I Pitas, “Rule-Based Face Detection in Frontal Views”, Proc Int’l Conf Acoustics, Speech and Signal Processing, pp 122-126, 1998 [4] Duc A Duong, Du LH Tran, DuanD Tran, “Optimizing Speed for Adaptive Local Thresholding Algorithm Using Dynamic Programming”, International Conference on Electronics, Information, and Communications 2004-ICEIC’04, Vol 1, pp 438-441, Aug 2004 [5] E Osuna, R Freund, and F Girosi, “Training Support Vector Machines: An Application to Face Detection” Proc IEEE Conf Computer Vision and Pattern Recognition, pp 130-136, 1997 [6] Fuzhen Huang and Jianbo Su, “Multiple Face Detection Using adaptive Flows”, Sinobiometrics 2004, LNCS 3338, pp 137-143, Springer-Verlag Berlin eidellberg, 2004 [7] G Yang, T S Huang, “Human Face Detection in Complex Background”, Pattern Recognition, Vol 27, No 1, pp 53-63, 1994 [8] H Schneiderman, T Kanade, “Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Detection”, Proc IEEE Conf Computer Vision and Pattern Recognition (CVPR’98), pp 45-51, 1998 [9] H Rowley, S Baluja, T Kanade, “Neural network-based face detection”, IEEE Transaction on Pattern Analysis and Machine Intelligence (PAMI), Vol 20, No 1, pp 23-38, Jan 1998 [10] James L Crowley, Alice C Parker, “A Representation for Shape based on Peaks and Ridges in the Difference of Low-Pass Transform”, Technical ReportCMU-RI-TR-83-4, Carnegie-Mellon University, May 1983 [11] K.V Mardia and Dryden, “Shape Distributions for Landmark Data”, Advanced Applied Probability, vol 21, pp 742-755, 1989 [12] L Sirovich and M Kirby, “Low-dimensional proceduce for the characterization of human faces” The Optical of America A, Vol 4, page 519, March 1987 12 [13] Ming-Hsuan Yang, David J Kriegman, Narendra Ahuja, “Detecting Faces in Images: A Survey”, IEEE Transaction on Pattern Analysis and Machine Intelligence (PAMI), Vol 24, No 1, pp 34-47, January 2002 (1-25) [14] M Kirby and L Sirovich, “Application of the Karhunen-LoeveProceduce for the Characterization of Human face”, IEEE Trans Patten Analysis and Machine Intelligence, vol 12, no 1, pp 103-108, Jan 1990 [15] P Viola, M Jones, “Rapid object detection using a boosted cascade of simple features”, Proc IEEE Conf Computer Vision and Pattern Recognition (CVPR’01), pp 511-518, Dec 2001 [16] Quan Yuan, Wen Gao, Hongxun Yao, “Robust frontal face detection in complex environment”, International Conference on Pattern Recognition 2002 ICPR’02, pp 25-28, Aug 2002, Canada [17] S.A Sirohey, “Human face Segmentation and Identification”, Technical Report CS-TR-3176, Univ of Maryland, 1983 [18] T Sakai, M Nagao, and S Fujibayashi, “Line Extraction and Pattern Detection in a Photograph”, Pattern Recognition, vol 1, pp 233-248, 1969 [19] Tony Lindeberg, “Edge Detection and Ridge Detection with Automatic Scale Selection”, International Journal of Computer Vision, pp 117-154, Vol 30, No 2, Nov 1998 [20] Thanh Hai Tran Thi, Augustin Lux, “A method for Ridge Extraction”, 6th Asian Conference on Computer Vision 2004- ACCV’04, Vol 2, Feb 2004, Korea Website: [21] http://news.zing.vn/Nhung-vu-an-cap-tien-qua-mang-lon-nhat-trong-lichsu-post458349.html [22] http://www.vision.caltech.edu/html-files/archive.html