Nhận diện khuôn mặt người sử dụng wavelet và principle component analysis (PCA)

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THÁI LINH NHẬN DIỆN KHUÔN MẶT NGƯỜI SỬ DỤNG WAVELET VÀ PRINCIPLE COMPONENT ANALYSIS (PCA) LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên, 2018 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THÁI LINH NHẬN DIỆN KHUÔN MẶT NGƯỜI SỬ DỤNG WAVELET VÀ PRINCIPLE COMPONENT ANALYSIS (PCA) Chuyên ngành: Khoa học máy tính Mã số: 480 101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS NGUYỄN TOÀN THẮNG Thái Nguyên, 2018 i LỜI CAM ĐOAN Tôi xin cam đoan kết đạt luận văn sản phẩm riêng cá nhân, không chép lại người khác Trong toàn nội dung luận văn, điều trình bày cá nhân tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Tác giả luận văn Vũ Thái Linh ii LỜI CẢM ƠN Lời đầu tiên, tơi xin bày tỏ lịng biết ơn sâu sắc đến đến Ban Giám Hiệu, thầy giáo, giáo phịng đào tạo sau đại học Công Nghệ Thông Tin & Truyền Thông, thầy giáo, cô giáo giảng dạy cung cấp cho kiến thức bổ ích thời gian học, giúp tơi có tảng tri thức để phục vụ nghiên cứu khoa học sau Đặc biệt, xin bày tỏ kính trọng lịng biết ơn sâu sắc đến thầy giáo TS Nguyễn Toàn Thắng người tận tình hướng dẫn, bảo giúp đỡ tơi suốt q trình nghiên cứu hồn thành luận văn Tơi xin bày tỏ lịng cảm ơn đến gia đình bạn bè, người ln quan tâm, động viên khuyến khích tơi Tác giả luận văn Vũ Thái Linh iii MỤC LỤC Trang TRANG BÌA PHỤ LỜI CAM ĐOAN i LỜI CẢM ƠN .ii MỤC LỤC .iii DANH MỤC BẢNG v DANH MỤC HÌNH ẢNH vi CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT NGƯỜI 1.1 Giới thiệu chung nhận dạng khuôn mặt 1.2 Các phương pháp phát khuôn mặt .3 1.2.1 Các phương pháp phát tiêu biểu .4 1.2.2 Các phương pháp tiếp cận theo thời gian thực đa chiều 1.3 Các phương pháp theo dõi khuôn mặt 1.3.1 Các phương pháp theo dõi khuôn mặt tiêu biểu 1.3.2 Các phương pháp theo dõi thời gian thực 1.4 Nhận dạng khuôn mặt 10 1.4.1 Phương pháp nhận dạng dựa vào không gian thông tin .11 1.4.2 Phương pháp nhận dạng dựa vào mơ hình thống kê 12 1.4.3 Phương pháp nhận dạng dựa gợi ý lai 13 1.4.4 Các phương pháp nâng cao nhận dạng khuôn mặt 13 1.5 Các sở liệu ảnh video tiếng 18 KẾT LUẬN CHƯƠNG 20 CHƯƠNG 2: NHẬN DẠNG KHUÔN MẶT NGƯỜI SỬ DỤNG PCA QUA BIẾN ĐỔI WAVELET 21 2.1 Biến đổi Wavelet .23 iv 2.1.1 Giới thiệu Wavelet 2.1.2 Lựa chọn Wavelet 2.2 Đánh giá PCA Eigenfaces để nhận dạng khuôn mặt 2.2.1 Phân tích thành phần - PCA 2.2.2 Eigenfaces 2.3 Giai đoạn huấn luyện 2.4 Giai đoạn nhận dạng KẾT LUẬN CHƯƠNG CHƯƠNG ỨNG DỤNG ĐIỂM DANH 3.1 Giới thiệu toán 3.2 Giao diện hoạt động chương trình 3.3 Đánh giá kết thu KẾT LUẬN CHƯƠNG KẾT LUẬN CHUNG TÀI LIỆU THAM KHẢO v DANH MỤC BẢNG Trang Bảng 1.1: Cơ sở liệu mặt 19 Bảng 2.1: Tỷ lệ nhận dạng cách sử dụng wavelet khác sở liệu Yale 24 Bảng 2.2: Sự chênh lệch hình ảnh subband WT độ phân giải Hình 2.3 (b) 28 Bảng 2.3: Tỉ lệ nhận dạng khuôn mặt subband khác 29 Bảng 3.1: So sánh hiệu sử dụng sở liệu huấn luyện 44 vi DANH MỤC HÌNH ẢNH Trang Hình 1.1: Quy trình nhận dạng khuôn mặt video Hình 2.1 Sơ đồ khối hệ thống nhận dạng khn mặt đề xuất 22 Hình 2.2: (a) Phân rã wavelet cấp (b) Phân rã wavelet cấp phân rã wavelet cấp 6, dải A bị phân rã lần 26 Hình 2.3: (a) Một hình ảnh gốc có độ phân giải 128x128; (b) Sự phân rã WT ba mức hình ảnh (a) 27 Hình 2.4 Biểu diễn ảnh 33 Hình 2.5: (a) Năm hình ảnh từ Đại học Brown 35 (b) Hình ảnh biểu diễn đào tạo dựa subband 35 Hình 3.1: Tập ảnh huấn luyện thực tế 40 Hình 3.2: Giao diện huấn luyện sở liệu 41 Hình 3.3: Giao diện nhận dạng khn mặt 42 Hình 3.4: Hình ảnh từ sở liệu tập huấn với biểu khuôn mặt khác nhau, điều kiện chiếu sáng 43 Hình 3.5: Hình ảnh hệ thống nhận dạng nhiều người lúc 44 Hình 3.6: Hình ảnh hệ thống nhận dạng với người khơng có sở liệu huấn luyện 45 Hình 3.7: Hình ảnh hệ thống nhận dạng với nhiều người khơng có sở liệu huấn luyện 46 CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT NGƯỜI 1.1 Giới thiệu chung nhận dạng khuôn mặt Trong năm qua, nhận dạng khuôn mặt video nhận ý đáng kể Đã xuất công nghệ khả thi sau nhiều thập niên nghiên cứu đóng góp vào xu này, chúng không ứng dụng vào ứng dụng thương mại, ứng dụng bảo mật mà nhiều lĩnh vực khác sống Mặc dù hệ thống nhận dạng khuôn mặt đạt đến mức độ phát triển định, chúng nhiều hạn chế áp dụng vào điều kiện thực tế Ví dụ, hình ảnh nhận dạng video lấy môi trường thực tế với thay đổi độ sáng, khuôn mặt nghiêng độ phân giải thấp hình ảnh thu vấn đề khó giải Nói cách khác, thuật tốn chưa hoàn thiện tốt Trong chương này, phát triển nhận dạng khuôn mặt dựa video chia thành mục sau:  Phần 1.1 Giới thiệu chung  Phần 1.2 Giới thiệu kỹ thuật điển hình việc phát khn mặt video, thời gian thực đa chiều  Phần 1.3 Các phương pháp theo dõi gương mặt điển hình  Phần 1.4 So sánh với hình ảnh tĩnh, liệt kê thuận lợi bất lợi nhận dạng khuôn mặt video Các phương pháp đặc biệt để giải vấn đề chiếu sáng, độ phân giải thấp giới thiệu 3D  Phần 1.5 Trình bày số sở liệu dựa video tiếng Từ lần đề xuất vào năm 1880, nhận dạng khuôn mặt nhận ý đáng kể trở thành hướng nghiên cứu thành công nhận dạng mẫu Các nghiên cứu đưa nhiều thuật tốn có giá trị cho tốn nhận dạng khn mặt, ví dụ … Principal Component Analysis (PCA), Linear Discriminant Analysis (LDA), Elastic Graph Matching (EGM), v.v So với hình ảnh tĩnh, video cung cấp thêm thông tin không gian thời gian Do đó, nhận dạng khn mặt dựa video thu hút nhiều ý thời gian gần Trong chương khảo sát nhận dạng khuôn mặt dựa video năm Ngay từ đầu, hầu hết phương pháp dựa kỹ thuật xử lý frame (khung hình) dừng nhằm mục đích để lựa chọn frame tốt sau làm số xử lý tương đối Gần nhà nghiên cứu bắt đầu thực giải vấn đề cách thể không gian thời gian Hầu hết hệ thống có giải vấn đề nhận dạng khuôn mặt dựa video sau: Trước tiên, phát khn mặt theo dõi theo thời gian Đơi chọn frame hình tốt có mặt trước mặt tín hiệu có giá trị cần thiết Tiếp theo, frame thỏa mãn tiêu chí định (kích thước, hình dáng, độ sáng v.v…), việc nhận dạng thực cách sử dụng kỹ thuật nhận dạng Hình 1.1 cho thấy tồn q trình 38 KẾT LUẬN CHƯƠNG Trong chương trình bày hệ thống nhận dạng khuôn mặt sử dụng đặc trưng PCA biến đổi Wavelet Thuật toán sử dụng việc nhận dạng khơng khn mặt người mà cịn nhận dạng khác cử chỉ, chữ viết, v.v… Khi sử dụng Wavelet việc biến đổi ảnh giúp giảm độ phức tạp tính tốn phương pháp PCA nhiều, giúp cải thiện việc nhận dạng khuôn mặt 39 CHƯƠNG ỨNG DỤNG ĐIỂM DANH 3.1 Giới thiệu toán Để giải toán thực tế, nhận diện điểm danh học sinh lớp học, hệ thống nhận dạng khuôn mặt phát triển để áp dụng phương pháp PCA kết hợp với wavelet Hệ thống theo phương pháp tiếp cận dựa khuôn mặt bao gồm hai giai đoạn, cụ thể giai đoạn huấn luyện cơng nhận (Hình 2.1) Giai đoạn huấn luyện sở biểu diễn cho hình ảnh miền quan tâm (đó hình ảnh tham khảo) chuyển chúng thành hình ảnh biểu diễn huấn luyện Các hình ảnh huấn luyện đại diện hình ảnh lưu trữ thư viện Giai đoạn nhận dạng chuyển hình ảnh đầu dị sang mơ hình hình ảnh thăm dò cách sử dụng sở biểu diễn sau khớp hình ảnh tham chiếu lưu trữ thư viện để xác định hình mặt 3.2 Giao diện hoạt động chương trình Ngơn ngữ lập trình tơi sử dụng C#, mơi trường lập trình mạnh Visual Studio Từ cơng cụ có, tơi thiết kế giao diện xử lý việc ghi liệu sử dụng Wavelet PCA Trong trình thử nghiệm, chương trình huấn luyện với liệu thực tế gồm: Tập ảnh huấn luyện gồm 70 ảnh khuôn mặt học sinh loại:   Đặt tên ảnh sau: face1.bmp, face2.bmp,…,face70.bmp Mỗi người có 10 ảnh, có cá thể 10 ảnh đầu vào người thứ nhất, 10 ảnh người thứ 2,… 40 Hình 3.1: Tập ảnh huấn luyện thực tế  Giao diện bắt đầu chương trình 41  Giao diện huấn luyện Bước huấn luyện tập ảnh cho chương trình Giao diện chương trình huấn luyện sau: Hình 3.2: Giao diện huấn luyện sở liệu Các hình sau huấn luyện lưu vào sở liệu TrainedFaces bên chương trình  Giao diện nhận dạng khuôn mặt Khi gặp khuôn mặt khớp với khuôn mặt huấn luyện sở liệu, hệ thống trả thông tin tên khuôn mặt tương ứng tính tốn số lượng khn mặt có camera lúc 42 Hình 3.3: Giao diện nhận dạng khuôn mặt 3.3 Đánh giá kết thu Thí nghiệm tiến hành hệ thống nhận dạng khn mặt Trong thí nghiệm, tơi so sánh hiệu suất nhận dạng khuôn mặt người với biểu khuôn mặt chiếu sáng khác Năm cách tiếp cận khác so sánh •PCA kích thước hình ảnh ban đầu 128x128 (phương pháp địa); •PCA dải subband WT 1; •PCA dải subband WT 2; •PCA dải subband WT 3; •PCA dải subband WT 43 Chúng ta biết đến wavelet D4 Daubechies tiếng bốn hệ số là: h0 = 0.48296291314453 & h1= 0.83651630373781 h2 = 0.22414386804201 & h3= -0.12940952255126 Mục tiêu để so sánh khả hệ thống đề xuất việc nhận khuôn mặt người mặt trước với biểu khuôn mặt khác nhau, độ chiếu sáng vết nhỏ Cơ sở liệu mặt tự tập huấn chọn để so sánh Trong sở liệu tự tập huấn, có người người bao gồm 10 biểu khuôn mặt khác nhau, chiếu sáng vết nứt nhỏ Vì vậy, có 70 hình ảnh khuôn mặt sở liệu Một số người thể hình 3.6 Hình 3.4: Hình ảnh từ sở liệu tập huấn với biểu khuôn mặt khác nhau, điều kiện chiếu sáng  ảnh cho Thử nghiệm thực sau Giả sử , , hình ảnh từ người, i = 1, 10 Chương trình chọn hình người từ sở liệu, (tổng cộng 70 hình đào tạo) Mỗi người thử nghiệm trước camera để nhận dạng Các kết thể Bảng 3.1 44 Bảng 3.1: So sánh hiệu sử dụng sở liệu huấn luyện Phương pháp Độ xác nhận dạng Từ Bảng 3.1, ta thấy phương pháp PCA dải subband WT cho kết tốt subband khác chí tồn hình ảnh  Thử nghiệm thứ hai để đánh giá hệ thống nhận dạng tốt kiểm tra hệ thống phân biệt nhiều người Thử nghiệm sử dụng sở liệu tập huấn trước cho thấy nhiều trường hợp kết nhận dạng tốt, nhiên số trường hợp hệ thống nhận sai thay đổi ánh sáng khn mặt gần giống Hình 3.5: Hình ảnh hệ thống nhận dạng nhiều người lúc 45  Thử nghiệm thứ ba sử dụng sở liệu huấn luyện trước với người khơng có sở liệu Thử nghiệm cho thấy hệ thống phát tốt gương mặt khơng có thơng tin tên người đứng trước camera ảnh khn mặt người chưa có sở liệu huấn luyện Và tương tự với nhiều người khơng có ảnh huấn luyện sở liệu đứng trước camera, hệ thống cho kết xác Hình 3.6: Hình ảnh hệ thống nhận dạng với người khơng có sở liệu huấn luyện 46 Hình 3.7: Hình ảnh hệ thống nhận dạng với nhiều người khơng có sở liệu huấn luyện 47 KẾT LUẬN CHƯƠNG Chương đề xuất phương pháp tiếp cận, dựa wavelet, việc sử dụng PCA để nhận dạng khuôn mặt người Biến đổi Wavelet sử dụng để phân giải hình ảnh thành subband khác với thành phần tần số khác Một subband trung bình lựa chọn để biểu diễn PCA Kết thí nghiệm cho thấy phương pháp đề xuất (PCA subband WT 4) cho phép xác định độ xác tính phân loại tốt khuôn mặt ứng dụng thực tế thử nghiệm 48 KẾT LUẬN CHUNG Khn mặt đóng vai trị quan trọng q trình giao tiếp người với người mang nhiều thông tin Nhận dạng khn mặt khơng phải tốn thách thức lớn toán nhận dạng mặt người chứa nhiều tốn khác như: phát đặc trưng, trích rút đặc trưng… Luận văn tập trung nghiên cứu thuật toán PCA dựa chuyển đổi Wavelet ứng dụng phát triển theo hướng xây dựng ảnh tập huấn Từ sở tự tập huấn, sử dụng thuật toán để tiến hành so khớp nhận dạng khuôn mặt người camera Đánh giá hiệu thực thi mơ hình đề xuất tiêu chí hiệu truy tìm, thời gian dung lượng nhớ cần thiết lưu trữ liệu số hoá cho mơ hình Từ đó, thấy hiệu mơ hình kết hợp thuật tốn PCA Wavelet cao so với việc nhận dạng khuôn mặt với việc sử dụng thuật tốn Q trình xây dựng nghiên cứu đề tài thời gian thực có hạn nên số vấn đề ý tưởng mà đề tài chưa thực đươc Hi vọng, thời gian tới với đầu tư thêm mặt thời gian với giúp đỡ thầy cơ, bạn bè, tơi hồn thiện ý tưởng Hướng phát triển luận văn: Luận văn đạt số kết định, số vấn đề chưa đạt hướng phát triển tương lai Hiệu truy tìm hệ thống hiệu dung lượng lưu trữ thời gian tìm kiếm phụ thuộc vào việc đảm bảo tập ảnh huấn luyện độ sáng ảnh, góc nhìn nghiêng chất lượng ảnh 49 nền… Có thể có dải tần số khác, chí kết hợp dải tần số, cho hiệu suất tốt Các nghiên cứu việc tìm (các) dải tần số tối ưu để nhận khuôn mặt hướng tương lai đề tài Hướng phát triển luận văn làm cách truy vấn lượng lớn thơng tin từ khn mặt có sở liệu đảm bảo khả tìm kiếm sở lớn khuôn mặt hướng tới hệ thống nhận dạng kết nối trực tuyến để ứng dụng nhiều vào lĩnh vực quản lý nhân sự,… 50 TÀI LIỆU THAM KHẢO  Tài liệu tiếng Anh [1] ZhenQiu Zhang, Long Zhu, Li, S.Z and HongJiang Zhang, "Realtime multi-view face detection," Fifth IEEE International Conference on Automatic Face and Gesture Recognition, pp 142-147, 2002 [2] Yan Wang, Yanghua Liu, Linmi Tao and Guangyou Xu, "Real-time multi-view face detection and pose estimation in video stream," 18th International Conference on Pattern Recognition, pp 354 - 357, 2006 [3] K Toyama and A Blake, "Probabilistic Exemplar Based Tracking in a Metric Space," Computer Vision, vol 2, pp 50-57, 2001 [4] Hyung-Soo Lee and Daijin Kim, "Robust face tracking by integration of two separate trackers: Skin Color and facial shape," Pattern Recognition 40, pp 3225 - 3235, 2007 [5] Christian Kublbeck and Andreas Ernst, "Face detection and tracking in video sequences using the modified census transformation," Image and Vision Computing 24, pp 564-572, 2006 [6] Du and R Ward, "Wavelet based illumination normalization for face recognition," In Proceedings of international conference on image processing, vol 2, pp 954-957, 2005 [7] M Everingham and A Zisserman, "Identifying individuals in video by combinig 'generative' and discriminative head models," in Proceedings of the 10th IEEE International Conference on Computer Vision (ICCV '05), vol 2, pp 1103-1110, October 2005 51 [8] F Goudail, E Lange, T Iwamoto, K Kyuma and N Otsu, "Face recognition system using local autocorrelations and multiscale integration," IEEE Trans PAMI, vol 18, no 10, pp 1024-1028, 1996 [9] K M Lam and H Yan, "Locating and extracting the eye in human face images," Pattern Recognition, vol 29, no 5, pp 771-779, 1996 [10]M Kirby and L Sirovich, "Application of the Karhunen-Loeve procedure for the characterization of human faces," IEEE Trans PAMI, vol 12, pp 103-108, 1990 [11]A Pentland, B Moghaddam and T Starner, "View-based and modular eigenspaces for face recognition," IEEE Conf Computer vision and Pattern Recognition, pp 84-91, June 1994 [12]I Daubechies, "Ten Lectures on Wavelets," CBMS-NSF series in Applied Mathematics, vol 61, pp SIAM Press, Philadelphia, 1992 [13] A Grossman and J Morlet, "Decomposition of Hardy functions into square integrable wavelet of constant shape," SIAM J of Mathematical Analysis, vol 15, pp 723-736, 1984 ... THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THÁI LINH NHẬN DIỆN KHUÔN MẶT NGƯỜI SỬ DỤNG WAVELET VÀ PRINCIPLE COMPONENT ANALYSIS (PCA) Chuyên ngành: Khoa học máy tính Mã số:... neural networks, sử dụng để nhận dạng người trình tự video cách sử dụng phương pháp nhận dạng khuôn mặt miệng 1.4.4 Các phương pháp nâng cao nhận dạng khuôn mặt Trong năm qua, nhận dạng video... kê mẫu để theo dõi nhiều khuôn mặt 10 1.4 Nhận dạng khuôn mặt Nhận dạng khuôn mặt giai đoạn quan trọng tồn hệ thống Các thuật tốn nhận dạng khuôn mặt video sử dụng phương pháp tiếp cận công