Nhận diện khuôn mặt người sử dụng wavelet và principle component analysis (PCA)

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THÁI LINH NHẬN DIỆN KHUÔN MẶT NGƯỜI SỬ DỤNG WAVELET VÀ PRINCIPLE COMPONENT ANALYSIS (PCA) LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên, 2018 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THÁI LINH NHẬN DIỆN KHUÔN MẶT NGƯỜI SỬ DỤNG WAVELET VÀ PRINCIPLE COMPONENT ANALYSIS (PCA) Chuyên ngành: Khoa học máy tính Mã số: 480 101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS NGUYỄN TOÀN THẮNG Thái Nguyên, 2018 i LỜI CAM ĐOAN Tôi xin cam đoan kết đạt luận văn sản phẩm riêng cá nhân, không chép lại người khác Trong toàn nội dung luận văn, điều trình bày cá nhân tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Tác giả luận văn Vũ Thái Linh ii LỜI CẢM ƠN Lời đầu tiên, tơi xin bày tỏ lịng biết ơn sâu sắc đến đến Ban Giám Hiệu, thầy giáo, giáo phịng đào tạo sau đại học Công Nghệ Thông Tin & Truyền Thông, thầy giáo, cô giáo giảng dạy cung cấp cho kiến thức bổ ích thời gian học, giúp tơi có tảng tri thức để phục vụ nghiên cứu khoa học sau Đặc biệt, xin bày tỏ kính trọng lịng biết ơn sâu sắc đến thầy giáo TS Nguyễn Toàn Thắng người tận tình hướng dẫn, bảo giúp đỡ tơi suốt q trình nghiên cứu hồn thành luận văn Tơi xin bày tỏ lịng cảm ơn đến gia đình bạn bè, người ln quan tâm, động viên khuyến khích tơi Tác giả luận văn Vũ Thái Linh MỤC LỤC Trang TRANG BÌA PHỤ LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC BẢNG .v DANH MỤC HÌNH ẢNH vi CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT NGƯỜI 1.1 Giới thiệu chung nhận dạng khuôn mặt 1.2 Các phương pháp phát khuôn mặt 1.2.1 Các phương pháp phát tiêu biểu .4 1.2.2 Các phương pháp tiếp cận theo thời gian thực đa chiều 1.3 Các phương pháp theo dõi khuôn mặt 1.3.1 Các phương pháp theo dõi khuôn mặt tiêu biểu 1.3.2 Các phương pháp theo dõi thời gian thực .9 1.4 Nhận dạng khuôn mặt 10 1.4.1 Phương pháp nhận dạng dựa vào không gian thông tin 11 1.4.2 Phương pháp nhận dạng dựa vào mơ hình thống kê 12 1.4.3 Phương pháp nhận dạng dựa gợi ý lai 13 1.4.4 Các phương pháp nâng cao nhận dạng khuôn mặt 13 1.5 Các sở liệu ảnh video tiếng 18 KẾT LUẬN CHƯƠNG 20 CHƯƠNG 2: NHẬN DẠNG KHUÔN MẶT NGƯỜI SỬ DỤNG PCA QUA BIẾN ĐỔI WAVELET 21 2.1 Biến đổi Wavelet 23 2.1.1 Giới thiệu Wavelet 23 2.1.2 Lựa chọn Wavelet 28 2.2 Đánh giá PCA Eigenfaces để nhận dạng khn mặt 30 2.2.1 Phân tích thành phần - PCA 30 2.2.2 Eigenfaces 32 2.3 Giai đoạn huấn luyện 33 2.4 Giai đoạn nhận dạng 36 KẾT LUẬN CHƯƠNG 38 CHƯƠNG ỨNG DỤNG ĐIỂM DANH 39 3.1 Giới thiệu toán 39 3.2 Giao diện hoạt động chương trình 39 3.3 Đánh giá kết thu 42 KẾT LUẬN CHƯƠNG 47 KẾT LUẬN CHUNG 48 TÀI LIỆU THAM KHẢO .50 DANH MỤC BẢNG Trang Bảng 1.1: Cơ sở liệu mặt 19 Bảng 2.1: Tỷ lệ nhận dạng cách sử dụng wavelet khác sở liệu Yale 24 Bảng 2.2: Sự chênh lệch hình ảnh subband WT độ phân giải Hình 2.3 (b) 28 Bảng 2.3: Tỉ lệ nhận dạng khuôn mặt subband khác 29 Bảng 3.1: So sánh hiệu sử dụng sở liệu huấn luyện .44 KẾT LUẬN CHƯƠNG Trong chương trình bày hệ thống nhận dạng khn mặt sử dụng đặc trưng PCA biến đổi Wavelet Thuật toán sử dụng việc nhận dạng không khuôn mặt người mà nhận dạng khác cử chỉ, chữ viết, v.v… Khi sử dụng Wavelet việc biến đổi ảnh giúp giảm độ phức tạp tính tốn phương pháp PCA nhiều, giúp cải thiện việc nhận dạng khuôn mặt CHƯƠNG ỨNG DỤNG ĐIỂM DANH 3.1 Giới thiệu toán Để giải toán thực tế, nhận diện điểm danh học sinh lớp học, hệ thống nhận dạng khuôn mặt phát triển để áp dụng phương pháp PCA kết hợp với wavelet Hệ thống theo phương pháp tiếp cận dựa khuôn mặt bao gồm hai giai đoạn, cụ thể giai đoạn huấn luyện cơng nhận (Hình 2.1) Giai đoạn huấn luyện sở biểu diễn cho hình ảnh miền quan tâm (đó hình ảnh tham khảo) chuyển chúng thành hình ảnh biểu diễn huấn luyện Các hình ảnh huấn luyện đại diện hình ảnh lưu trữ thư viện Giai đoạn nhận dạng chuyển hình ảnh đầu dị sang mơ hình hình ảnh thăm dị cách sử dụng sở biểu diễn sau khớp hình ảnh tham chiếu lưu trữ thư viện để xác định hình mặt 3.2 Giao diện hoạt động chương trình Ngơn ngữ lập trình tơi sử dụng C#, môi trường lập trình mạnh Visual Studio Từ cơng cụ có, tơi thiết kế giao diện xử lý việc ghi liệu sử dụng Wavelet PCA Trong trình thử nghiệm, chương trình huấn luyện với liệu thực tế gồm: Tập ảnh huấn luyện gồm 70 ảnh khuôn mặt học sinh loại:   Đặt tên ảnh sau: face1.bmp, face2.bmp,…,face70.bmp Mỗi người có 10 ảnh, có cá thể 10 ảnh đầu vào người thứ nhất, 10 ảnh người thứ 2,… Hình 3.1: Tập ảnh huấn luyện thực tế  Giao diện bắt đầu chương trình  Giao diện huấn luyện Bước huấn luyện tập ảnh cho chương trình Giao diện chương trình huấn luyện sau: Hình 3.2: Giao diện huấn luyện sở liệu Các hình sau huấn luyện lưu vào sở liệu TrainedFaces bên chương trình  Giao diện nhận dạng khn mặt Khi gặp khuôn mặt khớp với khuôn mặt huấn luyện sở liệu, hệ thống trả thông tin tên khuôn mặt tương ứng tính tốn số lượng khn mặt có camera lúc Hình 3.3: Giao diện nhận dạng khuôn mặt 3.3 Đánh giá kết thu Thí nghiệm tiến hành hệ thống nhận dạng khn mặt Trong thí nghiệm, tơi so sánh hiệu suất nhận dạng khuôn mặt người với biểu khuôn mặt chiếu sáng khác Năm cách tiếp cận khác so sánh • PCA kích thước hình ảnh ban đầu 128x128 (phương pháp địa); • PCA dải subband WT 1; • PCA dải subband WT 2; • PCA dải subband WT 3; • PCA dải subband WT Chúng ta biết đến wavelet D4 Daubechies tiếng bốn hệ số là: h0 = 0.48296291314453 & h1= 0.83651630373781 h2 = 0.22414386804201 & h3= -0.12940952255126 Mục tiêu để so sánh khả hệ thống đề xuất việc nhận khuôn mặt người mặt trước với biểu khuôn mặt khác nhau, độ chiếu sáng vết nhỏ Cơ sở liệu mặt tự tập huấn chọn để so sánh Trong sở liệu tự tập huấn, có người người bao gồm 10 biểu khuôn mặt khác nhau, chiếu sáng vết nứt nhỏ Vì vậy, có 70 hình ảnh khn mặt sở liệu Một số người thể hình 3.6 Hình 3.4: Hình ảnh từ sở liệu tập huấn với biểu khuôn mặt khác nhau, điều kiện chiếu sáng  Thử nghiệm thực sau Giả sử �� , �� , �� ��� hình ảnh từ người, i = 1, 10 Chương trình chọn hình ảnh cho người từ sở liệu, (tổng cộng 70 hình đào tạo) Mỗi người thử nghiệm trước camera để nhận dạng Các kết thể Bảng 3.1 Bảng 3.1: So sánh hiệu sử dụng sở liệu huấn luyện P P P P P C C C C P C A A A A h A t t t t Đ ộ 7 8 8 5 c 7 Từ Bảng 3.1, ta thấy phương pháp PCA dải subband WT cho kết tốt subband khác chí tồn hình ảnh  Thử nghiệm thứ hai để đánh giá hệ thống nhận dạng tốt kiểm tra hệ thống phân biệt nhiều người Thử nghiệm sử dụng sở liệu tập huấn trước cho thấy nhiều trường hợp kết nhận dạng tốt, nhiên số trường hợp hệ thống nhận sai thay đổi ánh sáng khuôn mặt gần giống Hình 3.5: Hình ảnh hệ thống nhận dạng nhiều người lúc  Thử nghiệm thứ ba sử dụng sở liệu huấn luyện trước với người khơng có sở liệu Thử nghiệm cho thấy hệ thống phát tốt gương mặt khơng có thơng tin tên người đứng trước camera ảnh khn mặt người chưa có sở liệu huấn luyện Và tương tự với nhiều người khơng có ảnh huấn luyện sở liệu đứng trước camera, hệ thống cho kết xác Hình 3.6: Hình ảnh hệ thống nhận dạng với người khơng có sở liệu huấn luyện Hình 3.7: Hình ảnh hệ thống nhận dạng với nhiều người khơng có sở liệu huấn luyện KẾT LUẬN CHƯƠNG Chương đề xuất phương pháp tiếp cận, dựa wavelet, việc sử dụng PCA để nhận dạng khuôn mặt người Biến đổi Wavelet sử dụng để phân giải hình ảnh thành subband khác với thành phần tần số khác Một subband trung bình lựa chọn để biểu diễn PCA Kết thí nghiệm cho thấy phương pháp đề xuất (PCA subband WT 4) cho phép xác định độ xác tính phân loại tốt khuôn mặt ứng dụng thực tế thử nghiệm KẾT LUẬN CHUNG Khn mặt đóng vai trị quan trọng trình giao tiếp người với người mang nhiều thông tin Nhận dạng khuôn mặt khơng phải tốn thách thức lớn tốn nhận dạng mặt người chứa nhiều toán khác như: phát đặc trưng, trích rút đặc trưng… Luận văn tập trung nghiên cứu thuật toán PCA dựa chuyển đổi Wavelet ứng dụng phát triển theo hướng xây dựng ảnh tập huấn Từ sở tự tập huấn, sử dụng thuật toán để tiến hành so khớp nhận dạng khuôn mặt người camera Đánh giá hiệu thực thi mơ hình đề xuất tiêu chí hiệu truy tìm, thời gian dung lượng nhớ cần thiết lưu trữ liệu số hố cho mơ hình Từ đó, thấy hiệu mơ hình kết hợp thuật toán PCA Wavelet cao so với việc nhận dạng khuôn mặt với việc sử dụng thuật tốn Q trình xây dựng nghiên cứu đề tài thời gian thực có hạn nên số vấn đề ý tưởng mà đề tài chưa thực đươc Hi vọng, thời gian tới với đầu tư thêm mặt thời gian với giúp đỡ thầy cô, bạn bè, tơi hồn thiện ý tưởng Hướng phát triển luận văn: Luận văn đạt số kết định, số vấn đề chưa đạt hướng phát triển tương lai Hiệu truy tìm hệ thống hiệu dung lượng lưu trữ thời gian tìm kiếm phụ thuộc vào việc đảm bảo tập ảnh huấn luyện độ sáng ảnh, góc nhìn nghiêng chất lượng ảnh nền… Có thể có dải tần số khác, chí kết hợp dải tần số, cho hiệu suất tốt Các nghiên cứu việc tìm (các) dải tần số tối ưu để nhận khuôn mặt hướng tương lai đề tài Hướng phát triển luận văn làm cách truy vấn lượng lớn thông tin từ khn mặt có sở liệu đảm bảo khả tìm kiếm sở lớn khuôn mặt hướng tới hệ thống nhận dạng kết nối trực tuyến để ứng dụng nhiều vào lĩnh vực quản lý nhân sự,… TÀI LIỆU THAM KHẢO  Tài liệu tiếng Anh [1] ZhenQiu Zhang, Long Zhu, Li, S.Z and HongJiang Zhang, "Real-time multi-view face detection," Fifth IEEE International Conference on Automatic Face and Gesture Recognition, pp 142-147, 2002 [2] Yan Wang, Yanghua Liu, Linmi Tao and Guangyou Xu, "Real-time multi-view face detection and pose estimation in video stream," 18th International Conference on Pattern Recognition, pp 354 - 357, 2006 [3] K Toyama and A Blake, "Probabilistic Exemplar Based Tracking in a Metric Space," Computer Vision, vol 2, pp 50-57, 2001 [4] Hyung-Soo Lee and Daijin Kim, "Robust face tracking by integration of two separate trackers: Skin Color and facial shape," Pattern Recognition 40, pp 3225 - 3235, 2007 [5] Christian Kublbeck and Andreas Ernst, "Face detection and tracking in video sequences using the modified census transformation," Image and Vision Computing 24, pp 564-572, 2006 [6] Du and R Ward, "Wavelet based illumination normalization for face recognition," In Proceedings of international conference on image processing, vol 2, pp 954-957, 2005 [7] M Everingham and A Zisserman, "Identifying individuals in video by combinig 'generative' and discriminative head models," in Proceedings of the 10th IEEE International Conference on Computer Vision (ICCV '05), vol 2, pp 1103-1110, October 2005 [8] F Goudail, E Lange, T Iwamoto, K Kyuma and N Otsu, "Face recognition system using local autocorrelations and multiscale integration," IEEE Trans PAMI, vol 18, no 10, pp 1024-1028, 1996 [9] K M Lam and H Yan, "Locating and extracting the eye in human face images," Pattern Recognition, vol 29, no 5, pp 771-779, 1996 [10] M Kirby and L Sirovich, "Application of the Karhunen-Loeve procedure for the characterization of human faces," IEEE Trans PAMI, vol 12, pp 103-108, 1990 [11] A Pentland, B Moghaddam and T Starner, "View-based and modular eigenspaces for face recognition," IEEE Conf Computer vision and Pattern Recognition, pp 84-91, June 1994 [12] I Daubechies, "Ten Lectures on Wavelets," CBMS-NSF series in Applied Mathematics, vol 61, pp SIAM Press, Philadelphia, 1992 [13] A Grossman and J Morlet, "Decomposition of Hardy functions into square integrable wavelet of constant shape," SIAM J of Mathematical Analysis, vol 15, pp 723-736, 1984 ... THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THÁI LINH NHẬN DIỆN KHUÔN MẶT NGƯỜI SỬ DỤNG WAVELET VÀ PRINCIPLE COMPONENT ANALYSIS (PCA) Chuyên ngành: Khoa học máy tính Mã số:... neural networks, sử dụng để nhận dạng người trình tự video cách sử dụng phương pháp nhận dạng khuôn mặt miệng 1.4.4 Các phương pháp nâng cao nhận dạng khuôn mặt Trong năm qua, nhận dạng video... thống kê mẫu để theo dõi nhiều khuôn mặt 1.4 Nhận dạng khuôn mặt Nhận dạng khuôn mặt giai đoạn quan trọng toàn hệ thống Các thuật tốn nhận dạng khn mặt video sử dụng phương pháp tiếp cận công