Nghiên cứu phương pháp nhận dạng ảnh mặt người và ứng dụng

Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  ĐỖ DUY CỐP NGHIÊN CỨU PHƢƠNG PHÁP NHẬN DẠNG ẢNH MẶT NGƢỜI VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên – 2014 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  ĐỖ DUY CỐP NGHIÊN CỨU PHƢƠNG PHÁP NHẬN DẠNG ẢNH MẶT NGƢỜI VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC: TS. Vũ Việt Vũ Thái Nguyên - 2014 i Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỤC LỤC MỤC LỤC i DANH MỤC CÁC TỪ VIẾT TẮT ii DANH MỤC CÁC BẢNG ii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ iii LỜI CẢM ƠN 1 LỜI CAM ĐOAN 2 CHƢƠNG 1 TỔNG QUAN VỀ NHẬN DẠNG ẢNH MẶT NGƢỜI 3 1.1 Tổng quan về nhận dạng ảnh mặt ngƣời 3 1.2 Các hƣớng tiếp cận trong nhận dạng mặt ngƣời 4 1.2.1 Phƣơng pháp trích chọn đặc trƣng sử dụng mặt riêng (Eigenface) 4 1.2.2 Phƣơng pháp trích chọn đặc trƣng sử dụng mô hình Markov ẩn 5 1.2.3 Phƣơng pháp phân tích thành phần chính 5 1.3 Bố cục luận văn 6 CHƢƠNG 2 TRÍCH CHỌN ĐẶC TRƢNG 7 2.1 Phƣơng pháp phân tích thành phần chính - PCA 7 2.1.1 Cơ sở toán học 8 2.1.2 Phƣơng pháp PCA 17 2.2 Phƣơng pháp phân tách tuyến tính - LDA 24 2.3 Phƣơng pháp xử lý hình thái 27 2.3.1 Biến đổi trúng-trƣợt (hit-or-miss) 29 2.3.2 Phép dãn ảnh và co ảnh tổng quát 33 2.3.3 Dãn và co ảnh đa mức xám 40 CHƢƠNG 3 MẠNG NƠRON 42 3.1 Giới thiệu mạng nơron 42 3.1.1 Nơron – đơn vị xử lý cơ bản 42 3.1.2. Liên kết giữa các nơron 43 3.1.3. Hàm kích hoạt và các quy tắc xác định tín hiệu ra 44 3.1.4 Quy tắc delta 45 3.2 Thuật toán học lan truyền ngƣợc 46 ii Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ CHƢƠNG 4 THIẾT KẾ VÀ ĐÁNH GIÁ 52 4.1 Thiết kế hệ thống 52 4.1.1 Cơ sở dữ liệu ảnh 52 4.1.2 Môi trƣờng cài đặt 53 4.1.3 Cài đặt 53 4.2 Kiểm thử và đánh giá 56 KẾT LUẬN 58 HƢỚNG PHÁT TRIỂN 59 TÀI LIỆU THAM KHẢO 60 DANH MỤC CÁC TỪ VIẾT TẮT LDA (Linear Discriminant Analysis): Phƣơng pháp phân tách tuyến tính LMS (Least Mean Square): Phƣơng pháp bình phƣơng trung bình tối thiểu ORL (Olivetti Research Laboratory, Surrey University): Cơ sở dữ liệu ảnh dùng trong luận văn PCA(Principal Components Analysis): Phƣơng pháp phân tích thành phần chính DANH MỤC CÁC BẢNG Bảng 2.1. Tính toán độ lệch chuẩn 10 Bảng 2.2. Tập dữ liệu hai chiều và tính toán hiệp phương sai 12 Bảng 4.1. Các module chính của chương trình 53 iii Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 2.1. Ví dụ minh họa PCA 8 Hình 2.2. Dữ liệu và đồ thị biểu diễn dữ liệu 18 Hình 2.3. Đồ thị biểu diễn dữ liệu đã chuẩn hóa với các vector riêng 20 Hình 2.4. Ảnh gốc trong cơ sở dữ liệu ORL 23 Hình 2.5. Ảnh sau khi biến đổi theo PCA 23 Hình 2.6. Ví dụ minh họa LDA 24 Hình 2.7. Ảnh sau khi biến đổi theo LDA 27 Hình 2.8. Sự liên thông 28 Hình 2.9. Phép dãn ảnh nhị phân 31 Hình 2.10. Phép co ảnh nhị phân 32 Hình 2.11. Các toán tử đại số ảnh trên các mảng nhị phân 34 Hình 2.12. Lật và dịch một mảng nhị phân 34 Hình 2.13. Phép dãn ảnh tổng quát dựa theo phép cộng Minkowski 37 Hình 2.14. So sánh các kết quả của hai phép co ảnh 39 Hình 2.15. Phép dãn ảnh và co ảnh tổng quát với phần tử cấu trúc 5  5 40 Hình 2.16. Ảnh sau khi xử lý hình thái 41 Hình 3.1. Các thành phần cơ bản của mạng nơron nhân tạo 43 Hình 3.2. Một số dạng hàm kích hoạt của nơron 44 Hình 3.3. Mạng nơron l lớp 47 Hình 4.1. Ảnh gốc trong bộ ảnh ORL 52 Hình 4.2. Ảnh gốc được bổ sung ảnh gương 54 Hình 4.3. Giao diện chính của chương trình 56 1 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Lời đầu tiên tôi xin bày tỏ lòng biết ơn sâu sắc tới TS. Vũ Việt Vũ, công tác tại trƣờng Đại học Kỹ thuật Công nghiệp - Đại học Thái Nguyên, ngƣời đã tận tình hƣớng dẫn và giúp tôi hoàn thành luận văn tốt nghiệp này. Tôicũng xin gửi lời cảm ơn chân thành đến các thầy cô giáo của trƣờng Đại học Công nghệ thông tin và truyền thông - Đại học Thái Nguyên, cùng các thầy cô giáo của Viện Công nghệ thông tin - Viện khoa học Việt Nam đã nhiệt tình giảng dạy, truyền đạt kiến thức cho tôi trong suốt 2 năm học qua. Tôi xin cảmơn sự động viên và giúp đỡ của tất cả những ngƣời thân trong gia đình, của các bạn bè, đồng nghiệp trong quá trìnhthực hiện luận văn này. Thái Nguyên, ngày 20 tháng 05 năm 2014 Học viên Đỗ Duy Cốp 2 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ LỜI CAM ĐOAN Tôi là: Đỗ Duy Cốp Lớp: CK11A Khoá học: 2012 - 2014 Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 60 48 01 Cơ sở đào tạo: Trƣờng Đại học Công nghệ thông tin và Truyền thông Thái Nguyên. Giáo viên hƣớng dẫn: TS. Vũ Việt Vũ Cơ quan công tác: Trƣờng Đại học Kỹ thuật Công nghiệp - Đại học Thái Nguyên Tôi xin cam đoan luận văn “Nghiên cứu phương pháp nhận dạng ảnh mặt người và ứng dụng” này là công trình nghiên cứu của riêng tôi. Các số liệu sử dụng trong luận văn là trung thực. Các kết quả nghiên cứu đƣợc trình bày trong luận văn chƣa từng đƣợc công bố tại bất kỳ công trình nào khác. Thái Nguyên, ngày 20 tháng 05 năm 2014 Học viên Đỗ Duy Cốp 3 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ CHƢƠNG 1. TỔNG QUAN VỀ NHẬN DẠNG ẢNH MẶT NGƢỜI 1.1 Tổng quan về nhận dạng ảnh mặt ngƣời Xử lý ảnh là một lĩnh vực đƣợc quan tâm rất nhiều trong khoảng 10 năm trở lại đây. Bài toán nhận dạng ảnh nhằm mục đích phát hiện và nhận dạng đối tƣợng trong ảnh. Bài toán nhận dạng ảnh đƣợc ứng dụng trong nhiều lĩnh vực, đặc biệt là nhận dạng mặt ngƣời đã đƣợc ứng dụng trong các hệ thống bảo mật, nhận dạng ngƣời trên các bằng lái xe, hộ chiếu, nhận dạng ngƣời trong các hệ thống tƣơng tác ngƣời-máy, trong lĩnh vực giải trí,… Đặc biệt sau thảm họa ngày 11/9, các chính phủ trên toàn thế giới đã bắt đầu chú ý hơn tới các mức an ninh ở sân bay và biên giới. Ngân sách hằng năm của các nƣớc đã tăng lên nhiều cho các kỹ thuật hiện đại để xác định, nhận dạng và lần theo các đối tƣợng nghi vấn. Nhu cầu tăng lên trong các ứng dụng này đã giúp các nhà khoa học có thêm quỹ để phát triển các dự án nghiên cứu. Mặc dù việc nhận dạng mặt ngƣời không thể chính xác đƣợc nhƣ các phƣơng pháp nhận dạng khác nhƣ nhận dạng vân tay, nhƣng nó vẫn nhận đƣợc sự quan tâm lớn của các nhà nghiên cứu trong lĩnh vực thị giác máy. Lý do chủ yếu là trên thực tế, mặt ngƣời vẫn là cách truyền thống để con ngƣời nhận ra nhau. Một hệ thống nhận dạng mặt ngƣời điển hình bao gồm các thành phần chính nhƣ hình1.1. Hình 1.1. Mô hình hệ thống nhận dạng mặt người Ảnh mặt ngƣời Trích chọn đặc trƣng Nhận dạng mặt ngƣời Thông tin ngƣời đƣợc nhận dạng 4 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 1.2 Các hƣớng tiếp cận trong nhận dạng mặt ngƣời Có hai hƣớng tiếp cận chính làm hạt nhân của các kỹ thuật phân tích đặc trƣng mặt ngƣời: hƣớng tiếp cận hình học và hƣớng tiếp cận hình ảnh.  Hướng tiếp cận hình học sử dụng việc ánh xạ không gian các đặc trƣng mặt ngƣời. Mặt ngƣời đƣợc phân loại theo khoảng cách hình học, theo đƣờng bao và theo các góc giữa các điểm.  Hướng tiếp cận hình ảnh bao gồm việc xây dựng các mẫu từ những đặc trƣng mặt ngƣời. Mẫucủa các đặc trƣng nổi bật, hoặc thậm chí là toàn khuôn mặt đƣợc thiết lập, việc nhận dạng đƣợc thực hiệnbằng cách duyệt các khuôn mặt rồi tìm mặt nào khớp nhất với mẫu. Hiện nay các hệ thống nhận dạng mặt ngƣời vẫn đang tiếp tục đƣợc phát triển. Dƣới đây là một số phƣơng pháp trích chọn đặc trƣng: - Mặt riêng (Eigenface) - Mô hình Markov ẩn - Phân tích thành phầnchính(PCA) 1.2.1 Phƣơng pháp trích chọn đặc trƣng sử dụng mặt riêng (Eigenface) Thuật toán Eigenface rất phổ biến và đƣợc sử dụng rộng rãi do sựđơn giản và hiệu quả tính toán. Thuật toán sử dụng cáchtiếp cận lý thuyết thông tin trong việc mã hóa các ảnh mặt ngƣời và xác địnhcác vector riêng tƣơng ứng với giá trị riêng lớnnhất của ma trận hiệp phƣơng sai của ảnh. Sau đó, đối với mỗi nhómảnh của một ngƣời, ta tính vector trung bình, một ngƣỡng sẽ đƣợc chọnđể xác định khoảng cách chấp nhận đƣợc cựcđạitừ một ảnh đến nhómảnhgiúp nhận dạng những ảnh mới. 5 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 1.2.2 Phƣơng pháp trích chọn đặc trƣng sử dụng mô hình Markov ẩn Mô hình Markov ẩn phân loại một đặc trƣng mặt ngƣời bằng tính chất của chuỗi Markov. Một dãy ngẫu nhiên các biến lấy trên các giá trị điểmảnh tƣơng ứng tạo nên chuỗi Markov, nếu xác suất để hệ thống đạt trạng thái x n+1 tại thời điểm n+1 chỉ phụ thuộc vào xác suất để hệ thống đạt trạng thái x n tại thời điểm n. Trong một chuỗi Markov, việc chuyển hệ thống từ trạng thái này sang trạng thái khác tƣơng ứng với một xác suất nàođó, nhƣng kết quả của một ký hiệu ra lại xác định đƣợc trƣớc. Nhƣ vậy, kết quả là một phân bố xác suất của tất cả các ký hiệu ra tại mỗi trạng thái và kết quả này đƣợc dùngđể so sánh giữa hai khuôn mặt. 1.2.3 Phƣơng pháp phân tích thành phần chính Trong phương pháp phân tích thành phần chính(PCA  còn gọi là biến đổi Karhunen-Loeve), tập dữ liệu đƣợc biểu diễn lại với số đặc trƣngít hơn đồng thời giữ đƣợc hầu hết các thông tin quan trọng nhất của dữ liệu. PCA thƣờngđƣợc sử dụng cùng phƣơng pháp mặt riêng. Tập con các vector riêng đƣợc dùng làm các vector cơ sở của một không gian con, trong đó ta có thể so sánh vớicác ảnh trong cơ sở dữ liệuđểnhận dạng các ảnh mới. Các vector cơ sở này còn đƣợc gọi là các thành phần chínhcủa cơ sở dữ liệu ảnh. Mạng nơron đƣợc sử dụng rộng rãi trong các hệ thống nhận dạng mặt ngƣời. Kỹ thuật mạng nơron mô phỏnghoạt động của các nơron trong bộnão ngƣời. Mạng nơron có khả năng điều chỉnh các trọng số dựa trên các mẫu họctrong quá trình huấn luyện. Kết quả là mạng đạt đƣợc hiệu quả cao trong việc phân loại các lớp, dựa trên dữ liệu mẫu khả tách tuyến tính hoặc phi tuyến. [...]... biệt tốt hơn đối với các mẫu dữ liệu Các ảnh mặt người sẽ được biểu diễn trong một không gian mới sao cho có thể làm nổi bật được sự khác biệt giữa các ảnh với nhau.Các phần sau sẽ trình bày về phương pháp phân tích thành phần chính, phương pháp phân tách tuyến tính và phương pháp xử lý hình thái ảnh mặt người 2.1 Phƣơng pháp phân tích thành phầnchính - PCA Phƣơng pháp phân tích thành phầnchính [4](PCA... rộng đơn điểmảnh của các điểmảnhbên ngoài Hình 2.9minh họaphép dãnảnhcho một và ba lần lặp của một ảnh nhị phân Trong ví dụ này, các điểmảnh gốc đƣợc ghi lại là đen, các điểmảnh nền là trắng và các điểmảnh bổ sung là xám b Phép co ảnh tám-lân cận Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 31 Loại bỏ một điểmảnh đen nếu ít nhất một điểmảnh lân cận tám-liên thông là trắng Phép co ảnh tổng quát... kỹ thuật thống kê hữu ích trong các ứng dụng nhận dạng mặt ngƣời và nénảnh, đồng thờiđây cũng là một kỹ thuật phổ biến cho việc tìm kiếmcác mẫutrong không gian dữ liệu có số chiều lớn Mụcđích của phƣơng pháp phân tích này có thể diễnđạt ngắn gọn nhƣ sau :Ảnh gốc có kích thƣớc 112×92 (10304 điểmảnh).Nhữngảnh này cầnđƣợcrút gọn sao cho lƣợng thông tin dùng để biểu diễnảnhđó giảmđi,đồng thờikhông làm mất... bài toán nhận dạng mặt vector củaWlà các vector riêng của ngƣời, ma trậnSw thƣờng không khảnghịch, vì số lƣợngảnh nhỏ hơn rất nhiều so với số chiều biểu diễnảnh Có nhiều phƣơng pháp khác nhau để giải quyết vấn đề của LDA nhƣ phƣơng pháp giả nghịchđảo, phƣơng pháp không gian con hoặc phƣơng pháp không gian null Trong luận văn này, phƣơng pháp giả nghịch đảođƣợc dùngđể giải quyết vấn đề trên V ảnh gốc... thái Hai phƣơng phápPCA và LDAcho phép phân tích dựa trên các đặcđiểm mang tính thống kê củaảnh Tuy nhiên, các phƣơng pháp này chƣa xét đếnnhững đặcđiểm về hình thái của mặt ngƣời Xử lý ảnh về hình thái [5] là một phép xử lý trong đó dạng không gian hoặc cấu trúc của các đối tƣợng trong ảnh đƣợc chỉnh sửa Phép dãnảnh và phépcoảnhlà hai thao tác xử lý hình thái cơ bản Với phép dãnảnh, một đối tƣợng sẽ... CHƢƠNG 2 TRÍCH CHỌN ĐẶC TRƢNG Chương này sẽ trình bày về các phương pháp trích chọn đặc trưng được sử dụng trong luận văn Mục đích thứ nhất của việc trích chọn đặc trưng là giảm số chiều của dữ liệu Dữ liệu ảnh mặt người có số điểm ảnh lớn (cỡ vài nghìn đến vài chục nghìn điểm ảnh) , do đócần có một phép biến đổi để giảm lượng thông tin sử dụng để biểu diễn,đồng thời không làm mất quá nhiều thông tin... thống nhận dạng mặt ngƣời hiện tạiđã đạt đƣợc hiệu quả khá cao, tuy nhiên chúngvẫn còn hạn chế là chỉ tập trung vào một hay một vài phƣơng pháp trích chọn đặc trƣng Có hệ thống chỉ thực hiện nhận dạng dựa trên các đặcđiểm về hình học của mặt ngƣời hoặc có hệ thống chỉ dựa trên các đặcđiểm thống kê Trong luận văn này, việc trích chọn đặc trƣng sẽ đƣợc thực hiệndựa trên những đặcđiểm thống kê của khuôn mặt. .. đổi trúng-trƣợt Một mặt nạ kích thƣớc lẻ, thƣờng là 33, đƣợc quét qua một ảnh nhị phân Nếu các mẫu giá trị nhị phân của mặt nạ phù hợp với trạng thái của các điểmảnhdƣới mặt nạ (trúng), điểmảnh tƣơng ứng vớiđiểmảnhtrung tâm của mặt nạ sẽ đƣợc đặt về một trạng thái nhị phân mong muốn nào đó Với một mẫu không phù hợp (trƣợt), điểmảnhđósẽ đƣợc đặt về trạng thái nhị phân đối lập Ví dụ, để thực hiện việc... nghĩa công thức cho điểmảnh đầu raG(j,k) trở thành: trong đó  là toán tử giao (AND logic) và  là toán tử hợp (OR logic) a Dãnảnh tám-lân cận Xác lập giá trị củamột điểmảnh làđen nếu ít nhất một điểmảnhlân cận tám-liên thông là đen Định nghĩa trúng-trƣợt này củaphép dãnảnhlà một trƣờng hợp đặc biệt của phép dãnảnhtổng quát sẽ đƣợc giới thiệu ở mục sau Phép dãn ảnhcó thể đƣợc áp dụng một cách đệ quy Với... vòng gồm các điểmảnh đen, hình thành bởi sự liên thông của các điểmảnh, phân ảnh ra thành ba phân đoạn: các điểmảnhtrắng ở ngoài vòng, các điểmảnhtrắng ở trong vòng và các điểmảnhđen của bản thân vòng Các điểmảnhtrong mỗi phân đoạn đƣợc gọi là liên thông với nhau Khái niệm liên thông này rất dễ hiểu đối với hình 2.8(a), nhƣng lại trở nên nhập nhằng khi xét đến hình2.8(b) Liệu các điểmảnhđen có còn tạo . phát hiện và nhận dạng đối tƣợng trong ảnh. Bài toán nhận dạng ảnh đƣợc ứng dụng trong nhiều lĩnh vực, đặc biệt là nhận dạng mặt ngƣời đã đƣợc ứng dụng trong các hệ thống bảo mật, nhận dạng ngƣời. Nghiên cứu phương pháp nhận dạng ảnh mặt người và ứng dụng này là công trình nghiên cứu của riêng tôi. Các số liệu sử dụng trong luận văn là trung thực. Các kết quả nghiên cứu đƣợc trình bày. TỔNG QUAN VỀ NHẬN DẠNG ẢNH MẶT NGƢỜI 3 1.1 Tổng quan về nhận dạng ảnh mặt ngƣời 3 1.2 Các hƣớng tiếp cận trong nhận dạng mặt ngƣời 4 1.2.1 Phƣơng pháp trích chọn đặc trƣng sử dụng mặt riêng (Eigenface)