xác định khuôn mặt người trong ảnh bằng logic mờ

xác định khuôn mặt người trong ảnh bằng logic mờ, xác định khuôn mặt người trong ảnh bằng logic mờ, xác định khuôn mặt người trong ảnh bằng logic mờ, xác định khuôn mặt người trong ảnh bằng logic mờ, xác định khuôn mặt người trong ảnh bằng logic mờ, xác định khuôn mặt người trong ảnh bằng logic mờ, xác định khuôn mặt người trong ảnh bằng logic mờ,xác định khuôn mặt người trong ảnh bằng logic mờ

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THẾ BẢO XÁC ĐỊNH KHUÔN MẶT NGƯỜI TRONG ẢNH MÀU BẰNG LOGIC MỜØ Chuyên ngành: Khoa học máy tính Mã số: 62 48 01 01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍN H NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS. TRAÀN THÒ LEÄ TS. TRAÀN NAM DUÕNG TP. HOÀ CHÍ MINH - 2009 LỜI CAM ĐOAN Tôi xin cam đoan công trình này, ngoài trích dẫn đã được nêu rõ trong luận văn, kết quả hoàn toàn là của chúng tôi, không trùng lắp với các công trình khác. Tôi xin hoàn toàn chòu trách nhiệm về lời cam đoan của mình. Người thực hiện Phạm Thế Bảo LỜI CẢM ƠN Để hoàn thành luận án này chúng tôi đã nhận được rất nhiều sự giúp đỡ của gia đình, thầy cô, bạn bè, đồng nghiệp và cả các bạn sinh viên của chúng tôi. Gia đình đã giúp đỡ động viên tôi những lúc khó khăn, tạo điều kiện cho tôi nghiên cứu, hỗ trợ cho tôi yên tâm làm việc và đăng bài báo, và hai cô bé nhỏ của tôi đã cho tôi nhiều niềm vui, vợ tôi đã cùng tôi vượt qua nhiều khó khăn. Q thầy cô trong trường Đại học Khoa học Tự nhiên và trường ngoài đã có rất nhiều hướng dẫn, truyền đạt kiến thức cho tôi. Tôi chân thành cảm ơn PGS.TS Trần Thò Lệ, giáo viên hướng dẫn trực tiếp cho tôi, cô đã giúp đỡ tôi rất nhiều về kiến thức, phong cách làm việc, tinh thần làm việc. Và đặc biệt, khi tôi gặp bất cứ khó khăn nào đều có được sự giúp đỡ tận tình của cô. TS. Trần Nam Dũng, vừa là người thầy vừa là người bạn hỗ trợ nhiều về mặt tinh thần. PGS.TS. Dương Anh Đức, người thầy của tôi từ khi học đại học cho đến nay. Thầy đã sửa từng lỗi trong những ngày đầu tiên viết đề cương nghiên cứu, cho chúng tôi nhiều ý kiến quý báu trong nghiên cứu và hoàn thiện luận án này. PGS.TS. Lê Hoài Bắc, người thầy đã hỗ trợ giúp đỡ chúng tôi những ý kiến chuyên môn cùng những lời khuyên hữu ích cho nghiên cứu của chúng tôi để hoàn chỉnh luận án này. PGS.TS. Trần Đan Thư, TS. Nguyễn Đình Thúc, TS. Vũ Thanh Nguyên đã đóng góp rất nhiều ý kiến để chúng tôi hoàn thiện luận văn này. TS. Hoàng Lê Minh, người dẫn dắt tôi những bước chập chững đầu tiên trong nghiên cứu khoa học. GS. Jin Young Kim đại học quốc gia Chonnam, Hàn Quốc, người đã có một thời gian giúp tôi giải quyết một số ý tưởng của mình. Các bạn đồng nghiệp trong bộ môn như Nguyễn Hiền Lương, Võ Đức Cẩm Hải, Nguyễn Thò Thanh Nhàn, …, giúp đỡ tôi khi cần thiết. Bạn bè của tôi như Đào Minh Sơn, Lê Đình Duy, Nguyễn Thanh Sơn, Trần Đan Thu, Huỳnh Trung Hiếu, …, cho tôi nhiều ý kiến quý báu cũng như giúp tôi có được những tài liệu cần thiết trong quá trình nghiên cứu của mình. Các bạn sinh viên đã giúp tôi tìm kiếm, đóng góp, chọn lọc, và xây dựng cơ sở dữ liệu ảnh của tôi, mà nhiều nhất là khóa 2000 và 2001. Đặc biệt tôi cảm ơn các bạn Nguyễn Thành Nhựt, Cao Minh Thònh, Trần Anh Tuấn và Phan Phúc Doãn hỗ trợ nhiều cho tôi khi cài đặt và chuyển thể một số ý tưởng ban đầu của tôi. Mặc dù chúng tôi đã cố gắng hoàn thành luận văn trong phạm vi và khả năng cho phép, nhưng chắc chắn sẽ không tránh khỏi những thiếu sót, rất mong sự thông cảm và tận tình đóng góp của quý Thầy Cô và bạn bè đồng nghiệp. Người thực hiện Phạm Thế Bảo LỜI NÓI ĐẦU Ngày nay, ngành Khoa học máy tính đã và đang đóng góp rất nhiều cho xã hội loài người, từ ứng dụng trong thường ngày cho đến các ứng dụng chuyên sâu trong xã hội, an ninh, quân sự, … Đây chính là một trong những động lực chính để số lượng đề tài, công trình khoa học ngày càng được đầu tư nghiên cứu. Bài toán xác đònh khuôn mặt người trong ảnh là một bài toán được rất nhiều người quan tâm và nghiên cứu, bởi vì tầm ảnh hưởng của bài toán này khá rộng, từ hệ thống giao tiếp người và máy, camera quan sát, theo dõi, lưu trữ ảnh, biểu lộ cảm xúc, nhận dạng con người, …, cho đến công nghệ robot. Bài toán này đem lại nhiều ứng dụng tiện ích cho loài người. Việc nghiên cứu một phương pháp xác đònh khuôn mặt người trong ảnh mới là mục tiêu của đề tài này. Luận văn này gồm các phần sau:  Chương 1. Chúng tôi sẽ trình bày một số phương pháp chính xác đònh khuôn mặt người và mô hình màu da người trên thế giới. Chúng tôi đã cố gắng phân loại, để những người đi sau sẽ có một cái nhìn tổng quan, nắm được các phương pháp và từ đây sẽ có hướng đi mới cho mình, cũng như các khó khăn, thách thức để giải quyết bài toán, và mục tiêu cần phải đạt được của đề tài.  Chương 2. Chương này trình bày một cách tổng quan cơ sở toán học của logic mờ, để làm nền tảng xây dựng hệ thống xác đònh khuôn mặt người trong chương 3.  Chương 3. Chúng tôi xây dựng một điều kiện để tìm ứng viên khuôn mặt. Đồng thời xây dựng hai loại quyết đònh mờ dựa trên những tính chất về hình dáng bên ngoài và tính chất quan hệ bên trong của các thành phần khuôn mặt để xem xét ứng viên có phải là khuôn mặt người thật sự hay không.  Chương 4. Đây là phần trình bày kết quả nghiên cứu của đề tài và các đánh giá phương pháp xác đònh.  Phụ lục A. Không gian màu: phần này trình bày một số không gian màu thông dụïng và nguyên lý xây dựng không gian màu.  Phụ lục B. Phương pháp Fast Marching: phần này giới thiệu sơ lược phương pháp Fast Marching. Chúng tôi trình bày từ phương trình toán cho đến cài đặt cụ thể, cũng như cấu trúc dữ liệu thích hợp. Mục lục Chương 1. Bài toán xác đònh khuôn mặt người 1 1. Giới thiệu 1 2. Khó khăn và thách thức của bài toán 3 3. Mô hình màu da người 4 4. Phương pháp xác đònh khuôn mặt người 9 5. Mục tiêu của đề tài 27 5.1 Xây dựng ngưỡng phân đoạn 27 5.2 Dùng logic mờ để xác đònh khuôn mặt 28 5.3 Điều kiện của bài toán 29 Chương 2. Logic mờ và cơ sở toán học 30 1. Khái niệm về logic mờ 30 2. Tập mờ 31 3. Luật mờ Nếu-thì 37 4. Suy diễn mờ 38 5. Giải mờ 40 6. Logic mờ và lý thuyết xác suất 42 Chương 3. Xây dựng mô hình xác đònh khuôn mặt người bằng logic mờ 53 1. Xây dựng và phân tích mô hình da người 54 1.1. Xác đònh vùng ảnh ứng viên dựa trên mô hình màu da 54 1.2. Phân tích quan các hệ của giá trò trung bình 58 1.3. Nhiễu 62 2. Tiền xử lý 66 2.1. Phân đoạn 66 2.2. Lọc nhiễu 67 2.3. Tìm biên 69 3. Xây dựng logic mờ dựa trên quan hệ bên ngoài 71 3.1. Kích thước của vùng da 72 3.2. Khi các khuôn mặt bò dính nhiễu 72 3.3. Thông số chu vi 73 3.4. Thông số diện tích 74 3.5. Độ tròn của khuôn mặt 75 3.6. Xây dựng luật mờ 75 4. Xây dựng logic mờ dựa trên quan hệ giữa mắt và miệng 77 4.1. Tiêu chuẩn một điểm là các thành phần mắt miệng trong một vùng da 77 4.2. Xác đònh thành phần mắt-miệng 78 4.3. Xây dựng luật mờ 89 5. Tách các khuôn mặt dính 89 5.1. Xác đònh bán kính loang 90 5.2. Thuật toán xác đònh số nhóm và tách dính 90 5.3. Xác đònh mức độ loang 90 Chương 4. Cài đặt, kết quả, và kết luận 95 1. Cài đặt 95 2. Kết quả 99 3. Kết luận và hướng phát triển 107 TÀI LIỆU THAM KHẢO i DANH SÁCH CÁC CÔNG TRÌNH x Phụ lục A. Không gian màu xii Phụ lục B. Phương pháp Fast Marching xviii CÁC KÝ TỰ VIẾT TẮT SPM Skin Probability Map HMM Hidden Markov Model OM Self-Organizing Map pdf probability density function GMM Gaussian Mixture Model EM Expectation Maximization SVM Support Vector Machine M-L Maximum-Likelihood PCA Principal Component Analysis LLE Locally Linear Embedding LE Lipschitz Embedding DoG a Difference of Gauss PDM Point Distribution Model ASM Active Shape Model MLP Multilayer Perceptron Network FA Factor Analysis MFA Mixture of Factor Analyzer FLD Fisher’s Linear Discriminant SOM Kohonen’s Self Organizing Map PDBNN Probabilistic Decision-based Neural Network SNoW Sparse Network of Winnows KLT Karhunen Lòeve Tranform HOS Higher Order Statistic MRF Markov Random Field MIP Most Informative Pixel [...]... thước của các khuôn mặt người trong ảnh kỹ thuật số [69], đầu vào là một ảnh có thể có hay không có khuôn mặt người, đầu ra là những vò trí nào được xác đònh có khuôn mặt người sẽ được đóng khung hình chữ nhật trong ảnh Bài toán xác đònh khuôn mặt người được quy về hai bài toán cơ bản: Bài toán xác đònh vùng chứa khuôn mặt và Bài toán phân lớp vùng ảnh Bài toán xác đònh vùng chứa khuôn mặt lại được... Chương 1 Bài toán xác đònh khuôn mặt người 1 Giới thiệu Hơn một thập kỷ qua có nhiều công trình nghiên cứu về bài toán xác đònh khuôn mặt người từ ảnh đen trắng, xám đến ảnh màu như ngày hôm nay Từ bài toán đơn giản, mỗi ảnh chỉ có một khuôn mặt người nhìn thẳng vào thiết bò thu hình và tư thế đầu thẳng đứng trong ảnh đen trắng Đến bài toán cho ảnh màu, có nhiều khuôn mặt trong cùng một ảnh, có nhiều tư... bài toán xác đònh khuôn mặt người sẽ không thể tránh khỏi một số khiếm khuyết nhất đònh Để đánh giá và so sánh các phương pháp xác đònh mặt người, người ta thường dựa trên các tiêu chí sau: 4 • Tỷ lệ xác đònh chính xác là tỷ lệ số lượng các khuôn mặt người được xác đònh đúng từ hệ thống khi sử dụng một phương pháp để xây dựng so với số lượng khuôn mặt người thật sự có trong các ảnh • Số lượng xác đònh... lượng xác đònh nhầm là số lượng vùng trong ảnh không phải là khuôn mặt người mà hệ thống xác đònh nhầm là khuôn mặt người Với những khó khăn đã nêu ra, ta thấy rằng việc giải quyết bài toán xác đònh khuôn mặt người không đơn giản Hiện nay có nhiều phương pháp giải quyết bài toán trên Tất cả các nghiên cứu bài toán xác đònh khuôn mặt người đều sử dụng ảnh xám hay ảnh màu làm dữ liệu đầu vào nh xám cho... như sau: • Hướng của khuôn mặt đối với máy ảnh: nhìn thẳng, nhìn nghiêng hay nhìn từ trên xuống Cùng trong một ảnh có thể có nhiều khuôn mặt ở những tư thế khác nhau Trục toạ độ của máy ảnh so với ảnh • Xuất hiện chi tiết không phải là đặc trưng riêng của khuôn mặt: râu quai nón, mắt kính, … Mặt người bò che khuất bởi các đối tượng khác trong ảnh Các nét mặt khác nhau trên khuôn mặt, như: vui, buồn,... Dựa vào giá trò faceness (mức độ là khuôn mặt) được tính từ các khối trong mẫu để xác đònh khuôn mặt Hình chiếu [21], [65] được dùng như mẫu để xác đònh khuôn mặt Tìm tập hình chiếu cơ bản bằng PCA từ mẫu khuôn mặt Kết hợp đặc trưng hình chiếu riêng và biến đổi Hough để xác đònh khuôn mặt Theo [42], Sinha xem xét độ tối sáng khác nhau của các vùng khác nhau trên khuôn mặt (như hai mắt, hai má và trán)... đường trên khuôn mặt để giải quyết vấn đề ánh sáng Hai ông dùng PCA (phân tích thành phần chính – Principal Component Analysis - PCA) với đặc trưng cong để xác đònh khuôn mặt Hình 1.4 Phương pháp chiếu: (a) Ảnh chỉ có một khuôn mặt và hình nền đơn giản; (b) Ảnh chỉ có một khuôn mặt và hình nền phức tạp; (c) Ảnh có nhiều khuôn mặt Theo [42], Yachida dùng hai mô hình mờ để mô tả phân bố màu da người và... biến đổi wavelet xây dựng dữ liệu kết cấu khuôn mặt trong ảnh xám với đa phân giải kết hợp xác suất thông kê để xác đònh khuôn mặt Theo [42], Dai và Nakano dùng mô hình SGLD để xác đònh khuôn mặt dựa vào thông tin màu và mô hình kết cấu khuôn mặt Hai tác giả dùng các phần tựa màu cam để tìm ứng viên Một thuận lợi của phương pháp này là có thể xác đònh khuôn mặt không chỉ chụp thẳng và có thể có râu... pháp GA để trích các đặc trưng khuôn mặt, từ các đặc trưng xem xét các vùng giống ellipse để xác đònh khuôn mặt trong ảnh màu, phương pháp này cho phép giải quyết trong điều kiện ánh sáng khác nhau và tư thế khuôn mặt khác nhau Fred [19] dựa trên tính đối xứng của khuôn mặt để xem xét phân bố trên histogram để quyết đònh ứng viên có phải là khuôn mặt chụp thẳng trong ảnh xám đơn Rodrigues và Buf [28]... kính Hình 1.5 Chiếu từng phần ứng viên để xác đònh khuôn mặt Một số chuyên gia xây dựng các mẫu chuẩn của khuôn mặt sau đó dùng phương pháp so khớp mẫu để xác đònh khuôn mặt Từ ảnh đưa vào, tính các giá trò tương quan so với các mẫu chuẩn về đường viền khuôn mặt, mắt, mũi và miệng Từ các giá trò tương quan này để quyết đònh có tồn tại hay không khuôn 15 mặt trong ảnh Hướng tiếp cận này có lợi thế là rất