Luận án tiến sĩ khoa học máy tính: Xác định khuôn mặt người trong ảnh bằng logic mờ

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THẾ BẢO XÁC ĐỊNH KHUÔN MẶT NGƯỜI TRONG ẢNH MÀU BẰNG LOGIC MỜØ Chuyên ngành: Mã số: Khoa học máy tính 62 48 01 01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS TRẦN THỊ LỆ TS TRẦN NAM DŨNG TP HỒ CHÍ MINH - 2009 LỜI CAM ĐOAN Tôi xin cam đoan công trình này, trích dẫn nêu rõ luận văn, kết hoàn toàn chúng tôi, không trùng lắp với công trình khác Tôi xin hoàn toàn chịu trách nhiệm lời cam đoan Người thực Phạm Thế Bảo LỜI CẢM ƠN Để hoàn thành luận án nhận nhiều giúp đỡ gia đình, thầy cô, bạn bè, đồng nghiệp bạn sinh viên Gia đình giúp đỡ động viên lúc khó khăn, tạo điều kiện cho nghiên cứu, hỗ trợ cho yên tâm làm việc đăng báo, hai cô bé nhỏ cho nhiều niềm vui, vợ tôi vượt qua nhiều khó khăn Q thầy cô trường Đại học Khoa học Tự nhiên trường có nhiều hướng dẫn, truyền đạt kiến thức cho Tôi chân thành cảm ơn PGS.TS Trần Thị Lệ, giáo viên hướng dẫn trực tiếp cho tôi, cô giúp đỡ nhiều kiến thức, phong cách làm việc, tinh thần làm việc Và đặc biệt, gặp khó khăn có giúp đỡ tận tình cô TS Trần Nam Dũng, vừa người thầy vừa người bạn hỗ trợ nhiều mặt tinh thần PGS.TS Dương Anh Đức, người thầy từ học đại học Thầy sửa lỗi ngày viết đề cương nghiên cứu, cho nhiều ý kiến quý báu nghiên cứu hoàn thiện luận án PGS.TS Lê Hoài Bắc, người thầy hỗ trợ giúp đỡ ý kiến chuyên môn lời khuyên hữu ích cho nghiên cứu để hoàn chỉnh luận án PGS.TS Trần Đan Thư, TS Nguyễn Đình Thúc, TS Vũ Thanh Nguyên đóng góp nhiều ý kiến để hoàn thiện luận văn TS Hoàng Lê Minh, người dẫn dắt bước chập chững nghiên cứu khoa học GS Jin Young Kim đại học quốc gia Chonnam, Hàn Quốc, người có thời gian giúp giải số ý tưởng Các bạn đồng nghiệp môn Nguyễn Hiền Lương, Võ Đức Cẩm Hải, Nguyễn Thị Thanh Nhàn, …, giúp đỡ cần thiết Bạn bè Đào Minh Sơn, Lê Đình Duy, Nguyễn Thanh Sơn, Trần Đan Thu, Huỳnh Trung Hiếu, …, cho nhiều ý kiến quý báu giúp có tài liệu cần thiết trình nghiên cứu Các bạn sinh viên giúp tìm kiếm, đóng góp, chọn lọc, xây dựng sở liệu ảnh tôi, mà nhiều khóa 2000 2001 Đặc biệt cảm ơn bạn Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn Phan Phúc Doãn hỗ trợ nhiều cho cài đặt chuyển thể số ý tưởng ban đầu Mặc dù cố gắng hoàn thành luận văn phạm vi khả cho phép, chắn không tránh khỏi thiếu sót, mong thông cảm tận tình đóng góp quý Thầy Cô bạn bè đồng nghiệp Người thực Phạm Thế Bảo LỜI NÓI ĐẦU Ngày nay, ngành Khoa học máy tính đóng góp nhiều cho xã hội loài người, từ ứng dụng thường ngày ứng dụng chuyên sâu xã hội, an ninh, quân sự, … Đây động lực để số lượng đề tài, công trình khoa học ngày đầu tư nghiên cứu Bài toán xác định khuôn mặt người ảnh toán nhiều người quan tâm nghiên cứu, tầm ảnh hưởng toán rộng, từ hệ thống giao tiếp người máy, camera quan sát, theo dõi, lưu trữ ảnh, biểu lộ cảm xúc, nhận dạng người, …, công nghệ robot Bài toán đem lại nhiều ứng dụng tiện ích cho loài người Việc nghiên cứu phương pháp xác định khuôn mặt người ảnh mục tiêu đề tài Luận văn gồm phần sau: • Chương Chúng trình bày số phương pháp xác định khuôn mặt người mô hình màu da người giới Chúng cố gắng phân loại, để người sau có nhìn tổng quan, nắm phương pháp từ có hướng cho mình, khó khăn, thách thức để giải toán, mục tiêu cần phải đạt đề tài • Chương Chương trình bày cách tổng quan sở toán học logic mờ, để làm tảng xây dựng hệ thống xác định khuôn mặt người chương • Chương Chúng xây dựng điều kiện để tìm ứng viên khuôn mặt Đồng thời xây dựng hai loại định mờ dựa tính chất hình dáng bên tính chất quan hệ bên thành phần khuôn mặt để xem xét ứng viên có phải khuôn mặt người thật hay không • Chương Đây phần trình bày kết nghiên cứu đề tài đánh giá phương pháp xác định • Phụ lục A Không gian màu: phần trình bày số không gian màu thông dụïng nguyên lý xây dựng không gian màu • Phụ lục B Phương pháp Fast Marching: phần giới thiệu sơ lược phương pháp Fast Marching Chúng trình bày từ phương trình toán cài đặt cụ thể, cấu trúc liệu thích hợp Mục lục Chương Bài toán xác định khuôn mặt người 1 Giới thiệu Khó khăn thách thức toán 3 Moâ hình màu da người 4 Phương pháp xác định khuôn mặt người Mục tiêu đề tài 27 5.1 Xaây dựng ngưỡng phân đoạn 27 5.2 Dùng logic mờ để xác định khuôn mặt 28 5.3 Điều kiện toán 29 Chương Logic mờ sở toán học 30 Khái niệm logic mờ 30 Tập mờ 31 Luaät mờ Nếu-thì 37 Suy diễn mờ 38 Giải mờ 40 Logic mờ lý thuyết xác suất 42 Chương Xây dựng mô hình xác định khuôn mặt người logic mờ 53 Xây dựng phân tích mô hình da người 54 1.1 Xaùc định vùng ảnh ứng viên dựa mô hình màu da 54 1.2 Phân tích quan hệ giá trị trung bình 58 1.3 Nhieãu 62 Tiền xử lý 66 2.1 Phân đoạn 66 2.2 Lọc nhiễu 67 2.3 Tìm biên 69 Xây dựng logic mờ dựa quan hệ bên 71 3.1 Kích thước vùng da 72 3.2 Khi khuôn mặt bị dính nhiễu 72 3.3 Thoâng soá chu vi 73 3.4 Thông số diện tích 74 3.5 Độ tròn khuôn mặt 75 3.6 Xây dựng luật mờ 75 Xây dựng logic mờ dựa quan hệ mắt miệng 77 4.1 Tiêu chuẩn điểm thành phần mắt miệng vùng da 77 4.2 Xác định thành phần mắt-miệng 78 4.3 Xây dựng luật mờ 89 Tách khuôn mặt dính 89 5.1 Xác định bán kính loang 90 5.2 Thuaät toán xác định số nhóm tách dính 90 5.3 Xác định mức độ loang 90 Chương Cài đặt, kết quả, kết luận 95 Cài đặt 95 Kết 99 Kết luận hướng phát trieån 107 TÀI LIỆU THAM KHẢO i DANH SÁCH CÁC CÔNG TRÌNH x Phụ lục A Không gian màu xii Phuï luïc B Phương pháp Fast Marching xviii CÁC KÝ TỰ VIẾT TẮT SPM Skin Probability Map HMM Hidden Markov Model OM Self-Organizing Map pdf probability density function GMM Gaussian Mixture Model EM Expectation Maximization SVM Support Vector Machine M-L Maximum-Likelihood PCA Principal Component Analysis LLE Locally Linear Embedding LE Lipschitz Embedding DoG a Difference of Gauss PDM Point Distribution Model ASM Active Shape Model MLP Multilayer Perceptron Network FA Factor Analysis MFA Mixture of Factor Analyzer FLD Fisher’s Linear Discriminant SOM Kohonen’s Self Organizing Map PDBNN Probabilistic Decision-based Neural Network SNoW Sparse Network of Winnows KLT Karhunen Loøeve Tranform HOS Higher Order Statistic MRF Markov Random Field MIP Most Informative Pixel DFFS Distance From Face Space KFD Kernel Fisher Discriminant LDA Linear Discriminant Analysis BDF Block Difference Feature MRC Maximal Rejection Classifier EBM Edge-like Blob Map NEFCAR Neuro-Fuzzy Classifier KSVC Kernel Support Vector Classifier DS Dempster-Shafer viii 58 Rein-Lien Hsu and Anil K Jain, “Semantic Face Matching”, Proceedings of IEEE Int Conference on Multimedia and Expo, vol.2, pp.145-148, IEEE, 2002 59 Rein-Lien Hsu, Mohamed Abdel-Mottaleb, Anil K Jain, “Face Detection in Color Images”, IEEE Transaction on Pattern Analysis and Machine Intelligent, vol.24, no.5, pp.696-706, 2002 60 Richard E Ward, Paul L Jamison, Leslie G Farkas, “Craniofacial Variability Index: A Simple Measure of Normal and Abnormal Variation in the Head and Face”, American Journal of Medical Genetics 80:232-240, Wiley-Liss, INC., 1998 61 Rogerio S Feris, Jim Gemmell, Kentaro Toyama, Volker Kruger, “Hierarchical Wavelet Networks for Facial Feature Localization”, Proceedings of Fifth IEEE Int Conference on Automatic Face and Gesture Recognition, pp 118-123, 2002 62 Shu-Fai Wong and Kwan-Yee Keneth Wong, “Fast Face Detection Using Quad Tree Based Color Analysis and Support Vector Verification”, ICIAR 2004, LNCS 3212, pp 676-683, Springer-Verlag Berlin Heidelberg, 2004 63 Son Lam Phung, Abdesselam Bouzerdoum, Douglas Chai, “Skin Segmentation Using Color Pixel Classification: Analysis and Comparison”, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol.27, no.1, pp.148-154, 2005 64 Stan Z Li and ZhenQiu Zhang, “Float Boost Learning and Statistical Face Detection”, IEEE Transactions on Pattern Analysis and Machine Intelligence vol.26, no.9, IEEE, 2004 65 Tsunehiko Hanihara, “Front and Facial Flatness of Major Human Populations”, American journal of Physical Anthropology 111:105-134, Wiley-Liss, INC 2000 ix 66 Thang V Pham Marcel Worring, Arnold W.M Smeulders, “Face Detection by Aggregated Bayesian Network Classifiers”, MLDM 2001, LNAI 2123, pp 249-262, Springer-Verlag Berlin Heidelberg, 2001 67 V Manian and A Ross, “Face Detection Using Statistical and Multiresolution Texture Features”, Multimedia Cyberspace Journal, Special Issue on Pattern Recognition and Bioinformatics, vol 3, no 3, pp 1-9, 2005 68 Vladimir Vezhnevets, Vassili Sazonov, Alla Andreeva, “A Survey on PixelBased Skin Color Detection Techniques”, In Graphicon03, 13th Int Conference on the Computer Graphics and Vision, Moscow, Russia, 2003 69 Wikipedia, “Definition of Face Detection”, http://en.wikipedia.org/wiki/Face_detection, ngaøy tháng 11 năm 2006 70 YoungOul Kim, SungHo Jang, SangJin Kim, Chang-Woo Park, Joonki Paik, “Pose-Invariant Face Detection Using Edge-Like Blob Map and Fuzzy Logic“, IEA/AIE 2005, LNCS 3533, pp 695-704, Springer-Verlag Berlin Heidelberg, 2005 71 Yuanjian Feng and Pengfei Shi,”Face Detection Based on Kernel Fisher Discriminant Analysis”, Proceedings of the 6th IEEE Int Conference on Automatic Face and Gesture Recognition, IEEE, 2004 72 Zhuowen Tu, Xiangrong Chen, Alan L Yuille, and Song-Chun Zhu, “Image Parsing: Unifying Segmentation, Detection, and Regconition”, Int Journal of Computer Vision 63(2), pp 113-140, Springer-Verlag Berlin Heidelberg, 2005 73 Zongying Ou, Xusheng Tang, Tieming Su, and Pengfei Zhao, “Cascade AdaBoost Classifiers with Stage Optimization for Face Detection”, ICB 2005, LNCS 3832, pp 121-128, Springer-Verlag Berlin Heidelberg, 2005 x DANH SÁCH CÁC CÔNG TRÌNH Kỷ yếu hội nghị Pham The Bao, “Fast Multi-Face Detection Using Facial Component Based Validation by Fuzzy Logic”, Proceedings of The 2006 Int Conference on Image Processing, Computer Vision, and Pattern Recognition, pp 403-407 Las Vegas, USA 2006 Pham The Bao, “Analysis Skin Color by PCA and Relations in YCbCr Color Space”, Proceedings of The 21st Int Technical Conference on Circuits/Systems, Computers and Communications, pp 329-332, Thailand 2006 Pham The Bao, Nguyen Phuong Nam and Hoang Nhat Quang, “Hiding Facial Information in Color Image”, Proceedings of 2008 IEEE Int Conference On Networking, Sensing and Control, vol.1, pp 895-899, China 2008 Pham The Bao and Hoang Dai Hien Chuong, “Combining Skin Color and A New Nude Feature Type for Detecting A Nude Image”, Int Conf on Power Control and Optimization, ThaiLand, 2008 Tạp chí Pham The Bao, Jin Young Kim and Seung You Na, “Fast Multi-Face Detection in Color Images Using Fuzzy Logic”, GESTS Int Transactions on Computer Science and Engineering, vol 23, no 1, pp 11-20, 2005 Phạm Thế Bảo, Trần Thị Lệ, Trần Nam Dũng, “Xác định khuôn mặt người ảnh màu logic mờ”, Tạp chí Thông Tin, Khoa Học Công Nghệ, số 20, kỳ 3, trang 76 – 83, 2008 xi Phụ Lục A Không gian màu Có nhiều cách biểu diễn màu sắc khác ảnh màu kỹ thuật số Tên gọi cho cách biểu diễn màu mô hình màu hay không gian màu, phụ thuộc vào ứng dụng hay người dùng [22], [45], [53] Trong luận văn dùng khái niệm không gian màu Không gian màu phương thức để giải thích thuộc tính hay “hành vi” màu sác ngữ cảnh cụ thể Mục đích có tiện lợi gam màu, xem tập màu sắc mà người nhìn Các màu sắc mà mắt người nhìn thấy có bước sóng từ 400nm đến 700nm quang phổ [53] Biểu đồ màu sắc phân bố màu sắc không gian màu, dùng nhiều thị giác máy tính phân tích ảnh, công cụ A.1 Không gian màu RGB Không gian màu RGB (Red, Green, Blue) không gian màu biết đến nhiều nhất, dùng nhiều thiết bị như: thiết bị chụp ảnh, thiết bị xử lý Một đa dạng phân bố quang phổ ánh sáng cho ta nhận thức màu sắc Võng mạc người có ba loại tế bào hình nón để cảm nhận ánh sáng, mà cảm nhận xạ liên quan quang phổ tương ứng khác Dựa sở hệ thống nhận biết màu sắc người, cần ba thành phần (mỗi thành phần số) – ba số – đủ để mô tả màu, thông qua hàm số cho biết giá trị quang phổ Trên lý thuyết, xem màu sắc tích số nguyên hàm quang phổ tác nhân − − − U(n) với hàm độc lập tuyến tính tương ứng r (ν ) , g (ν ) , b(ν ) Ta có giá trị màu biểu diễn theo công thức A.1, với ν tần số tác nhân ánh sáng xii ν ν ν G = B = ∫ R = ∫ ν ν ∫ ν − r (ν ) U (ν ) d ν − g (ν ) U (ν ) d ν (A.1) − b (ν ) U (ν ) d ν Không gian màu RGB áp dụng hệ tọa độ Cartesian Từ ba thành phần R, G, B, có đầy đủ màu mà mắt người thấy, hình A.1, tổ hợp giá trị RGB Hình A.1 Không gian màu RGB Mặc dù không gian màu RGB sử dụng nhiều thiết bị, dùng để xử lý ảnh có phụ thuộc vào độ sáng gặp nhiều khó khăn độ sáng ẩn giá trị RGB A.2 Không gian màu YUV Thường ứng dụng hay thiết bị có dùng hai tín hiệu PAL NTSC, người ta thường dùng không gian màu YUV, với Y mô tả thành phần độ sáng, U V thành phần màu sắc khác Do YUV phù xiii hợp cho phân đoạn ảnh theo thời gian thực, xử lý có tác động độ sáng Có nhiều tác giả thành công dùng không gian màu để phân tích ảnh màu theo thời gian thực, Wren theo vết chuyển người Trong Qian chuẩn hóa RG thấy tốt YUV A.3 Không gian màu YCbCr Cũng giống không gian màu YUV, không gian YCbCr tách hai thành phần màu độ sáng riêng biệt Các thành phần YCbCr tính theo công thức A.2 Y = cr R + cg G + cb B CB = B −Y − 2cb CR = R −Y − 2cr (A.2) với tham số cr, cg, cb lấy giá trị bảng A.1 Không gian dùng nhiều để phân tích ảnh màu Chai [14, 52, 62] thành công dùng không gian màu để phân đoạn ảnh Bảng A.1 Các giá trị tham số để chuyển không gian màu từ RGB sang YCbCr cr cg cb Rec 601-1 0.2989 0.5866 0.1145 Rec 709 0.2126 0.7152 0.0722 ITU 0.2220 0.7067 0.0713 Hay đổi trực tiếp từ RGB sang YCbCr, công thức A.3, ngược lại theo công thức A.4 xiv ⎡ Y ⎤ ⎡ ⎤ ⎡ 65.481 128.553 24.966 ⎤ ⎡ R ⎤ ⎢Cb ⎥ = ⎢128⎥ + ⎢ −37.797 −74.203 112 ⎥⎥ ⎢⎢G ⎥⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎢⎣ Cr ⎥⎦ ⎢⎣128⎥⎦ ⎢⎣ 112 −93.786 −18.214 ⎥⎦ ⎢⎣ B ⎥⎦ (A.3) 0.00625893 ⎤ ⎛ ⎡ Y ⎤ ⎡ 16 ⎤ ⎞ ⎡ R ⎤ ⎡0.00456621 ⎢G ⎥ = ⎢0.00456621 −0.00153632 −0.00318811⎥ ⎜ ⎢Cb ⎥ − ⎢128⎥ ⎟ ⎢ ⎥ ⎢ ⎥⎜⎢ ⎥ ⎢ ⎥⎟ ⎢⎣ B ⎥⎦ ⎢⎣0.00456621 0.00791071 ⎥⎦ ⎜⎝ ⎢⎣ Cr ⎥⎦ ⎢⎣128⎥⎦ ⎟⎠ (A.4) A.4 Không gian màu HSI Không gian màu HSI (Hue, Saturation, Intensity) không gian màu họ HSV (Hue, Saturation, Value), HDI (Hue, Distance, Intensity), HLS (Hue, Lightness, Saturation) dùng nhiều ứng dụng thị giác Hue mô tả màu sắc (vàng, xanh, đỏ, …), Saturation mô tả mức độ màu (vàng tươi, đỏ đậm), Intensity mô tả mức độ sáng tối màu (xanh sáng, xanh tối) Hình A.2 minh họa không gian màu HSI Với màu x, H góc sắc đỏ x, S tỷ lệ màu thật cạnh tam giác x, I khoảng cách từ điểm (0,0,0) đường chéo xám Chúng ta dùng công thức A.5 để chuyển đổi từ RGB sang HSI ⎡ α − atan ⎢(R-I) H= ⎣ 2π ⎤ ⎥ G-B ⎦ α = π / G > B α = 3π / G < B H =1 G = B S = ( R + G + B ) − ( RG ) − ( RB) − (GB) R+G+ B I= (A.5) A.5 Không gian màu NCC Không gian màu NCC (Normalized Color Components – thành phần màu chuẩn hóa), hình A.3, mô hình màu đơn giản để khử thành phần cường độ màu Công thức chuyển đổi đơn giản từ không gian màu RGB, công thức A.6 Với điều kiện R+G+B ≠ xv Hình A.2 Không gian màu HIS R R+G+ B G g= R+G + B B b= R+G+ B r= (A.6) A.6 Không gian màu TSL Không gian màu TSL (Tint, Saturation, Lightness) biến thể không gian màu NCC, theo công thức A.7 Hình A.3 Không gian màu NCC xvi S = / 5(r '2 + g '2 ) ⎧ arctan(r '/ g ') / 2π + 1/ g'>0 ⎪ T = ⎨arctan(r '/ g ') / 2π + / g'