PHÁT HIỆN KHUÔN MẶT DỰA TRÊN ĐẶC TRƯNG LỒI LÕM

Hệ thống phát hiện tội phạm: camera được đặt tại một số điểm công cộng như: siêu thị, nhà sách, trạm xe buýt, sân bay,v.v... Khi phát hiện được sự xuất hiện của các đối tượng là tội phạm, hệ thống sẽ gởi thông điệp về cho trung tâm xử lý

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN LÊ HỒNG DŨ PHÁT HIỆN KHUÔN MẶT DỰA TRÊN ĐẶC TRƯNG LỒI LÕM LUẬN VĂN THẠC SĨ NGÀNH TIN HỌC Thành phố Hồ Chí Minh - 2005 ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN LÊ HỒNG DŨ PHÁT HIỆN KHUÔN MẶT DỰA TRÊN ĐẶC TRƯNG LỒI LÕM Chuyên ngành: TIN HỌC Mã số: 1.01.10 LUẬN VĂN THẠC SĨ (Chuyên ngành Tin học) NGƯỜI HƯỚNG DẪN KHOA HỌC: GS. DƯƠNG NGUYÊN VŨ Thành phố Hồ Chí Minh - 2005 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm Trần Lê Hồng Dũ Trang 1 Nội dung Trang Mục lục 1 Lời cám ơn 4 Chương 1. Giới thiệu 5 1.1 Bài toán nhận dạng mặt người và những khó khăn 5 1.1.1 Bài toán nhận dạng mặt người 5 1.1.2 Những khó khăn của nhận dạng khuôn mặt 5 1.2 Các ứng dụng liên quan đến nhận dạng mặt người 6 1.3 Tổng quan kiến trúc của một hệ thống nhận dạng mặt người 7 1.4 Xác định phạm vi đề tài 8 Chương 2. Các công trình liên quan 10 2.1 Các hướng tiếp cận liên quan đến phát hiện và nhận dạng khuôn mặt 10 2.2 Các tiếp cận liên quan đến phân tích đặt trưng lồi lõm 11 2.3 Các hướng tiếp cận sử dụng đặc trựng tựa lồi lõm cho phát hiện khuôn mặt 12 2.4 Nhận xét về các hướng tiếp cận hiện tại 12 Chương 3. Đặc trưng lồi lõm 14 3.1 Lồi và Lõm 14 3.2 Rút trích vùng lồi và vùng lõm 16 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm Trần Lê Hồng Dũ Trang 2 3.2.1 Điểm lồi và điểm lõm 16 3.2.2 Dò tìm và rút trích vùng lồi và vùng lõm 16 3.2.3 Dò tìm và phát hiện vùng lồi, lõm ở nhiều mức 19 3.2.4 Tối ưu tốc độ của việc dò tìm 21 3.3 Xây dựng cây cấu trúc lồi lõm 22 3.4 Xây dựng hàm tính độ tương đồng giữa hai cây 26 3.4.1 Độ tương đồng giữa 2 nút trên cây 26 3.4.2 Độ tương đồng giữa hai cây 27 3.4.3 Không gian cây và khoảng cách giữa hai cây 28 Chương 4. Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm 30 4.1 Tập mẫu học 30 4.2 Mô hình thống kê 31 4.2.1 Gán nhãn 31 4.2.2 Thống kê 32 4.2.3 Đánh giá dùng cho phát hiện khuôn mặt 33 4.2.4 Hậu xử lý 34 4.3 Cơ sở lý thuyết của mô hình 35 Chương 5. Thử nghiệm và kết quả 38 5.1 Thử nghiệm 38 5.2 Kết quả 38 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm Trần Lê Hồng Dũ Trang 3 5.3 Nhận xét 39 5.4 Một số kết quả tiêu biểu 40 Chương 6. Kết luận và hướng phát triển 46 6.1 Kết luận 46 6.2 Hướng phát triển 46 Danh mục công trình của tác giả 48 Tài liệu tham khảo 49 Phụ lục 53 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm Trần Lê Hồng Dũ Trang 4 LỜI CẢM ƠN Sau một thời gian học tập và nghiên cứu, cuối cùng tôi cũng đã hoàn thành bài luận nghiên cứu của mình. Đây là thời điểm tốt nhất tôi có dịp được bày tỏ lòng biết ơn của mình đến những người thân đã giúp đỡ động viên tôi trong suốt quá trình tôi thực hiện bài luận này. Trước tiên tôi xin chân thành gởi lời cảm ơn sâu sắc đến thầy tôi, người hướng dẫn khoa học, định hướng nghiên cứ u cho tôi trong suốt thời gian thực hiện luận văn này, GS.Dương Nguyên Vũ. Thầy đã dạy cho tôi không chỉ những kiến thức khoa học mà còn cả những bài học về cuộc sống, về tình người. Cám ơn thầy đã mang đến cho tôi những đôi cánh để tôi có thể đến với khoa học thật sự. Xin chân thành cảm ơn thầy Đức, TS. Dương Anh Đức, thầy Bắc, PGS.TS Lê Hoài Bắc đã tậ n tình giúp đỡ, theo dõi và động viên cho tôi trong suốt quá trình thực hiện luận văn này. Con xin cám ơn bà ngoại, ba, mẹ, anh hai, chị ba đã hết sức thông cảm và chia sẽ với con những khó khăn trong lúc làm luận văn này. Xin cám ơn những người bạn thân yêu, những người đã yêu mến, chia sẽ với tôi trong lúc tôi thực hiện luận văn này. Xin cám ơn các thầy cô, các anh chị và các bạn đồng nghiệp trong Khoa Công nghệ thông tin, ĐH Khoa học tự nhiên đã giúp đỡ , tạo điều kiện tốt nhất để tôi có thể hoàn thành tốt luận văn này. Luận văn này là món quà mà tôi dành tặng cho tất cả mọi người thân yêu của tôi, với tất cả tấm lòng mình! Thành phố Hồ Chí Minh, ngày 10 tháng 11 năm 2005 Trần Lê Hồng Dũ Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm Trần Lê Hồng Dũ Trang 5 CHƯƠNG 1 GIỚI THIỆU 1.1 Bài toán nhận dạng mặt người và những khó khăn 1.1.1 Bài toán nhận dạng mặt người Hệ thống nhận dạng mặt người là một hệ thống nhận vào là một ảnh hoặc một đoạn video (một chuỗi các ảnh). Qua xử lý tính toán hệ thống xác định được vị trí mặt người trong ảnh (nếu có) và xác định là người nào trong số những người hệ thống đã được biết (qua quá trình học) hoặc là người lạ. Hình 1.1 Ví dụ về hệ thống nhận dạng mặt người 1.1.2 Những khó khăn của nhận dạng khuôn mặt Bài toán nhận dạng mặt người là bài toán đã được nghiên cứu từ những năm 70. Tuy nhiên, đây là một bài toán khó nên những nghiên cứu hiện tại vẫn chưa đạt được kết quả mong muốn. Chính vì thế vấn đề này vẫn đang được nhiều nhóm trên Hệ thống nhận dạng mặt người Ảnh input Ảnh output Face ID G. Bush Bin Laden Chưa biết Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm Trần Lê Hồng Dũ Trang 6 thế giới quan tâm nghiên cứu. Khó khăn của bài toán nhận dạng mặt người có thể kể như sau: a. Tư thế, góc chụp: Ảnh chụp khuôn mặt có thể thay đổi rất nhiều bởi vì góc chụp giữa camera và khuôn mặt. Chẳng hạn như: chụp thẳng, chụp xéo bên trái 45 0 hay xéo bên phải 45 0 , chụp từ trên xuống, chụp từ dưới lên, v.v .). Với các tư thế khác nhau, các thành phần trên khuôn mặt như mắt, mũi, miệng có thể bị khuất một phần hoặc thậm chí khuất hết. b. Sự xuất hiện hoặc thiếu một số thành phần của khuôn mặt: Các đặc trưng như: râu mép, râu hàm, mắt kính, v.v . có thể xuất hiện hoặc không. Vấn đề này làm cho bài toán càng trở nên khó hơn rấ t nhiều. c. Sự biểu cảm của khuôn mặt: Biểu cảm của khuôn mặt người có thể làm ảnh hưởng đáng kể lên các thông số của khuôn mặt. Chẳng hạn, cùng một khuôn mặt một người, nhưng có thể sẽ rất khác khi họ cười hoặc sợ hãi,v.v . d. Sự che khuất: Khuôn mặt có thể bị che khuất bởi các đối tượng khác hoặc các khuôn mặt khác. e. Hướng c ủa ảnh: Các ảnh của khuôn mặt có thể biến đổi rất nhiều với các góc quay khác nhau của trục camera. Chẳng hạn chụp với trục máy ảnh nghiêng làm cho khuôn mặt bị nghiêng so với trục của ảnh. f. Điều kiện của ảnh: Ảnh được chụp trong các điều kiện khác nhau về: chiếu sáng, về tính chất camera (máy kỹ thuật số, máy hồng ngoại,v.v .) ảnh hưởng r ất nhiều đến chất lượng ảnh khuôn mặt. 1.2 Các ứng dụng liên quan đến nhận dạng mặt người Bài toán nhận dạng mặt người có thể áp dụng rộng rãi trong nhiều ứng dụng thực tế khác nhau. Đó chính là lý do mà bài toán này hấp dẫn rất nhiều nhóm nghiên cứu trong thời gian dài. Các ứng dụng liên quan đến nhận dạng mặt người có thể kể như: Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm Trần Lê Hồng Dũ Trang 7 - Hệ thống phát hiện tội phạm: camera được đặt tại một số điểm công cộng như: siêu thị, nhà sách, trạm xe buýt, sân bay,v.v . Khi phát hiện được sự xuất hiện của các đối tượng là tội phạm, hệ thống sẽ gởi thông điệp về cho trung tâm xử lý. - Hệ thống theo dõi nhân sự trong một đơn vị: giám sát giờ ra vào của từng nhân viên và chấm công. - Hệ thống giao tiếp ng ười máy: thay thế việc tương tác giữa người và máy theo những cách truyền thống như: bàn phím, chuột,v.v .Thay vào đó là sử dung các giao tiếp trực quan: biểu cảm khuôn mặt, dấu hiệu, cử chỉ bằng tay (visual input, visual interaction). - Hệ thống tìm kiếm thông tin trên ảnh, video dựa trên nội dung (chỉ mục theo người). Chẳng hạn như: đài truyền hình Việt Nam (VTV) có một kho dữ liệu video tin tức khá lớn cần tìm kiếm nhanh những đoạ n video nào có G. Bush hoặc Bin Laden. - Các thệ thống bảo mật dựa trên thông tin trắc sinh học: mặt người, vân tay,v.v . thay vì xác nhận mật khẩu, khóa,v.v . 1.3 Tổng quan kiến trúc của một hệ thống nhận dạng mặt người Một hệ thống nhận dạng mặt người thông thường bao gồm bốn bước xử lý sau: phát hiện khuôn mặt (face detection), phân đoạn khuôn mặt (face alignment hay segmentation), rút trích đặc trưng (feature extraction), và phân lớp khuôn mặt (face classification). Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm Trần Lê Hồng Dũ Trang 8 Hình 1.2 Các bước chính trong một hệ thống nhận dạng mặt người Phát hiện khuôn mặt dò tìm và định vị những vị trí khuông mặt xuất hiện trong ảnh hoặc trên các frame video. Phân đoạn khuôn mặt sẽ xác định vị trí mắt mũi, miệng, và các thành phần khác của khuôn mặt và chuyển kết quả này cho bước rút trích đặc trưng. Từ những thông tin về các thành phần trên khuôn mặt, chúng ta có thể dễ dàng tính đượ c véc-tơ đặc trưng trong bước rút trích đặc trưng. Những véc-tơ đặc trưng này sẽ là dữ liệu đầu vào cho một mô hình đã được huấn luyện trước để phân loại khuôn mặt. Bên cạnh những bước chính nêu trên, chúng ta còn có thể áp dụng thêm một số bước khác như tiền xử lý, hậu xử lý nhằm làm tăng độ chính xác cho hệ thống. Do một số thông số như: tư thế khuôn mặt, độ sáng, điều kiện ánh sáng, v.v…, phát hiện khuôn mặt được đánh giá là bước khó khăn và quan trọng nhất so với các bước còn lại của hệ thống. Trong luận văn này, chúng tôi tập trung chủ yếu vào bước phát hiện khuôn mặt. 1.4 Xác định phạm vi đề tài Trong đề tài này, chúng tôi tập trung tìm kiếm và đề xuất một thuật toán hiệu quả cho việc xác định sự xuất hiện và định vị khuôn mặt nếu có trong ảnh. Do các điều kiện khó khăn của bài toán (nêu trong phần 1.1.2), chúng tôi đưa ra những giả định và ràng buộc sau nhằm giảm độ phức tạp của bài toán phát hiện khuôn mặt: - Thuật toán giải quyết cho ảnh đơn (chưa xử lý cho video) - Ảnh khuôn mặt được chụp thẳng hay góc nghiêng không đáng kể (không quá 10 0 ). Phát hiện khuôn mặt (Theo dõi) Phân đoạn khuôn mặt Rút trích đặc trưng Phân lớp khuôn mặt Ảnh/Video Vị trí khuôn mặt Khuôn mặt đã đư ợc phân đoạn Véc-tơ đ ặc trưng Chỉ số khuôn mặt [...]... đặc trưng này để nhận dạng khuôn mặt cũng như việc mở rộng đặc trưng này cho bài toán rộng hơn: phân loại đối tượng dựa theo cấu trúc Trần Lê Hồng Dũ Trang 13 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm CHƯƠNG 3 ĐẶC TRƯNG LỒI LÕM 3.1 Lồi và Lõm Hiểu theo nghĩa thật sự của nó, lồi (chỏm) là các điểm cao nhất trên dãy núi và lõm (thung lũng) là các điểm có độ cao thấp nhất Trong ảnh vệ tinh, lồi là... các lồi (chỏm) và lõm (thung lũng) Dựa trên đặc trưng này, chúng tôi áp dụng một mô hình thống kê để xác định, phát hiện khuôn mặt Trong luận văn này, chúng tôi tập trung chính vào bài Trần Lê Hồng Dũ Trang 12 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm toán phát hiện khuôn mặt mà không giải quyết bài toán nhận dang Tuy nhiên, trong phần cuối, chúng tôi sẽ thảo luận chi tiết hơn khả năng sử dụng đặc. . .Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm - Ảnh được chụp trong điều kiện ánh sáng bình thường (không chụp ngược sáng, chụp bằng máy ảnh kỹ thuật số) Trần Lê Hồng Dũ Trang 9 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm CHƯƠNG 2 CÁC CÔNG TRÌNH LIÊN QUAN 2.1 Các hướng tiếp cận liên quan đến phát hiện và nhận dạng khuôn mặt Có rất nhiều hướng tiếp cận trước đây đã thực hiện liên quan... loại đối tượng sẽ được trình bài trong chương kết luận và hướng phát triển Trần Lê Hồng Dũ Trang 29 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm CHƯƠNG 4 PHÁT HIỆN KHUÔN MẶT DỰA TRÊN ĐẶC TRƯNG LỒI LÕM 4.1 Tập mẫu học Trong luận văn này chúng tôi thử nghiệm trên tập dữ liệu ảnh thu thập bởi Markus Weber [32] Đây là tập dữ liệu chụp các khuôn mặt thẳng, chụp dưới nền phức tạp và đa dạng gồm cả trong nhà... LoG với σ = 2 Trần Lê Hồng Dũ Trang 14 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm (a) Ảnh gốc (b) Ảnh ridge và valley Hình 3.2 Dò tìm thông tin lồi và lõm trên ảnh khuôn mặt sử dụng LoG với σ = 2 Mục tiêu nghiên cứu của chúng tôi là dò tìm các đặc trưng lồi và lõm tại các mức khác nhau Ví dụ như, tại mức thấp nhất, chúng tôi cần dò tìm các đặc trưng lồi lõm có kích thước nhỏ và chi tiết như mắt,... dụng để phát hiện thông tin cạnh qua các điểm biên (zero crossing), nên nó không thể dùng cho việc phát hiện các vùng lồi và lõm khi các thông tin cạnh biên bị đứt nét Trong phần tiếp theo chúng tôi sẽ đề xuất một phương pháp đơn giản để rút trích các vùng lồi và lõm Trần Lê Hồng Dũ Trang 15 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm 3.2 Rút trích vùng lồi và vùng lõm 3.2.1 Điểm lồi và điểm lõm Gọi... 11 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm mức khác nhau Trong hướng tiếp cận này, các đặc trưng ridge và peak được biểu diễn dưới dạng các đồ thị quan hệ hoặc các cây cấp bậc với các tầng là các ridge và peak được dò tìm tại các mức khác nhau 2.3 Các hướng tiếp cận sử dụng đặc trựng tựa lồi lõm cho phát hiện khuôn mặt Áp dụng đặc trưng tương tự cho bài toán phát hiện khuôn mặt, có hướng tiếp... trích các vùng lồi và lõm chứ không chỉ rút trích điểm lồi và điểm lõm Vì thế chúng tôi đã mở rộng công thức 3.1 và 3.2 cho phù hợp với bài toán rút trích vùng 3.2.2 Dò tìm và rút trích vùng lồi và vùng lõm Để đánh giá một vùng có phải là lồi, là lõm hoặc không lồi cũng không lõm, chúng tôi đề xuất một bộ lọc như sau: Trần Lê Hồng Dũ Trang 16 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm (b) một bộ... khi smoth bằng (b) Các vùng lồi lõm dò tìm với lọc kích Gaussian 10 2 thước 10 Trần Lê Hồng Dũ Trang 19 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm (c) σ = 20, ảnh sau khi smoth bằng (d) Các vùng lồi lõm dò tìm với lọc kích Gaussian 20 2 thước 20 (e) σ = 60, ảnh sau khi smoth bằng (f) Các vùng lồi lõm dò tìm với lọc kích Gaussian 60 2 thước 60 Hình 3.5 Dòm tìm vùng lồi lõm ở nhiều mức khác nhau Đặt... là khuôn mặt Việc học thống kê theo mô hình của chúng tôi khá đơn giản Trước tiên, chọn trong tập Training ra k cây có giá trị S(T) bé nhất k cây này sẽ là đại diện tiêu biểu cho một lớp khuôn mặt Từ kết quả k cây rút trích được, tạm gọi là tập cây chuẩn, chúng ta có thể dùng chúng để phát hiện khuôn mặt theo mô hình như sau: Trần Lê Hồng Dũ Trang 32 Phát hiện khuôn mặt dựa trên đặc trưng lồi lõm