Tìm hiểu đặc trưng lồi 3d và bài toán phát hiện mặt người trong ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG -o0o - ĐỒ ÁN TỐT NGHIỆP HẢI PHÒNG 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHỊNG -o0o - TÌM HIỂU ĐẶC TRƢNG LỒI 3D VÀ BÀI TOÁN PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ Thơng tin HẢI PHỊNG - 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG -o0o - TÌM HIỂU ĐẶC TRƢNG LỒI 3D VÀ BÀI TỐN PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ Thơng tin Sinh viên thực hiện: Phạm Thành Huân Giáo viên hướng dẫn: PGS.TS Đỗ Năng Toàn Mã số sinh viên: 1351010019 HẢI PHÒNG - 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG CỘNG HÒA XA HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc -o0o - NHIỆM VỤ THIẾT KẾ TỐT NGHIỆP Sinh viên: Phạm Thành Huân Mã SV: 1351010019 Lớp: CT1301 Ngành: Công nghệ Thông tin Tên đề tài: Tìm hiểu đặc trưng lồi 3D toán phát mặt người ảnh NHIỆM VỤ ĐỀ TÀI Nội dung yêu cầu cần giải nhiệm vụ đề tài tốt nghiệp a Nội dung b Các yêu cầu cần giải CÁN BỘ HƢỚNG DẪN ĐỀ TÀI TỐT NGHIỆP Ngƣời hƣớng dẫn thứ nhất: Họ tên: Đỗ Năng Toàn Học hàm, học vị: Phó Giáo Sư - Tiến Sĩ Cơ quan công tác: Viện khoa học & Công nghệ Việt Nam Nội dung hướng dẫn: Ngƣời hƣớng dẫn thứ hai: Họ tên: ……………………………………………………………………… Học hàm, học vị: ……………………………………………………………… Cơ quan công tác: ……………………………………………………………… Nội dung hướng dẫn: ………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… Đề tài tốt nghiệp giao ngày tháng Yêu cầu phải hoàn thành trước ngày năm 2013 tháng năm 2013 Đã nhận nhiệm vụ: Đ.T.T.N Đã nhận nhiệm vụ: Đ.T.T.N Sinh viên Cán hướng dẫn Đ.T.T.N PGS.TS Đỗ Năng Tồn Hải Phịng, ngày tháng .năm 2013 HIỆU TRƯỞNG GS.TS.NGƯT Trần Hữu Nghị PHẦN NHẬN XÉT TÓM TẮT CỦA CÁN BỘ HƢỚNG DẪN Tinh thần thái độ sinh viên trình làm đề tài tốt nghiệp: Đánh giá chất lượng đề tài tốt nghiệp (so với nội dung yêu cầu đề nhiệm vụ đề tài tốt nghiệp) Cho điểm cán hướng dẫn: ( Điểm ghi số chữ ) Ngày .tháng .năm 2013 Cán hướng dẫn ( Ký, ghi rõ họ tên ) PHẦN NHẬN XÉT ĐÁNH GIÁ CỦA CÁN BỘ CHẤM PHẢN BIỆN ĐỀ TÀI TỐT NGHIỆP Đánh giá chất lƣợng đề tài tốt nghiệp (về mặt nhƣ sở lý luận, thuyết minh chƣơng trình, giá trị thực tế, ) Cho điểm cán phản biện ( Điểm ghi số chữ ) Ngày .tháng .năm 2013 Cán chấm phản biện ( Ký, ghi rõ họ tên ) Đồ án tốt nghiệp Trường DHDL Hải Phòng MỤC LỤC Trang LỜI CẢM ƠN DANH MỤC CHỮ VIẾT TẮT PHẦN MỞ ĐẦU CHƢƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN PHÁT HIỆN MẶT NGƢỜI 1.1 Khái quát xử lý ảnh …………………………………… 1.1.1 Một số khái niệm 1.1.2 Một số vấn đề xử lý ảnh 1.1.2.1 Các hệ thống xử lý ảnh 1.1.2.2 Các hình thái ảnh 1.1.3 Một số ứng dụng xử lý ảnh 1.2 Bài toán nhận dạng mặt ngƣời 10 1.2.1 Bài toán 10 1.2.2 Những khó khăn nhận dạng khn mặt 11 1.2.3 Tầm quan trọng toán nhận diện mặt người 14 1.2.4 Các ứng dụng đặc trưng toán nhận diện mặt người 14 1.2.5 Xây dựng hệ thống nhận diện mặt người đặc trưng 15 1.2.6 Một số phương pháp nhận diện mặt người 16 1.2.6.1 Dựa tri thức 16 1.2.6.2 Hướng tiếp cận dựa đặc trưng không thay đổi 18 1.2.6.3 Hướng tiếp cận dựa so khớp mẫu 20 1.2.6.4 Hướng tiếp cận dựa diện mạo 21 Đồ án tốt nghiệp Trường DHDL Hải Phòng 1.2.7 Pháp phát mặt người dựa đặc trưng lồi 22 CHƢƠNG 2: PHÁT HIỆN MẶT NGƢỜI DỰA VÀO ĐẶC TRƢNG LỒI 24 2.1 Đặc trƣng lồi 24 2.1.1 Điểm lồi 25 2.1.2 Dị tìm lấy vùng lồi 25 2.1.3 Dị tìm phát vùng lồi nhiều mức khác 28 2.2 Phát mặt ngƣời 31 2.2.1 Xây dựng cấu trúc 31 2.2.2 Xây dựng hàm tính độ tương đồng hai 34 2.2.2.1 Độ tương đồng hai nút 34 2.2.2.2 Độ tương đồng hai 36 2.2.2.3 Không gian khoảng cách hai 37 Chƣơng 3: CÀI ĐẶT THỬ NGHIỆM 39 3.1 Bài toán 39 3.2 Phân tích toán 39 3.3 Một số kết chƣơng trình 39 PHẦN KẾT LUẬN 44 TÀI LIỆU THAM KHẢO 45 Đồ án tốt nghiệp Trường DHDL Hải Phòng Phương pháp cải tiến đáng kể tốc độ tính tốn cần tính lần ảnh tích phân sử dụng tất cửa sổ hình chữ nhật đặc biệt độ phức tạp tính tốn khơng phụ thuộc vào kích thước vùng xét 2.2 Phát mặt ngƣời 2.2.1 Xây dựng cấu trúc Từ vùng lồi rút trích được, xây dựng quan hệ cấp bậc Những vùng rút trích mức cao n trở thành nút gốc tạo Những vùng rút trích mức thấp chèn vào nút (xem hình 2.7) Hình 2.7 Tạo cấp bậc Cơng việc việc tạo kết nối vùng rút trích mức đến vùng mức Nếu vùng R mức diện tích vùng R’ mức i+1 bị che khuất hai phần ba , R gán nhãn nút R’ Bằng cách dễ dàng tạo cấp bậc từ vùng rút trích Các vùng rút trích hình xây dựng thành sau : Phạm Thành Huân – Lớp CT1301 31 Đồ án tốt nghiệp Trường DHDL Hải Phòng R V V R V V V R R V V Hình 2.8 Một rút trích từ khn mặt Đối với nút cây, cần lưu thông tin nút như: loại (lồi hay lõm), hình dạng (vng, chữ nhật ngang, chữ nhật đứng), vị trí tương đối so với nút cha (có giá trị từ đến 12, xem hình 2.9), thơng tin độ sáng Hình 2.9: vị trí vùng tương đối nút Trong hình biểu diễn vị trí tương đối nút nút cha có dạng vng, chữ nhật ngang, chữ nhật đứng Việc xét nút có vị trí tương đối nút cha đơn giản Nếu tâm nút (tâm hình vng hay hình chữ nhật) rơi vào vùng hình số vùng giá trị vị trí tương đối nút nút cha Lưu ý nút gốc giá trị Bên cạnh thơng tin độ sáng quan trọng toán phát nhận dang khuôn mặt sau Để lưu trữ thông tin cây, ta sử dụng Phạm Thành Huân – Lớp CT1301 32 Đồ án tốt nghiệp Trường DHDL Hải Phịng phương pháp phân tích thành phần (Principal Component Analysis – PCA) để giảm số chiều ảnh mức xám vùng ảnh nút Bằng cách ta giảm đáng kể thơng tin phải lưu trữ độ sáng ảnh Thay phải lưu trữ tồn điểm sáng vùng lồi (các nút), cần lưu vector PCA chứa nội dung điểm sáng Cách giúp cho giảm thông tin phải lưu trữ, xử lý mà không mát nhiều thông tin (xem hình 2.10) Hình 2.10: cách tính vecto đại diện độ sáng cho nút Cụ thể ta thực sau: dùng cửa sổ S kích thước 9x9 quét theo đường zic-zac ảnh xám vùng lồi Các cửa cổ chồng lắp lên hai phần ba kích thước Tại điểm, ta lưu lại trung bình mức sáng điểm ảnh cửa sổ S Như ta lưu vector tương ứng cho biểu diễn mức sáng điểm ảnh nút Phạm Thành Huân – Lớp CT1301 33 Đồ án tốt nghiệp Trường DHDL Hải Phịng R Zoom out Nội dung nút Phóng : Kiểu : lõm Hình vng V V R R V V V R V Vị trí: V Hình 2.11: rút trích thơng tin nút Bên cạnh đó, ta sử dụng số luật để tỉa bớt nhánh cho Nếu nút kiểu so với nút cha xem nút lặp Trong trường hợp này, nút lặp tỉa khỏi Nếu nút lá, dễ dàng xóa khỏi Ngược lại, nút lá, tất nút gán trở thành nút cha Ví dụ có hai vùng lồi hình chữ nhật đứng mức Hai vùng thật Trong thực thế, hiệu ứng phép lọc Gaussian mức khác nhau, chúng rút trích từ ảnh với kích thước khác vùng lồi mức xóa khỏi 2.2.2 Xây dựng hàm tính độ tƣơng đồng hai Trong phần ta tìm hiểu cách tính độ tương đồng hai theo cách biểu diễn phần trước Việc xây dựng hàm tương đồng hai cần thiết tất xử lý liên quan đến đặc trưng Nó có tính chất định ảnh hưởng đến độ xác phát nhận dạng khuôn mặt 2.2.2.1 Độ tƣơng đồng hai nút Để xây dựng hàm tính độ tương đồng hai trước hết ta cần xây dựng hàm tính độ tương đồng hai nút hai Với điều kiện hai nút thuộc hai khác mức i Phạm Thành Huân – Lớp CT1301 34 Đồ án tốt nghiệp Trường DHDL Hải Phòng Đặt N1 N2 hai nút cấp hai T1 T2 Khi N1 N2 có thuộc tính sau: (2.9) Trong đó: (2.3) t ∈{ridge} : loại nút (lồi) s = {square, horizontal rectangle, vertical rectangle} hình dạng nút (vng,hình chữ nhật ngang, hình chữ nhật đứng) p ∈ [0 12] : vị trí tương đối nút nút cha (2.3) i ∈ (a1,a2, ,an) : vector chứa thông tin độ sáng nút Trong n thay đổi tùy theo cấp nút Ở mức i cao, kích thước vùng lồi lõm tương ứng với nút lớn, số chiều n vector cao Dựa thuộc tính node định nghĩa cơng thức 3.9, ta xây dựng cơng thức tính độ tương đồng nút sau: (2.10) Trong công thức 2.10 , , , thông số thực ngiệm, hàm E(x,y) dùng để xét giống thuộc tính định nghĩa sau: (2.3) (2.11) (2.3) Bên cạnh ký hiệu EV(x,y) hàm tính độ tương đồng vector (2.3) chuẩn hóa đoạn [0,1] Trong x y hai vector độ sáng có n chiều (a1,a2, an) Phạm Thành Huân – Lớp CT1301 (2.3) 35 Đồ án tốt nghiệp Trường DHDL Hải Phòng (2.12) (2.3) Do thành phần vector độ sáng có giá trị độ sáng (ai ∈[0,255]) nên dễ dàng chứng minh EV(x,y) ∈[0,1] EV(x,y) đạt giá trị lớn hai vector x y trùng Và EV(x,y) đạt giá trị nhỏ hai vector có khoảng cách Euclid xa Và từ ta dễ dàng suy giá trị NS (N1, N ) ∈[0,1] với cặp nút N1 N2 (2.3) 2.2.2.2 Độ tƣơng đồng hai Trên sở hàm tính độ tương đồng hai nút, ta xây dựng lên hàm tính độ tương đồng hai Gọi T1 T2 hai cần tính độ tương đồng T1 T2 có thuộc tính sau: T1,T2 ∈Tree = {(r, n, c1, c2 , ,cn )} (2.13) Trong đó: r : nút gốc r ∈ Node n : số nhánh n ∈ N (2.3) ci : (nhánh) thứ i ci ∈ Tree i ∈ [1 n] ci nút là khác Từ cơng thức (2.13), ta xây dựng cơng thức tính độ tương đồng sau: (2.3) (2.14) (2.3) Phạm Thành Huân – Lớp CT1301 36 (2.3) Đồ án tốt nghiệp Trong Trường DHDL Hải Phịng thơng số thực nghiệm Các thông số thực nghiệm công thức (2.10) 1, 1, (2.14) thảo luận chi tiết phần thực nghiệm nhằm chọn thông số thực nghiệm tốt Theo công thức (2.14) ta dễ dàng nhận thấy TS (T1,T2 ) ∈[0,1] với cặp T1 T2 Giá trị hàm lớn, hai giống nhiều Ngồi ra, phần thử nghiệm có thử nghiệm đặc trưng lồi mà không sử dụng đến thơng tin độ sáng Khi cơng thức (2.10) tính độ tương đồng hai nút đơn giản hóa sau: 2.2.2.3 Không gian khoảng cách hai Trong số trường hợp, hàm tính độ tương đồng hai khơng đủ để tính tốn số trường hợp Để đưa toán không gian, ta xây dựng “không gian cây” (tree-space), không gian sở tốn phát nhận dạng khn mặt sau Trong không gian này, xem điểm khơng gian Trên sở ta xây dựng hàm tính khoảng cách hai sau: (2.15) Dễ dàng nhận thấy, khoảng cách hai giá trị thuộc đoạn [0,1] Và khoảng cách tiến dần không hai giống (2.3)nhau Trên cở sở cơng thức tính độ tương đồng, khoảng cách này, ta xây dựng mơ hình thống kê để dị tìm phát khn mặt Mơ hình dùng cho nhận dạng khn mặt mở rộng cho tốn phân loại đối tượng (2.3) Phạm Thành Huân – Lớp CT1301 37 Đồ án tốt nghiệp Trường DHDL Hải Phòng CHƢƠNG CHƢƠNG TRÌNH THỬ NGHIỆM 3.1 Bài tốn Nội dung : Tìm hiểu đặc trưng lồi 3D tốn phát mặt người ảnh Đầu vào : Đưa ảnh đầu vào để phân tích Đầu : Xác định vùng ảnh chứa mặt người Trích lọc khn mặt 3.2 Phân tích tốn Chương trình thử nghiệm xây dựng ngôn ngữ C# sử dụng Visual Studio 2008 với hàm API hỗ trợ phát khn mặt thư viện Luxand FaceSDK [25] Chương trình gồm : + Phát hiện, đánh dấu + Lọc vùng khn mặt Hoạt động chương trình : Bước 1: Đưa ảnh có định dạng JPG (hoặc PNG, BMP, GIF, JPEG) Buoc : Xác định vùng ảnh chứa măt người trích chon khn mặt Bước 3: Hiển thị ảnh kết 3.3 Một số kết chƣơng trình Một số modul chương trình Đưa số hình ảnh vào Xác định vùng ảnh chứa mặt người Hiện thị kết Một số giao diện chương trình: Phạm Thành Hn – Lớp CT1301 38 Đồ án tốt nghiệp Trường DHDL Hải Phịng Hình 3.1 Giao diện chƣơng trình Hình 3.2 Giao diện phát khuôn mặt Phạm Thành Huân – Lớp CT1301 39 Đồ án tốt nghiệp Trường DHDL Hải Phịng Hình 3.3 Giao diện modul chọn ảnh đầu vào Một số kết thu được: Hình 3.4 Ảnh kết qua khuôn mặt biểu cảm Phạm Thành Huân – Lớp CT1301 40 Đồ án tốt nghiệp Trường DHDL Hải Phịng Hình 3.5 Ảnh kết qua ảnh chụp nhà Hình 3.6 Ảnh kết qua ảnh chụp thiếu sáng Phạm Thành Huân – Lớp CT1301 41 Đồ án tốt nghiệp Trường DHDL Hải Phịng Hình 3.7 Ảnh kết qua ảnh chụp ngồi trời Hình 3.8 Ảnh kết mặt nghiêng Phạm Thành Huân – Lớp CT1301 42 Đồ án tốt nghiệp Trường DHDL Hải Phịng Hình 3.9 Ảnh kết phát khuôn mặt ảnh đặt biệt Hình 3.10 Ảnh kết phát nhầm dị tìm khn mặt Phạm Thành Hn – Lớp CT1301 43 Đồ án tốt nghiệp Trường DHDL Hải Phòng PHẦN KẾT LUẬN Kết đạt Trong trình nghiên cứu thực đồ án định hướng dẫn thầy hướng dẫn, em tìm hiểu cách tổng quan xử lý ảnh toán phát mặt người dựa vào đặc trưng lồi 3D Dựa vào tài liệu tìm em tiến hành cài đặt chương trình thử nghiệm, xây dựng thuật tốn xác định vùng ảnh chứa khn mặt Chương trình thử nghiệm cho kết khả quan với khả mô khuôn mặt khung lưới theo định dạng 3D Tồn Trong số trường hợp, việc phát khuôn mặt xảy nhầm lẫn vùng khác (không phải khuôn mặt) ảnh khuôn mặt Điều xảy ảnh thu nhận có chứa nhiều vùng ảnh có lưới Ridge có kết cấu tượng tự với kết cấu Ridge khn mặt, chương trình xem thành phần biểu diễn khuôn mặt Hướng phát triển Hướng tới việc xây dựng khung lưới định dạng 3D thực thụ với việc gán trục tọa độ Oxyz lên vùng Ridge dị tìm nhằm tăng cường khả nhận biết khu vực có khả mắt mũi hay miệng vùng khác như: chân mày, cằm… Bên cạnh để tăng cường khả xử lý, em mở rộng việc sử dụng lọc tương thích để tăng cường q trình tiền xử lý ảnh để loại bớt vùng nhiễu khơng cần thiết Em tin tốn mở rộng áp dụng cho toán nhận dạng đối tượng mức tổng quát Phạm Thành Huân – Lớp CT1301 44 Đồ án tốt nghiệp Trường DHDL Hải Phòng TÀI LIỆU THAM KHẢO [A] Tài liệu Tiếng Anh [1] Ming-Hsuan Yang, David J Kriegman, Narendra Ahuja, “Detecting Faces in Images: A Survey”, IEEE Transaction on Pattern Analysis and Machine Intelligence (PAMI), Vol 24, No 1, pp 34-47, Jan 2002 [2] T Kanade, “Picture Processing Computer Complex and Recognition of Human Faces”, PhD thesis, Kyoto Univ., 1973 [3] G Yang, T S Huang, “Human Face Detection in Complex Background”, Pattern Recognition, Vol 27, No 1, pp 53-63, 1994 [4] C Kotropoulos, I Pitas, “Rule-based Face Detection in Frontal Views”, Proc Int’l Conf Acoustics, Speech and Signal Processing, Vol 4, pp 2637-2540, 1997 [5] T K Leung, M.C Burl, P Perona, “Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching”, Proc 5th IEEE Conf Computer Vision (ICCV’95), pp 637-644, 1995 [6] K C Yow, R Cipolla, “Feature-Based Human Face Detection”, Image and Vision Computing, Vol 15, No 9, pp 713-735, 1997 [7] I Craw, D Tock, A Bennett, “Finding Face Features”, Proc 2nd European Conf Computer Vision (ECCV’92), Vol 2, pp 92-96, 1992 [B] Tài liệu Tiếng Việt [8] PGS.TS Đỗ Năng Tồn, TS Phạm Việt Bình, “Giáo trình Xử Lý Ảnh”, Đại học Thái Nguyên, 2007 [9] Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phúc Doãn, “Tổng quan phương pháp xác định khn mặt người”, Tạp chí Cơng nghệ thơng tin & Truyền thông, 2007 [C] Cơ sở liệu ảnh khn mặt thƣ viện lập trình [10] Luxand FaceSDK 4.0, Trial Version, Luxand.Inc, 2011 http://www.luxand.com Phạm Thành Huân – Lớp CT1301 45 ... cứu: PHÁT HIỆN MẶT NGƯỜI TRONG ẢNH làm để tài nghiên cứu bảo vệ luận văn tốt nghiệp .Về lý thuyết : - Tìm hiểu khái quát xử lý ảnh toán phát mặt người - Phát khuôn mặt dựa vào đặc trưng lồi Về... trình tìm hiểu Cấu trúc đồ án gồm chương : Chương 1: Khái quát xử lý ảnh tốn phát mặt người Trình bày khái qt xử lý ảnh toán nhận dạng mặt người Chương 2: Phát khuôn mặt dựa vào đặc trưng lồi Trình... trưng lồi 22 CHƢƠNG 2: PHÁT HIỆN MẶT NGƢỜI DỰA VÀO ĐẶC TRƢNG LỒI 24 2.1 Đặc trƣng lồi 24 2.1.1 Điểm lồi 25 2.1.2 Dị tìm lấy vùng lồi 25 2.1.3 Dị tìm phát