Tìm hiểu đặc trưng lồi 3D và bài toán phát hiện mặt người trong ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO NHIỆM VỤ THIẾT KẾ TỐT NGHIỆP Sinh viên: Phạm Thành Huân Mã SV: 1351010019 Lớp: CT1301 Ngành: Công nghệ Thông tin Tên đề tài: Tìm hiểu đặc trưng lồi 3D tốn phát mặt người ảnh NHIỆM VỤ ĐỀ TÀI Nội dung yêu cầu cần giải nhiệm vụ đề tài tốt nghiệp a Nội dung b Các yêu cầu cần giải CÁN BỘ HƯỚNG DẪN ĐỀ TÀI TỐT NGHIỆP Người hướng dẫn thứ nhất: Họ tên: Đỗ Năng Toàn Học hàm, học vị: Phó Giáo Sư - Tiến Sĩ Cơ quan cơng tác: Viện khoa học & Công nghệ Việt Nam Nội dung hướng dẫn: Người hướng dẫn thứ hai: Họ tên: ……………………………………………………………………… Học hàm, học vị: ……………………………………………………………… Cơ quan công tác: ……………………………………………………………… Nội dung hướng dẫn: ………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… Đề tài tốt nghiệp giao ngày tháng năm 2019 Yêu cầu phải hoàn thành trước ngày tháng năm 2019 Đã nhận nhiệm vụ: Đ.T.T.N Đã nhận nhiệm vụ: Đ.T.T.N Sinh viên Cán hướng dẫn Đ.T.T.N PGS.TS Đỗ Năng Toàn Hải Phòng, ngày tháng .năm 2019 HIỆU TRƯỞNG GS.TS.NGƯT Trần Hữu Nghị PHẦN NHẬN XÉT TÓM TẮT CỦA CÁN BỘ HƯỚNG DẪN Tinh thần thái độ sinh viên trình làm đề tài tốt nghiệp: Đánh giá chất lượng đề tài tốt nghiệp (so với nội dung yêu cầu đề nhiệm vụ đề tài tốt nghiệp) Cho điểm cán hướng dẫn: ( Điểm ghi số chữ ) Ngày .tháng .năm 2019 Cán hướng dẫn ( Ký, ghi rõ họ tên ) PHẦN NHẬN XÉT ĐÁNH GIÁ CỦA CÁN BỘ CHẤM PHẢN BIỆN ĐỀ TÀI TỐT NGHIỆP Đánh giá chất lượng đề tài tốt nghiệp (về mặt sở lý luận, thuyết minh chương trình, giá trị thực tế, ) Cho điểm cán phản biện ( Điểm ghi số chữ ) Ngày .tháng .năm 2019 Cán chấm phản biện ( Ký, ghi rõ họ tên ) Đồ án tốt nghiệp Trường DHDL Hải Phòng MỤC LỤC Trang LỜI CẢM ƠN DANH MỤC CHỮ VIẾT TẮT PHẦN MỞ ĐẦU CHƯƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI 1.1 Khái quát xử lý ảnh …………………………………… 1.1.1 Một số khái niệm 1.1.2 Một số vấn đề xử lý ảnh 1.1.2.1 Các hệ thống xử lý ảnh 1.1.2.2 Các hình thái ảnh 1.1.3 Một số ứng dụng xử lý ảnh 1.2 Bài toán nhận dạng mặt người 10 1.2.1 Bài toán 10 1.2.2 Những khó khăn nhận dạng khn mặt 11 1.2.3 Tầm quan trọng toán nhận diện mặt người 14 1.2.4 Các ứng dụng đặc trưng toán nhận diện mặt người 14 1.2.5 Xây dựng hệ thống nhận diện mặt người đặc trưng 15 1.2.6 Một số phương pháp nhận diện mặt người 16 1.2.6.1 Dựa tri thức 16 1.2.6.2 Hướng tiếp cận dựa đặc trưng không thay đổi 18 1.2.6.3 Hướng tiếp cận dựa so khớp mẫu 20 1.2.6.4 Hướng tiếp cận dựa diện mạo 21 Đồ án tốt nghiệp Trường DHDL Hải Phòng 1.2.7 Pháp phát mặt người dựa đặc trưng lồi 22 CHƯƠNG 2: PHÁT HIỆN MẶT NGƯỜI DỰA VÀO ĐẶC TRƯNG LỒI 24 2.1 Đặc trưng lồi 24 2.1.1 Điểm lồi 25 2.1.2 Dị tìm lấy vùng lồi 25 2.1.3 Dị tìm phát vùng lồi nhiều mức khác 28 2.2 Phát mặt người 31 2.2.1 Xây dựng cấu trúc 31 2.2.2 Xây dựng hàm tính độ tương đồng hai 34 2.2.2.1 Độ tương đồng hai nút 34 2.2.2.2 Độ tương đồng hai 36 2.2.2.3 Không gian khoảng cách hai 37 Chương 3: CÀI ĐẶT THỬ NGHIỆM 39 3.1 Bài toán 39 3.2 Phân tích tốn 39 3.3 Một số kết chương trình 39 PHẦN KẾT LUẬN 44 TÀI LIỆU THAM KHẢO 45 Đồ án tốt nghiệp Trường DHDL Hải Phòng LỜI CẢM ƠN Trước tiên em xin bày tỏ trân trọng lòng biết ơn thầy giáo PGS.TS Đỗ Năng Toàn giảng viên – Viện Khoa Công nghệ thông tin Trong suốt thời gian học làm đồ án tốt nghiệp, thầy dành nhiều thời gian q báu để tận tình bảo, hướng dẫn, định hướng cho em thực đồ án Tác giả xin cảm ơn thầy cô giáo Trường Đại học Dân lập Hải phòng giảng dạy trình học tập, thực hành, làm tập, giúp em hiểu thấu đáo nội dung học tập hạn chế cần khắc phục việc học tập, nghiên cứu thực đồ án Em xin cảm ơn bạn bè thành viên gia đình tạo điều kiện tốt nhất, động viên, cổ vũ suốt trình học tập đồ án tốt nghiệp Hải Phịng, ngày tháng năm 2019 Sinh viên Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phòng DANH MỤC CHỮ VIẾT TẮT AD Analog to Digital Ppi Pixel per inch Dpi Dot per inch BMP Bit map GIF Graphics Interchanger Format hang ComputerServer Incoporated (Mỹ) đề xuất 1990 JPEG Joint Photograp Expert Group : tên nhóm nghiên cứu chuẩn nén cho ảnh, thành lâp 1982 Tên cũ IOS JPEG thức thành lập năm 1986 PEL Picture Elenment JPG Joint Photographic Experts Group 1D Một chiều (1 Dimention) 2D Hai chiều (2 Dimentions) 3D Ba chiều (3 Dimentions) CNN Mạng nơ ron tế bào (Cellular Neural Network) S–N South – North (Nam – Bắc) E–W East – West (Đông – Tây ) NW–SE North West – South East (Tây Bắc – Đông Nam) NE–SW North East – South West (Đông Bắc – Tây Nam) Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phòng PHẦN MỞ ĐẦU Cơng nghệ thơng tin ngày phát triển có vai trị quan trọng khơng thể thiếu sống đại Con người ngày tạo cỗ máy thơng minh có khả tự nhận biết xử lí cơng việc cách tự động, phục vụ cho lợi ích người Trong năm gần đây, toán nhận nhiều quan tâm tốn nhiều công sức lĩnh vực cơng nghệ thơng tin, tốn nhận dạng Tuy xuất chưa lâu quan tâm tính ứng dụng thực tế tốn phức tạp Bài tốn nhận dạng có nhiều lĩnh vực như: nhận dạng vất chất(nước, lửa, đất, đá, gỗ ) nhận dạng chữ viết, nhận dạng giọng nói, nhận dang hình dáng, nhận dạng khn mặt phổ biến ứng dụng nhiều tốn nhận diện khn mặt Để nhận dạng khuôn mặt, bước để nhận dạng phát khuôn mặt, điều thực quan trọng khó khăn Cho đến tận bây giờ, nhà nghiên cứu chưa đạt ưng ý việc giải khó khăn tốn cho kết hồn tồn Tuy nhiên, đạt đủ để áp dụng rộng rãi đem lại lợi ích to lớn sống Với hấp dẫn tốn thách thức cịn phía trước, với niềm đam mê cơng nghệ đại ứng dụng thực tế tuyệt với nó, với khát khao khám phá chinh phục chi thức mẻ em chọn đê tài nghiên cứu: PHÁT HIỆN MẶT NGƯỜI TRONG ẢNH làm để tài nghiên cứu bảo vệ luận văn tốt nghiệp .Về lý thuyết : - Tìm hiểu khái quát xử lý ảnh toán phát mặt người - Phát khuôn mặt dựa vào đặc trưng lồi Về thực tiễn : Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phòng R V V R V V V R R V V Hình 2.8 Một rút trích từ khn mặt Đối với nút cây, cần lưu thông tin nút như: loại (lồi hay lõm), hình dạng (vng, chữ nhật ngang, chữ nhật đứng), vị trí tương đối so với nút cha (có giá trị từ đến 12, xem hình 2.9), thơng tin độ sáng Hình 2.9: vị trí vùng tương đối nút Trong hình biểu diễn vị trí tương đối nút nút cha có dạng vng, chữ nhật ngang, chữ nhật đứng Việc xét nút có vị trí tương đối nút cha đơn giản Nếu tâm nút (tâm hình vng hay hình chữ nhật) rơi vào vùng hình số vùng giá trị vị trí tương đối nút nút cha Lưu ý nút gốc giá trị Bên cạnh thơng tin độ sáng quan trọng toán phát nhận dang khuôn mặt sau Để lưu trữ thông tin cây, ta sử dụng Phạm Thành Huân – Lớp CT1301 32 Đồ án tốt nghiệp Trường DHDL Hải Phịng phương pháp phân tích thành phần (Principal Component Analysis – PCA) để giảm số chiều ảnh mức xám vùng ảnh nút Bằng cách ta giảm đáng kể thông tin phải lưu trữ độ sáng ảnh Thay phải lưu trữ toàn điểm sáng vùng lồi (các nút), cần lưu vector PCA chứa nội dung điểm sáng Cách giúp cho giảm thông tin phải lưu trữ, xử lý mà khơng mát q nhiều thơng tin (xem hình 2.10) Hình 2.10: cách tính vecto đại diện độ sáng cho nút Cụ thể ta thực sau: dùng cửa sổ S kích thước 9x9 quét theo đường zic-zac ảnh xám vùng lồi Các cửa cổ chồng lắp lên hai phần ba kích thước Tại điểm, ta lưu lại trung bình mức sáng điểm ảnh cửa sổ S Như ta lưu vector tương ứng cho biểu diễn mức sáng điểm ảnh nút Phạm Thành Huân – Lớp CT1301 33 Đồ án tốt nghiệp Trường DHDL Hải Phòng R Zoom out Nội dung nút Phóng : Kiểu : lõm Hình vng V V R V V V R R V Vị trí: V Hình 2.11: rút trích thơng tin nút Bên cạnh đó, ta sử dụng số luật để tỉa bớt nhánh cho Nếu nút kiểu so với nút cha xem nút lặp Trong trường hợp này, nút lặp tỉa khỏi Nếu nút lá, dễ dàng xóa khỏi Ngược lại, khơng phải nút lá, tất nút gán trở thành nút cha Ví dụ có hai vùng lồi hình chữ nhật đứng mức Hai vùng thật Trong thực thế, hiệu ứng phép lọc Gaussian mức khác nhau, chúng rút trích từ ảnh với kích thước khác vùng lồi mức xóa khỏi 2.2.2 Xây dựng hàm tính độ tương đồng hai Trong phần ta tìm hiểu cách tính độ tương đồng hai theo cách biểu diễn phần trước Việc xây dựng hàm tương đồng hai cần thiết tất xử lý liên quan đến đặc trưng Nó có tính chất định ảnh hưởng đến độ xác phát nhận dạng khuôn mặt 2.2.2.1 Độ tương đồng hai nút Để xây dựng hàm tính độ tương đồng hai trước hết ta cần xây dựng hàm tính độ tương đồng hai nút hai Với điều kiện hai nút thuộc hai khác mức i Phạm Thành Huân – Lớp CT1301 34 Đồ án tốt nghiệp Trường DHDL Hải Phòng Đặt N1 N2 hai nút cấp hai T1 T2 Khi N1 N2 có thuộc tính sau: (2.9) Trong đó: t ∈{ridge} : loại nút (lồi) s = {square, horizontal rectangle, vertical rectangle} hình dạng nút (vng,hình chữ nhật ngang, hình chữ nhật đứng) p ∈ [0 12] : vị trí tương đối nút nút cha i ∈ (a1,a2, ,an) : vector chứa thông tin độ sáng nút Trong n thay đổi tùy theo cấp nút Ở mức cao, kích thước vùng lồi lõm tương ứng với nút lớn, số chiều n vector cao i Dựa thuộc tính node định nghĩa công thức 3.9, ta xây dựng cơng thức tính độ tương đồng nút sau: (2.10) Trong công thức 2.10 , , , thông số thực ngiệm, hàm E(x,y) dùng để xét giống thuộc tính định nghĩa sau: (2.11) Bên cạnh ký hiệu EV(x,y) hàm tính độ tương đồng vector chuẩn hóa đoạn [0,1] Trong x y hai vector độ sáng có n chiều (a1,a2, an) Phạm Thành Huân – Lớp CT1301 35 Đồ án tốt nghiệp Trường DHDL Hải Phòng (2.12) Do thành phần vector độ sáng có giá trị độ sáng (ai ∈[0,255]) nên dễ dàng chứng minh EV(x,y) ∈[0,1] EV(x,y) đạt giá trị lớn hai vector x y trùng Và EV(x,y) đạt giá trị nhỏ hai vector có khoảng cách Euclid xa Và từ ta dễ dàng suy giá trị NS (N1, N ) ∈[0,1] với cặp nút N1 N2 2.2.2.2 Độ tương đồng hai Trên sở hàm tính độ tương đồng hai nút, ta xây dựng lên hàm tính độ tương đồng hai Gọi T1 T2 hai cần tính độ tương đồng T1 T2 có thuộc tính sau: T1,T2 ∈Tree = {(r, n, c1, c2 , ,cn )} (2.13) Trong đó: r : nút gốc r ∈ Node n : số nhánh n ∈ N ci : (nhánh) thứ i ci ∈ Tree i ∈ [1 n] ci nút là khác Từ công thức (2.13), ta xây dựng cơng thức tính độ tương đồng sau: (2.14) Phạm Thành Huân – Lớp CT1301 36 Đồ án tốt nghiệp Trường DHDL Hải Phịng Trong thông số thực nghiệm Các thông số thực nghiệm 1, 1, công thức (2.10) (2.14) thảo luận chi tiết phần thực nghiệm nhằm chọn thông số thực nghiệm tốt Theo công thức (2.14) ta dễ dàng nhận thấy TS (T1,T2 ) ∈[0,1] với cặp T1 T2 Giá trị hàm lớn, hai giống nhiều Ngoài ra, phần thử nghiệm có thử nghiệm đặc trưng lồi mà khơng sử dụng đến thơng tin độ sáng Khi cơng thức (2.10) tính độ tương đồng hai nút đơn giản hóa sau: 2.2.2.3 Khơng gian khoảng cách hai Trong số trường hợp, hàm tính độ tương đồng hai khơng đủ để tính tốn số trường hợp Để đưa tốn khơng gian, ta xây dựng “không gian cây” (tree-space), không gian sở toán phát nhận dạng khuôn mặt sau Trong không gian này, xem điểm không gian Trên sở ta xây dựng hàm tính khoảng cách hai sau: (2 15 ) Dễ dàng nhận thấy, khoảng cách hai giá trị thuộc đoạn [0,1] Và khoảng cách tiến dần không hai giống Trên cở sở cơng thức tính độ tương đồng, khoảng cách này, ta xây dựng mơ hình thống kê để dị tìm phát khn mặt Mơ hình dùng cho nhận dạng khn mặt mở rộng cho toán phân loại đối tượng Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phịng CHƯƠNG CHƯƠNG TRÌNH THỬ NGHIỆM 3.1 Bài tốn Nội dung : Tìm hiểu đặc trưng lồi 3D toán phát mặt người ảnh Đầu vào : Đưa ảnh đầu vào để phân tích Đầu : Xác định vùng ảnh chứa mặt người Trích lọc khn mặt 3.2 Phân tích tốn Chương trình thử nghiệm xây dựng ngơn ngữ C# sử dụng Visual Studio 2008 với hàm API hỗ trợ phát khuôn mặt thư viện Luxand FaceSDK [25] Chương trình gồm : + Phát hiện, đánh dấu + Lọc vùng khuôn mặt Hoạt động chương trình : Bước 1: Đưa ảnh có định dạng JPG (hoặc PNG, BMP, GIF, JPEG) Buoc : Xác định vùng ảnh chứa măt người trích chon khn mặt Bước 3: Hiển thị ảnh kết 3.3 Một số kết chương trình Một số modul chương trình Đưa số hình ảnh vào Xác định vùng ảnh chứa mặt người Hiện thị kết Một số giao diện chương trình: Phạm Thành Huân – Lớp CT1301 38 Đồ án tốt nghiệp Trường DHDL Hải Phịng Hình 3.1 Giao diện chương trình Hình 3.2 Giao diện phát khn mặt Phạm Thành Huân – Lớp CT1301 39 Đồ án tốt nghiệp Trường DHDL Hải Phịng Hình 3.3 Giao diện modul chọn ảnh đầu vào Một số kết thu được: Hình 3.4 Ảnh kết qua khn mặt biểu cảm Phạm Thành Huân – Lớp CT1301 40 Đồ án tốt nghiệp Trường DHDL Hải Phịng Hình 3.5 Ảnh kết qua ảnh chụp nhà Hình 3.6 Ảnh kết qua ảnh chụp thiếu sáng Phạm Thành Huân – Lớp CT1301 41 Đồ án tốt nghiệp Trường DHDL Hải Phịng Hình 3.7 Ảnh kết qua ảnh chụp ngồi trời Hình 3.8 Ảnh kết mặt nghiêng Phạm Thành Huân – Lớp CT1301 42 Đồ án tốt nghiệp Trường DHDL Hải Phịng Hình 3.9 Ảnh kết phát khn mặt ảnh đặt biệt Hình 3.10 Ảnh kết phát nhầm dị tìm khn mặt Phạm Thành Huân – Lớp CT1301 43 Đồ án tốt nghiệp Trường DHDL Hải Phòng PHẦN KẾT LUẬN Kết đạt Trong trình nghiên cứu thực đồ án định hướng dẫn thầy hướng dẫn, em tìm hiểu cách tổng quan xử lý ảnh toán phát mặt người dựa vào đặc trưng lồi 3D Dựa vào tài liệu tìm em tiến hành cài đặt chương trình thử nghiệm, xây dựng thuật tốn xác định vùng ảnh chứa khn mặt Chương trình thử nghiệm cho kết khả quan với khả mô khuôn mặt khung lưới theo định dạng 3D Tồn Trong số trường hợp, việc phát khuôn mặt xảy nhầm lẫn vùng khác (không phải khuôn mặt) ảnh khuôn mặt Điều xảy ảnh thu nhận có chứa nhiều vùng ảnh có lưới Ridge có kết cấu tượng tự với kết cấu Ridge khn mặt, chương trình xem thành phần biểu diễn khuôn mặt Hướng phát triển Hướng tới việc xây dựng khung lưới định dạng 3D thực thụ với việc gán trục tọa độ Oxyz lên vùng Ridge dò tìm nhằm tăng cường khả nhận biết khu vực có khả mắt mũi hay miệng vùng khác như: chân mày, cằm… Bên cạnh để tăng cường khả xử lý, em mở rộng việc sử dụng lọc tương thích để tăng cường trình tiền xử lý ảnh để loại bớt vùng nhiễu không cần thiết Em tin tốn mở rộng áp dụng cho toán nhận dạng đối tượng mức tổng quát Phạm Thành Huân – Lớp CT1301 44 Đồ án tốt nghiệp Trường DHDL Hải Phòng TÀI LIỆU THAM KHẢO [A] Tài liệu Tiếng Anh [1] Ming-Hsuan Yang, David J Kriegman, Narendra Ahuja, “Detecting Faces in Images: A Survey”, IEEE Transaction on Pattern Analysis and Machine Intelligence (PAMI), Vol 24, No 1, pp 34-47, Jan 2002 [2] T Kanade, “Picture Processing Computer Complex and Recognition of Human Faces”, PhD thesis, Kyoto Univ., 1973 G Yang, T S Huang, “Human Face Detection in Complex Background”, Pattern Recognition, Vol 27, No 1, pp 53-63, 1994 [3] [4] C Kotropoulos, I Pitas, “Rule-based Face Detection in Frontal Views”, Proc Int’l Conf Acoustics, Speech and Signal Processing, Vol 4, pp 2637-2540, 1997 [5] T K Leung, M.C Burl, P Perona, “Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching”, Proc 5th IEEE Conf Computer Vision (ICCV’95), pp 637-644, 1995 K C Yow, R Cipolla, “Feature-Based Human Face Detection”, Image and Vision Computing, Vol 15, No 9, pp 713-735, 1997 [6] [7] I Craw, D Tock, A Bennett, “Finding Face Features”, Proc 2nd European Conf Computer Vision (ECCV’92), Vol 2, pp 92-96, 1992 [B] Tài liệu Tiếng Việt [8] PGS.TS Đỗ Năng Toàn, TS Phạm Việt Bình, “Giáo trình Xử Lý Ảnh”, Đại học Thái Nguyên, 2007 [9] Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phúc Doãn, “Tổng quan phương pháp xác định khn mặt người”, Tạp chí Công nghệ thông tin & Truyền thông, 2007 [C] Cơ sở liệu ảnh khuôn mặt thư viện lập trình [10] Luxand FaceSDK 4.0, Trial Version, Luxand.Inc, 2011 http://www.luxand.com Phạm Thành Huân – Lớp CT1301 45 ... 1.2.7 Pháp phát mặt người dựa đặc trưng lồi 22 CHƯƠNG 2: PHÁT HIỆN MẶT NGƯỜI DỰA VÀO ĐẶC TRƯNG LỒI 24 2.1 Đặc trưng lồi 24 2.1.1 Điểm lồi 25 2.1.2 Dị tìm lấy... CHƯƠNG PHÁT HIỆN MẶT NGƯỜI DỰA VÀO ĐẶC TRƯNG LỒI 2.1 Đặc trưng lồi Ta hiểu cách đơn giản rằng: điểm lồi điểm cao nhất… ví dụ đỉnh dãy núi điểm lồi Trong ảnh vệ tinh, lồi đường xương sống dãy núi Trong. .. trình tìm hiểu Cấu trúc đồ án gồm chương : Chương 1: Khái quát xử lý ảnh toán phát mặt người Trình bày khái quát xử lý ảnh tốn nhận dạng mặt người Chương 2: Phát khn mặt dựa vào đặc trưng lồi Trình