TÌM HIỂU ĐẶC TRƯNG LỒI 3D VÀ BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI TRONG ẢNH. ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ Thơng tin

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG -o0o - ĐỒ ÁN TỐT NGHIỆP HẢI PHÒNG 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG -o0o - TÌM HIỂU ĐẶC TRƢNG LỒI 3D VÀ BÀI TOÁN PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ Thơng tin HẢI PHỊNG - 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG -o0o - TÌM HIỂU ĐẶC TRƢNG LỒI 3D VÀ BÀI TỐN PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ Thơng tin Sinh viên thực hiện: Phạm Thành Huân Giáo viên hướng dẫn: PGS.TS Đỗ Năng Toàn Mã số sinh viên: 1351010019 HẢI PHÒNG - 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG CỘNG HÒA XA HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc -o0o - NHIỆM VỤ THIẾT KẾ TỐT NGHIỆP Sinh viên: Phạm Thành Huân Mã SV: 1351010019 Lớp: CT1301 Ngành: Công nghệ Thông tin Tên đề tài: Tìm hiểu đặc trưng lồi 3D toán phát mặt người ảnh NHIỆM VỤ ĐỀ TÀI Nội dung yêu cầu cần giải nhiệm vụ đề tài tốt nghiệp a Nội dung b Các yêu cầu cần giải CÁN BỘ HƢỚNG DẪN ĐỀ TÀI TỐT NGHIỆP Ngƣời hƣớng dẫn thứ nhất: Họ tên: Đỗ Năng Toàn Học hàm, học vị: Phó Giáo Sư - Tiến Sĩ Cơ quan công tác: Viện khoa học & Công nghệ Việt Nam Nội dung hướng dẫn: Ngƣời hƣớng dẫn thứ hai: Họ tên: ……………………………………………………………………… Học hàm, học vị: ……………………………………………………………… Cơ quan công tác: ……………………………………………………………… Nội dung hướng dẫn: ………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… Đề tài tốt nghiệp giao ngày tháng Yêu cầu phải hoàn thành trước ngày năm 2013 tháng năm 2013 Đã nhận nhiệm vụ: Đ.T.T.N Đã nhận nhiệm vụ: Đ.T.T.N Sinh viên Cán hướng dẫn Đ.T.T.N PGS.TS Đỗ Năng Tồn Hải Phịng, ngày tháng .năm 2013 HIỆU TRƯỞNG GS.TS.NGƯT Trần Hữu Nghị PHẦN NHẬN XÉT TÓM TẮT CỦA CÁN BỘ HƢỚNG DẪN Tinh thần thái độ sinh viên trình làm đề tài tốt nghiệp: Đánh giá chất lượng đề tài tốt nghiệp (so với nội dung yêu cầu đề nhiệm vụ đề tài tốt nghiệp) Cho điểm cán hướng dẫn: ( Điểm ghi số chữ ) Ngày .tháng .năm 2013 Cán hướng dẫn ( Ký, ghi rõ họ tên ) PHẦN NHẬN XÉT ĐÁNH GIÁ CỦA CÁN BỘ CHẤM PHẢN BIỆN ĐỀ TÀI TỐT NGHIỆP Đánh giá chất lƣợng đề tài tốt nghiệp (về mặt nhƣ sở lý luận, thuyết minh chƣơng trình, giá trị thực tế, ) Cho điểm cán phản biện ( Điểm ghi số chữ ) Ngày .tháng .năm 2013 Cán chấm phản biện ( Ký, ghi rõ họ tên ) Đồ án tốt nghiệp Trường DHDL Hải Phòng MỤC LỤC Trang LỜI CẢM ƠN DANH MỤC CHỮ VIẾT TẮT PHẦN MỞ ĐẦU CHƢƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN PHÁT HIỆN MẶT NGƢỜI 1.1 Khái quát xử lý ảnh …………………………………… 1.1.1 Một số khái niệm 1.1.2 Một số vấn đề xử lý ảnh 1.1.2.1 Các hệ thống xử lý ảnh 1.1.2.2 Các hình thái ảnh 1.1.3 Một số ứng dụng xử lý ảnh 1.2 Bài toán nhận dạng mặt ngƣời 10 1.2.1 Bài toán 10 1.2.2 Những khó khăn nhận dạng khuôn mặt 11 1.2.3 Tầm quan trọng toán nhận diện mặt người 14 1.2.4 Các ứng dụng đặc trưng toán nhận diện mặt người 14 1.2.5 Xây dựng hệ thống nhận diện mặt người đặc trưng 15 1.2.6 Một số phương pháp nhận diện mặt người 16 1.2.6.1 Dựa tri thức 16 1.2.6.2 Hướng tiếp cận dựa đặc trưng không thay đổi 18 1.2.6.3 Hướng tiếp cận dựa so khớp mẫu 20 1.2.6.4 Hướng tiếp cận dựa diện mạo 21 Đồ án tốt nghiệp Trường DHDL Hải Phòng 1.2.7 Pháp phát mặt người dựa đặc trưng lồi 22 CHƢƠNG 2: PHÁT HIỆN MẶT NGƢỜI DỰA VÀO ĐẶC TRƢNG LỒI 24 2.1 Đặc trƣng lồi 24 2.1.1 Điểm lồi 25 2.1.2 Dị tìm lấy vùng lồi 25 2.1.3 Dị tìm phát vùng lồi nhiều mức khác 28 2.2 Phát mặt ngƣời 31 2.2.1 Xây dựng cấu trúc 31 2.2.2 Xây dựng hàm tính độ tương đồng hai 34 2.2.2.1 Độ tương đồng hai nút 34 2.2.2.2 Độ tương đồng hai 36 2.2.2.3 Không gian khoảng cách hai 37 Chƣơng 3: CÀI ĐẶT THỬ NGHIỆM 39 3.1 Bài toán 39 3.2 Phân tích tốn 39 3.3 Một số kết chƣơng trình 39 PHẦN KẾT LUẬN 44 TÀI LIỆU THAM KHẢO 45 Đồ án tốt nghiệp Trường DHDL Hải Phòng LỜI CẢM ƠN Trước tiên em xin bày tỏ trân trọng lòng biết ơn thầy giáo PGS.TS Đỗ Năng Toàn giảng viên – Viện Khoa Công nghệ thông tin Trong suốt thời gian học làm đồ án tốt nghiệp, thầy dành nhiều thời gian q báu để tận tình bảo, hướng dẫn, định hướng cho em thực đồ án Tác giả xin cảm ơn thầy cô giáo Trường Đại học Dân lập Hải phòng giảng dạy trình học tập, thực hành, làm tập, giúp em hiểu thấu đáo nội dung học tập hạn chế cần khắc phục việc học tập, nghiên cứu thực đồ án Em xin cảm ơn bạn bè thành viên gia đình tạo điều kiện tốt nhất, động viên, cổ vũ suốt trình học tập đồ án tốt nghiệp Hải Phịng, ngày tháng năm 2013 Sinh viên Phạm Thành Huân Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phòng DANH MỤC CHỮ VIẾT TẮT AD Analog to Digital Ppi Pixel per inch Dpi Dot per inch BMP Bit map GIF Graphics Interchanger Format hang ComputerServer Incoporated (Mỹ) đề xuất 1990 JPEG Joint Photograp Expert Group : tên nhóm nghiên cứu chuẩn nén cho ảnh, thành lâp 1982 Tên cũ IOS JPEG thức thành lập năm 1986 PEL Picture Elenment JPG Joint Photographic Experts Group 1D Một chiều (1 Dimention) 2D Hai chiều (2 Dimentions) 3D Ba chiều (3 Dimentions) CNN Mạng nơ ron tế bào (Cellular Neural Network) S–N South – North (Nam – Bắc) E–W East – West (Đông – Tây ) NW – SE North West – South East (Tây Bắc – Đông Nam) NE – SW North East – South West (Đông Bắc – Tây Nam) Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phịng PHẦN MỞ ĐẦU Cơng nghệ thơng tin ngày phát triển có vai trị quan trọng thiếu sống đại Con người ngày tạo cỗ máy thơng minh có khả tự nhận biết xử lí cơng việc cách tự động, phục vụ cho lợi ích người Trong năm gần đây, toán nhận nhiều quan tâm tốn nhiều công sức lĩnh vực cơng nghệ thơng tin, toán nhận dạng Tuy xuất chưa lâu quan tâm tính ứng dụng thực tế toán phức tạp Bài tốn nhận dạng có nhiều lĩnh vực như: nhận dạng vất chất(nước, lửa, đất, đá, gỗ ) nhận dạng chữ viết, nhận dạng giọng nói, nhận dang hình dáng, nhận dạng khn mặt phổ biến ứng dụng nhiều tốn nhận diện khn mặt Để nhận dạng khn mặt, bước để nhận dạng phát khuôn mặt, điều thực quan trọng khó khăn Cho đến tận bây giờ, nhà nghiên cứu chưa đạt ưng ý việc giải khó khăn tốn cho kết hồn tồn Tuy nhiên, đạt đủ để áp dụng rộng rãi đem lại lợi ích to lớn sống Với hấp dẫn tốn thách thức cịn phía trước, với niềm đam mê công nghệ đại ứng dụng thực tế tuyệt với nó, với khát khao khám phá chinh phục chi thức mẻ em chọn đê tài nghiên cứu: PHÁT HIỆN MẶT NGƯỜI TRONG ẢNH làm để tài nghiên cứu bảo vệ luận văn tốt nghiệp .Về lý thuyết : - Tìm hiểu khái quát xử lý ảnh toán phát mặt người - Phát khuôn mặt dựa vào đặc trưng lồi Về thực tiễn : Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp - Trường DHDL Hải Phòng Cài đặt thử nghiệm chương trình tìm hiểu Cấu trúc đồ án gồm chương : Chương 1: Khái quát xử lý ảnh toán phát mặt người Trình bày khái quát xử lý ảnh toán nhận dạng mặt người Chương 2: Phát khn mặt dựa vào đặc trưng lồi Trình bày đặc trưng lồi phát mặt người Chương 3: Cài đặt thử nghiệm Chương trình ứng dụng số kết thu Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phòng CHƢƠNG KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN PHÁT HIỆN MẶT NGƢỜI 1.1 Khái quát xử lý ảnh 1.1.1 Một số khái niệm Xử lý ảnh mảng quan trọng kỹ thuật thị giác máy tính, tiền đề cho nhiều nghiên cứu thuộc lĩnh vực Hai nhiệm vụ trình xử lý ảnh nâng cao chất lượng thơng tin hình ảnh xử lý số liệu cung cấp cho trình khác có việc ứng dụng thị giác vào điều khiển Quá trình việc thu nhận ảnh nguồn (từ thiết bị thu nhậnảnh dạng số tương tự) gửi đến máy tính Dữ liệu ảnh lưu trữ định dạng phù hợp với trình xử lý Người lập trình tác động thuật toán tương ứng lên liệu ảnh nhằm thay đổi cấu trúc ảnh phù hơp với ứng dụng khác Quá trình xử lý nhận dạng ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu q trình xử lý ảnh ảnh “tốt hơn” kết luận Ảnh tốt Ảnh Xử lý ảnh Ảnh xấu Kết luận Ảnh xem tập hợp điểm ảnh điểm ảnh xem đặc trưng cường độ sang hay dấu hiệu vị trí đối tượng khơng gian xem hàm n biến P(c,c1,c2,…).Do đó,ảnh xử lý ảnh xem ảnh n chiều Hệ định * Sơ đồ tổng quát hệ thống xử lý ảnh: Thu nhận ảnh Tiền xử lý Trích trọn đặc điểm Hậu xử lý Đối sánh rút kết luận Lưu trữ Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phòng 1.1.2 Một số vấn đề xử lý ảnh 1.1.2.1 Các hệ thống xử lý ảnh * Thu nhận ảnh Đây bước trình xử lý ảnh Để thực điều ta cần có thiết bị nhu nhận ảnh bao gồm camera, scanner thiết bị thu nhận cho ảnh đen trắng Các thiết bị thu nhận ảnh có loại ứng với loại ảnh thông dụng Raster Vector Các thiết bị thu nhận ảnh thơng thường Raster camera, cịn thiết bị thu nhận ảnh Vector sensor số hóa (digitalizer) chuyển đổi từ ảnh Raster Các thiết bị thu ảnh thông thường gồm camera cộng với chuyển đổi tương tự số AD (Analog to Digital) scanner chuyên dụng Các thiết bị thu nhận ảnh cho ảnh đen trắng ảnh màu Đầu scanner ảnh ma trận số mà ta quen gọi đồ ảnh (ảnh Bitmap) Bộ số hố (digitalizer) tạo ảnh vector có hướng Nhìn chung, hệ thống thu nhận ảnh thực hai trình: - Cảm biến : biến đổi lượng quang học thành lượng điện - Tổng hợp lượng điện thành ảnh * Tiền xử lý Ở bước này, ảnh cải thiện độ tương phản, khử nhiễu, khơi phục ảnh, nắn chỉnh hình học… Với mục đích làm cho chất lượng ảnh trở nên tốt nữa, chuẩn bị cho bước xử lý phức tạp sau Khử nhiễu: Nhiễu chia thành hai loại: nhiễu hệ thống nhiễu ngẫu nhiên Đặc trưng nhiễu hệ thống tính tuần hồn Do vậy, khử nhiễu việc sử dụng phép biến đổi Fourier loại bỏ đỉnh điểm Đối với nhiễu ngẫu nhiên, trường hợp đơn giản vết bẩn tương úng với điểm sáng hay tối, khử nhiễu phương pháp nội suy, lọc trung vị, lọc trung bình Chỉnh mức xám: Đây kỹ thuật nhằm chỉnh sửa tính không đồng thiết bị thu nhận độ tương phản vùng ảnh Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phòng Chỉnh tán xạ: Ảnh thu nhận từ thiết bị quang học hay điện tử bị mờ, nhịe Phương pháp biến đổi Fourier dựa tích chập ảnh với hàm tán xạ cho phép giải việc hiệu chỉnh Nắn chỉnh hình học: Những biến dạng hình học thường thiết bị điện tử quang học gây Do phương pháp hiệu chỉnh hình ảnh dựa mơ hình mơ tả dạng phương trình biến đổi ảnh biến dạng f(x,y) thành ảnh lý tưởng f(x’,y’) sau: (1.1) Trong , phương trình tuyến tính (biến dạng phối cảnh) hay bậc hai (2.3) (biến dạng ống kính camera) * Trích chọn đặc điểm Vì lượng thơng tin chứa ảnh lớn, đa số ứng dụng cần số thông tin đặc trưng đó, cần có bước trích chọn đặc điểm để giảm lượng thông tin khổng lồ Việc trích chọn hiệu đặc điểm giúp cho việc nhận dạng (2.3) đối tượng ảnh xác, với tốc độ tính tốn cao dung lượng nhớ lưu trữ giảm xuống Các đặc điểm đối tượng trích chọn tùy theo mục đích nhận dạng Có thể nêu số đặc điểm ảnh sau đây: Đặc điểm không gian: Phân bố mức xám, phân bố xác suất, biên độ, điểm uốn, v.v Đặc điểm biến đổi: Các đặc điểm loại trích chọn việc thực lọc vùng (zonal filtering) Các vùng gọi “mặt nạ đặc điểm” (feature mask) thường khe hẹp với hình dạng khác (chữ nhật, tam giác, cung tròn,…) Đặc điểm biên đƣờng biên: Đặc trưng cho đường biên đối tượng hữu ích việc trích chọn đặc tính bất biến dung nhận dạng đối tượng Các đặc điểm trích chọn nhờ tốn tử Gradien, tốn tử Laplace, tốn tử chéo khơng (zero crossing) * Đối sánh, nhận dạng Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phịng Nhận dạng tự động (automatic recognition), mơ tả đối tượng, phân loại phân nhóm mẫu vấn đề quan trọng thị giác máy, ứng dụng nhiều ngành khoa học khác Ví dụ mẫu ảnh vân tay, ảnh vật chụp, chữ viết, khn mặt người ký đồ tín hiệu tiếng nói Khi biết mẫu đó, để nhận dạng phân loại mẫu Hệ thống nhận dạng tự động bao gồm ba khâu tương ứng với ba giai đoạn chủ yếu sau đây: Thu nhận liệu tiền xử lý Biểu diễn liệu Nhận dạng, định Bốn cách tiếp cận khác lý thuyết nhận dạng là: Đối sánh mẫu dựa đặc trưng trích chọn Phân loại thống kê Đối sánh cấu trúc Phân loại dựa mạng nơ-ron nhân tạo Trong ứng dụng rõ ràng dùng có cách tiếp cận đơn lẻ để phân loại “tối ưu” cần sử dụng lúc nhiều phương pháp cách tiếp cận khác Do vậy, phương thức phân loại tổ hợp hay sử dụng nhận dạng có kết có triển vọng dựa thiết kế hệ thống lai (hybrid system) bao gồm nhiều mô hình kết hợp 1.1.2.2 Các hình thái ảnh * Chuyển ảnh màu thành ảnh xám Đơn vị tế bào ảnh số pixel Tùy theo định dạng ảnh màu hay ảnh xám mà pixel có thông số khác Đối với ảnh màu pixel mang thông tin ba màu tạo màu khả kiến Đỏ (R), Xanh (G) Xanh biển (B) [Thomas 1892] Trong pixel ảnh màu, ba màu R, G B bố trí sát có cường độ sáng khác Thông thường, màu biểu diễn tám bit tương ứng 256 mức độ màu khác Như pixel có 28x3=224 màu (khoảng 16.78 triệu màu) Đối với ảnh xám, thông thường pixel Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phòng mang thông tin 256 mức xám (tương ứng với tám bit) ảnh xám hồn tồn tái đầy đủ cấu trúc ảnh màu tương ứng thông qua tám mặt phẳng bit theo độ xám * Lược đồ xám ảnh (Histogram) Lược đồ xám ảnh số có mức xám khoảng [0,L−1] hàm rời rạc p(rk)=nk/n Trong nk số pixel có mức xám thứ rk, n tổng số pixel ảnh k=0,1,2 L−1 Do P(rk) cho xấp xỉ xác suất xảy mức xám rk Vẽ hàm với tất gia trị k biểu diễn khái quát xuất mức xám ảnh Chúng ta thề lược đồ mức xám ảnh thông qua tần suất xuất mức xám qua hệ tọa độ vng góc xOy Trong đó, trục hoành biểu diễn số mức xám từ đến N (số bit ảnh xám) Trục tung biểu diễn số pixel mức xám 1.1.3 Một số ứng dụng xử lý ảnh Như nói trên, kỹ thuật xử lý ảnh trước chủ yếu sử dụng để nâng cao chất lượng hình ảnh, xác tạo cảm giác gia tăng chất lượng ảnh quang học mắt người quan sát Thời gian gần đây, phạm vi ứng dụng xử lý ảnh mở rộng khơng ngừng, nói khơng có lĩnh vực khoa học khơng sử dụng thành tựu công nghệ xử lý ảnh số Trong y học thuật tóan xử lý ảnh cho phép biến đổi hình ảnh tạo từ nguồn xạ X -ray hay nguồn xạ siêu âm thành hình ảnh quang học bề mặt film x-quang trực tiếp bề mặt hình hiển thị Hình ảnh quan chức người sau xử lý tiếp để nâng cao độ tương phản, lọc, tách thành phần cần thiết (chụp cắt lớp) tạo hình ảnh không gian ba chiều (siêu âm chiều) Trong lĩnh vực địa chất, hình ảnh nhận từ vệ tinh phân tích để xác định cấu trúc bề mặt trái đất Kỹ thuật làm đường biên (image enhancement) khơi phục hình ảnh (image restoration) cho phép nâng cao chất lượng ảnh vệ tinh tạo đồ địa hình 3-D với độ xác cao Trong ngành khí tượng học, ảnh nhận từ hệ thống vệ tinh theo dõi thời tiết xử lý, nâng cao chất lượng ghép hình để tạo ảnh bề mặt trái đất Phạm Thành Huân – Lớp CT1301 Đồ án tốt nghiệp Trường DHDL Hải Phòng vùng rộng lớn, qua thực việc dự báo thời tiết cách xác Xử lý ảnh cịn sử dụng rộng rãi lĩnh vực hình hệ thống bảo mật kiểm soát truy cập: q trình xử lý ảnh với mục đích nhận dạng vân tay hay khuôn mặt cho phép phát nhanh đối tương nghi vấn nâng cao hiệu hệ thống bảo mật cá nhân kiểm sốt vào Ngồi ra, kể đến ứng dụng quan trọng khác kỹ thuật xử lý ảnh tĩnh ảnh động đời sống tự động nhận dạng, nhận dạng mục tiêu quân sự, máy nhìn cơng nghiệp hệ thống điều khiển tự động, nén ảnh tĩnh, ảnh động để lưu truyền mạng viễn thông v v v 1.2 Bài toán nhận dạng mặt ngƣời 1.2.1 Bài toán nhận dạng mặt ngƣời Nhận diện mặt người toán xuất cách chưa lâu, đời vài chục năm có nhiều quan tâm, nghiên cứu Bài tốn nhận dạng mặt người có nhiều ứng dụng thực tế sống, giải trí an ninh bảo mật, tốn nhận diện mặt người ln nhận nhiều quan tâm, có sức hấp dẫn, lơi người ngày hồn thiện Các nghiên cứu ban đẩu toán nhận diện mặt người đơn giản với ảnh đen trắng chụp thẳng thường có đến hai khn mặt ảnh, sau mở rộng với nhiều điều kiện phúc tạp như: ảnh màu, ảnh có nhiều khn mặt, ánh sáng ảnh không tốt hay điều kiện trường xung quanh phức tạp Bài toán nhận dạng mặt người có nhiều hướng nghiên cứu khác nhau, kể hai hướng sau:  Nhận diện khn mặt ảnh, so sánh với mẫu có sẵn thư viện để tìm người Ứng dụng dùng lĩnh vực an ninh, truy tìm tội phạm  Xác định vị trí nhiều khn mặt ảnh, ảnh có nhiều khn mặt với nhiều kích thước sáng tối khác nhau, tốn tìm vị trí khn mặt có ảnh Ứng dụng dùng lĩnh vực giải trí Phạm Thành Huân – Lớp CT1301 10