Luận văn thạc sĩ công nghệ thông tin Phát hiện mặt người trong ảnh dựa vào đặc trưng 3d

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** TRẦN VĂN MINH PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH DỰA VÀO ĐẶC TRƢNG 3D LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Đồng Nai, Năm 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** TRẦN VĂN MINH PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH DỰA VÀO ĐẶC TRƢNG 3D Chuyên ngành: Công Nghệ Thông Tin Mã số: 60.48.02.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: PGS.TS Đỗ Năng Toàn Đồng Nai, Năm 2013 LỜI CẢM ƠN Lời đầu tiên cho tôi gửi lời cảm ơn chân thành đến quý thầy cô đã cho tôi có kiến thức làm nền tảng để đi đến thực hiện luận văn ngày hôm nay. Xin tỏ lòng biết ơn sâu sắc, chân thành đến thầy PGS.TS Đỗ Năng Toàn người đã tận tình giúp đỡ, chỉ dạy và động viên tôi trong suốt thời gian thực hiện luận văn này. Con xin cảm ơn ba mẹ và những thành viên trong gia đình của mình đã cùng con chia sẽ nhưng khó khăn khi thực hiện luận văn này. Tôi xin cảm ơn các anh chị và đồng nghiệp đã tạo điều kiện và giúp đỡ tôi có được những khoảng thời gian để hoàn thành khóa học. Qua đây tôi xin gửi đến quý thầy cô cùng ba mẹ và các anh chị em đồng nghiệp cành hoa để cảm ơn những gì tốt đẹp nhất mà mọi người dành cho tôi với tất cả tấm lòng mình! Trân trọng ! Đồng Nai, ngày 10 tháng 6 năm 2013. Trần Văn Minh LỜI CAM ĐOAN Tôi xin cam đoan : Luận văn này là công trình nghiên cứu thật sự của cá nhân, được thực hiện dưới sự hướng dẫn khoa học của PGS.TS Đỗ Năng Toàn. Các số liệu và thông tin thứ cấp sử dụng trong luận văn được trích dẫn rõ ràng. Tôi hoàn toàn chịu trách nhiệm về tính xác thực và nguyên bản của luận văn. Học viên Trần Văn Minh DANH MỤC CÁC BẢNG Trang Bảng 2.1 Các thông tin trên một vùng không gian nút 34 Bảng 2.2 Khoảng cách Euclide của mỗi nút so với các nút cùng mức 34 Bảng 2.3 Vị trí tương đối của nút con so với nút gốc 35 Bảng 3.1 Kết quả thử nghiệm trên thư viện Markus Weber 52 Bảng 3.2 Kết quả thử nghiệm trên tập không có khuôn mặt 53 DANH MỤC HÌNH ẢNH Trang Hình 1.1 Mô phỏng quá trình xử lý ảnh 3 Hình 1.2 Mô phỏng các bước trong một hệ thống xử lý ảnh 4 Hình 1.3 Ví dụ hệ thống phát hiện khuôn mặt 6 Hình 1.4 Hệ thống kiểm soát ra vào dựa vào kỹ thuật phát hiện mặt người 8 Hình 1.5 Mô hình tổng quát các phương pháp giải quyết phát hiện mặt người 9 Hình 1.6 Phương pháp sử dụng đa độ phân giải 10 Hình 1.7 Tri thức của chuyên gia nghiên cứu phân tích trên khuôn mặt 11 Hình 1.8 Mô tả phương pháp chiếu 11 Hình 1.9 Chiếu từng phần ứng viên để xác thực thành phần khuôn mặt 12 Hình 1.10 Mẫu so sánh khớp sử dụng 23 quan hệ 16 Hình 1.11 Mô hình mạng nơ ron của Rowley 18 Hình 1.12 Kiến trúc hệ thống phát hiện khuôn mặt dựa trên mạng nơ ron 19 Hình 1.13 Dùng HMM xác định khuôn mặt 22 Hình 1.14 Mô hình Markow ẩn 22 Hình 2.1 Những điểm tương quan giữa các thành phần trên khuôn mặt 2D và 3D 25 Hình 2.2 Thông tin các điểm xương và rãnh trên ảnh vệ tinh 26 Hình 2.3 Thông tin các điểm xương và rãnh trên ảnh khuôn mặt 26 Hình 2.4 Dò tìm trên từng vùng 27 Hình 2.5 Tập các bộ lọc kích thước S 28 Hình 2.6 Tìm vùng 3D bằng nhiều mức giá trị dò 30 Hình 2.7 Khối 3D và kết xuất khung lưới tương ứng 31 Hình 2.8 Ví dụ về khuôn mặt 3D và kết xuất khung lưới 3D của khuôn mặt 31 Hình 2.9 Cách tạo cây bậc D cỡ K 32 Hình 2.10 Cấu trúc cây rút các đặc trưng 3D từ hình 2.6 33 Hình 2.11 Mô tả cách quét để lưu thông tin mức sáng 35 Hình 2.12 Một số kết xuất khung lưới cơ bản 36 Hình 2.13 Các nút tạo thành từ xương và rãnh được rút trích theo mức 36 Hình 2.14 Ảnh phân tích 37 Hình 2.15 Tính tổng mức sáng của hình chữ nhật R(l,t,r,b) 37 Hình 2.16 Một số ảnh trong thư viện của Markus Weber 39 Hình 2.17 Mẫu hình canh biên tại các vị trí trên khuôn mặt 43 Hình 2.18 Gán nhãn bằng phương pháp thủ công 44 Hình 2.19 Các bước tiền xử lý để hiệu chỉnh độ sáng và cân bằng lược đồ 45 Hình 2.20 Kiểm tra phát hiện khuôn mặt 46 Hình 2.21 Mô tả thuật toán giảm các ứng viên trùng lắp 48 Hình 2.22 Luồng xử lý việc dò tìm khuôn mặt 50 Hình 3.1 Một số ảnh của tập ảnh Markus Weber 52 Hình 3.2 Tổ chức thư viện OpenCV 53 Hình 3.3 Giao diện chính của chương trình 54 Hình 3.4 Một số trường hợp phát hiện đúng 55 Hình 3.5 Một số kết quả phát hiện thiếu 56 Hình 3.6 Một số kết quả không phát hiện được khuôn mặt 57 MỤC LỤC PHẦN MỞ ĐẦU 1 1. Lý do chọn đề tài 1 2. Mục tiêu đề tài 1 3. Phạm vi nghiên cứu 2 4. Những đóng góp mới của đề tài 2 CHƢƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT 3 1.1 CÁC KHÁI NIỆM LIÊN QUAN ĐẾN XỬ LÝ ẢNH 3 1.1.1 XỬ LÝ ẢNH LÀ GÌ? 3 1.1.2 CÁC KHÁI NIỆM CƠ BẢN 4 1.2 BÀI TOÁN PHÁT HIỆN KHUÔN MẶT 5 1.2.1 GIỚI THIỆU 5 1.2.2 BÀI TOÁN PHÁT HIỆN KHUÔN MẶT TRONG ẢNH 5 1.2.3 NHỮNG KHÓ KHĂN VÀ THÁCH THỨC TRONG QUÁ TRÌNH PHÁT HIỆN KHUÔN MẶT 7 1.2.4 CÁC LĨNH VỰC ỨNG DỤNG BÀI TOÁN PHÁT HIỆN KHUÔN MẶT 7 1.2.4.1 HỆ THỐNG QUAN SÁT VÀ THEO DÕI HÀNH VI 8 1.2.4.2 HỆ THỐNG TƢƠNG TÁC GIỮA NGƢỜI VÀ MÁY 8 1.2.4.3 BẢO MẬT 8 1.2.4.4 MỘT SỐ ỨNG DỤNG KHÁC 9 1.3 CÁC PHƢƠNG PHÁP PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH 9 1.3.1 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN CÁC LUẬT TRI THỨC . 10 1.3.2 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN CÁC ĐẶC TRƢNG BẤT BIẾN 12 1.3.2.1 CÁC ĐẶC TRƢNG KHUÔN MẶT 13 1.3.2.2 ĐẶC TRƢNG KẾT CẤU 14 1.3.2.3 ĐẶC TRƢNG SẮC MÀU CỦA DA 14 1.3.2.4 ĐA ĐẶC TRƢNG 14 1.3.3 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN ĐỐI SÁNH MẪU 15 1.3.3.1 XÁC ĐỊNH MẪU TRƢỚC 15 1.3.3.2 CÁC MẪU BỊ BIẾN DẠNG 17 1.3.4 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN KỸ THUẬT HỌC MÁY . 18 1.3.4.1 KIẾN TRÚC HOẠT ĐỘNG CỦA HỆ THỐNG 19 1.3.4.2 TIỀN XỬ LÝ 20 1.3.4.3 XÂY DỰNG MÔ HÌNH QUÁ TRÌNH HỌC 20 1.3.4.4 SUPPORT VECTOR MACHINE (SVM) 20 1.3.4.5 MẠNG LỌC THƢA (SPARSE NETWORK OF WINNOWS – SNOW) 21 1.3.4.6 MÔ HÌNH MARKOW ẨN ( HIDDEN MARKOW MODEL – HMM) 21 1.3.4.7 PHÂN LOẠI BAYES 22 1.3.5 PHƢƠNG PHÁP TIẾP CẬN DỰA VÀO ĐẶC TRƢNG 3D 23 1.3.6 NHẬN XÉT CHUNG CÁC PHƢƠNG PHÁP TIẾP CẬN HIỆN TẠI 23 1.4 PHẠM VI CỦA ĐỀ TÀI 24 CHƢƠNG 2: PHÁT HIỆN KHUÔN MẶT DỰA VÀO ĐẶT TRƢNG 3D 25 2.1 RÖT TRÍCH CÁC ĐẶC TRƢNG 3D 25 2.1.1 ĐIỂM 3D 27 2.1.2 DÒ TÌM VÀ RÚT TRÍCH CÁC VÙNG 3D 27 2.1.3 DÒ TÌM VÀ RÚT TRÍCH CÁC VÙNG 3D Ở NHIỀU MỨC KHÁC NHAU 28 2.2 MÔ HÌNH KHUNG TRONG TIẾP CẬN 3D 31 2.2.1 MÔ HÌNH KHUNG LƢỚI 31 2.2.2 XÂY DỰNG CẤU TRÚC CÂY 3D 32 2.2.3 XÂY DỰNG KHUNG LƢỚI 35 2.2.4 TỐI ƢU HÓA VIỆC DÕ TÌM CÁC ĐẶC TRƢNG 36 2.2.5 CẮT TỈA CẤU TRÚC CÂY 3D 38 2.3 XÂY DỰNG TẬP MẪU 38 2.4 CÁC KỸ THUẬT DÒ BIÊN 39 2.4.1 KỸ THUẬT PHÁT HIỆN BIÊN TRỰC TIẾP 40 2.4.2 KỸ THUẬT PHÁT HIỆN BIÊN GIÁN TIẾP 42 2.5 GÁN NHÃN CANH BIÊN CÁC ĐẶC TRƢNG CỦA KHUÔN MẶT 42 2.5.1 ĐỊNH NGHĨA CANH BIÊN GIỮA HAI ĐIỂM ĐẶC TRƢNG 42 2.5.2 GÁN NHÃN 44 2.6 XỬ LÝ ĐỘ SÁNG VÀ ĐỘ TƢƠNG PHẢN TRÊN TẬP MẪU 44 2.7 ÁP DỤNG MÔ HÌNH THỐNG KÊ 45 2.7.1 THỐNG KÊ 45 2.7.2 ĐÁNH GIÁ DỰA TRÊN SỐ LIỆU THU THẬP ĐƢỢC 47 2.8 HUẤN LUYỆN DÒ TÌM KHUÔN MẶT 48 2.8.1 GIỚI THIỆU 48 2.8.2 HUẤN LUYỆN DÒ TÌM KHUÔN MẶT 48 2.9 QUÁ TRÌNH DÒ TÌM KHUÔN MẶT 49 CHƢƠNG 3: THỬ NGHIỆM VÀ KẾT QUẢ 50 3.1 MÔI TRƢỜNG THỬ NGHIỆM 50 3.2 KẾT QUẢ 52 3.3 NHẬN XÉT 53 3.4 GIAO DIỆN CHÍNH 53 3.5 MỘT SỐ MÀN HÌNH KẾT QUẢ VỀ. 54 CHƢƠNG 4: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 58 4.1 KẾT LUẬN 57 4.2 HƢỚNG PHÁT TRIỂN 57 4.2.1 ĐẶT VẤN ĐỀ 57 4.2.2 PHƢƠNG PHÁP THỰC HIỆN 58 [...]... đây từ đó rút ra các hướng tiếp cận trong việc giải quyết bài toán phát hiện mặt người trong ảnh Đi sâu vào nghiên cứu các đặc trưng 3D và các kỹ thuật rút trích đặc trưng 3D đó, cách áp dụng vào bài toán phát hiện khuôn mặt trong ảnh Chƣơng 3: Thử nghiệm và kết quả: Xây dựng thử nghiệm chương trình phát hiện mặt người trong ảnh theo tiếp cận dựa trên đặc trưng 3D Nêu lên các phân tích – thiết kế của... khuôn mặt như xác thực người dùng, xác định các thành phần đặc trưng của khuôn mặt, … Cốt lõi trong hệ thống phát hiện mặt người là xác định xem có khuôn mặt người trong ảnh đầu vào hay không và nếu có thì chỉ ra vị trí, kích thước khuôn mặt có trong ảnh đó Trong gần hai thập kỷ gần đây, vấn đề này được các nhà khoa học trên thế giới quan tâm nghiên cứu về bài toán phát hiện khuôn mặt người trong ảnh, ... ảnh, từ ảnh đen trắng, xám đến ảnh màu và trong chuỗi ảnh video Tuy nhiên do sự đa dạng và tính phức tạp của thực tế do đó giải pháp toàn diện vẫn đang còn là một thách thức và đang trong giai đoạn nghiên cứu Xuất phát từ yêu cầu thực tế trên người thực hiện đã tìm hiểu và tập trung vào vấn đề nghiên cứu để phát hiện mặt người trong ảnh dựa vào đặc trưng 3D 1.2.2 Bài toán phát hiện khuôn mặt trong ảnh. .. người trong việc cảnh báo và bảo mật thông tin Việc phát hiện khuôn mặt trong ảnh còn được dùng để đếm số người trong ảnh, việc đếm số người này có ý nghĩa thực tiễn trong cuộc sống như xác định được số lượng khách ra vào siêu thị, mật độ lưu thông trên đường… Như chúng ta đã biết khuôn mặt đóng vai trò quan trọng trong quá trình giao tiếp giữa người với người, và nó cũng mang một lượng thông tin trong. .. toán phát hiện mặt người là hệ thống nhận vào là một ảnh hoặc một đoạn video, qua xử lý trên máy tính thuật toán xác định được tất cả vị trí, kích thước khuôn mặt người trong ảnh đó, nhưng sẽ bỏ qua những thứ khác như ngôi nhà, mặt con vật, cơ thể con người ,… 6 Hệ thống phát hiện khuôn mặt trong ảnh Hình 1.3 Ví dụ hệ thống phát hiện khuôn mặt 7 1.2.3 Những khó khăn và thách thức trong quá trình phát hiện. .. đạt được độ chính xác trong quá trình phát hiện khuôn mặt Do đó, chúng ta cần hướng đến một đặc trưng có ý niệm cao hơn trong việc phát hiện khuôn mặt như cần có đặc trưng về cấu trúc khuôn mặt, các điểm nổi chính trên khuôn mặt, … Để giải quyết những khó khăn và hạn chế được nêu ở trên, trong luận văn này tôi sẽ đưa ra một đặc trưng có ý niệm cao hơn đó là đặc trưng 3D trên khuôn mặt Với phương pháp... cục như sau: Chƣơng 1: Tổng quan về phát hiện khuôn mặt trong ảnh: Giới thiệu tổng quan về bài toán phát hiện mặt người trong ảnh, các ứng dụng, những khó khăn và thách thức mới trong việc giải bài toán trên, đồng thời xác định phạm vi của đề tài, cũng như xác định mục tiêu Chƣơng 2: Phát hiện khuôn mặt dựa vào đặc trƣng 3D: Nói chi tiết bài toán phát hiện mặt người, các nghiên cứu và những kết quả đạt... hai người đối diện nói chuyện với nhau mình có thể biết người đó đang muốn nói cái gì Do đó mà phát hiện khuôn mặt là một lĩnh vực nghiên cứu hấp dẫn và được nhiều người quan tâm 2 Mục tiêu đề tài Nghiên cứu các đặc trưng 3D trên mặt người và kỹ thuật rút trích đặc trưng 3D phục vụ cho bài toán phát hiện mặt người Trên cơ sở các kiến thức tìm hiểu được, xây dựng thử nghiệm chương trình phát hiện mặt người. .. lý phát hiện và nhận dạng khuôn mặt Là một nỗ lực nghiên cứu và tìm hiểu nhằm cung cấp nền tảng và tài nguyên cho các nghiên cứu sâu hơn Với mục tiêu chính là tìm hiểu, nghiên cứu các đặc trưng 3D trên mặt người và kỹ thuật rút trích đặc trưng 3D, đồng thời áp dụng để phục vụ cho bài toán phát hiện mặt người trong ảnh, luận văn trình bày trong bốn chương với bố cục như sau: Chƣơng 1: Tổng quan về phát. .. cho ảnh 1.2 Bài toán phát hiện khuôn mặt 1.2.1 Giới thiệu Trong cuộc sống những ứng dụng về nhận dạng khuôn mặt đang được chú tâm phát triển Đây là lớp bài toán để giải quyết trong hệ thống máy và quan sát đám đông Để nhận dạng được khuôn mặt trong ảnh thì vấn đề cốt lõi là làm sao phát hiện ra khuôn mặt đó trong ảnh, trước khi nhận dạng nó là ai, là cái gì…Và vấn đề phát hiện khuôn mặt trong ảnh là . người thực hiện đã tìm hiểu và tập trung vào vấn đề nghiên cứu để phát hiện mặt người trong ảnh dựa vào đặc trưng 3D. 1.2.2 Bài toán phát hiện khuôn mặt trong ảnh Bài toán phát hiện mặt người. cận trong việc giải quyết bài toán phát hiện mặt người trong ảnh. Đi sâu vào nghiên cứu các đặc trưng 3D và các kỹ thuật rút trích đặc trưng 3D đó, cách áp dụng vào bài toán phát hiện khuôn mặt. đặc trưng 3D trên mặt người và kỹ thuật rút trích đặc trưng 3D phục vụ cho bài toán phát hiện mặt người. Trên cơ sở các kiến thức tìm hiểu được, xây dựng thử nghiệm chương trình phát hiện mặt