Tìm hiểu một số phương pháp phát hiện khuôn mặt trong ảnh

Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh LỜI CẢM ƠN Em xin chân thành cảm ơn thầy, cỏc cụ khoa Công nghệ Thông tin Trường Đại học Dân lập Hải Phũng tận tình dạy dỗ, truyền đạt cho chúng em nhiều kiến thức quý báu Em xin tỏ lòng biết ơn sâu sắc đến thầy Th.s Ngô Trường Giang, người tận tình giúp đỡ truyền đạt nhiều kinh nghiệm để đề tài thực hoàn thành Xin chân thành cảm ơn bạn khoa Công Nghệ Thông Tin, Đại Học Dân Lập Hải Phũng giúp đỡ, động viên tơi nhiều trình thực đề tài Em xin trân trọng cảm ơn! Hải Phũng, thỏng 07 năm 2007 Sinh viên Lê Hồng Chuyên Lê Hồng Chuyên _ CT701 Trang: Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh MỤC LỤC LỜI CẢM ƠN MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT 1.1 Giới thiệu 1.2 Một số lĩnh vực ứng dụng phát khuôn mặt 1.3 Một số phương pháp xác định khuôn mặt người 1.3.1 Hướng tiếp cận dựa tri thức .7 1.3.2 Hướng tiếp cận dựa đặc trưng không thay đổi 10 1.3.3 Hướng tiếp cận dựa so khớp mẫu 13 1.3.4 Hướng tiếp cận dựa diện mạo 16 1.3.5 Hướng tiếp cận tổng hợp 25 1.4 Khó khăn thách thức tốn xác định khn mặt 26 CHƯƠNG 2: PHÁT HIỆN KHUÔN MẶT SỬ DỤNG ADABOOST 28 2.1 Giới thiệu 28 2.1.1 Các hướng tiếp cận dò tìm khn mặt nhanh .28 2.1.2 Hướng tiếp cận theo AdaBoost .28 2.2 Trích chọn đặc trưng cho AdaBoost 29 2.3 Thuật tốn ADABOOST 31 2.4 Bộ dị tìm phân tầng Adaboost 35 2.5 Huấn luyện dị tìm khn mặt38 2.6 Dị tìm khn mặt 38 2.7 Nhận xét 39 2.7.1 Ưu điểm 39 2.7.2 Khuyết điểm 39 CHƯƠNG 3: PHÁT HIỆN KHUÔN MẶT SỬ DỤNG MẠNG NƠRON 40 3.1 Tổng quan mạng nơron nhân tạo 40 3.1.1 Mạng nơron sinh học 40 3.1.2 Nơron nhân tạo: 41 3.1.3 Các thành phần nơron nhân tạo: .42 3.1.4 Mơ hình mạng nơron 43 3.1.5 Xây dựng mạng nơron 44 3.1.6 Huấn luyện mạng nơron .45 3.2 Chuẩn bị liệu 52 3.2.1 Giới thiệu 52 3.2.2 Gán nhãn canh biên đặc trưng khuôn mặt 52 Lê Hồng Chuyên _ CT701 Trang: Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh 3.2.3 Tiền xử lý độ sáng độ tương phản tập mẫu học 54 3.3 Huấn luyện dị tìm khn mặt56 3.3.1 Giới thiệu 56 3.3.2 Huấn luyện dị tìm khn mặt 56 3.4 Q trình dị tìm khn mặt 60 CHƯƠNG 4: CÀI ĐẶT ỨNG DỤNG 62 4.1 Môi trường TEST 62 4.2 Một số giao diện 62 4.3 Kết 65 4.4 Nhận xét 66 KẾT LUẬN 67 TÀI LIỆU THAM KHẢO 68 Lê Hồng Chuyên _ CT701 Trang: Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh MỞ ĐẦU Trong năm gần đây, ứng dụng trí tuệ nhân tạo ngày phát triển đánh giá cao Một lĩnh vực quan tâm trí tuệ nhân tạo nhằm tạo ứng dụng thơng minh, có tính người nhận dạng Đối tượng cho việc nghiên cứu nhận dạng phong phú đa dạng Trong đề tài chọn đối tượng khuôn mặt, bước việc nhận dạng phát khn mặt Khn mặt đóng vai trị quan trọng q trình giao tiếp người với người, mang lượng thơng tin giàu có, chẳng hạn xác định giới tính, tuổi tác, trạng thái cảm xúc người đó, khảo sát đường nét khn mặt biết người muốn núi gỡ Do đó, phát bước tiền đề quan trọng phục vụ công việc nhận dạng khuôn mặt sau Có nhiều phương pháp phát khn mặt, AdaBoost mạng Nơ-ron phương pháp Đồ án chia chương: Chương trình bày tổng quan số phương pháp phát khuôn mặt Phương pháp Adaboost mạng Nơ-ron dùng để phát khn mặt trình bày chương Chương phần cài đặt ứng dụng, số thử nghiệm dũ tỡm khuôn mặt ảnh, cuối kết luận Lê Hồng Chuyên _ CT701 Trang: Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khn mặt ảnh CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT 1.1 Giới thiệu Hơn thập kỷ qua có nhiều cơng trình nghiên cứu tốn xác định khuôn mặt người từ ảnh đen trắng, xám đến ảnh màu ngày hôm Các nghiên cứu từ tốn đơn giản, ảnh có khn mặt người nhìn thẳng vào thiết bị thu hình đầu tư thẳng đứng ảnh đen trắng Cho đến ngày hơm tốn mở rộng cho ảnh màu, có nhiều khn mặt ảnh, có nhiều tư thay đổi ảnh Khơng mà mở rộng phạm vi từ mơi trường xung quanh đơn giản (trong phịng thí nghiệm) môi trường xung quanh phức tạp (như tự nhiên) nhằm đáp ứng nhu cầu thực tế Xác định khuôn mặt người (Face Detection) kỹ thuật máy tính để xác định vị trí kích thước khn mặt người ảnh (ảnh kỹ thuật số) Kỹ thuật nhận biết đặc trưng khuôn mặt bỏ qua thứ khác, như: tòa nhà, cối, thể, … 1.2 Một số lĩnh vực ứng dụng phát khuôn mặt Phát khuôn mặt ứng dụng nhiều lĩnh vực: - Hệ thống tương tác người máy: giúp người bị tật khiếm khuyết trao đổi Những người dùng ngơn ngữ tay giao tiếp với người bình thường Những người bị bại liệt thơng qua số ký hiệu nháy mắt biểu lộ họ muốn, … Đó toán điệu bàn tay (hand gesture), điệu khn mặt, … - Nhận dạng người A có phải tội phạm truy nã hay khụng? Giúp quan an ninh quản lý tốt người Công việc nhận dạng mơi trường bình thường bóng tối (sử dụng camera hồng ngoại) - Hệ thống quan sát, theo dõi bảo vệ Các hệ thống camera xác định đâu người theo dõi người xem họ có vi phạm gỡ khụng, ví dụ xâm phạm khu vực khơng vào, … Lê Hồng Chuyên _ CT701 Trang: Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh - Lưu trữ (rút tiền ATM, để biết rút tiền vào thời điểm đó), có tình trạng người bị người khác lấy thẻ ATM hay mã số PIN người ăn cắp rút tiền, người chủ thẻ rút tiền lại báo cho ngân hàng thẻ tiền Các ngân hàng có nhu cầu có giao dịch tiền kiểm tra hay lưu trữ khuôn mặt người rút tiền để sau đối chứng xử lý - Thẻ cước, chứng minh nhân dân (Face dentification) - Điều khiển vào ra: văn phịng, cơng ty, trụ sở, máy tính,… Kết hợp thờm võn tay hốc mắt Cho phép nhân viên vào nơi cần thiết, hay người đăng nhập máy tính cá nhân mà khơng cần nhớ tên đăng nhập mật mà cần xác định thông qua khuôn mặt - An ninh sân bay, xuất nhập cảnh (hiện quan xuất nhập cảnh Mỹ áp dụng) Dùng để xác thực người xuất nhập cảnh kiểm tra có phải nhân vật khủng bố khơng - Tương lai phát triển loại thẻ thông minh có tích hợp sẵn đặc trưng người dùng đó, người dùng khác dùng để truy cập hay xử lý hệ thống yêu cầu kiểm tra đặc trưng khuôn mặt so với thẻ để biết có phải chủ thẻ hay khơng - Tìm kiếm tổ chức liệu liên quan đến người thông qua khuôn mặt người nhiều hệ sở liệu lưu trữ thật lớn, internet, cỏc hóng truyền hình, … Ví dụ: tỡm đoạn video có tổng thống Bush phát biểu, tỡm cỏc phim có diễn viên Thành Long đúng, tỡm cỏc trận đá banh có Ronaldinho đá - Phân loại lưu trữ hình ảnh điện thoại di động Thơng qua tốn xác định khn mặt người trích đặc trưng, dựa vào đặc trưng để xếp, lưu trữ, giúp người sử dụng dễ dàng truy tìm cần thiết - Kiểm tra trạng thái người lái xe có ngủ gật, tập trung hay không, hỗ trợ thông báo cần thiết - Phõn tích cảm xúc khn mặt Lê Hồng Chun _ CT701 Trang: Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh - Một số hóng sản xuất máy chụp ảnh ứng dụng tốn xác định khn mặt người vào máy chụp ảnh hệ kết hình ảnh đẹp 1.3 Một số phương pháp xác định khn mặt người Có nhiều nghiên cứu tìm phương pháp xác định khuôn mặt người, từ ảnh xám đến ngày ảnh màu Dựa vào tính chất phương pháp xác định khuôn mặt người ảnh, phân chia phương pháp thành bốn hướng tiếp cận chính: - Hướng tiếp cận dựa tri thức: Mó húa hiểu biết người loại khuôn mặt người thành luật Thông thường luật mô tả quan hệ đặc trưng - Hướng tiếp cận dựa đặc trưng khơng thay đổi: Mục tiờu thuật tốn tìm đặc trưng mơ tả cấu trúc khn mặt người mà đặc trưng không thay đổi tư khn mặt, vị trí đặt thiết bị thu hình điều kiện ánh sáng thay đổi - Hướng tiếp cận dựa so khớp mẫu: Dựng mẫu chuẩn khuôn mặt người (các mẫu chọn lựa lưu trữ) để mô tả cho khuôn mặt người hay đặc trưng khuôn mặt (các mẫu phải chọn cho tách biệt theo tiêu chuẩn mà tác giả định để so sánh) - Hướng tiếp cận dựa diện mạo: Trái ngược hẳn với so khớp mẫu, mơ hình học học từ tập ảnh huấn luyện cho trước Sau hệ thống xác định khn mặt người Một số tác giả cịn gọi hướng tiếp cận hướng tiếp cận theo phương pháp học 1.3.1 Hướng tiếp cận dựa tri thức Trong hướng tiếp cận này, luật phụ thuộc lớn vào tri thức tác giả nghiên cứu tốn xác định khn mặt người Đõy hướng tiếp cận dạng top-down Dễ dàng xây dựng luật để mô tả đặc trưng khn mặt quan hệ tương ứng Ví dụ, khn mặt thường có hai mắt đối xứng qua trục thẳng đứng khn mặt có mũi, miệng Các quan hệ đặc trưng mơ tả quan hệ khoảng cách vị trí Thơng thường tác giả trích đặc trưng khn Lê Hồng Chun _ CT701 Trang: Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh mặt trước tiên để có ứng viên, sau ứng viên xác định thông qua luật để biết ứng viên khuôn mặt ứng viên khuôn mặt Một vấn đề phức tạp dùng hướng tiếp cận chuyển từ tri thức người sang luật cách hiệu Nếu luật q chi tiết (chặt chẽ) xác định xác định thiếu cỏc khn mặt có ảnh, khn mặt khơng thể thỏa mãn tất luật đưa Nhưng luật tổng quát q xác định lầm vùng khơng phải khn mặt mà lại xác định khn mặt Và khó khăn cần mở rộng yêu cầu toán để xác định cỏc khuụn mặt có nhiều tư khác Hình 1-1: (a) Ảnh ban đầu có độ phân giải n = 1; (b), (c), (d) Ảnh có độ phân giải n = 4, 8, 16 Yang Huang dùng phương thức theo hướng tiếp cận để xác định khuôn mặt Hệ thống hai tác giả bao gồm ba mức luật Ở mức cao nhất, dùng khung cửa sổ quột trờn ảnh thông qua tập luật để tỡm ứng viên khn mặt Ở mức kế tiếp, hai ụng dựng tập luật để mô tả tổng qt hình dáng khn mặt Cịn mức cuối lại dùng tập luật khác để xem xét mức chi tiết đặc trưng khuôn mặt Một hệ thống đa độ phân giải có thứ tự dùng để xác định, hình 1-1 Các luật mức cao để tìm ứng viên như: “vựng trung tâm khn mặt (phần tối hình 1-2) có bốn phần với mức độ bản”, “phần xung quanh bên khuôn mặt (phần sáng hình 1-2) có mức độ bản”, “mức độ khác giá trị xám trung bình phần trung tâm phần bao bên đáng kể” Ở mức hai, xem xét biểu đồ ứng viên để loại bớt ứng viên khơng phải khn mặt, đồng thời dị cạnh bao xung quanh ứng viên Ở mức cuối cùng, ứng viên lại xem xét đặc trưng khuôn mặt mắt miệng Hai ụng dựng chiến lược “từ thơ Lê Hồng Chun _ CT701 Trang: Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh đến mịn” hay “làm rõ dần” để giảm số lượng tính tốn xử lý Mặc dù tỷ lệ xác chưa cao, tiền đề cho nhiều nghiên cứu sau Hình 1-2: Một loại tri trức người nghiên cứu phân tích khn mặt Kotropoulos Pitas đưa phương phỏp dựng trờn độ phân giải thấp Hai ụng dựng phương pháp chiếu để xác định đặc trưng khuôn mặt Kanade thành công với phương pháp chiếu để xác định biên khuôn mặt Với I(x,y) giá trị xám điểm ảnh có kích thước m x n vị trí (x,y), hàm để chiếu ảnh theo phương ngang thẳng đứng định nghĩa sau: (1.1) Hình 1-3: Phương pháp chiếu: (a) Ảnh có khn mặt hình đơn giản; (b) Ảnh có khn mặt hình phức tạp; (c) Ảnh có nhiều khn mặt Dựa biểu đồ hình chiếu ngang, có hai cực tiểu cục hai ụng xột trình thay đổi độ đốc HI, đú chớnh cạnh bên trái phải hai bên đầu Tương tự với hình chiếu dọc VI, cực tiểu cục cho ta biết vị trí miệng, đỉnh mũi, hai mắt Các đặc trưng đủ để xác định khn mặt Hình 1-3.a ví dụ cách xác định Cách xác định có tỷ lệ Lê Hồng Chuyên _ CT701 Trang: Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh xác định xác 86.5% cho trường hợp có khn mặt thẳng ảnh hình khơng phức tạp Nếu hình phức tạp khó tìm, hình 1-3.b Nếu ảnh có nhiều khn mặt khơng xác định được, hình 1-3.c Hình 1-4: Chiếu phần ứng viên để xác định khuôn mặt Mateos Chicote dùng kết cấu để xác định ứng viên ảnh màu Sau phân tích hình dáng, kích thước, thành phần khn mặt để xác định khn mặt Khi tìm ứng viên khn mặt, hai ụng trớch cỏc ứng viên thành phần khn mặt, sau chiếu phần để xác thực đú cú phải thành phần khuôn mặt hay khơng, hình 1-4 Tỷ lệ xác 87% Berbar kết hợp mơ hình màu da người xác định cạnh để tìm ứng viên khn mặt người Sau kết hợp đặc trưng phương pháp chiếu ứng viên khuôn mặt xuống hệ trục tọa độ để xác định ứng viên thật khuôn mặt người 1.3.2 Hướng tiếp cận dựa đặc trưng không thay đổi Đây hướng tiếp cận theo kiểu bottom-up Các tác giả cố gắng tỡm cỏc đặc trưng không thay đổi khuôn mặt người để xác định khuôn mặt người Dựa nhận xét thực tế: người dễ dàng nhận biết khuôn mặt tư khác điều kiện ánh sáng khác nhau; khn mặt phải có thuộc tính hay đặc trưng không thay đổi Theo nhiều nhiều nghiên ban đầu phải xác định đặc trưng khn mặt có khn mặt ảnh hay khụng Các đặc trưng như: lông mày, mắt, mũi, miệng, đường viền tóc trích phương pháp xác định cạnh Trên sở đặc trưng này, xây Lê Hồng Chuyên _ CT701 Trang: 10