Xác định vị trí mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu

Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CNTT & TRUYỀN THÔNG  Lê Thị Phƣơng Anh XÁC ĐỊNH VỊ TRÍ MẶT NGƢỜI TRONG ẢNH SỐ DỰA TRÊN KỸ THUẬT NHẬN BIẾT MÀU LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Ngun - 2013 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da MỤC LỤC DANH MỤC CÁC HÌNH VẼ .4 DANH MỤC CÁC BẢNG BIỂU LỜI CẢM ƠN MỞ ĐẦU .6 CHƢƠNG BÀI TOÁN XÁC ĐỊNH MẶT NGƢỜI TRONG ẢNH SỐ 1.1 Giới thiệu toán xác định mặt người ảnh số 1.2 Những khó khăn thách thức toán xác định mặt người 1.3 Các ứng dụng xác định mặt người .9 1.4 Xác định phạm vi đề tài 10 CHƢƠNG CÁC KỸ THUẬT XÁC ĐỊNH MẶT NGƢỜI TRONG ẢNH SỐ .11 2.1 Hướng tiếp cận dựa tri thức 11 2.2 Hướng tiếp cận dựa đặc trưng không thay đổi 13 2.2.1 Các đặc trưng khuôn mặt 14 2.2.3 Kết cấu khuôn mặt 16 2.2.4 Mầu sắc da 16 2.2.5 Đa đặc trưng 16 2.3 Hướng tiếp cận dựa so sánh khớp mẫu 16 2.3.1 Tư tưởng so sánh khớp mẫu 16 2.3.2 Xác định mẫu 16 2.3.3 Các mẫu biến dạng 18 CHƢƠNG 3: THUẬT TOÁN XÁC ĐỊNH MẶT NGƢỜI TRONG ẢNH SỐ DỰA TRÊN KỸ THUẬT NHẬN BIẾT MÀU DA 20 3.1 Các kỹ thuật nhận biết màu da dựa tính chất điểm ảnh 20 3.1.1 Không gian màu sử dụng cho mơ hình hóa màu da 21 3.1.1.1 Không gian màu RGB 21 3.1.1.2 Khơng gian RGB chuẩn hóa 21 3.1.1.3 HIS, HSV, HSL - Độ bão hòa màu 22 3.1.1.4 TSL – Tint, Saturation, Lightness (sắc thái, độ bão hòa, độ dịu ) 22 3.1.1.5 YcrCb 23 3.1.1.6 Các hệ tọa độ không gian màu khác 23 3.1.2 Mơ hình hóa màu da 23 3.1.2.1 Xác định ngưỡng cụ thể điểm ảnh màu da 24 3.1.2.2 Phương pháp mơ hình hóa màu da sử dụng phân phối khơng tham số 24 3.1.2.3 Mơ hình hóa phân phố màu da có tham số 26 3.1.3 So sánh đánh giá mơ hình 28 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da 3.2 Đề xuất thuật toán xác định ảnh màu dựa màu da 30 3.2.1 Định vị vùng khuôn mặt người ảnh màu 30 3.2.2 Giai đoạn tiền xử lý hình ảnh ban đầu 33 3.2.2.1 Định nghĩa khuôn mặt người 35 3.2.2.2 Thuật tốn để xác định khn mặt dựa kỹ thuật mặt nạ 35 3.2.2.3 Xác định tọa độ trung tâm khuôn mặt 37 3.3 Kết thực nghiệm đánh giá 44 KẾT LUẬN 47 TÀI LIỆU THAM KHẢO .51 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da DANH MỤC CÁC HÌNH VẼ Hình 2.1: Một phương pháp xác định khn mặt điển theo hướng tiếp cận Top-down 11 Hình 2.2: Phương pháp chiếu: 12 Hình 2.3: Một mẫu khn mặt có kích thước 14 x 16 pixel sử dụng phương pháp định vị khuôn mặt Sinha Mẫu gồm 16 vùng khuôn mặt 23 quan hệ ( mũi tên) 17 Hình 3.1 Màu sắc hình ảnh thành phần R, G B 29 Hình 3.2 Các thành phần ảnh gốc không gian màu HSV, YCbCr I1I2I3 30 Hình 3.3 Tiền xử lý hình ảnh ban đầu đầu vào hệ thống 33 Hình 3.4 Bản gốc hình ảnh đầu vào phát mặt nạ thích hợp xác định khu vực mặt người 35 Hình 3.5 Định nghĩa trung tâm khuôn mặt 36 Hình 3.6 Ví dụ phân lớp khn mặt 37 Hình 3.7 Ví dụ phân lập khuôn mặt 37 Hình 3.8 Các phân tích khuôn mặt tiền xử lý 38 Hình 3.9a Các bước để xác định tọa độ mắt trung tâm 38 Hình 3.9b Căn chỉnh khuôn mặt theo yêu cầu 39 Hình 3.10 Cấu trúc hệ thống xác định chuẩn hóa mặt người 40 Hình 3.11 Khuôn mặt sở liệu FERET 42 Hình 3.12 Kết phát mặt người sở liệu FERET COLOR 43 Hình 3.13 Kết phát mặt người sở liệu CAMERA 44 DANH MỤC CÁC BẢNG BIỂU Bảng 3.1 Kết nhận biết sai phương pháp 28 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da LỜI CẢM ƠN Đầu tiên, em xin gửi lời cảm ơn sâu sắc đến cán hướng dẫn khoa học, thầy giáo, TS Vũ Duy Linh, người truyền cho em nguồn cảm hứng nghiên cứu khoa học, người định hướng cho em đến với lĩnh vực nghiên cứu Em xin bày tỏ lời cảm ơn tới thầy giáo, cô giáo giảng dạy em suốt hai năm học qua Em muốn gửi lời cảm ơn tới thành viên lớp có góp ý chun mơn động viên tinh thần đáng trân trọng Em xin ghi nhận tình cảm, giúp đỡ chuyên môn thầy giáo Bộ môn Khoa học máy tính, Khoa Cơng nghệ thơng tin, Trường Đại học Thái Nguyên Sự quan tâm thầy động viên khích lệ em nhiều thời gian qua Cuối cùng, em xin gửi lời cảm ơn sâu sắc tới tất người thân gia đình bạn bè em với động viên dành cho em công việc sống Học viên thực luận văn Lê Thị Phương Anh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da MỞ ĐẦU Công nghệ thông tin ứng dụng rộng rãi lĩnh vực sống Với hệ thống máy tính, làm nhiều việc từ đơn giản đến phức tạp Máy tính giúp người tiết kiện thời gian công sức xử lý công việc thực tế Điển cơng việc nhận dạng mặt người Trước đây, muốn tìm kiếm kẻ tình nghi siêu thị hay sân bay, nhân viên an ninh phải tìm kiếm hình camera theo dõi Ngày nay, công việc làm tự động nhờ hệ thống nhận dạng mặt người Phát mặt người ảnh phần quan trọng hệ thống nhận dạng Nếu giải tốt việc phát mặt người giúp tiết kiệm thời gian nâng cao độ xác việc nhận dạng khn mặt Phát mặt người toán nhận dạng đơn giản, hệ thống cần phân loại đối tượng đưa vào có phải mặt người hay khơng phải mặt người Ở mức độ cao hơn, sau phát khn mặt, khn mặt so sánh với khn mặt có liệu để nhận dạng xem khuôn mặt (thường áp dụng nhận dạng khuôn mặt người tiếng tội phạm bị truy nã) Bài toán phá mặt người bắt đầu nghiên cứu từ năm 1990, có nhiều cơng trình nghiên cứu phát khn mặt ảnh, nhiên nay, nhà khoa học khơng ngừng tìm hướng tiếp cận mới, thuật toán nhằm nâng cao hiệu suất việc phát khuôn mặt việc nhận dạng mặt người Với mục tiêu tìm hiểu, phân tích thuật toán phát mặt người đưa cách tiếp cận để áp dụng vào toán phát mặt người ảnh, luận văn trình bày chương với bố cục sau: Chƣơng 1: Bài toán xác định mặt ngƣời ảnh số Giới thiệu tổng quan toán xác định mặt người ảnh, ứng dụng khó khăn tốn Chƣơng 2: Các kỹ thuật xác định mặt ngƣời ảnh số Phân tích kỹ thuật xác định mặt người ảnh số Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Chƣơng 3: Thuật toán xác định mặt ngƣời ảnh số dựa kỹ thuật nhận biết màu da Tập chung phân tích kỹ thuật phát mặt người dựa đặc trưng màu da Từ đề xuất thuật tốn xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da thực nghiệm Cuối kết luận hƣớng phát triển: Tóm tắt kết đạt được, hạn chế nêu lên hướng phát triển tương lai Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da CHƢƠNG BÀI TOÁN XÁC ĐỊ NH MẶT NGƢỜI TRONG ẢNH SỐ 1.1 Giới thiệu toán xác định mặt ngƣời ảnh số Trong năm qua, có nhiều cơng trình nghiên cứu toán nhận dạng mặt người Các nghiên cứu từ toán đơn giản, từ việc nhận dạng mặt người ảnh đen trắng mở rộng cho ảnh mầu có nhiều mặt người ảnh Đến toán xác định mặt người mở rộng với nhiều miền nghiên cứu nhận dạng khuôn mặt, định vị khuôn mặt, xác định trạng thái mắt người, theo dõi mặt người hay nhận dạng cảm xúc mặt người… Phát mặt người ảnh phần hệ thống nhận dạng mặt người Các hệ thống nhận dạng khuôn mặt bắt đầu xây dựng từ năm 1970, nhiên hạn chế luật xác định mặt người nên áp dụng số ứng dụng nhận dạng thẻ cước Nó phát triển mạnh mẽ từ năm 1990 có tiến cơng nghệ video ngày ứng dụng xác định mặt người trở nên phổ biến sống [1] Định nghĩa tốn xác định mặt người: Xác định khn mặt người kỹ thuật máy tính để xác định vị trí kích thước khn mặt người ảnh số Kỹ thuật nhận biết đặc trưng khuôn mặt bỏ qua thứ khác xung quanh đối tượng như: tịa nhà, cối, thể… 1.2 Những khó khăn thách thức toán xác định mặt ngƣời Việc xác định khn mặt người có khó khăn định như: - Hướng (pose) khuôn mặt máy ảnh, như: nhìn thẳng, nhìn nghiêng hay nhìn từ xuống Cùng ảnh có nhiều khn mặt tư khác - Sự có mặt chi tiết khơng phải đặc trưng riêng khuôn mặt người, như: râu quai nón, mắt kính, … - Các nét mặt (facial expression) khác khuôn mặt, như: vui, buồn, ngạc nhiên, … Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da - Mặt người bị che khuất đối tượng khác có ảnh - Sự biểu cảm khn mặt: biểu cảm làm thay đổi đáng kể đặc trưng thông số khuôn mặt, ví dụ khn mặt người khác người cười, tức giận hay sợ hãi … 1.3 Các ứng dụng xác định mặt ngƣời Xác định mặt người thường phần hệ thống (facial recognition system) [2] Nó thường dùng giám sát video, giao tiếp người máy quản lý sở liệu ảnh… Các ứng xác định mặt người kể đến là: - Xác minh tội phạm: Dựa vào ảnh người, nhận dạng xem người có phải tội phạm hay không cách so sách với ảnh tội phạm lưu trữ Hoặc sử dụng camera để phát tội phạm đám đông Ứng dụng giúp quan an ninh quản lý người tốt - Camera chống trộm: Các hệ thống camera xác định đâu người theo dõi xem người có làm phạm pháp khơng, ví dụ lấy trộm đồ, xâm nhập bất hợp pháp vào khu vực - Bảo mật: Các ứng dụng bảo mật đa dạng, số cơng nghệ nhận dạng mặt người laptop, công nghệ cho phép chủ nhân máy tính cần ngồi trước máy đăng nhập Để sử dụng công nghệ này, người dùng phải sử dụng webcam để chụp ảnh khn mặt cho máy “học” thuộc đặc điểm khuôn mặt giúp cho q trình đăng nhập sau - Lưu trữ khn mặt: Xác định mặt người ứng dụng trạm rút tiền tự động (ATM) để lưu trữ khn mặt người rút tiền Hiện có người bị người khác lấy trộm thẻ ATM mã PIN, bị rút tiền trộm, có chủ tài khoản rút tiền lại báo với ngân hàng bị thẻ bị rút tiền trộm Nếu lưu trữ khuôn mặt người rút tiền, ngân hàng đối chứng xử lý dễ dàng Các ứng dụng khác: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Điều khiển vào ra: văn phịng, cơng ty, trụ sở, máy tính, Palm,…Kết hợp thêm - vân tay mống mắt Cho phép nhân viên vào nơi cần thiết An ninh sân bay, xuất nhập cảnh (hiện quan xuất nhập cảnh Mỹ áp - dụng ) Dùng camera quan sát để xác thực người nhập cảnh kiểm tra xem người có phải tội phạm hay phần tử khủng bố khơng Tìm kiếm tổ chức liệu liên quan đến người thông qua khuôn mặt - người nhiều hệ sở liệu lưu trữ thật lớn, internet, hãng truyền hình,…Ví dụ: tìm đoạn video có tổng thống Obama phát biểu, tìm phim có diễn viên Thành Long đóng… Kiểm tra trạng thái người lái xe có ngủ gật, tập trung hay không, hỗ trợ - thông báo cần thiết Tương lai phát triển loại thẻ thơng minh có tích hợp sẵn đặc trưng - người dùng đó, người dùng khác dùng để truy cập hay xử lý hệ thống yêu cầu kiểm tra đặc trưng khn mặt so với thẻ để biết có phải chủ thẻ hay khơng Hãng máy chụp hình Canon ứng dụng tốn xác định khn mặt người - vào máy chụp hình hệ kết hình ảnh đẹp hơn, khn mặt người 1.4 Xác định phạm vi đề tài Trong đề tài này, tập trung vào việc xác định khuôn mặt ảnh dựa nhận biết màu da Từ lưu khn mặt tìm vào sử liệu để phục vụ cho mục đích khác (chẳng hạn nhận dạng mặt người ghép khuôn mặt vào ảnh khác…) Do điều kiện khó khăn nêu xin đưa giả định ràng buộc sau để giảm độ phức tạp tốn: - Các khn mặt chụp thẳng góc nghiêng khơng đáng kể (nhỏ 10o) - Phông ảnh không phức tạp - Ảnh chụp điều kiện ánh sáng bình thường Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 10 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Hình 3.7 Ví dụ phân lập khn mặt 3.2.3 Các phân tích khn mặt sau tiền xử lý Việc lựa chọn khuôn mặt (hình 3.8, ảnh 1), vị trí dịng mắt góc khn mặt Nếu thơng số nằm giới hạn quy định, tiếp tục xử lý dừng lại đầu vào hệ thống "chụp" nguồn hình ảnh Nếu thơng số nằm giới hạn quy định để xoay mặt (hoặc toàn hình ảnh) góc độ tính tốn Tiếp theo, dịng tính đối xứng dịng mắt, phản ánh vị trí hình 3.8, ảnh Hình 3.8 Các phân tích khn mặt tiền xử lý Các phương pháp để giải vấn đề trình bày Chương luận văn Bây giờ, vào hình ảnh khung khuôn mặt xác định tọa độ mắt trung tâm Ở sử dụng phương pháp trình bày [25, 26] Tất giai đoạn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 39 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da trung gian trình sử dụng trung tâm mắt định vị hiển thị hình 3.9a Hình 3.9a Các bước để xác định tọa độ mắt trung tâm Trong hình 3.9a, khu vực phân tích khn mặt có khn mặt độ dốc dịng nang "X" mắt xác định từ vị trí tối đa, vị trí mắt trái phải, trung tâm mắt tìm thấy Cuối cùng, xác định khoảng cách "d" trung tâm mắt trục "X", thể 3.9b hình bên trái Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 40 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Hình 3.9b Căn chỉnh khn mặt theo u cầu Bây xác định yếu tố tỷ lệ (rescaling): k = d/60 d tính tốn khoảng cách trung tâm mắt, 60 - khoảng cách trung tâm mắt cho hình ảnh tương ứng với tiêu chuẩn [35] Hơn nữa, với hệ số k, peremasshtabiruem lựa chọn (và phẳng) hình ảnh khn mặt để kích thước MnewN new  320240 Và kết điều mơ tả hình 3.10b bên phải Các đặc điểm thuật toán hệ thống Và vậy, thuật tốn trình bày phần người phát hình ảnh màu có chứa có người Dưới ý tưởng thuật toán để xác định tọa độ trung tâm mắt mang lại lựa chọn người cho 320240 Phát thuật toán thực ý tưởng khn khổ trình bày [17, 19], khác từ ý tưởng Sự khác biệt hệ thống thể cấu trúc hiển thị hình 3.10 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 41 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Hình 3.10 Cấu trúc hệ thống xác định chuẩn hóa mặt người Trong đó: 1) Đề xuất phương pháp tiền xử lý hình ảnh ban đầu để tăng độ sáng ảnh gốc đầu vào nhằm cải thiện việc phân bố khu vực "màu da" phân đoạn ảnh gốc 2) Xây dựng mặt nạ nhị phân cách sử dụng thành phần H I2 định nghĩa đơn giản thành phần R, G, B Sau tất cả, thiết kế để cải thiện hiệu suất hệ thống; 3) Để xây dựng mặt nạ nhị phân sử dụng để tìm vài pixel màu dựa điều kiện đơn giản, có tơng màu da làm tăng vững mạnh thuật toán phát hiện; Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 42 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da 4) Dựa mặt nạ nhị phân riêng biệt hình thành mặt nạ nhị phân thơng thường, xác đại diện cho ranh giới khuôn mặt, số lượng nhỏ lĩnh vực bao gồm bên không; 5) Sử dụng số phương pháp để xác định thông số mặt: trung tâm tọa độ, ranh giới kích thước khu vực này, xác định xác vị trí tách khỏi ảnh gốc; 6) Xác định kết trung gian (kết 1), thiết kế để kiểm tra khu vực lựa chọn khuôn mặt cho phù hợp với thông số quy định: trường hợp điều trị không gián đoạn, có "giữ" hình ảnh đầu vào hệ thống phát trình bắt đầu lần nữa, phím kiểm sốt tất K1 thực K2 tín hiệu từ khối (chấm-line); 7) Giới thiệu thủ tục để xác định thông số khn mặt: góc, khoảng cách trung tâm mắt yếu tố rescaling, thủ tục lựa chọn phù hợp với người để đáp ứng tiêu chuẩn [35] thông số Lưu ý số thủ tục (chức năng) tương ứng với số khối để thực chức hệ thống Hình 3.10 cho thấy tùy chọn chụp ảnh đầu vào hệ thống thông qua, xử lý Nếu tiêu chuẩn không phù hợp (kích thước, định dạng, chất lượng nội dung thơng tin), vơ hiệu hóa K2 xử lý tiếp, K1 phím bao gồm cho đầu vào chụp mới! Điều cho phép bạn tối ưu hóa hiệu suất hệ thống với liệu đầu vào không ổn định Như vậy, theo cấu trúc đề xuất hệ thống, thuật tốn cho hoạt động Phát bao gồm khối chức làm việc với để cải thiện ranh giới lựa chọn màu da, đảm bảo hiệu suất cao hệ thống Các thuật toán giới thiệu chức để kiểm tra phần bật khuôn mặt, cho phù hợp với thiết lập lại thơng số tối ưu hóa phát người có liệu đầu vào khơng ổn định Những tính (và tính khác liệt kê trên), phân biệt giải pháp đề xuất hệ thống trước Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 43 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da 3.3 Kết thực nghiệm đánh giá Các kết thực nghiệm thuật toán với phương pháp đề xuất thời gian thực với máy ảnh với sở liệu ảnh khác thể hình Mơ tả sở liệu dùng cho thực nghiệm Hiện hầu hết tất phương pháp xử lý nhận dạng mặt người thực nghiệm sở liệu mặt người (ORL, BioID FERET, AllFaces [36]) sở liệu khơng hồn tồn thỏa mãn tiêu chuẩn ảnh BIOMETRIC nhiên lại cho phép kiểm tra yêu cầu cần thiết phương pháp : đánh giá xem phương pháp có làm việc với sở liệu có kích thước format khơng chuẩn hay khơng, có làm việc xác sở liệu ảnh có chất lượng khơng tốt hay khơng dùng để thống kê độ xác…Chính luận văn sử dụng sở liệu để đánh giá phương pháp xác định vị trí mắt người Cơ sở liệu FERET [36] sử dụng rộng dãi thử nghiệm toán nhận dạng mặt người, luận văn chúng tơi sử dụng để thử nghiệm thuật tốn xác định vị trí mắt người, kích cỡ ảnh 224 x 184 px dạng jpg, chế độ GRAY MÀU Ví dụ biểu diễn hình 3.11 FERET COLOR FERET GRAY Hình 3.11 Khn mặt sở liệu FERET[36] Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 44 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Những hình ảnh sở liệu FERET có đặc tính sau: - Thay đổi đáng kể độ sáng hình ảnh nền; - Kích thước khuôn mặt khác (thay đổi gấp lần); - Thay đổi kiểu tóc khn mặt người, hướng quay đầu; - Thay đổi tuổi tác thay đổi quần áo; - Sự diện kính; Sử dụng CSDL thí nghiệm kiểm chứng độ xác hệ thống ví CSDL gần với điều kiện thực tế FERET COLOR Hình 3.12 Kết phát mặt người sở liệu FERET COLOR Trong số 797 hình ảnh 50 hình ảnh xác phát khn mặt với sở liệu FERET COLOR có tỷ lệ lỗi xấp xỉ 6,2% Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 45 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Hình 3.13 Kết phát mặt người sở liệu CAMERA Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 46 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da KẾT LUẬN Những vấn đề giải luận văn 1- Luận văn nêu tầm quan trọng việc xác định vị trí khn mặt hệ thống nhận dạng mặt người nói riêng hệ thống sinh trắc học nói chung 2- Luận văn đánh giá thuật toán phương pháp xác định vị trí mặt người sử dụng, đưa đánh giá ưu điểm nhược điểm phương pháp 3- Trong chương đưa xây dựng thuật toán xác định vị trí mặt người mình, đưa tốn có ý nghĩa thực tiễn việc xác định chuẩn hóa khn mặt theo chuẩn biometric 4- Trong phần thực nghiệm thử nghiệm sở liệu FERET COLOR – sở liệu sử dụng rộng rãi hệ thống nhận dạng mặt người Công việc nghiên cứu tương lai Trong tương lai tiếp tục nghiên cứu tối ưu thuật toán xây dựng hệ thống chuẩn hóa ảnh để đưa vào sử dụng hệ thống xây dựng sở liệu phục vụ cho việc nhận dạng mặt người Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 47 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da PHỤ LỤC CODE chƣơng trình MODULE FACE DETECTION -% R-G, R-G-H, I2, components function [OB_FACE,topy,botty,minxl,maxxr]=DETECT_FACE(obraz) obraz_org=obraz; %%% Get skin color by component R-G-B [RGB]=FACE_RGB1(obraz_org); obraz=double(obraz)/256; [mm,nn,g]=size(obraz); maska=hamming(mm)*hamming(nn)'; obraz3=(rgb2hsv(obraz)); %%% component H H=norma(obraz3(:,:,1))/256; H_ORG=1-im2bw(H); H1=H=.9; H=H1+H2; HM = medfilt2(H,[1,1]); %% component I OF1=obraz(:,:,1); % компонента R OF2=obraz(:,:,2); % компонента G OF3=obraz(:,:,3); % компонента B I2=(OF1-OF2)+(OF1-OF3); % modify I2; dd=find(I2>-.05); % or dd=find(I2>0); maska1=zeros(mm,nn); maska1(dd)=I2(dd); % select only face area! maska1=norma(double(maska1)); I2abs=abs(I20; I2new=double(I2new); I2new = medfilt2(I2new,[1,1]); %%% COMBINE component H,R-G-B and I obraz_new=zeros(mm,nn); for i=1:mm for j=1:nn if((fix(HM(i,j))>0) && (H_ORG(i,j)>0)) if(((I2new(i,j)>0)) && (RGB(i,j)>0)) obraz_new(i,j)=1; end; end; end; end; obraz_new = medfilt2(obraz_new,[10,10]); HMM=obraz_new.*maska; zz=fncz2(obraz_new,2); maxZ=max(max(zz)); [yy,xx]=find(zz==maxZ); ob=im2bw(obraz_new); %%% get top line topyy=yy; for j=xx-5:xx+5 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 48 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da i=1; top=0; while(i0) && (top==0)) top=1; yt=i; i=yy+1; end; i=i+1; end; if(topyy>yt) topyy=yt; end; end; topy=fix(topyy-5); if(topy0) && (cr==0)) cr=1; xr=i; i=xx; end; i=i-1; end; if(xr>maxxr) maxxr=xr; end; cr=0; end; %%% get bottom line botty=fix(topyy+3*(maxxr-minxl)/2); if(botty>mm) botty=mm; end; OB_FACE=obraz_org(topy:botty,minxl:maxxr,:)*1; Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 49 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da obraz_org(topy:botty,minxl:maxxr,:)=obraz_org(topy:botty,minxl:maxxr,:)*1; end -MAIN %%% VU DUY LINH, 2011 clear all; clc; Path='F:\HOC TAP\Face\DB\'; %% DUONG DAN TOI CSDL N=20 ; e=cputime; L2='eye1.bmp'; ETA=imread(L2); pause(0.1); for kk=6:N try r=[Path num2str(kk) '.jpg']; obraz_org=imread(r); [H,W,g]=size(obraz_org); obraz_org=imresize(obraz_org,0.5)*1.1; figure(1);clf; subplot(2,2,[1 3]); imshow(obraz_org); title(['Image input ', num2str(kk)]); pause(0.1); %%%% Call module face detection try [obraz,topy,botty,minxl,maxxr]=DETECT_FACE(obraz_org); hold on; plot(minxl:maxxr,topy:topy,'r'); hold on; plot(minxl:maxxr,botty:botty,'r'); hold on; plot(minxl:minxl,topy:botty,'r'); hold on; plot(maxxr:maxxr,topy:botty,'r'); subplot(2,2,2); imshow(obraz); title('FACE AREA'); catch end; pause;%(0.1); catch end; pause(0.5); end; Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 50 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da TÀI LIỆU THAM KHẢO Tiếng Việt [1] Đỗ Năng Tồn, Phạm Việt Bình (2007), Giáo trình xử lý ảnh, Nxb Đại học Thái Nguyên [2] Lương Mạnh Bá, Nguyễn Thanh Thủy (2007), Nhập môn xử lý ảnh số, Nxb Khoa học Kỹ thuật Tiếng Anh [3] R.-J Huang Detection strategies for face recognition using learning and evolution - PhD thesis, George Mason University, Fairfax, Virginia, 1998 [4] M.-H Yang, D Kriegman, N Ahuja Detecting faces in images: a survey , IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 24 (1) (2002) 34–58 [5] J Sobottka and I Pitas, “Segmentation and Tracking of Faces in Color Images”, Proc Second Int’l Conf Automatic Face and Gesture Recognition, pp 236-241, 1996 [6] T.K Leung, M.C Burl, and P Perona, “Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching”, Proc Fifth IEEE Int’l Conf Computer Vision, pp 637-644, 1995 [7] K.V Mardia and I.L Dryden, Shape Distributions for Landmark Data, Advanced Applied Probability, vol 21, pp 742-755, 1989 [8] Kim, H., Kang, W., Shin, J., Park, S Face detection using template matching and ellipse fitting, IEICE Trans Inform Syst., 2000, E38-D(11):2008-2011 [9] J Canny, “A Computational Approach to Edge Detection”, IEEE Trans Pattern Analysis and Machine Intelligence, vol 8, no 6, pp 679-698, June 1986 [10] H.P Graf, T Chen, E Petajan, and E Cosatto, “Locating Faces and Facial Parts”, Proc First Int’l Workshop Automatic Face and Gesture Recognition, pp 41-46, 1995 [11] E Osuna, R Freund, and F Girosi, “Training Support Vector Machines: An Application to Face Detection” Proc IEEE Conf Computer Vision and Pattern Recognition, pp 130-136, 1997 [12] Sakai et al, Locating and extracting the eye in human face images, Pattern Recognition 1996 29(5), pp 771–779 [13] Craw et al Robust face detection at video frame rate based on edge orientation features // in: Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR),Washington, DC, USA, 2002, pp 342–347 [14] P Sinha, Object Recognition via Image Invariants: A Case Study, Investigative Ophthalmology and Visual Science, vol 35, no 4, pp 1735-1740, 1994 [15] P Sinha, Processing and Recognizing 3D Forms, PhD thesis, Massachusetts Inst of Technology, 1995 [16] A Yuille, P Hallinan, and D Cohen, “Feature Extraction from Faces Using eformable Templates”, Int’l J Computer Vision, vol 8, no 2, pp 99-111, 1992 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 51 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da [17] K Lam and H Yan, “Fast Algorithm for Locating Head Boundaries,” J.Electronic Imaging, vol 3, no 4, pp 351-359, 1994 [18] Fuzhen Huang and Jianbo Su, “Multiple Face Contour Detection Using adaptive Flows”, Sinobiometrics 2004, LNCS 3338, pp 137-143, Springer-Verlag Berlin eidelberg, 2004 [19] A Lanitis, C.J Taylor, and T.F Cootes, “An Automatic Face Identification System Using lexible Appearance Models”, Image and Vision Computing, vol 13, no 5, pp 393-401, 1995 [20] M Kirby and L Sirovich, “Application of the Karhunen-LoeveProcedure for the Characterization of Human Faces”, IEEE Trans Pattern Analysis and Machine Intelligence, vol 12, no 1, pp 103-108, Jan 1990 [21] P Viola and M J Jones, “Robust Real-Time Face Detection”, International Journal of Computer Vision 57(2), 137-154, Kluwer Academic Publishers, Netherlands, 2004 [22] H Rowley, S Baluja, T Kanade Neural network-based face detection // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 20 (1) (1998) 23–38 [23] Viola, P Rapid Object Detection Using a Boosted Cascade of Simple Features // Proc IEEE Conference on CVPR, 2001, pp 511-518 [24] H Rowley, S Baluja, T Kanade Neural network-based face detection // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 20 (1) (1998) 2338 [25] B Froăba, C Kuăblbeck Robust face detection at video frame rate based on edge orientation features // in: Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR),Washington, DC, USA, 2002, pp 342–347 [26] O Jesorsky, K Kirchberg, R Frischholz Robust face detection using the hausdorff distance // in: Proceedings of the Third International Conference on Audio- and Video-based Biometric Person Authentication (AVBPA), Halmstad, Sweden, 2001, pp 90–95 [27] V Popovici, Y Rodriguez, J.-P Thiran, S Marcel On performance evaluation of face detection and localization algorithms // in: Proceedings of the International Conference on Pattern Recognition (ICPR), Cambridge, UK, 2004, pp 313–317 [28] Cai, J., Goshtasby, A Detecting human faces in color images, Image and Vision Computing, 1999, 18(1), pp 63-75 [29] Viola, P Rapid Object Detection Using a Boosted Cascade of Simple Features // Proc IEEE Conference on CVPR, 2001, pp 511-518 [30] Sobotka K., Pitas I Looking for Faces and Facial Features in Color Images // In 4th Open Russian-German Workshop: Pattern Recognition and Image Analysis, Valday, The Russian Federation, March 3-9, 1996 [31] Z Qian, D Xu Automatic eye detection using intensity filtering and K-means clustering // Pattern Recognition Letters 31 (2010) pp 1633–1640 [32] Zhou, Z., Geng, X., Projection functions for eye detection // Pattern Recognition 2004 37 (5), pp 1049–1056 [33] D’Orazio, T., Leo, M., Cicirelli, G., Distante, A., An algorithm for real time eye detection in face images // In: Proc IEEE Conf on Pattern Recognition, 2004, pp 278–281 [34] Liu, Hong; Wu, Yuwen; Zha, Hongbin Eye state detection from color facial image sequence // Proc SPIE Vol 4875, 31 July 2002, p 693-698 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 52 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da [35] Xiaoxing Li; Mori, G.; Hao Zhang Expression-Invariant Face Recognition with Expression Classification // Canadian Conf on Computer and Robot Vision, 07-09 June 2006, pp 77–85 [36] К.М Нюнькин, Определение углов наклонов головы человека на изображениях // Украина «Искусственный интеллект» 01-2004, стр 243-250 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 53 ... http://www.lrc-tnu.edu.vn 19 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da CHƢƠNG 3: THUẬT TOÁN XÁC ĐỊ NH MẶT NGƢỜI TRONG ẢNH SỐ DỰA TRÊN KỸ THUẬT NHẬN BIẾT MÀU DA Phát mặt người ảnh có nhiều ứng dụng sống,... dụng xác định mặt người trở nên phổ biến sống [1] Định nghĩa tốn xác định mặt người: Xác định khn mặt người kỹ thuật máy tính để xác định vị trí kích thước khn mặt người ảnh số Kỹ thuật nhận biết. .. http://www.lrc-tnu.edu.vn 10 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da CHƢƠNG CÁC KỸ THUẬT XÁC ĐỊ NH MẶT NGƢỜI TRONG ẢNH SỐ Dựa vào tính chất phương pháp xác định mặt người ảnh, phương pháp