Xác định vị trí mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da

Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da MỤC LỤC MỤC LỤC Danh mỤc hình vẼ Danh mỤc bẢng biỂu .3 LỜi cẢm ơn MỞ đẦu CHƯƠNG BÀI TOÁN XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ 1.1 Giới thiệu toán xác định mặt người ảnh số 1.2 Những khó khăn thách thức toán xác định mặt người 1.3 Các ứng dụng xác định mặt người .8 1.4 Xác định phạm vi đề tài .9 CHƯƠNG CÁC KỸ THUẬT XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ .10 2.1 Hướng tiếp cận dựa tri thức 10 2.1.1 Tư tưởng tiếp cận dựa tri thức 10 2.1.2 Các nghiên cứu liên quan 11 2.2 Hướng tiếp cận dựa đặc trưng không thay đổi 13 2.2.1 Các đặc trưng khuôn mặt 13 2.2.3 Kết cấu khuôn mặt .15 2.2.4 Mầu sắc da 15 2.2.5 Đa đặc trưng .15 2.3 Hướng tiếp cận dựa so sánh khớp mẫu 15 2.3.1 Tư tưởng so sánh khớp mẫu 15 2.3.2 Xác định mẫu .15 2.3.3 Các mẫu biến dạng 17 CHƯƠNG 3: THUẬT TOÁN XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ DỰA TRÊN KỸ THUẬT NHẬN BIẾT MÀU DA 19 3.1 Các kỹ thuật nhận biết màu da dựa tính chất điểm ảnh .19 3.1.1 Không gian màu sử dụng cho mô hình hóa màu da 20 3.1.1.1 Không gian màu RGB 20 3.1.1.2 Không gian RGB chuẩn hóa 20 3.1.1.3 HIS, HSV, HSL - Độ bão hòa màu .21 3.1.1.4 TSL – Tint, Saturation, Lightness (sắc thái, độ bão hòa, độ dịu ) 21 3.1.1.5 YcrCb 22 3.1.1.6 Các hệ tọa độ không gian màu khác 22 Học viên: Lê Thị Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da 3.1.2 Mô hình hóa màu da 22 3.1.2.1 Xác định ngưỡng cụ thể điểm ảnh màu da .23 3.1.2.2 Phương pháp mô hình hóa màu da sử dụng phân phối không tham số 23 3.1.2.3 Mô hình hóa phân phố màu da có tham số 25 3.1.3 So sánh đánh giá mô hình .27 3.2 Đề xuất thuật toán xác định ảnh màu dựa màu da .29 3.2.1 Định vị vùng khuôn mặt người ảnh màu 29 3.2.2 Giai đoạn tiền xử lý hình ảnh ban đầu .32 3.2.2.1 Định nghĩa khuôn mặt người 34 3.2.2.2 Thuật toán để xác định khuôn mặt dựa kỹ thuật mặt nạ 34 3.2.2.3 Xác định tọa độ trung tâm khuôn mặt 35 3.3 Kết thực nghiệm đánh giá 42 KẾT LUẬN 45 TÀI LIỆU THAM KHẢO .49 Học viên: Lê Thị Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da DANH MỤC CÁC HÌNH VẼ Hình 2.1: Một phương pháp xác định khuôn mặt điển theo hướng tiếp cận Top-down 11 Hình 2.2: Phương pháp chiếu: 12 Hình 2.3: Một mẫu khuôn mặt có kích thước 14 x 16 pixel sử dụng phương pháp định vị khuôn mặt Sinha Mẫu gồm 16 vùng khuôn mặt 23 quan hệ ( mũi tên) 17 Hình 3.1 Màu sắc hình ảnh thành phần R, G B 29 Hình 3.2 Các thành phần ảnh gốc không gian màu HSV, YCbCr I1I2I3 .30 Hình 3.3 Tiền xử lý hình ảnh ban đầu đầu vào hệ thống 33 Hình 3.4 Bản gốc hình ảnh đầu vào phát mặt nạ thích hợp xác định khu vực mặt người 35 Hình 3.5 Định nghĩa trung tâm khuôn mặt 36 Hình 3.6 Ví dụ phân lớp khuôn mặt .37 Hình 3.7 Ví dụ phân lập khuôn mặt .37 Hình 3.8 Các phân tích khuôn mặt tiền xử lý 38 Hình 3.9a Các bước để xác định tọa độ mắt trung tâm 38 Hình 3.9b Căn chỉnh khuôn mặt theo yêu cầu 39 Hình 3.10 Cấu trúc hệ thống xác định chuẩn hóa mặt người 40 Hình 3.11 Khuôn mặt sở liệu FERET .42 Hình 3.12 Kết phát mặt người sở liệu FERET COLOR 43 Hình 3.13 Kết phát mặt người sở liệu CAMERA 44 DANH MỤC CÁC BẢNG BIỂU Bảng 3.1 Kết nhận biết sai phương pháp 28 Học viên: Lê Thị Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da LỜI CẢM ƠN Đầu tiên, em xin gửi lời cảm ơn sâu sắc đến cán hướng dẫn khoa học, thầy giáo, TS Vũ Duy Linh, người truyền cho em nguồn cảm hứng nghiên cứu khoa học, người định hướng cho em đến với lĩnh vực nghiên cứu Em xin bày tỏ lời cảm ơn tới thầy giáo, cô giáo giảng dạy em suốt hai năm học qua Em muốn gửi lời cảm ơn tới thành viên lớp có góp ý chuyên môn động viên tinh thần đáng trân trọng Em xin ghi nhận tình cảm, giúp đỡ chuyên môn thầy giáo Bộ môn Khoa học máy tính, Khoa Công nghệ thông tin, Trường Đại học Thái Nguyên Sự quan tâm thầy cô động viên khích lệ em nhiều thời gian qua Cuối cùng, em xin gửi lời cảm ơn sâu sắc tới tất người thân gia đình bạn bè em với động viên dành cho em công việc sống Học viên thực luận văn Lê Thị Phương Anh Học viên: Lê Thị Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da MỞ ĐẦU Công nghệ thông tin ứng dụng rộng rãi lĩnh vực sống Với hệ thống máy tính, làm nhiều việc từ đơn giản đến phức tạp Máy tính giúp người tiết kiện thời gian công sức xử lý công việc thực tế Điển công việc nhận dạng mặt người Trước đây, muốn tìm kiếm kẻ tình nghi siêu thị hay sân bay, nhân viên an ninh phải tìm kiếm hình camera theo dõi Ngày nay, công việc làm tự động nhờ hệ thống nhận dạng mặt người Phát mặt người ảnh phần quan trọng hệ thống nhận dạng Nếu giải tốt việc phát mặt người giúp tiết kiệm thời gian nâng cao độ xác việc nhận dạng khuôn mặt Phát mặt người toán nhận dạng đơn giản, hệ thống cần phân loại đối tượng đưa vào có phải mặt người hay mặt người Ở mức độ cao hơn, sau phát khuôn mặt, khuôn mặt so sánh với khuôn mặt có liệu để nhận dạng xem khuôn mặt (thường áp dụng nhận dạng khuôn mặt người tiếng tội phạm bị truy nã) Bài toán phá mặt người bắt đầu nghiên cứu từ năm 1990, có nhiều công trình nghiên cứu phát khuôn mặt ảnh, nhiên nay, nhà khoa học không ngừng tìm hướng tiếp cận mới, thuật toán nhằm nâng cao hiệu suất việc phát khuôn mặt việc nhận dạng mặt người Với mục tiêu tìm hiểu, phân tích thuật toán phát mặt người đưa cách tiếp cận để áp dụng vào toán phát mặt người ảnh, luận văn trình bày chương với bố cục sau: Chương 1: Bài toán xác định mặt người ảnh số Giới thiệu tổng quan toán xác định mặt người ảnh, ứng dụng khó khăn toán Chương 2: Các kỹ thuật xác định mặt người ảnh số Phân tích kỹ thuật xác định mặt người ảnh số Học viên: Lê Thị Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Chương 3: Thuật toán xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Tập chung phân tích kỹ thuật phát mặt người dựa đặc trưng màu da Từ đề xuất thuật toán xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da thực nghiệm Cuối kết luận hướng phát triển: Tóm tắt kết đạt được, hạn chế nêu lên hướng phát triển tương lai Học viên: Lê Thị Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da CHƯƠNG BÀI TOÁN XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ 1.1 Giới thiệu toán xác định mặt người ảnh số Trong năm qua, có nhiều công trình nghiên cứu toán nhận dạng mặt người Các nghiên cứu từ toán đơn giản, từ việc nhận dạng mặt người ảnh đen trắng mở rộng cho ảnh mầu có nhiều mặt người ảnh Đến toán xác định mặt người mở rộng với nhiều miền nghiên cứu nhận dạng khuôn mặt, định vị khuôn mặt, xác định trạng thái mắt người, theo dõi mặt người hay nhận dạng cảm xúc mặt người… Phát mặt người ảnh phần hệ thống nhận dạng mặt người Các hệ thống nhận dạng khuôn mặt bắt đầu xây dựng từ năm 1970, nhiên hạn chế luật xác định mặt người nên áp dụng số ứng dụng nhận dạng thẻ cước Nó phát triển mạnh mẽ từ năm 1990 có tiến công nghệ video ngày ứng dụng xác định mặt người trở nên phổ biến sống [1] Định nghĩa toán xác định mặt người: Xác định khuôn mặt người kỹ thuật máy tính để xác định vị trí kích thước khuôn mặt người ảnh số Kỹ thuật nhận biết đặc trưng khuôn mặt bỏ qua thứ khác xung quanh đối tượng như: tòa nhà, cối, thể… 1.2 Những khó khăn thách thức toán xác định mặt người Việc xác định khuôn mặt người có khó khăn định như: - Hướng (pose) khuôn mặt máy ảnh, như: nhìn thẳng, nhìn nghiêng hay nhìn từ xuống Cùng ảnh có nhiều khuôn mặt tư khác - Sự có mặt chi tiết đặc trưng riêng khuôn mặt người, như: râu quai nón, mắt kính, … - Các nét mặt (facial expression) khác khuôn mặt, như: vui, buồn, ngạc nhiên, … Học viên: Lê Thị Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da - Mặt người bị che khuất đối tượng khác có ảnh - Sự biểu cảm khuôn mặt: biểu cảm làm thay đổi đáng kể đặc trưng thông số khuôn mặt, ví dụ khuôn mặt người khác người cười, tức giận hay sợ hãi … 1.3 Các ứng dụng xác định mặt người Xác định mặt người thường phần hệ thống (facial recognition system) [2] Nó thường dùng giám sát video, giao tiếp người máy quản lý sở liệu ảnh… Các ứng xác định mặt người kể đến là: - Xác minh tội phạm: Dựa vào ảnh người, nhận dạng xem người có phải tội phạm hay không cách so sách với ảnh tội phạm lưu trữ Hoặc sử dụng camera để phát tội phạm đám đông Ứng dụng giúp quan an ninh quản lý người tốt - Camera chống trộm: Các hệ thống camera xác định đâu người theo dõi xem người có làm phạm pháp không, ví dụ lấy trộm đồ, xâm nhập bất hợp pháp vào khu vực - Bảo mật: Các ứng dụng bảo mật đa dạng, số công nghệ nhận dạng mặt người laptop, công nghệ cho phép chủ nhân máy tính cần ngồi trước máy đăng nhập Để sử dụng công nghệ này, người dùng phải sử dụng webcam để chụp ảnh khuôn mặt cho máy “học” thuộc đặc điểm khuôn mặt giúp cho trình đăng nhập sau - Lưu trữ khuôn mặt: Xác định mặt người ứng dụng trạm rút tiền tự động (ATM) để lưu trữ khuôn mặt người rút tiền Hiện có người bị người khác lấy trộm thẻ ATM mã PIN, bị rút tiền trộm, có chủ tài khoản rút tiền lại báo với ngân hàng bị thẻ bị rút tiền trộm Nếu lưu trữ khuôn mặt người rút tiền, ngân hàng đối chứng xử lý dễ dàng Các ứng dụng khác: Học viên: Lê Thị Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da - Điều khiển vào ra: văn phòng, công ty, trụ sở, máy tính, Palm,…Kết hợp thêm vân tay mống mắt Cho phép nhân viên vào nơi cần thiết - An ninh sân bay, xuất nhập cảnh (hiện quan xuất nhập cảnh Mỹ áp dụng ) Dùng camera quan sát để xác thực người nhập cảnh kiểm tra xem người có phải tội phạm hay phần tử khủng bố không - Tìm kiếm tổ chức liệu liên quan đến người thông qua khuôn mặt người nhiều hệ sở liệu lưu trữ thật lớn, internet, hãng truyền hình,…Ví dụ: tìm đoạn video có tổng thống Obama phát biểu, tìm phim có diễn viên Thành Long đóng… - Kiểm tra trạng thái người lái xe có ngủ gật, tập trung hay không, hỗ trợ thông báo cần thiết - Tương lai phát triển loại thẻ thông minh có tích hợp sẵn đặc trưng người dùng đó, người dùng khác dùng để truy cập hay xử lý hệ thống yêu cầu kiểm tra đặc trưng khuôn mặt so với thẻ để biết có phải chủ thẻ hay không - Hãng máy chụp hình Canon ứng dụng toán xác định khuôn mặt người vào máy chụp hình hệ kết hình ảnh đẹp hơn, khuôn mặt người 1.4 Xác định phạm vi đề tài Trong đề tài này, tập trung vào việc xác định khuôn mặt ảnh dựa nhận biết màu da Từ lưu khuôn mặt tìm vào sử liệu để phục vụ cho mục đích khác (chẳng hạn nhận dạng mặt người ghép khuôn mặt vào ảnh khác…) Do điều kiện khó khăn nêu xin đưa giả định ràng buộc sau để giảm độ phức tạp toán: - Các khuôn mặt chụp thẳng góc nghiêng không đáng kể (nhỏ 10o) - Phông ảnh không phức tạp - Ảnh chụp điều kiện ánh sáng bình thường Học viên: Lê Thị Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da CHƯƠNG CÁC KỸ THUẬT XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ Dựa vào tính chất phương pháp xác định mặt người ảnh, phương pháp chia thành bốn loại chính, tương ứng với bốn hướng tiếp cận khác Ngoài có nhiều nghiên cứu mà phương pháp xác định mặt người không dựa vào hướng mà có liên quan đến nhiều hướng - Hướng tiếp cận dựa tri thức: Dựa vào thuật toán, mã hóa đặc trưng quan hệ đặc trưng khuôn mặt thành luật Đây hướng tiếp cận theo kiểu top-down - Hướng tiếp cận dựa đặc trưng không thay đổi: Xây dựng thuật toán để tìm đặc trưng khuôn mặt mà đặc trưng không thay đổi tư khuôn mặt hay vị trí đặt camera thay đổi - Hướng tiếp cận dựa so sánh khớp mẫu: Dùng mẫu chuẩn khuôn mặt (các mẫu chọn lưu trữ) để mô tả khuôn mặt hay đặc trưng khuôn mặt (các mẫu chọn tách biệt theo tiêu chuẩn tác giả đề để so sánh) Phương pháp dùng để xác định vị trí hay dò tìm khuôn mặt ảnh - Hướng tiếp cận dựa diện mạo: Trái ngược với hướng tiếp cận dựa khuôn mẫu, mô hình (hay mẫu) học từ tập ảnh huấn luyện mà thể tính chất tiêu biểu xuất mặt người ảnh Sau hệ thống (mô hình) xác định mặt người Phương pháp biết đến với tên gọi tiếp cận theo phương pháp học máy 2.1 Hướng tiếp cận dựa tri thức 2.1.1 Tư tưởng tiếp cận dựa tri thức Trong hướng tiếp cận này, phương pháp xác định mặt người xây dựng dựa vào luật, luật phụ thuộc vào tri thức tác giả nghiên cứu toán xác định khuôn mặt Dễ dàng xây dựng luật để mô tả đặc trưng khuôn mặt quan hệ tương ứng Ví dụ, khuôn mặt thường có hai mắt đối xứng qua trục Học viên: Lê Thị Phương Anh 10 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Ranh giới Xmin, Xmax Ymin, Ymax mặt nạ "4" xác định trung tâm khuôn mặt Giá trị họ thu cách chiếu hàng cột mặt nạ "4" trục «X» «Y» Khoảng cách (Xmax-Xmin) thực chiều rộng khuôn mặt, cho phép bạn để xác định ranh giới theo hình ảnh màu sắc ban đầu Kết thể hình 3.6, khuôn mặt người chọn trình bày cột bên phải Hình 3.6 Ví dụ phân lớp khuôn mặt Một ví dụ tương tự thể hình 3.7 Hình 3.7 Ví dụ phân lập khuôn mặt 3.2.3 Các phân tích khuôn mặt sau tiền xử lý Học viên: Lê Thị Phương Anh 37 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Việc lựa chọn khuôn mặt (hình 3.8, ảnh 1), vị trí dòng mắt góc khuôn mặt Nếu thông số nằm giới hạn quy định, tiếp tục xử lý dừng lại đầu vào hệ thống "chụp" nguồn hình ảnh Nếu thông số nằm giới hạn quy định để xoay mặt (hoặc toàn hình ảnh) góc độ tính toán Tiếp theo, dòng tính đối xứng dòng mắt, phản ánh vị trí hình 3.8, ảnh Hình 3.8 Các phân tích khuôn mặt tiền xử lý Các phương pháp để giải vấn đề trình bày Chương luận văn Bây giờ, vào hình ảnh khung khuôn mặt xác định tọa độ mắt trung tâm Ở sử dụng phương pháp trình bày [25, 26] Tất giai đoạn trung gian trình sử dụng trung tâm mắt định vị hiển thị hình 3.9a Học viên: Lê Thị Phương Anh 38 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Hình 3.9a Các bước để xác định tọa độ mắt trung tâm Trong hình 3.9a, khu vực phân tích khuôn mặt có khuôn mặt độ dốc dòng nang "X" mắt xác định từ vị trí tối đa, vị trí mắt trái phải, trung tâm mắt tìm thấy Cuối cùng, xác định khoảng cách "d" trung tâm mắt trục "X", thể 3.9b hình bên trái Hình 3.9b Căn chỉnh khuôn mặt theo yêu cầu Bây xác định yếu tố tỷ lệ (rescaling): k = d/60 d tính toán khoảng cách trung tâm mắt, 60 - khoảng cách trung tâm mắt cho hình ảnh tương ứng với tiêu chuẩn [35] Hơn nữa, với hệ số k, peremasshtabiruem lựa chọn (và phẳng) hình ảnh khuôn mặt để kích thước Mnew×N new ≡ 320×240 Và kết điều mô tả hình 3.10b bên phải Các đặc điểm thuật toán hệ thống Và vậy, thuật toán trình bày phần người phát hình ảnh màu có chứa có người Dưới ý tưởng thuật toán để xác định tọa độ trung tâm mắt mang lại lựa chọn người cho 320×240 Phát thuật toán thực ý tưởng khuôn khổ trình bày [17, 19], khác từ ý tưởng Học viên: Lê Thị Phương Anh 39 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Sự khác biệt hệ thống thể cấu trúc hiển thị hình 3.10 Hình 3.10 Cấu trúc hệ thống xác định chuẩn hóa mặt người Trong đó: 1) Đề xuất phương pháp tiền xử lý hình ảnh ban đầu để tăng độ sáng ảnh gốc đầu vào nhằm cải thiện việc phân bố khu vực "màu da" phân đoạn ảnh gốc 2) Xây dựng mặt nạ nhị phân cách sử dụng thành phần H I2 định nghĩa đơn giản thành phần R, G, B Sau tất cả, thiết kế để cải thiện hiệu suất hệ thống; 3) Để xây dựng mặt nạ nhị phân sử dụng để tìm vài pixel màu dựa điều kiện đơn giản, có tông màu da làm tăng vững mạnh thuật toán phát hiện; Học viên: Lê Thị Phương Anh 40 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da 4) Dựa mặt nạ nhị phân riêng biệt hình thành mặt nạ nhị phân thông thường, xác đại diện cho ranh giới khuôn mặt, số lượng nhỏ lĩnh vực bao gồm bên không; 5) Sử dụng số phương pháp để xác định thông số mặt: trung tâm tọa độ, ranh giới kích thước khu vực này, xác định xác vị trí tách khỏi ảnh gốc; 6) Xác định kết trung gian (kết 1), thiết kế để kiểm tra khu vực lựa chọn khuôn mặt cho phù hợp với thông số quy định: trường hợp điều trị không gián đoạn, có "giữ" hình ảnh đầu vào hệ thống phát trình bắt đầu lần nữa, phím kiểm soát tất K1 thực K2 tín hiệu từ khối (chấm-line); 7) Giới thiệu thủ tục để xác định thông số khuôn mặt: góc, khoảng cách trung tâm mắt yếu tố rescaling, thủ tục lựa chọn phù hợp với người để đáp ứng tiêu chuẩn [35] thông số Lưu ý số thủ tục (chức năng) tương ứng với số khối để thực chức hệ thống Hình 3.10 cho thấy tùy chọn chụp ảnh đầu vào hệ thống thông qua, xử lý Nếu tiêu chuẩn không phù hợp (kích thước, định dạng, chất lượng nội dung thông tin), vô hiệu hóa K2 xử lý tiếp, K1 phím bao gồm cho đầu vào chụp mới! Điều cho phép bạn tối ưu hóa hiệu suất hệ thống với liệu đầu vào không ổn định Như vậy, theo cấu trúc đề xuất hệ thống, thuật toán cho hoạt động Phát bao gồm khối chức làm việc với để cải thiện ranh giới lựa chọn màu da, đảm bảo hiệu suất cao hệ thống Các thuật toán giới thiệu chức để kiểm tra phần bật khuôn mặt, cho phù hợp với thiết lập lại thông số tối ưu hóa phát người có liệu đầu vào không ổn định Những tính (và tính khác liệt kê trên), phân biệt giải pháp đề xuất hệ thống trước Học viên: Lê Thị Phương Anh 41 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da 3.3 Kết thực nghiệm đánh giá Các kết thực nghiệm thuật toán với phương pháp đề xuất thời gian thực với máy ảnh với sở liệu ảnh khác thể hình Mô tả sở liệu dùng cho thực nghiệm Hiện hầu hết tất phương pháp xử lý nhận dạng mặt người thực nghiệm sở liệu mặt người (ORL, BioID FERET, AllFaces [36]) sở liệu không hoàn toàn thỏa mãn tiêu chuẩn ảnh BIOMETRIC nhiên lại cho phép kiểm tra yêu cầu cần thiết phương pháp : đánh giá xem phương pháp có làm việc với sở liệu có kích thước format không chuẩn hay không, có làm việc xác sở liệu ảnh có chất lượng không tốt hay không dùng để thống kê độ xác…Chính luận văn sử dụng sở liệu để đánh giá phương pháp xác định vị trí mắt người Cơ sở liệu FERET [36] sử dụng rộng dãi thử nghiệm toán nhận dạng mặt người, luận văn sử dụng để thử nghiệm thuật toán xác định vị trí mắt người, kích cỡ ảnh 224 x 184 px dạng jpg, chế độ GRAY MÀU Ví dụ biểu diễn hình 3.11 FERET C OLOR FERET GRAY Hình 3.11 Khuôn mặt sở liệu FERET[36] Những hình ảnh sở liệu FERET có đặc tính sau: Học viên: Lê Thị Phương Anh 42 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da - Thay đổi đáng kể độ sáng hình ảnh nền; - Kích thước khuôn mặt khác (thay đổi gấp lần); - Thay đổi kiểu tóc khuôn mặt người, hướng quay đầu; - Thay đổi tuổi tác thay đổi quần áo; - Sự diện kính; Sử dụng CSDL thí nghiệm kiểm chứng độ xác hệ thống ví CSDL gần với điều kiện thực tế FERET COLOR Hình 3.12 Kết phát mặt người sở liệu FERET COLOR Trong số 797 hình ảnh 50 hình ảnh xác phát khuôn mặt với sở liệu FERET COLOR có tỷ lệ lỗi xấp xỉ 6,2% Học viên: Lê Thị Phương Anh 43 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Hình 3.13 Kết phát mặt người sở liệu CAMERA Học viên: Lê Thị Phương Anh 44 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da KẾT LUẬN Những vấn đề giải luận văn 1- Luận văn nêu tầm quan trọng việc xác định vị trí khuôn mặt hệ thống nhận dạng mặt người nói riêng hệ thống sinh trắc học nói chung 2- Luận văn đánh giá thuật toán phương pháp xác định vị trí mặt người sử dụng, đưa đánh giá ưu điểm nhược điểm phương pháp 3- Trong chương đưa xây dựng thuật toán xác định vị trí mặt người mình, đưa toán có ý nghĩa thực tiễn việc xác định chuẩn hóa khuôn mặt theo chuẩn biometric 4- Trong phần thực nghiệm thử nghiệm sở liệu FERET COLOR – sở liệu sử dụng rộng rãi hệ thống nhận dạng mặt người Công việc nghiên cứu tương lai Trong tương lai tiếp tục nghiên cứu tối ưu thuật toán xây dựng hệ thống chuẩn hóa ảnh để đưa vào sử dụng hệ thống xây dựng sở liệu phục vụ cho việc nhận dạng mặt người Học viên: Lê Thị Phương Anh 45 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da PHỤ LỤC CODE chương trình MODULE FACE DETECTION -% R-G, R-G-H, I2, components function [OB_FACE,topy,botty,minxl,maxxr]=DETECT_FACE(obraz) obraz_org=obraz; %%% Get skin color by component R-G-B [RGB]=FACE_RGB1(obraz_org); obraz=double(obraz)/256; [mm,nn,g]=size(obraz); maska=hamming(mm)*hamming(nn)'; obraz3=(rgb2hsv(obraz)); %%% component H H=norma(obraz3(:,:,1))/256; H_ORG=1-im2bw(H); H1=H=.9; H=H1+H2; HM = medfilt2(H,[1,1]); %% component I OF1=obraz(:,:,1); % компонента R OF2=obraz(:,:,2); % компонента G OF3=obraz(:,:,3); % компонента B I2=(OF1-OF2)+(OF1-OF3); % modify I2; dd=find(I2>-.05); % or dd=find(I2>0); maska1=zeros(mm,nn); maska1(dd)=I2(dd); % select only face area! maska1=norma(double(maska1)); I2abs=abs(I20; I2new=double(I2new); I2new = medfilt2(I2new,[1,1]); %%% COMBINE component H,R-G-B and I obraz_new=zeros(mm,nn); for i=1:mm for j=1:nn if((fix(HM(i,j))>0) && (H_ORG(i,j)>0)) if(((I2new(i,j)>0)) && (RGB(i,j)>0)) obraz_new(i,j)=1; end; end; end; end; obraz_new = medfilt2(obraz_new,[10,10]); HMM=obraz_new.*maska; zz=fncz2(obraz_new,2); maxZ=max(max(zz)); [yy,xx]=find(zz==maxZ); ob=im2bw(obraz_new); %%% get top line topyy=yy; for j=xx-5:xx+5 i=1; Học viên: Lê Thị Phương Anh 46 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da top=0; while(i0) && (top==0)) top=1; yt=i; i=yy+1; end; i=i+1; end; if(topyy>yt) topyy=yt; end; end; topy=fix(topyy-5); if(topy0) && (cr==0)) cr=1; xr=i; i=xx; end; i=i-1; end; if(xr>maxxr) maxxr=xr; end; cr=0; end; %%% get bottom line botty=fix(topyy+3*(maxxr-minxl)/2); if(botty>mm) botty=mm; end; OB_FACE=obraz_org(topy:botty,minxl:maxxr,:)*1; obraz_org(topy:botty,minxl:maxxr,:)=obraz_org(topy:botty,minxl:maxxr,:)*1; Học viên: Lê Thị Phương Anh 47 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da end -MAIN %%% VU DUY LINH, 2011 clear all; clc; Path='F:\HOC TAP\Face\DB\'; %% DUONG DAN TOI CSDL N=20 ; e=cputime; L2='eye1.bmp'; ETA=imread(L2); pause(0.1); for kk=6:N try r=[Path num2str(kk) '.jpg']; obraz_org=imread(r); [H,W,g]=size(obraz_org); obraz_org=imresize(obraz_org,0.5)*1.1; figure(1);clf; subplot(2,2,[1 3]); imshow(obraz_org); title(['Image input ', num2str(kk)]); pause(0.1); %%%% Call module face detection try [obraz,topy,botty,minxl,maxxr]=DETECT_FACE(obraz_org); hold on; plot(minxl:maxxr,topy:topy,'r'); hold on; plot(minxl:maxxr,botty:botty,'r'); hold on; plot(minxl:minxl,topy:botty,'r'); hold on; plot(maxxr:maxxr,topy:botty,'r'); subplot(2,2,2); imshow(obraz); title('FACE AREA'); catch end; pause;%(0.1); catch end; pause(0.5); end; Học viên: Lê Thị Phương Anh 48 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da TÀI LIỆU THAM KHẢO Tiếng Việt Đỗ Năng Toàn, Phạm Việt Bình (2007), Giáo trình xử lý ảnh, Nxb Đại học Thái Nguyên Lương Mạnh Bá, Nguyễn Thanh Thủy (2007), Nhập môn xử lý ảnh số, Nxb Khoa học Kỹ thuật Tiếng Anh R.-J Huang Detection strategies for face recognition using learning and evolution - PhD thesis, George Mason University, Fairfax, Virginia, 1998 M.-H Yang, D Kriegman, N Ahuja Detecting faces in images: a survey , IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 24 (1) (2002) 34–58 J Sobottka and I Pitas, “Segmentation and Tracking of Faces in Color Images”, Proc Second Int’l Conf Automatic Face and Gesture Recognition, pp 236-241, 1996 T.K Leung, M.C Burl, and P Perona, “Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching”, Proc Fifth IEEE Int’l Conf Computer Vision, pp 637-644, 1995 K.V Mardia and I.L Dryden, Shape Distributions for Landmark Data, Advanced Applied Probability, vol 21, pp 742-755, 1989 Kim, H., Kang, W., Shin, J., Park, S Face detection using template matching and ellipse fitting, IEICE Trans Inform Syst., 2000, E38-D(11):2008-2011 J Canny, “A Computational Approach to Edge Detection”, IEEE Trans Pattern Analysis and Machine Intelligence, vol 8, no 6, pp 679-698, June 1986 H.P Graf, T Chen, E Petajan, and E Cosatto, “Locating Faces and Facial Parts”, Proc First Int’l Workshop Automatic Face and Gesture Recognition, pp 41-46, 1995 E Osuna, R Freund, and F Girosi, “Training Support Vector Machines: An Application to Face Detection” Proc IEEE Conf Computer Vision and Pattern Recognition, pp 130-136, 1997 Sakai et al, Locating and extracting the eye in human face images, Pattern Recognition 1996 29(5), pp 771– 779 Craw et al Robust face detection at video frame rate based on edge orientation features // in: Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR),Washington, DC, USA, 2002, pp 342–347 P Sinha, Object Recognition via Image Invariants: A Case Study, Investigative Ophthalmology and Visual Science, vol 35, no 4, pp 1735-1740, 1994 P Sinha, Processing and Recognizing 3D Forms, PhD thesis, Massachusetts Inst of Technology, 1995 A Yuille, P Hallinan, and D Cohen, “Feature Extraction from Faces Using eformable Templates”, Int’l J Computer Vision, vol 8, no 2, pp 99-111, 1992 Học viên: Lê Thị Phương Anh 49 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da K Lam and H Yan, “Fast Algorithm for Locating Head Boundaries,” J.Electronic Imaging, vol 3, no 4, pp 351-359, 1994 Fuzhen Huang and Jianbo Su, “Multiple Face Contour Detection Using adaptive Flows”, Sinobiometrics 2004, LNCS 3338, pp 137-143, Springer-Verlag Berlin eidelberg, 2004 A Lanitis, C.J Taylor, and T.F Cootes, “An Automatic Face Identification System Using lexible Appearance Models”, Image and Vision Computing, vol 13, no 5, pp 393-401, 1995 M Kirby and L Sirovich, “Application of the Karhunen-LoeveProcedure for the Characterization of Human Faces”, IEEE Trans Pattern Analysis and Machine Intelligence, vol 12, no 1, pp 103-108, Jan 1990 P Viola and M J Jones, “Robust Real-Time Face Detection”, International Journal of Computer Vision 57(2), 137-154, Kluwer Academic Publishers, Netherlands, 2004 H Rowley, S Baluja, T Kanade Neural network-based face detection // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 20 (1) (1998) 23–38 Viola, P Rapid Object Detection Using a Boosted Cascade of Simple Features // Proc IEEE Conference on CVPR, 2001, pp 511-518 H Rowley, S Baluja, T Kanade Neural network-based face detection // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 20 (1) (1998) 23–38 B Fro¨ba, C Ku¨blbeck Robust face detection at video frame rate based on edge orientation features // in: Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR),Washington, DC, USA, 2002, pp 342–347 O Jesorsky, K Kirchberg, R Frischholz Robust face detection using the hausdorff distance // in: Proceedings of the Third International Conference on Audio- and Video-based Biometric Person Authentication (AVBPA), Halmstad, Sweden, 2001, pp 90–95 V Popovici, Y Rodriguez, J.-P Thiran, S Marcel On performance evaluation of face detection and localization algorithms // in: Proceedings of the International Conference on Pattern Recognition (ICPR), Cambridge, UK, 2004, pp 313–317 Cai, J., Goshtasby, A Detecting human faces in color images, Image and Vision Computing, 1999, 18(1), pp 63-75 Viola, P Rapid Object Detection Using a Boosted Cascade of Simple Features // Proc IEEE Conference on CVPR, 2001, pp 511-518 Sobotka K., Pitas I Looking for Faces and Facial Features in Color Images // In 4th Open Russian-German Workshop: Pattern Recognition and Image Analysis, Valday, The Russian Federation, March 3-9, 1996 Z Qian, D Xu Automatic eye detection using intensity filtering and K-means clustering // Pattern Recognition Letters 31 (2010) pp 1633–1640 Zhou, Z., Geng, X., Projection functions for eye detection // Pattern Recognition 2004 37 (5), pp 1049–1056 D’Orazio, T., Leo, M., Cicirelli, G., Distante, A., An algorithm for real time eye detection in face images // In: Proc IEEE Conf on Pattern Recognition, 2004, pp 278–281 Liu, Hong; Wu, Yuwen; Zha, Hongbin Eye state detection from color facial image sequence // Proc SPIE Vol 4875, 31 July 2002, p 693-698 Xiaoxing Li; Mori, G.; Hao Zhang Expression-Invariant Face Recognition with Expression Classification // Canadian Conf on Computer and Robot Vision, 07-09 June 2006, pp 77–85 Học viên: Lê Thị Phương Anh 50 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da К.М Нюнькин, Определение углов наклонов головы человека на изображениях // Украина «Искусственный интеллект» 01-2004, стр 243-250 Học viên: Lê Thị Phương Anh 51 [...]... khuôn mặt người Học viên: Lê Thị Phương Anh 18 Xác định mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da CHƯƠNG 3: THUẬT TOÁN XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ DỰA TRÊN KỸ THUẬT NHẬN BIẾT MÀU DA Phát hiện mặt người trong ảnh có nhiều ứng dụng trong cuộc sống, tuy nhiên, trong luận văn này, tôi chỉ xây dựng một chương trình nhỏ để minh họa cho các lý thuyết trình bày ở trên 3.1 Các kỹ thuật nhận biết. .. Hwang cũng dùng không gian màu Ycg’Cr’ với tỷ lệ chính xác hơn 80% trong ảnh xám Jin xây dựng một bộ lọc để xác định ứng viên khuôn mặt người theo màu da người Từ ứng viên này tác giả xác định khuôn mặt người theo hình dáng Học viên: Lê Thị Phương Anh 14 Xác định mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da khuôn mặt và các quan hệ đặc trưng về thành phần khuôn mặt, với mắt phải được chọn... Anh 16 Xác định mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da cường độ giữa các vùng kề cục bộ trên ảnh, sau này nó được mở rộng trên cơ sở biến đổi wavelet để xác định người đi bộ, xác định xe hơi, xác định khuôn mặt Ý tưởng của Sinha còn được áp dụng trong các nghiên cứu về thị giác của robot Hình 2.3: Một mẫu khuôn mặt có kích thước 14 x 16 pixel được sử dụng trong phương pháp định vị khuôn... phụ thuộc nhiều vào hình dạng của phân phối màu da Bên cạnh đó, hầu hết các phương pháp mô hình hóa màu da có tham số đều bỏ qua những thống kê về màu không phải là tham số 3.2 Đề xuất thuật toán xác định ảnh màu dựa trên màu da 3.2.1 Định vị vùng khuôn mặt người trong ảnh màu Việc xác định vùng khuôn mặt người trong một bối cảnh là nhiệm vụ rất quan trọng trong sinh trắc học Các phương pháp tiếp cận... Còn nếu ảnh có nhiều khuôn mặt (hình 2.2.c) thì sẽ không xác định được Hình 2.2: Phương pháp chiếu: (a) Ảnh chỉ có một khuôn mặt và hình nền đơn giản; (b) Ảnh chỉ có một khuôn mặt và hình nền phức tạp; (c) Ảnh có nhiều khuôn mặt Học viên: Lê Thị Phương Anh 12 Xác định mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da 2.2 Hướng tiếp cận dựa trên đặc trưng không thay đổi Tiếp cận dựa trên các... một điểm ảnh màu với đặc trưng màu da Giá trị đo này được thiết lập như thế nào, công thức ra sao tùy thuộc vào từng phương pháp mô hình hóa màu da Các không gian màu thường được sử dụng là HSV, YCbCr và I1I2I3 [25,27] Học viên: Lê Thị Phương Anh 29 Xác định mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da Hình 3.1 Màu sắc hình ảnh và các thành phần R, G và B [25] Việc xác định màu da được... trung bình (và I2>0) (3.5) 3.2.2.2 Thuật toán để xác định khuôn mặt dựa trên kỹ thuật mặt nạ Thuật toán để xác định khuôn mặt dựa trên kỹ thuật mặt nạ được mô tả như sau: 1) Xác định kích thước của hình ảnh ban đầu M và N; 2) Xác định các thành phần của H và thành phần I2; 3) Xây dựng 3 ma trận mặt nạ kích thước M*N; 4) Thực hiện phân tích thành phần của các điểm ảnh dựa trên R, G, B, H và I2 để kiểm tra... 34 Xác định mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da Ngoài ra, cũng trả lời cho câu hỏi làm thế nào để kết hợp và những mặt nạ riêng biệt khi chúng được kết hợp để xác định cách tốt nhất của ranh giới và khuôn mặt / hoặc khu vực tương ứng với màu sắc "màu da" Câu trả lời cho câu hỏi này được đưa ra trong hình 3.5 Cơ sở dữ liệu ảnh Ảnh gốc Tiền xử lý Phân tích các thành phần của ảnh màu. .. những kỹ thuật đã được công bố và được đánh giá hiệu quả Học viên: Lê Thị Phương Anh 19 Xác định mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da Mục đích cuối cùng của phần tổng quan này là thu tập các kỹ thuật đã được công bố, mô tả những ý tưởng chính của kỹ thuật đó, tổng hợp và đưa ra những ưu điểm, nhược điểm và những đặc trưng của từng kỹ thuật Từ đó sẽ đưa ra quyết định lựa chọn kỹ thuật. .. Thị Phương Anh 33 Xác định mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da trường hợp chúng ta cần phải bổ sung them một số yếu tố cho thuật toán trong giai đoạn tiền xử lý dữ liệu vào của hệ thống 3.2.2.1 Định nghĩa của một khuôn mặt người Bây giờ chúng ta có thể bắt đầu từ những điều kiện mà khu vực phải đối mặt với trong ảnh gốc có độ sáng với các giá trị được định nghĩa ở trên Những điều ... Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Chương 3: Thuật toán xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Tập chung phân tích kỹ thuật phát mặt người dựa đặc... 18 Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da CHƯƠNG 3: THUẬT TOÁN XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ DỰA TRÊN KỸ THUẬT NHẬN BIẾT MÀU DA Phát mặt người ảnh có nhiều ứng dụng sống, nhiên,... Lê Thị Phương Anh Xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da CHƯƠNG CÁC KỸ THUẬT XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ Dựa vào tính chất phương pháp xác định mặt người ảnh, phương pháp