Xác định vị trí mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da

Chương 1: Bài toán xác định mặt người trong ảnh số. Giới thiệu tổng quan về bài toán xác định mặt người trong ảnh, các ứng dụng và những khó khăn của bài toán. Chương 2: Các kỹ thuật xác định mặt người trong ảnh số. Phân tích các kỹ thuật xác định mặt người trong ảnh số.Chương 3: Thuật toán xác định mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da. Tập chung phân tích kỹ thuật phát hiện vị trí mặt người dựa trên đặc trưng màu da. Từ đó đề xuất thuật toán xác định mặt người trong ảnh số dựa trên kỹ thuật nhận biết màu da và thực nghiệm.

Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da MỤC LỤC MỤC LỤC MỞ đẦu .3 CHƯƠNG BÀI TOÁN XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ 1.1 Giới thiệu toán xác định mặt người ảnh số 1.2 Những khó khăn thách thức toán xác định mặt người 1.3 Các ứng dụng xác định mặt người .5 1.4 Xác định phạm vi đề tài CÁC KỸ THUẬT XÁC ĐỊNH VỊ TRÍ MẶT NGƯỜI TRONG ẢNH SỐ 2.1 Phương pháp xác định vị trí mặt người dựa tri thức 2.1.1 Tư tưởng phương pháp xác định vị trí mặt người dựa tri thức 2.1.2 Các nghiên cứu liên quan 2.2 Phương pháp xác định vị trí mặt người dựa đặc trưng không thay đổi .6 2.3 Phương pháp xác định vị trí mặt người dựa so sánh khớp mẫu 2.4 Phương pháp xác định vị trí mặt người dựa diện mạo 2.4.1 Tư tưởng phương pháp xác định vị trí mặt người dựa diện mạo 2.4.2 Phương pháp PCA (Principal Components Analysis) 2.4.3 Phương pháp ICA (Independent component analysis) .7 2.4.4 Phương pháp sử dụng mạng Neural 2.4.5 Phương pháp SVM 2.4.6 Phương pháp sử dụng mô hình Markov ẩn 2.4.7 Phương pháp dựa phân loại Bayes CHƯƠNG 3: THUẬT TOÁN XÁC ĐỊNH VỊ TRÍ MẶT NGƯỜI TRONG ẢNH SỐ DỰA TRÊN KỸ THUẬT NHẬN BIẾT MÀU DA 3.1 Các kỹ thuật nhận biết màu da dựa tính chất điểm ảnh .8 3.1.1 Không gian màu sử dụng cho mô hình hóa màu da 3.1.2 Mô hình hóa màu da 3.1.2.1 Xác định ngưỡng cụ thể điểm ảnh màu da 3.1.2.2 Phương pháp mô hình hóa màu da sử dụng phân phối không tham số 10 3.1.2.3 Mô hình hóa phân phố màu da có tham số 12 3.1.3 So sánh đánh giá mô hình 13 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da 3.2 Thuật toán xác định ảnh màu dựa màu da 14 3.2.1 Định vị vùng khuôn mặt người ảnh màu .14 3.2.2 Giai đoạn tiền xử lý hình ảnh ban đầu 18 3.2.2.1 Định nghĩa khuôn mặt người .19 3.2.2.2 Thuật toán xác định vị trí khuôn mặt dựa kỹ thuật mặt nạ 19 3.2.2.3 Xác định tọa độ trung tâm khuôn mặt 20 3.3 Kết thực nghiệm đánh giá 25 KẾT LUẬN .27 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da MỞ ĐẦU Công nghệ thông tin ứng dụng rộng rãi lĩnh vực sống Với hệ thống máy tính, làm nhiều việc từ đơn giản đến phức tạp Máy tính giúp người tiết kiện thời gian công sức xử lý công việc thực tế Điển công việc nhận dạng mặt người Trước đây, muốn tìm kiếm kẻ tình nghi siêu thị hay sân bay, nhân viên an ninh phải tìm kiếm hình camera theo dõi Ngày nay, công việc làm tự động nhờ hệ thống nhận dạng mặt người Phát vị trí mặt người ảnh phần quan trọng hệ thống nhận dạng Nếu giải tốt việc phát vị trí mặt người giúp tiết kiệm thời gian nâng cao độ xác việc nhận dạng khuôn mặt Phát vị trí mặt người toán nhận dạng đơn giản, hệ thống cần phân loại đối tượng đưa vào có phải mặt người hay mặt người Ở mức độ cao hơn, sau phát khuôn mặt, khuôn mặt so sánh với khuôn mặt có liệu để nhận dạng xem khuôn mặt (thường áp dụng nhận dạng khuôn mặt người tiếng tội phạm bị truy nã) Bài toán phá mặt người bắt đầu nghiên cứu từ năm 1990, có nhiều công trình nghiên cứu phát khuôn mặt ảnh, nhiên nay, nhà khoa học không ngừng tìm hướng tiếp cận mới, thuật toán nhằm nâng cao hiệu suất việc phát khuôn mặt việc nhận dạng mặt người Với mục tiêu tìm hiểu, phân tích thuật toán phát vị trí mặt người đưa cách tiếp cận để áp dụng vào toán phát vị trí mặt người ảnh, luận văn trình bày chương với bố cục sau: Chương 1: Bài toán xác định mặt người ảnh số Giới thiệu tổng quan toán xác định mặt người ảnh, ứng dụng khó khăn toán Chương 2: Các kỹ thuật xác định mặt người ảnh số Phân tích kỹ thuật xác định mặt người ảnh số Chương 3: Thuật toán xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da Tập chung phân tích kỹ thuật phát vị trí mặt người dựa đặc trưng màu da Từ đề xuất thuật toán xác định mặt người ảnh số dựa kỹ thuật nhận biết màu da thực nghiệm Cuối kết luận hướng phát triển: Tóm tắt kết đạt được, hạn chế nêu lên hướng phát triển tương lai Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da CHƯƠNG BÀI TOÁN XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ 1.1 Giới thiệu toán xác định mặt người ảnh số Trong năm qua, có nhiều công trình nghiên cứu toán nhận dạng mặt người Các nghiên cứu từ toán đơn giản, từ việc nhận dạng mặt người ảnh đen trắng mở rộng cho ảnh mầu có nhiều mặt người ảnh Đến toán xác định mặt người mở rộng với nhiều miền nghiên cứu nhận dạng khuôn mặt, định vị khuôn mặt, xác định trạng thái mắt người, theo dõi mặt người hay nhận dạng cảm xúc mặt người… Phát vị trí mặt người ảnh phần hệ thống nhận dạng mặt người Các hệ thống nhận dạng khuôn mặt bắt đầu xây dựng từ năm 1970, nhiên hạn chế luật xác định mặt người nên áp dụng số ứng dụng nhận dạng thẻ cước Nó phát triển mạnh mẽ từ năm 1990 có tiến công nghệ video ngày ứng dụng xác định mặt người trở nên phổ biến sống [1] Định nghĩa toán xác định mặt người: Xác định khuôn mặt người kỹ thuật máy tính để xác định vị trí kích thước khuôn mặt người ảnh số Kỹ thuật nhận biết đặc trưng khuôn mặt bỏ qua thứ khác xung quanh đối tượng như: tòa nhà, cối, thể… 1.2 Những khó khăn thách thức toán xác định mặt người Việc xác định khuôn mặt người có khó khăn định như: - Hướng (pose) khuôn mặt máy ảnh, như: nhìn thẳng, nhìn nghiêng hay nhìn từ xuống Cùng ảnh có nhiều khuôn mặt tư khác nhaud - Sự có mặt chi tiết đặc trưng riêng khuôn mặt người, như: râu quai nón, mắt kính, … - Các nét mặt (facial expression) khác khuôn mặt, như: vui, buồn, ngạc nhiên, … - Mặt người bị che khuất đối tượng khác có ảnh Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da - Sự biểu cảm khuôn mặt: biểu cảm làm thay đổi đáng kể đặc trưng thông số khuôn mặt, ví dụ khuôn mặt người khác người cười, tức giận hay sợ hãi … 1.3 Các ứng dụng xác định mặt người 1.4 Xác định phạm vi đề tài Trong đề tài này, tập trung vào việc xác định khuôn mặt ảnh dựa nhận biết màu da Từ lưu khuôn mặt tìm vào sử liệu để phục vụ cho mục đích khác (chẳng hạn nhận dạng mặt người ghép khuôn mặt vào ảnh khác…) Do điều kiện khó khăn nêu xin đưa giả định ràng buộc sau để giảm độ phức tạp toán: - Các khuôn mặt chụp thẳng góc nghiêng không đáng kể (nhỏ 10o) - Phông ảnh không phức tạp - Ảnh chụp điều kiện ánh sáng bình thường Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da CHƯƠNG CÁC KỸ THUẬT XÁC ĐỊNH VỊ TRÍ MẶT NGƯỜI TRONG ẢNH SỐ Dựa vào tính chất phương pháp xác định mặt người ảnh, phương pháp chia thành bốn loại chính, tương ứng với bốn hướng tiếp cận khác Ngoài có nhiều nghiên cứu mà phương pháp xác định mặt người không dựa vào hướng mà có liên quan đến nhiều hướng 2.1 Phương pháp xác định vị trí mặt người dựa tri thức 2.1.1 Tư tưởng phương pháp xác định vị trí mặt người dựa tri thức Trong cách tiếp cận này, phương pháp xác định mặt người xây dựng dựa vào luật, luật phụ thuộc vào tri thức tác giả nghiên cứu toán xác định khuôn mặt Dễ dàng xây dựng luật để mô tả đặc trưng khuôn mặt quan hệ tương ứng Ví dụ, khuôn mặt thường có hai mắt đối xứng qua trục thẳng đứng khuôn mặt có mũi miệng Các quan hệ đặc trưng quan hệ vị trí khoảng cách tương đối Khó khăn hướng tiếp cận làm để chuyển tri thức người khuôn mặt sang luật cho máy tính cách hiệu Nếu luật chi tiết, chặt chẽ xác định thiếu khuôn mặt có ảnh, luật tổng quát dẫn đến xác định sai khu vực khuôn mặt thành khuôn mặt Ngoài khó để mở rộng phạm vi bải toán để xác định khuôn mặt có nhiều tư khác 2.1.2 Các nghiên cứu liên quan 2.2 Phương pháp xác định vị trí mặt người dựa đặc trưng không thay đổi Tiếp cận dựa đặc trưng không thay đổi tiếp cận theo kiểu Bottom-Up Dựa thực tế, cố gắng tìm đặc điểm không thay đổi khuôn mặt tư khác điều kiện môi trường ánh sáng khác Đã có nhiều nghiên cứu hướng tiếp cận này, đặc điểm không thay đổi tìm thấy lông mày, mắt, mũi, miệng hay đường viền tóc… Trên sở đặc trưng này, nhà nghiên cứu xây dựng lên mô hình thống kê mô tả quan hệ đặc trưng từ xác định xuất khuôn mặt ảnh Khó khăn hướng tiếp cận phải mô tả đặc trưng không thay đổi quan hệ chúng phù hợp với điều kiện ánh sáng, độ nhiễu hay bị che khuất Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da 2.3 Phương pháp xác định vị trí mặt người dựa so sánh khớp mẫu 2.4 Phương pháp xác định vị trí mặt người dựa diện mạo 2.4.1 Tư tưởng phương pháp xác định vị trí mặt người dựa diện mạo Trái ngược với hướng tiếp cận dựa so sánh khớp mẫu (các mẫu nhà nghiên cứu định nghĩa trước), mẫu hướng tiếp cận học từ tập ảnh mẫu Có thể nói hướng tiếp cận dựa diện mạo áp dụng kỹ thuật theo hướng xác suất thống kê học máy để tìm đặc tính liên quan khuôn mặt khuôn mặt Các đặc tính học hình thái mô hình phân bố hay tham số hàm số nên dùng đặc tính để xác định khuôn mặt người Đồng thời, toán giảm số chiều thường quan tâm để tăng hiệu tính toán hiệu xác định Trong hướng tiếp cận này, phương pháp xác xuất tiếp tục nhiều nhà nghiên cứu sử dụng Một ảnh vector (đặc trưng cho ảnh) xem biến ngẫu nhiên Biến ngẫu nhiên xác định có mô tả đặc tính khuôn mặt hay không thông qua xác xuất có điều kiện p(x/face) p(x/nonface) Có thể dùng phân loại Bayesian để phân loại ứng viên khuôn mặt hay khuôn mặt Tuy nhiên, việc cài đặt phân loại Bayesian với số chiều x lớn điều khó khăn, có nhiều nghiên cứu theo hướng tiếp cận quan tâm tới việc tham số hóa hay không tham số xác suất p(x/face) p(x/nonface) Một tiếp cận khác hướng tiếp cận dựa diện mạo tìm hàm biệt số ví dụ hàm mô tả mặt phẳng hay siêu phẳng định (các ranh giới) để phân biệt hai lớp khuôn mặt khuôn mặt Thông thường, ảnh chiếu vào không gian có số chiều sau dùng hàm biệt số (dựa độ đo khoảng cách) để phân loại xây dựng mặt định phi tuyến mạng neural đa tầng Ngoài dùng SVM (Super Vector Machine) phương thức kernel chiếu mẫu vào không gian có số chiều cao để liệu bị rời rạc hoàn toàn từ sử dụng mặt phẳng phân loại để phân loại mẫu khuôn mặt hay khuôn mặt 2.4.2 Phương pháp PCA (Principal Components Analysis) 2.4.3 Phương pháp ICA (Independent component analysis) 2.4.4 Phương pháp sử dụng mạng Neural 2.4.5 Phương pháp SVM 2.4.6 Phương pháp sử dụng mô hình Markov ẩn 2.4.7 Phương pháp dựa phân loại Bayes Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da CHƯƠNG 3: THUẬT TOÁN XÁC ĐỊNH VỊ TRÍ MẶT NGƯỜI TRONG ẢNH SỐ DỰA TRÊN KỸ THUẬT NHẬN BIẾT MÀU DA Phát vị trí mặt người ảnh có nhiều ứng dụng sống, nhiên, luận văn này, xây dựng chương trình nhỏ để minh họa cho lý thuyết trình bày 3.1 Các kỹ thuật nhận biết màu da dựa tính chất điểm ảnh Phát dựa vào màu sắc da người phương pháp dùng để phát vị trí mặt người Tuy nhiên đơn sử dùng màu sắc không khó đạt hiệu cao phát vị trí mặt người Vì khung cảnh có nhiều vật có màu sắc tương tự màu khuôn mặt Tuy nhiên kết hợp phương pháp với phương pháp khác lại mang lại hiệu cao Vì kinh nghiệm cho thấy màu da người có đặc tính màu riêng biệt, đặc tính cho phép dễ dàng nhận đâu da người [27] Và thông thường hướng tiếp cận phát vị trí mặt người dựa thông tin xuất ảnh, màu da sử dụng bước phân vùng vùng ảnh có màu sắc giống màu da, điều cho phép giảm không gian tìm kiếm khuôn mặt, cải thiện hiệu hệ thống tìm kiếm Do nhiều mô hình xây dựng để phát da người Khi xây dựng hay mô hình hóa hệ thống phát hay phân tách vùng màu da với mục đích sử dụng cho việc phát vị trí mặt người, người ta thường đặt ba vấn đề [28] sau: thứ mô hình xây dựng không gian màu nào? thứ hai hàm phân phối màu da mô hình hóa xác đến mức độ cuối xử lý vùng màu da phân vùng cho nhận biết mặt người nào? Phương pháp đề cập phần phương pháp phát da người dựa đặc tính điểm ảnh, nghĩa phân lớp điểm ảnh thành hai lớp, lớp lớp điểm anh có thuộc màu da lớp màu da Các điểm ảnh hoàn toàn độc lập với Ngược lại với phương pháp phương pháp dựa đặc tính vùng ảnh Phát màu da dựa đặc tính điểm ảnh có lịch sử phát triển dài, nhiên khuôn khổ phần tổng quan này, đề cập so sánh kỹ thuật công bố đánh giá hiệu Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da Mục đích cuối phần tổng quan thu tập kỹ thuật công bố, mô tả ý tưởng kỹ thuật đó, tổng hợp đưa ưu điểm, nhược điểm đặc trưng kỹ thuật Từ đưa định lựa chọn kỹ thuật phù hợp dùng để phân vùng màu da áp dụng luận văn 3.1.1 Không gian màu sử dụng cho mô hình hóa màu da 3.1.2 Mô hình hóa màu da 3.1.2.1 Xác định ngưỡng cụ thể điểm ảnh màu da Trong số không gian màu, phương pháp xây dựng xếp lớp màu da cách xác định rõ ràng (thông qua số quy tắc) biên giới giá trị điểm ảnh màu da hay không Ví dụ như: không gian RGB, (R,G,B) xếp thuộc lớp màu da như: R > 95 G > 40 B > 20 Max(R,G,B) – Min(R,G,B) >15 |R - B| > 15 R > g R > B Tính đơn giản phương pháp thu hút nhiều tập trung nghiên cứu Ưu điểm dễ thấy phưuơng pháp tính đơn giản quy tắc nhận biết màu da Điều cho phép phân lớp cách nhanh chóng dễ dàng Tuy nhiên kết đạt phân lớp không cao trường hợp tổng quát Vì khó khăn phương pháp muốn có hệ số nhận dạng cao phải tìm không gian màu thích hợp quy tắc tốt để nhận biết màu da không gian màu Hiện người ta đề xuất sử dụng thuật toán máy học để tìm không gian màu thích hợp quy tắc phân lớp màu da với mong muốn có hệ số nhận dạng cao Tuy nhiên đề xuất chưa có kết cụ thể nghiên cứu đựoc công bố Tuy nhiên, kết đạt được, tìm quy tắc cho phép nhận biết chắn điểm ảnh màu da Những quy tắc sử dụng làm bước lọc khởi tạo cho phương phân lớp pháp phức tạp vùng màu da vùng màu da Nó giúp cho trình phân lớp thực nhanh chóng đỡ tốn công Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da 3.1.2.2 Phương pháp mô hình hóa màu da sử dụng phân phối không tham số Ý tưởng phương pháp mô hình hóa màu da không tham số ước lượng phân phối màu da từ liệu huấn luyện mà không xuất phát từ mô hình rõ ràng màu da Kết phương pháp thường biểu diễn dạng đồ phân bố màu da (SPM – Skin Probability Map) Mỗi giá trị phân bố gán cho điểm không gian màu 3.1.2.2.1 Bảng tra cứu chuẩn hóa (LUT – Lookup Table) Một số thuật toán phát vị trí mặt người bám sát mặt người sử dụng lược đồ mức xám dựa hướng tiếp cận phân vùng điểm ảnh màu da Không gian màu lượng tự hóa thành nhóm, nhóm đáp ứng cho khoảng thành phần màu Các nhóm lược đồ tham chiếu tới bảng gọi bảng tra cứu Mỗi nhóm lưu trữ số lượng lần xuất màu tiến hành huấn luỵện ảnh da người Sau trình huấn luyện, biểu đồ tính toán chuẩn hóa, chuyển sang giá trị biểu đô phân phối xác suất miền rời rạc: Pskin(c) = skin[c]/Norm (3.6) Trong đó, • skin[c] nhận giá trị nhóm lược đồ, đáp ứng cho véc tơ màu c • Norm hệ số chuẩn hóa (tổng tất giá trị nhóm biểu đồ) giá trị lớn nhóm biểu đồ Giá trị chuẩn hóa của bảng tra cứu nhóm biểu đồ phép định màu có màu da hay không? 3.1.2.2.2 Phân lớp Bayes (Bayes Classifier) Giá trị Pskin(c) công thức điều kiện xác suất – P(c|skin) – xác suất màu quan sát c pixel màu da Và xác suất thích hợp dùng để phát màu da P(skin|c) – xác suất quan sát màu màu da xuất giá trị màu c rời rac Để tính giá trị này, ta sử dụng công thức Bayes quen thuộc : P ( skin | c ) = P ( skin | c ) P ( skin ) P ( skin | c ) P ( skin ) + P ( c | ¬skin ) P ( ¬skin ) (3.7) 10 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da Hình 3.2 Các thành phần ảnh gốc không gian màu HSV, YCbCr I1I2I3 [25] Hình 3.2 thể ảnh màu cuả hình 3.1 phân tích dựa thành phần khác không gian màu HSV, YCbCr I1I2I3 Khi biểu diễn không gian màu khác nhau, thấy khu vực phân biệt rõ khuôn mặt người thể thành phần H không gian màu HSV, thành phần Cb Cr không gian màu YCbCr, thành phần I2 không gian màu I1I2I3 Việc sử dụng giá trị lượng tử hóa ứng kết hợp với ngưỡng (Thresholding) thủ tục phân loại thành phần không gian màu giúp xác định xác vùng khuôn mặt người đàn ông ảnh màu xét dựa màu da Để lựa chọn thành phần liên quan đến khu vực coi "màu da" ( skin- color), ta thực phân tích kết trình bày hình 3.2 Với không gian màu HSV, ta thấy thành phần H (Hue) cho hiệu cao vùng mặt gần với vùng có mức độ "đen" cao phần lại bối cảnh không liên quan đến vùng "màu-da" Với không gian màu YCbCr phân biệt tương đối xác khuôn mặt với phần lại bối cảnh sử dụng thành phần Cb Cr Cuối cùng, không gian màu I1I2I3, khuôn mặt xác định xác thành phần I2 Để tính giá trị H từ thành phần ảnh hệ màu RGB ta thực biến đổi sau: 16 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da  (G − B)/DELTA, neu R = MAX;  H =  + (B − R )/DELTA, neu G = MAX;  + (R − G )/DELTA, nêu B = MAX,  (3.1) Trong đó: MAX - giá trị lớn thành phần R, G, B; MIN - giá trị nhỏ thành phần R, G, B; DELTA = MAX MIN Trong trường hợp này, giá trị thành phần H tương ứng với khuôn mặt nằm khoảng: H < Hmin H > Hmax, Hmin ≤ 0.1 Hmax ≥ 0.9 Từ ta dễ dàng xác định vị trí khuôn mặt ảnh nguồn Để tính giá trị thành phần Y, Cb, Cr không gian màu YCbCr từ ảnh không gian màu RGB ta thực biến đổi sau: Y = c1R + c2G + c3B (3.2) Cb = (B–Y)/(2–2c3) Cr = (R–Y)/(2–2c1), Trong đó: R, G, B – thành phần không gian màu RG; c1, c2 c3 cho bảng sau: Tiêu chuẩn 601 709 с1 0,2989 0,2126 с2 0,5866 0,7152 с3 0,1145 0,0722 Thành phần Cb i Cr sử dụng để nhận khuôn mặt với giá trị sau đây: {138< Cr < 178, 299 độ sáng trung bình (hoặc I2>0), (3.4) đó: R, B - không gian thành phần RGB Thông thường kỹ thuật phát dựa định nghĩa "màu da" ngưỡng sử dụng để xử lý nhiều thành phần để cải thiện hiệu suất hệ thống phát khuôn mặt Tuy nhiên, yêu cầu máy nhận dạng khuôn mặt cần tốc độ xử lý cao nên người ta sử dụng thành phần R, G, B, H I2, chúng định nghĩa đơn 17 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da giản mối quan hệ (3.1) (3.4) Việc sử dụng giải pháp đơn giản cho phép xây dựng phương pháp phát mặt người có đặc điểm liên quan thỏa mãn nhanh chóng 3.2.2 Giai đoạn tiền xử lý hình ảnh ban đầu Việc phát triển phương pháp phát khuôn mặt điều kiện độ sáng trung bình hình ảnh ban đầu phải 150 (cho phạm vi độ sáng hình ảnh kỹ thuật số 0-255) Vì vậy, bước thuật toán phát ước tính độ sáng trung bình tiền xử lý hình ảnh đầu vào hệ thống định hướng để đạt độ sáng mong muốn Lưu ý đôi độ sang trung bình thực cách chỉnh sửa Gamma, vào thời điểm chụp ảnh ban đầu có ánh sáng không đồng Ví dụ, hình ảnh ban đầu với khuôn mặt giống đánh dấu bên phía sau Trong trường hợp này, độ sáng xung quanh vùng mặt hình ảnh cao so với phía Có nhiều hình ảnh mẫu khuôn mặt sở liệu khuôn mặt FERET sử dụng để thử nghiệm phát khuôn mặt Hình 3.3 cho thấy ví dụ hình ảnh từ sở liệu Ở đó, hình ảnh ban đầu kết - hình ảnh với độ sáng tăng cường, trình chuyển đổi hình ảnh thô kết Hình 3.3 Tiền xử lý hình ảnh ban đầu đầu vào hệ thống Ngoài ra, số cho thấy độ sáng khu vực lựa chọn hình ảnh đầu vào đầu Chúng ta dễ dàng để tính toán độ sáng trung bình hình ảnh ban đầu 100 Và độ sáng trung bình hình ảnh kết 150 Hơn nữa, 18 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da cần phải lưu ý độ sáng khuôn mặt gần gấp ba lần đạt đến 167 Cách tiếp cận trình bày đơn giản nên có lợi rõ ràng "phương pháp chỉnh sửa gamma" Có nhiều trường hợp việc sử dụng cách tiếp cận đơn giản đủ, có trường hợp cần phải bổ sung them số yếu tố cho thuật toán giai đoạn tiền xử lý liệu vào hệ thống [38] 3.2.2.1 Định nghĩa khuôn mặt người Bây điều kiện mà khu vực phải đối mặt với ảnh gốc có độ sáng với giá trị định nghĩa Những điều kiện là: RGB HSV I1I2I3 R>>G>B | R - G |>50; HHmax, Hmin ≤ 0.1 Hmax ≥ 0.9; I2 > độ sáng trung bình (và I2>0) (3.5) 3.2.2.2 Thuật toán xác định vị trí khuôn mặt dựa kỹ thuật mặt nạ Thuật toán xác định vị trí khuôn mặt dựa kỹ thuật mặt nạ mô tả sau: 1) Xác định kích thước hình ảnh ban đầu M N; 2) Xác định thành phần H thành phần I2; 3) Xây dựng ma trận mặt nạ kích thước M*N; 4) Thực phân tích thành phần điểm ảnh dựa R, G, B, H I2 để kiểm tra điều kiện (3.5) 5) Nếu thỏa mãn điều kiện (3.5) thiết lập giá trị cho điểm (i, j) ngược lại 1, nêu thoa man (3.4) MASKA(i, j ) =  ; 0, nguoc lai 6) Lặp lại bước cho i = 1, 2, , M j = 1, 2, , N 7) Cơ sở liệu ảnh Ảnh gốc Tiền xử lý Phân tích thành phần ảnh màu RGB H I2 Tổng hợp 19 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da Hình 3.4 Bản gốc hình ảnh đầu vào phát mặt nạ thích hợp xác định khu vực mặt người Sau thực thuật toán, có mặt nạ cho phép xác định tất khuôn mặt hình ảnh ban đầu Các vùng đại diện thích hợp sau biến đổi qua ma trân ta thu ứng cử viên cho khuôn mặt người vùng tương ứng với màu sắc "màu da" Chúng ta cần trả lời câu hỏi: “Thế mặt nạ thích hợp thực số điều kiện định (3.5) trông giống "mặt nạ tổng số" đại diện cho hiệu ứng kết hợp phân khúc từ tất điều kiện (3.5)?” Ngoài ra, trả lời cho câu hỏi làm để kết hợp mặt nạ riêng biệt chúng kết hợp để xác định cách tốt ranh giới khuôn mặt / khu vực tương ứng với màu sắc "màu da" Câu trả lời cho câu hỏi đưa hình 3.5 Ở cột bên trái hiển thị hình ảnh màu sắc ban đầu, trình bày định dạng không gian màu RGB Cột thứ hai cho thấy hiệu việc tiền xử lý trước cải thiện độ sáng hình ảnh nguồn Ba cột tính toán cột mặt nạ Cột cuối xác định mặt nạ cho tất điều kiện (3.5) 3.2.2.3 Xác định tọa độ trung tâm khuôn mặt 20 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da Lưu ý mặt nạ tổng nhị phân bao gồm yếu tố quan trọng môi trường đối tượng có kích thước nhỏ Các đối tượng trung bình nhỏ nhiều không quan tâm Chúng ta quan tâm đến điểm lớn Những đối tượng nhỏ (có chứa 1-2 pixel) hiểu yếu tố xung nhiễu Trong trường hợp này, nỗ lực thực để lọc nhiễu cách sử dụng lọc trung bình với kích thước mặt nạ điểm ảnh [17, 19] Tuy nhiên, kết mặt nạ chứa đựng dấu tích lại yếu tố nhiễu Chúng không loại bỏ chúng tiếp tục dựa thực tế diện tích lớn đốm trắng phải thuộc mặt sử dụng chiến lược trình bày [17, 19] Việc biến đổi mặt nạ nhị phân thông thường để tồn thông tin vị trí diện tích lớn đốm trắng Ở đây, kết chung mặt nạ chọn từ hàng hình 3.6 Để thực lọc tiến hành sau [17, 19]: Hình 3.5 Định nghĩa trung tâm khuôn mặt 1) Thực hai chiều thấp vượt qua lọc mặt nạ "1"; 2) Kết lọc hình ảnh mặt nạ "2" mặt nạ "3" (trong hình thức 3D); 3) Xác định tối đa hình ảnh lọc tọa độ x y tối đa; 4) Hình ảnh lọc, tối đa không 0.4 lần, xác định cắt giảm (song song với mặt phẳng XY) sử dụng để xây dựng hình ảnh nhị phân (mặt nạ "4") Lưu ý mặt nạ "2" (hoặc mặt nạ "3") làm bị thông tin trung bình đối tượng mặt nạ nhị phân ban đầu, x tối đa y số mặt nạ "3" khoảng tương ứng với trung tâm hình học khu vực lớn màu trắng điểm mặt nạ nhị phân thông thường 21 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da Ranh giới Xmin, Xmax Ymin, Ymax mặt nạ "4" xác định trung tâm khuôn mặt Giá trị họ thu cách chiếu hàng cột mặt nạ "4" trục «X» «Y» Khoảng cách (Xmax-Xmin) thực chiều rộng khuôn mặt, cho phép bạn để xác định ranh giới theo hình ảnh màu sắc ban đầu Kết thể hình 3.6, khuôn mặt người chọn trình bày cột bên phải Một ví dụ tương tự thể hình 3.7 Hình 3.6 Ví dụ phân lớp khuôn mặt Hình 3.7 Ví dụ phân lập khuôn mặt 3.2.3 Các phân tích khuôn mặt sau tiền xử lý Việc lựa chọn khuôn mặt (hình 3.8, ảnh 1), vị trí dòng mắt góc khuôn mặt Nếu thông số nằm giới hạn quy định, tiếp tục xử lý dừng lại đầu vào hệ thống "chụp" nguồn hình ảnh Nếu thông số nằm giới hạn quy định để xoay mặt (hoặc toàn hình ảnh) góc độ tính toán [37] Tiếp theo, dòng tính đối xứng dòng mắt, phản ánh vị trí hình 3.8, ảnh Hình 3.8 Các phân tích khuôn mặt tiền xử lý Các phương pháp để giải vấn đề trình bày Chương luận văn Bây giờ, vào hình ảnh khung khuôn mặt xác định tọa độ mắt trung tâm Ở sử dụng phương pháp trình bày [25, 26,39] Tất giai đoạn trung gian trình sử dụng trung tâm mắt định vị hiển thị hình 3.9a 22 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da Hình 3.9a Các bước để xác định tọa độ mắt trung tâm Trong hình 3.9a, khu vực phân tích khuôn mặt có khuôn mặt độ dốc dòng nang "X" mắt xác định từ vị trí tối đa, vị trí mắt trái phải, trung tâm mắt tìm thấy Cuối cùng, xác định khoảng cách "d" trung tâm mắt trục "X", thể 3.9b hình bên trái Hình 3.9b Căn chỉnh khuôn mặt theo yêu cầu Bây xác định yếu tố tỷ lệ (rescaling): k = d/60 d tính toán khoảng cách trung tâm mắt, 60 - khoảng cách trung tâm mắt cho hình ảnh tương ứng với tiêu chuẩn [35,40] Hơn nữa, với hệ số k, peremasshtabiruem lựa chọn (và phẳng) hình ảnh khuôn mặt để kích thước Mnew× N new ≡ 320× 240 Và kết điều mô tả hình 3.10b bên phải Các đặc điểm thuật toán hệ thống Và vậy, thuật toán trình bày phần người phát hình ảnh màu có chứa có người Dưới ý tưởng thuật toán để xác định tọa độ trung tâm mắt mang lại lựa chọn người cho 320× 240 23 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da Phát thuật toán thực ý tưởng khuôn khổ trình bày [17, 19], khác từ ý tưởng Sự khác biệt hệ thống thể cấu trúc hiển thị hình 3.10 Hình 3.10 Cấu trúc hệ thống xác định chuẩn hóa mặt người Trong đó: 1) Đề xuất phương pháp tiền xử lý hình ảnh ban đầu để tăng độ sáng ảnh gốc đầu vào nhằm cải thiện việc phân bố khu vực "màu da" phân đoạn ảnh gốc 2) Xây dựng mặt nạ nhị phân cách sử dụng thành phần H I2 định nghĩa đơn giản thành phần R, G, B Sau tất cả, thiết kế để cải thiện hiệu suất hệ thống; 3) Để xây dựng mặt nạ nhị phân sử dụng để tìm vài pixel màu dựa điều kiện đơn giản, có tông màu da làm tăng vững mạnh thuật toán phát hiện; 4) Dựa mặt nạ nhị phân riêng biệt hình thành mặt nạ nhị phân thông thường, xác đại diện cho ranh giới khuôn mặt, số lượng nhỏ lĩnh vực bao gồm bên không; 24 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da 5) Sử dụng số phương pháp để xác định thông số mặt: trung tâm tọa độ, ranh giới kích thước khu vực này, xác định xác vị trí tách khỏi ảnh gốc; 6) Xác định kết trung gian (kết 1), thiết kế để kiểm tra khu vực lựa chọn khuôn mặt cho phù hợp với thông số quy định: trường hợp điều trị không gián đoạn, có "giữ" hình ảnh đầu vào hệ thống phát trình bắt đầu lần nữa, phím kiểm soát tất K1 thực K2 tín hiệu từ khối (chấm-line); 7) Giới thiệu thủ tục để xác định thông số khuôn mặt: góc, khoảng cách trung tâm mắt yếu tố rescaling, thủ tục lựa chọn phù hợp với người để đáp ứng tiêu chuẩn [35] thông số Lưu ý số thủ tục (chức năng) tương ứng với số khối để thực chức hệ thống Hình 3.10 cho thấy tùy chọn chụp ảnh đầu vào hệ thống thông qua, xử lý Nếu tiêu chuẩn không phù hợp (kích thước, định dạng, chất lượng nội dung thông tin), vô hiệu hóa K2 xử lý tiếp, K1 phím bao gồm cho đầu vào chụp mới! Điều cho phép bạn tối ưu hóa hiệu suất hệ thống với liệu đầu vào không ổn định Như vậy, theo cấu trúc đề xuất hệ thống, thuật toán cho hoạt động Phát bao gồm khối chức làm việc với để cải thiện ranh giới lựa chọn màu da, đảm bảo hiệu suất cao hệ thống Các thuật toán giới thiệu chức để kiểm tra phần bật khuôn mặt, cho phù hợp với thiết lập lại thông số tối ưu hóa phát người có liệu đầu vào không ổn định Những tính (và tính khác liệt kê trên), phân biệt giải pháp đề xuất hệ thống trước 3.3 Kết thực nghiệm đánh giá Các kết thực nghiệm thuật toán với phương pháp thời gian thực với máy ảnh với sở liệu ảnh khác thể hình Mô tả sở liệu dùng cho thực nghiệm 25 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da Hiện hầu hết tất phương pháp xử lý nhận dạng mặt người thực nghiệm sở liệu mặt người (ORL, BioID FERET, AllFaces [36]) sở liệu không hoàn toàn thỏa mãn tiêu chuẩn ảnh BIOMETRIC nhiên lại cho phép kiểm tra yêu cầu cần thiết phương pháp : đánh giá xem phương pháp có làm việc với sở liệu có kích thước format không chuẩn hay không, có làm việc xác sở liệu ảnh có chất lượng không tốt hay không dùng để thống kê độ xác…Chính luận văn sử dụng sở liệu để đánh giá phương pháp xác định vị trí mắt người Cơ sở liệu FERET [36] sử dụng rộng dãi thử nghiệm toán nhận dạng mặt người, luận văn sử dụng để thử nghiệm thuật toán xác định vị trí mắt người, kích cỡ ảnh 224 x 184 px dạng jpg, chế độ GRAY MÀU Ví dụ biểu diễn hình 3.11 FERET COLOR FERET GRAY Hình 3.11 Khuôn mặt sở liệu FERET[36] Những hình ảnh sở liệu FERET có đặc tính sau: - Thay đổi đáng kể độ sáng hình ảnh nền; - Kích thước khuôn mặt khác (thay đổi gấp lần); - Thay đổi kiểu tóc khuôn mặt người, hướng quay đầu; - Thay đổi tuổi tác thay đổi quần áo; - Sự diện kính; Sử dụng CSDL thí nghiệm kiểm chứng độ xác hệ thống ví CSDL gần với điều kiện thực tế 26 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da Hình 3.12 Kết phát vị trí mặt người sở liệu FERET COLOR Trong số 797 hình ảnh có 50 hình ảnh không phát xác khuôn mặt với sở liệu FERET COLOR tỷ lệ lỗi xấp xỉ 6,2% Hình 3.13 Kết phát vị trí mặt người sở liệu CAMERA KẾT LUẬN Những vấn đề giải luận văn 1- Luận văn nêu tầm quan trọng việc xác định vị trí khuôn mặt hệ thống nhận dạng mặt người nói riêng hệ thống sinh trắc học nói chung 27 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da 2- Luận văn đánh giá thuật toán phương pháp xác định vị trí mặt người sử dụng, đưa đánh giá ưu điểm nhược điểm phương pháp 3- Trong chương đưa xây dựng thuật toán xác định vị trí mặt người mình, đưa toán có ý nghĩa thực tiễn việc xác định chuẩn hóa khuôn mặt theo chuẩn biometric 4- Trong phần thực nghiệm thử nghiệm sở liệu FERET COLOR – sở liệu sử dụng rộng rãi hệ thống nhận dạng mặt người Công việc nghiên cứu tương lai Trong tương lai tiếp tục nghiên cứu tối ưu thuật toán xây dựng hệ thống chuẩn hóa ảnh để đưa vào sử dụng hệ thống xây dựng sở liệu phục vụ cho việc nhận dạng mặt người 28 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da TÀI LIỆU THAM KHẢO Tiếng Việt Đỗ Năng Toàn, Phạm Việt Bình (2007), Giáo trình xử lý ảnh, Nxb Đại học Thái Nguyên Lương Mạnh Bá, Nguyễn Thanh Thủy (2007), Nhập môn xử lý ảnh số, Nxb Khoa học Kỹ thuật Tiếng Anh R.-J Huang Detection strategies for face recognition using learning and evolution - PhD thesis, George Mason University, Fairfax, Virginia, 1998 M.-H Yang, D Kriegman, N Ahuja Detecting faces in images: a survey , IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 24 (1) (2002) 34–58 J Sobottka and I Pitas, “Segmentation and Tracking of Faces in Color Images”, Proc Second Int’l Conf Automatic Face and Gesture Recognition, pp 236-241, 1996 T.K Leung, M.C Burl, and P Perona, “Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching”, Proc Fifth IEEE Int’l Conf Computer Vision, pp 637-644, 1995 K.V Mardia and I.L Dryden, Shape Distributions for Landmark Data, Advanced Applied Probability, vol 21, pp 742-755, 1989 Kim, H., Kang, W., Shin, J., Park, S Face detection using template matching and ellipse fitting, IEICE Trans Inform Syst., 2000, E38-D(11):2008-2011 J Canny, “A Computational Approach to Edge Detection”, IEEE Trans Pattern Analysis and Machine Intelligence, vol 8, no 6, pp 679-698, June 1986 H.P Graf, T Chen, E Petajan, and E Cosatto, “Locating Faces and Facial Parts”, Proc First Int’l Workshop Automatic Face and Gesture Recognition, pp 41-46, 1995 E Osuna, R Freund, and F Girosi, “Training Support Vector Machines: An Application to Face Detection” Proc IEEE Conf Computer Vision and Pattern Recognition, pp 130-136, 1997 Sakai et al, Locating and extracting the eye in human face images, Pattern Recognition 1996 29(5), pp 771– 779 Craw et al Robust face detection at video frame rate based on edge orientation features // in: Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR),Washington, DC, USA, 2002, pp 342–347 P Sinha, Object Recognition via Image Invariants: A Case Study, Investigative Ophthalmology and Visual Science, vol 35, no 4, pp 1735-1740, 1994 P Sinha, Processing and Recognizing 3D Forms, PhD thesis, Massachusetts Inst of Technology, 1995 A Yuille, P Hallinan, and D Cohen, “Feature Extraction from Faces Using eformable Templates”, Int’l J Computer Vision, vol 8, no 2, pp 99-111, 1992 K Lam and H Yan, “Fast Algorithm for Locating Head Boundaries,” J.Electronic Imaging, vol 3, no 4, pp 351-359, 1994 Fuzhen Huang and Jianbo Su, “Multiple Face Contour Detection Using adaptive Flows”, Sinobiometrics 2004, LNCS 3338, pp 137-143, Springer-Verlag Berlin eidelberg, 2004 A Lanitis, C.J Taylor, and T.F Cootes, “An Automatic Face Identification System Using lexible Appearance Models”, Image and Vision Computing, vol 13, no 5, pp 393-401, 1995 M Kirby and L Sirovich, “Application of the Karhunen-LoeveProcedure for the Characterization of Human Faces”, IEEE Trans Pattern Analysis and Machine Intelligence, vol 12, no 1, pp 103-108, Jan 1990 P Viola and M J Jones, “Robust Real-Time Face Detection”, International Journal of Computer Vision 57(2), 137-154, Kluwer Academic Publishers, Netherlands, 2004 H Rowley, S Baluja, T Kanade Neural network-based face detection // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 20 (1) (1998) 23–38 Viola, P Rapid Object Detection Using a Boosted Cascade of Simple Features // Proc IEEE Conference on CVPR, 2001, pp 511-518 H Rowley, S Baluja, T Kanade Neural network-based face detection // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 20 (1) (1998) 23–38 29 Xác định vị trí mặt người ảnh số dựa kỹ thuật nhận biết màu da B Fro¨ba, C Ku¨blbeck Robust face detection at video frame rate based on edge orientation features // in: Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR),Washington, DC, USA, 2002, pp 342–347 O Jesorsky, K Kirchberg, R Frischholz Robust face detection using the hausdorff distance // in: Proceedings of the Third International Conference on Audio- and Video-based Biometric Person Authentication (AVBPA), Halmstad, Sweden, 2001, pp 90–95 V Popovici, Y Rodriguez, J.-P Thiran, S Marcel On performance evaluation of face detection and localization algorithms // in: Proceedings of the International Conference on Pattern Recognition (ICPR), Cambridge, UK, 2004, pp 313–317 Cai, J., Goshtasby, A Detecting human faces in color images, Image and Vision Computing, 1999, 18(1), pp 63-75 Viola, P Rapid Object Detection Using a Boosted Cascade of Simple Features // Proc IEEE Conference on CVPR, 2001, pp 511-518 Sobotka K., Pitas I Looking for Faces and Facial Features in Color Images // In 4th Open Russian-German Workshop: Pattern Recognition and Image Analysis, Valday, The Russian Federation, March 3-9, 1996 Z Qian, D Xu Automatic eye detection using intensity filtering and K-means clustering // Pattern Recognition Letters 31 (2010) pp 1633–1640 Zhou, Z., Geng, X., Projection functions for eye detection // Pattern Recognition 2004 37 (5), pp 1049–1056 D’Orazio, T., Leo, M., Cicirelli, G., Distante, A., An algorithm for real time eye detection in face images // In: Proc IEEE Conf on Pattern Recognition, 2004, pp 278–281 Liu, Hong; Wu, Yuwen; Zha, Hongbin Eye state detection from color facial image sequence // Proc SPIE Vol 4875, 31 July 2002, p 693-698 30 ... s da trờn k thut nhn bit mu da Trong ú: P(c|skin) v P(c|-skin) c tớnh trc tip t biu mu da v khụng mu da Xỏc sut ton phn P(skin) v P(-skin) thỡ c c lng t mt s lng cỏc mu l mu da v khụng mu da. .. Markov n 2.4.7 Phng phỏp da trờn phõn loi Bayes Xỏc nh v trớ mt ngi nh s da trờn k thut nhn bit mu da CHNG 3: THUT TON XC NH V TR MT NGI TRONG NH S DA TRấN K THUT NHN BIT MU DA Phỏt hin v trớ mt... vựng mu da ỏp dng lun 3.1.1 Khụng gian mu s dng cho mụ hỡnh húa mu da 3.1.2 Mụ hỡnh húa mu da 3.1.2.1 Xỏc nh ngng c th mt im nh l mu da Trong mt s khụng gian mu, phng phỏp xõy dng v xp lp mu da bng