Mô hình hóa màu da (Facial Skin Color Modeling)

Mô hình hóa màu da (Facial Skin Color Modeling)

Mô hình hóa màu da (Facial Skin Color Modeling) Nội dung • Giới thiệu – Ứng dụng màu sắc trong phát hiện mặt người – Đặc điểm màu sắc: Điểm mạnh & Điểm yếu • Phát hiện màu da trong các không gian màu • Mô Hình Màu Da • Mô hình hoá màu da với Skin locus • Kết luận • Demo Giới thiệu – Ứng dụng màu sắc trong phát hiện mặt người • Có thể nhần lẫn đối tượng tương tự màu Ví dụ: Bàn tay, gỗ • Cần những căn cứ khác để phát hiện vùng mặt  Sử dụng như bước tiền xử lý để loại bỏ những đối tượng sai rõ • Yếu tố nào cần quan tâm khi chọn mô hình màu da? • Làm sao để tìm mô hình phù hợp? Đặc điểm màu sắc • Màu sắc có độ phân biệt cao và tính toán nhanh • Những biến đổi hình học thông thường không ảnh hưởng thông tin màu • Màu da khác hẳn so với những thứ xung quanh  Màu sắc được dùng khá phổ biến trong phát hiện mặt người Đặc điểm màu sắc (tt) • Nhạy với biến đổi về độ chiếu sáng (đặc biệt là sắc độ)  Có thể ảnh hưởng xấu cho 1 số mô hình White balancing Yếu tố nào cần quan tâm khi chọn mô hình màu da? • Nhân tố quan trọng cần quan tâm là độ chiếu sáng • Sắc thái da (skin tone): những giá trị màu thể hiện da với chất lượng chấp nhận được với con người. • Khó khăn khi chọn mô hình: với skin tone tương ứng với mô hình, thay đổi màu sắc (illumination)  vùng da trở thành không phải da Những nhân tố ảnh hưởng thể hiện màu da • Khác biệt về độ nhạy của máy ảnh • Sự phản xạ • Tham số cài đặt của camera  Ít ảnh hưởng hơn thay đổi về độ chiếu sáng Nội dung • Giới thiệu • Phát hiện màu da trong các không gian màu – Các nghiên cứu và so sánh • Mô Hình Màu Da • Mô hình hoá màu da với Skin locus • Kết luận • Demo Màu da trong các không gian màu • Không gian màu: Tạo ra bằng cách chuyển đổi từ không gian RGB • Tách thông tin màu: Cường độ (Intensity) và sắc độ (chromaticity)  Không hoàn toàn: Sắc độ phụ thuộc vào giá trị cường độ trong RGB  Sử dụng thông tin sắc độ không cho ta kết quả tốt đối với biến đổi về cường độ Màu da trong các không gian màu (tt)  Thiết kế một không gian mới để giải quyết yêu cầu • Ví dụ: tint/saturation/lightness (TSL), không gian màu đặc biệt dùng trong phát hiện màu da do Terrillon và cộng sự thiết kế [...]... Phân bố màu trên một tập các ảnh tuần tự khá giống nhau hay sự thay đổi ít Tuy nhiên độ chiếu sáng thay đổi rất nhanh Nội dung • Giới thiệu • Phát hiện màu da trong các không gian màu • Mô Hình Màu Da • Mô hình hoá màu da với Skin locus – Tạo Skin locus – Ứng dụng của skin locus • Kết luận • Demo Mô hình hoá màu da với Skin locus Ánh sáng thay đổi  màu da thay đổi Skin Locus là khoảng sắc độ da dưới... dụng dùng skin tone • Khó đưa ra mô hình tốt nhất vì còn tùy thuộc vào nhiều điều kiện  Tùy vào ứng dụng mà chọn mô hình Nội dung • Giới thiệu • Phát hiện màu da trong các không gian màu • Mô Hình Màu Da – PP Trên Ảnh Đơn – PP Trên Chuỗi Ảnh Tuần Tự • Mô hình hoá màu da với Skin locus • Kết luận • Demo Mô Hình Màu Da • Phương pháp trên ảnh đơn (single image) Đặc điểm: dựa trên xác suất phân bố màu điểm... Trích xuất vùng da (tự động hoặc làm tay) Cách tiếp cận dựa trên tập ảnh Bước 3: Chuyển từ không gian RGB  NCC Mô hình hoá bằng hàm thích hợp (đa thức) NCC Normalized Color Coordinate White Balance Quá trình loại bỏ các dải màu không thực (unrealistic color casts) Ứng dụng của skin locus: một vài ví dụ • Các ảnh tĩnh • Video Ảnh tĩnh • Xem skin locus như là bộ lọc • Xác định màu da la mặt Video... Pháp Trên Ảnh Đơn (2) • Dựa vào vùng không gian màu (region in color space) Ý tưởng: da người nằm trong một vùng không gian màu nhất định  cần xác định hình dạng của vùng này Điểm yếu: định ra đường biên vùng không dễ vì bị ảnh hưởng bởi nhiễu, tập ảnh, độ chiếu sáng,… Phương Pháp Trên Ảnh Đơn (3) • Tinh chỉnh màu cho phương pháp dựa vào vùng không gian màu Mục đích: giảm ảnh hưởng của sự biến đổi độ... pháp: màu trắng tham khảo (reference white) - Chọn một dãi giá trị màu trắng trong tập giá trị độ sáng gamma không tuyến tính đã được tinh chỉnh (nonlinear gamma-corrected liminance) - Hệ số scale các giá trị trên về 255 làm hệ số tinh chỉnh ảnh Phương pháp Trên Chuỗi Ảnh Tuần Tự • Mô hình bất biến (fixed model) Xem mỗi bức ảnh là một tập các ảnh rời rạc  giống phương pháp trên • Mô hình thích ứng (adaptive... thấp nhất, phát hiện đúng: 95% với tập huấn luyện Những nghiên cứu và so sánh (tt) • Jones and Rehg: thực nghiệm trong không gian RGB – Mô hình histogram cho kết quả tốt hơn Mô hình Gauss hỗn độn • Zarit: phân lớp dựa tren histogram màu, thực hiện trên 5 không gian màu: CIE Lab, Fleck HS, HSV, normalized RGB, YCrCb – Dựa trên look-up table và lý thuyết quyết định Bayesian – Không gian HS tốt nhất Những... suất phân bố màu điểm ảnh hoặc vùng giới hạn của không gian màu đối tượng • Phương pháp trên chuỗi ảnh tuần tự (image sequence) Đặc điểm: theo vết một đối tượng, lợi dụng tính chất những đặc trưng biến đổi rất chậm để tìm vùng da Phương Pháp Trên Ảnh Đơn (1) • Dựa vào phân bố xác suất (Statistics) Ý tưởng: mỗi đối tượng có tỉ lệ sắc màu (color tone) riêng biệt  cần tính giá trị ngưỡng (threshold)... hoá màu da với Skin locus Ánh sáng thay đổi  màu da thay đổi Skin Locus là khoảng sắc độ da dưới sự thay đổi của cường độ sáng trong không gian màu NCC Ưu điểm của Skin Locus: • Chịu được sự thay đổi cường độ sáng • Chịu được sự thay đổi sắc độ sáng Tạo Skin locus 2 cách tiếp cận: • Dựa trên quang phổ (Spectralbased) • Dựa trên tập ảnh (Image-Based) Cách tiếp cận dựa trên quang phổ Cần các thông... (chromaticity descriptor)  Chống lại những ảnh hưởng do thay đổi cường độ • Điều kiện: – Camera tuyến tính – Không gian màu độc lập giữa cường độ và sắc độ Những nghiên cứu và so sánh (tt) • Sắc thái da khác nhau chủ yếu ở giá trị cường độ của chúng • Do độ phản xạ của những nhóm sắc thái da là tương tự nhau Những nghiên cứu và so sánh (tt) • Brand và Mason so sánh 3 phương pháp – Ratio between RGB channel... casts) Ứng dụng của skin locus: một vài ví dụ • Các ảnh tĩnh • Video Ảnh tĩnh • Xem skin locus như là bộ lọc • Xác định màu da la mặt Video • Video được tách riêng thành các frame để xử lý • Có thể lấy skin locus dựa trên các frame đầu  . thiệu • Phát hiện màu da trong các không gian màu – Các nghiên cứu và so sánh • Mô Hình Màu Da • Mô hình hoá màu da với Skin locus • Kết luận • Demo Màu da trong các không gian màu • Không gian màu: Tạo. Mô hình hóa màu da (Facial Skin Color Modeling) Nội dung • Giới thiệu – Ứng dụng màu sắc trong phát hiện mặt người – Đặc điểm màu sắc: Điểm mạnh & Điểm yếu • Phát hiện màu da trong. không gian màu • Mô Hình Màu Da • Mô hình hoá màu da với Skin locus • Kết luận • Demo Giới thiệu – Ứng dụng màu sắc trong phát hiện mặt người • Có thể nhần lẫn đối tượng tương tự màu Ví dụ: