Một hứớng tiếp cận trong phát hiện khuân mặt trong ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG…………… Luận văn Một hứớng tiếp cận phát khuân mặt ảnh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com MỤC LỤC TÓM TẮT .4 CHƢƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT 1.1 Giới thiệu 1.2 Tổng quan kiến trúc hệ thống nhận dạng mặt ngƣời 1.3 Một số lĩnh vực ứng dụng phát khuôn mặt 1.4 Các hƣớng tiếp cận liên quan đến phát nhận dạng khuôn mặt 1.4.1 Hƣớng tiếp cận dựa tri thức 1.4.2 Hƣớng tiếp cận dựa đặc trƣng bất biến 11 1.4.3 Hƣớng tiếp cận dựa so khớp mẫu 13 1.4.4 Hƣớng tiếp cận dựa máy học (hay diện mạo) 16 1.5 Khó khăn thách thức tốn xác định khn mặt 18 CHƢƠNG 2: MỘT SỐ PHƢƠNG PHÁP MÁY HỌC 20 2.1 Khái niệm máy học 20 2.1.1 Các loại giải thuật máy học 20 2.1.2 Các chủ đề máy học 21 2.2 Một số phƣơng pháp máy học ứng dụng phát khuôn mặt 22 2.2.1 Phƣơng pháp Mạng neuron 22 2.2.2 Phƣơng pháp SVM – support vector machine 23 2.2.3 Mơ hình Makov ẩn 23 2.2.4 Mô hình Adaboost 24 CHƢƠNG 3: PHÁT HIỆN KHUÔN MẶT TRONG ẢNH DỰA VÀO MÀU DA 31 3.1 Tổng quan kỹ thuật nhận biết màu da dựa tính chất điểm ảnh 31 3.1.1 Giới thiệu 31 3.1.2 Không gian màu sử dụng cho mơ hình hóa màu da 32 3.1.3 Mơ hình hóa màu da 35 3.1.4 Mơ hình hóa phân phố màu da có tham số 38 3.1.5 So sánh kết mơ hình 39 3.1.6 Đánh giá phƣơng pháp 41 3.1.7 Chọn lựa khơng gian màu phƣơng pháp mơ hình hóa dùng để nhận biết màu da cho đồ án 41 3.2 Nhận biết phân vùng màu da 42 3.2.1 Lọc khởi tạo 42 3.2.2 Nhận biết màu da 43 3.3 Trích chọn đặc trƣng Haar - like 43 3.4 Huấn luyện dò tìm khuân mặt 46 3.5 Q trình dị tìm khn mặt 47 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.6 Hệ thống xác định vị trí khn mặt ngƣời 48 CHƢƠNG 4: CÀI ĐẶT ỨNG DỤNG 50 4.1 Môi trƣờng TEST 50 4.2 Một số giao diện 50 4.3 Nhận xét 52 KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 54 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Lời cảm ơn Em xin chân thành gửi lời cảm ơn tới thầy cô trƣờng Đại học Dân lập Hải Phòng năm vừa dạy dỗ vun đắp kiến thức để em có điều kiện hồn thành đồ án tốt nghiệp Đặc biệt em xin cảm ơn thầy giáo Ngô Trƣờng Giang khoa Công nghệ thông tin trƣờng Đại học Dân lập Hải Phịng bảo tận tình giúp em hoàn thành đồ án tốt nghiệp Cuối em xin gửi lời biết ơn đến gia đình, bạn bè ủng hộ giúp đỡ em suốt thời gian qua Do trình độ thân có hạn nên khơng tránh khỏi thiếu xót, mong thầy bạn góp ý giúp đỡ để em hồn thiện đồ án Em xin chân thành cảm ơn! Hải Phòng, ngày tháng 10 năm 2010 Sinh viên thực Nguyễn Ạnh Đức LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TĨM TẮT Phát khn mặt vấn đề ngành học quan sát máy tính Là giai đoạn hệ thống nhận dạng mặt ngƣời với nhiều ứng dụng rộng rãi phổ biến khác nhƣ số hóa nội dung ảnh, hệ thống giám sát, hội thảo truyền hình…, phát khn mặt dành đƣợc quan tâm nghiên cứu nhiều ngƣời suốt hai thập kỷ qua Tuy nhiên, với thách thức lớn gây tính biến động mơi trƣờng nhƣ tính biến đổi cao khuôn mặt, phát mặt ngƣời vấn đề mở nhà nghiên cứu Và chƣa có phƣơng pháp thực giải hết thách thức phát khuôn mặt Nhiều cải tiến, nhiều đề xuất đƣợc đƣa nhằm cải thiện chất lƣợng phát khuôn mặt Và cải tiến dựa đặc điểm bất biến có biến động phân vùng đƣợc khn mặt mà màu da ngƣời đặc điểm Xuất phát từ ý tƣởng kết hợp màu da phƣơng pháp phát khuôn mặt hiệu quả, đồ án tập trung xây dựng hệ thống kết hợp hệ thống phát khuôn mặt dựa đặc trƣng Haar lọc AdaBoost phƣơng pháp phân vùng màu da Phƣơng pháp phân vùng màu da đƣợc kết hợp vào hệ thống nhƣ giới hạn cho phép giảm khơng gian tìm kiếm, tức khn mặt đƣợc tìm kiếm vùng màu da Việc phân vùng giúp cho thời gian phát hệ thống cải thiện đáng kể, cịn giúp cho hệ thống hoạt động hiệu Đồ án với tên gọi “Một hƣớng tiếp cận phát khuân mặt ảnh” đƣợc bố cục làm bốn mục Chƣơng : Giới thiệu, bao gồm phần giới thiệu, phần tổng quan kiến trúc hệ thống nhận dạng mặt ngƣời, phần số ứng dụng liên quan tới phát khuôn mặt phần hƣớng tiếp cận liên quan tới phát nhận dạng khuôn mặt Chƣơng : Giới thiệu tổng quan phƣơng pháp máy học Chƣơng : Giới thiệu phƣơng pháp tìm kiếm màu da ảnh Chƣơng : Miêu tả kết việc kiểm thử chƣơng trình Đồng thời có đánh giá nhận xét kết chƣơng trình LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CHƢƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT 1.1 Giới thiệu Hơn thập kỷ qua có nhiều cơng trình nghiên cứu tốn xác định khuôn mặt ngƣời từ ảnh đen trắng, xám đến ảnh màu nhƣ ngày hôm Các nghiên cứu từ tốn đơn giản, ảnh có khn mặt ngƣời nhìn thẳng vào thiết bị thu hình đầu tƣ thẳng đứng ảnh đen trắng Cho đến ngày hơm tốn mở rộng cho ảnh màu, có nhiều khn mặt ảnh, có nhiều tƣ thay đổi ảnh Khơng mà cịn mở rộng phạm vi từ mơi trƣờng xung quanh đơn giản (trong phịng thí nghiệm) môi trƣờng xung quanh phức tạp (nhƣ tự nhiên) nhằm đáp ứng nhu cầu thực tế Xác định khuôn mặt ngƣời (Face Detection) kỹ thuật máy tính để xác định vị trí kích thƣớc khn mặt ngƣời ảnh (ảnh kỹ thuật số) Kỹ thuật nhận biết đặc trƣng khuôn mặt bỏ qua thứ khác, nhƣ: tòa nhà, cối, thể, … 1.2 Tổng quan kiến trúc hệ thống nhận dạng mặt ngƣời Một hệ thống nhận dạng mặt ngƣời thông thƣờng bao gồm bốn bƣớc xử lý sau: phát khuôn mặt (face detection), phân đoạn khn mặt (face alignment hay segmentation), rút trích đặc trƣng (feature extraction), phân lớp khn mặt (face classification) Hình 1-1: Các bƣớc hệ thống nhận dạng mặt ngƣời Phát khn mặt dị tìm định vị vị trí khng mặt xuất ảnh frame video Phân đoạn khuôn mặt xác định vị trí mắt mũi, miệng, thành phần khác khuôn mặt chuyển kết LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com cho bƣớc rút trích đặc trƣng Từ thơng tin thành phần khn mặt, dễ dàng tính đƣợc véc-tơ đặc trƣng bƣớc rút trích đặc trƣng Những véc-tơ đặc trƣng liệu đầu vào cho mơ hình đƣợc huấn luyện trƣớc để phân loại khuôn mặt Bên cạnh bƣớc nêu trên, cịn áp dụng thêm số bƣớc khác nhƣ tiền xử lý, hậu xử lý nhằm làm tăng độ xác cho hệ thống Do số thông số nhƣ: tƣ khuôn mặt, độ sáng, điều kiện ánh sáng, v.v , phát khuôn mặt đƣợc đánh giá bƣớc khó khăn quan trọng so với bƣớc lại hệ thống Trong luận văn này, em tập trung chủ yếu vào bƣớc phát khuôn mặt 1.3 Một số lĩnh vực ứng dụng phát khuôn mặt Bài tốn nhận dạng mặt ngƣời áp dụng rộng rãi nhiều ứng dụng thực tế khác Đó lý mà tốn hấp dẫn nhiều nhóm nghiên cứu thời gian dài Các ứng dụng liên quan đến nhận dạng mặt ngƣời kể nhƣ: - Hệ thống phát tội phạm: camera đƣợc đặt số điểm công cộng nhƣ: siêu thị, nhà sách, trạm xe buýt, sân bay,v.v Khi phát đƣợc xuất đối tƣợng tội phạm, hệ thống gởi thông điệp cho trung tâm xử lý - Hệ thống theo dõi nhân đơn vị: giám sát vào nhân viên chấm công - Hệ thống giao tiếp ngƣời máy: thay việc tƣơng tác ngƣời máy theo cách truyền thống nhƣ: bàn phím, chuột,v.v Thay vào sử dung giao tiếp trực quan: biểu cảm khuôn mặt, dấu hiệu, cử tay (visual input, visual interaction) - Hệ thống tìm kiếm thơng tin ảnh, video dựa nội dung (chỉ mục theo ngƣời) Chẳng hạn nhƣ: đài truyền hình Việt Nam (VTV) có kho liệu video tin tức lớn cần tìm kiếm nhanh đoạn video có G Bush Bin Laden - Các thệ thống bảo mật dựa thông tin trắc sinh học: mặt ngƣời, vân tay,v.v thay xác nhận mật khẩu, khóa,v.v LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 1.4 Các hƣớng tiếp cận liên quan đến phát nhận dạng khn mặt Có nhiều hƣớng tiếp cận trƣớc thực liên quan đến vấn đề phát mặt ngƣời Theo Ming-Hsuan Yang, phân loại thành bốn hƣớng tiếp cận chính: dựa tri thức (knowledge-based), đặc trƣng bất biến (feature invariant), đối sánh mẫu (template matching), dựa vào diện mạo (appearance-based) phƣơng pháp thƣờng dùng mơ hình máy học nên cịn đƣợc gọi phƣơng pháp dựa máy học (machine learning-based) Các phƣơng pháp dựa tri thức: Hƣớng tiếp cân chủ yếu dựa luật đƣợc định nghĩa trƣớc khuôn mặt ngƣời Những luật thƣờng mối quan hệ thành phần khuôn mặt Có số nghiên cứu từ sớm áp dụng phƣơng pháp nhƣ Kanade 1973, G Yang 1994, Kotropoulos 1997 Hƣớng tiếp cận dựa đặc trƣng bất biến: Hƣớng tiếp cận cố gắng tìm kiếm đặc trƣng độc lập - đặc trƣng không phụ thuộc vào tƣ khuôn mặt, điều kiện chiếu sáng, khó khăn khác Các đặc trƣng nhƣ đƣợc gọi bất biến đƣợc sử dụng để phát khuôn mặt Những cơng trình sử dụng hƣớng tiếp cận kể nhƣ:K C Yow R Cipolla 1997, T K Leung 1995 Phƣơng pháp đối sánh mẫu: Trong hƣớng tiếp cận này, mẫu khuôn mặt chuẩn đƣợc định nghĩa tay trƣớc đƣợc tham số hóa hàm số Mẫu đƣợc sử dụng để phát khn mặt cách qt qua ảnh tính tốn giá trị tƣơng đồng cho vị trí Việc xuất khn mặt vị trí ảnh phụ thuộc vào giá trị tƣơng đồng điểm so với mẫu chuẩn I Craw 1992 áp dụng mẫu cứng A Lanitis 1995 sử dụng mẫu biến dạng bƣớc phát khuôn mặt Phƣơng pháp dựa máy học (hay diện mạo): Ngƣợc với phƣơng pháp đối sánh mẫu sử dụng mẫu đƣợc chuyên gia định nghĩa trƣớc, phƣơng pháp sử dụng mẫu đƣợc rút trích qua q trình học Nói cách khác, thuật toán dựa máy học dùng kỹ thuật phân tích thống kê máy học để xấp xĩ hàm phân lớp tuyến tính Có nhiều mơ hình máy học đƣợc áp dụng hƣớng tiếp cận này: Eigenface (M Turk A Pentland 1991 ), Mô hình dựa phân phối (K K Sung and T Poggio 1998 ), Mạng Nơ-ron (H Rowley 1998 ), Support Vector Machine (E Osuna et al 1997 ), Phân lớp Bayes (H Schneiderman T Kanade 1998), Mơ hình LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Markov ẩn (A Rajagopalan et al 1998), mơ hình tăng cƣờng (AdaBoost P Viola M Jones 2001; FloatBoost Stan Z Li Zhen Qiu Zhang 2004) 1.4.1 Hƣớng tiếp cận dựa tri thức Trong hƣớng tiếp cận này, luật phụ thuộc lớn vào tri thức tác giả nghiên cứu tốn xác định khn mặt ngƣời Đây hƣớng tiếp cận dạng top-down Dễ dàng xây dựng luật để mô tả đặc trƣng khuôn mặt quan hệ tƣơng ứng Ví dụ, khn mặt thƣờng có hai mắt đối xứng qua trục thẳng đứng khn mặt có mũi, miệng Các quan hệ đặc trƣng đƣợc mô tả nhƣ quan hệ khoảng cách vị trí Thơng thƣờng tác giả trích đặc trƣng khn mặt trƣớc tiên để có đƣợc ứng viên, sau ứng viên đƣợc xác định thông qua luật để biết ứng viên khuôn mặt ứng viên khuôn mặt Một vấn đề phức tạp dùng hƣớng tiếp cận chuyển từ tri thức ngƣời sang luật cách hiệu Nếu luật chi tiết (chặt chẽ) xác định xác định thiếu khn mặt có ảnh, khn mặt thỏa mãn tất luật đƣa Nhƣng luật tổng qt q xác định lầm vùng khơng phải khuôn mặt mà lại xác định khuôn mặt Và khó khăn cần mở rộng yêu cầu tốn để xác định khn mặt có nhiều tƣ khác Hình 1-2: (a) Ảnh ban đầu có độ phân giải n=1; (b), (c), (d) Ảnh có độ phân giải n=4, 8, 16 Yang Huang dùng phƣơng thức theo hƣớng tiếp cận để xác khuôn mặt Hệ thống hai tác giả bao gồm ba mức luật Ở mức cao nhất, dùng khung cửa sổ quét ảnh thơng qua tập luật để tìm ứng viên khn mặt Ở mức kế tiếp, hai ông dùng tập luật để mô tả tổng qt hình dáng khn mặt Cịn mức cuối lại dùng tập luật LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com khác để xem xét mức chi tiết đặc trƣng khuôn mặt Một hệ thống đa độ phân giải có thứ tự đƣợc dùng để xác định Các luật mức cao để tìm ứng viên nhƣ: “vùng trung tâm khn mặt có bốn phần với mức độ bản”, “phần xung quanh bên khn mặt có mức độ bản”, “mức độ khác giá trị xám trung bình phần trung tâm phần bao bên đáng kể” Độ phân giải thấp ảnh dùng để tìm ứng viên khn mặt mà cịn tìm mức phân giải tốt Ở mức hai, xem xét biểu đồ histogram ứng viên để loại bớt ứng viên khơng phải khn mặt, đồng thời dị cạnh bao xung quanh ứng viên Ở mức cuối cùng, ứng viên lại đƣợc xem xét đặc trƣng khuôn mặt mắt miệng Hai ông dùng chiến lƣợc “từ thô đến mịn” hay “làm rõ dần” để giảm số lƣợng tính tốn xử lý Mặc dù tỷ lệ xác chƣa cao, nhƣng tiền đề cho nhiều nghiên cứu sau Một loại tri trức ngƣời nghiên cứu phân tích khn mặt Kotropoulos Pitas đƣa phƣơng pháp dùng độ phân giải thấp Hai ông dùng phƣơng pháp chiếu để xác định đặc trƣng khuôn mặt, Kanade thành công với phƣơng pháp chiếu để xác định biên khuôn mặt Với I(x,y) giá trị xám điểm ảnh có kích thƣớc m x n vị trí (x,y), hàm để chiếu ảnh theo phƣơng ngang thẳng đứng đƣợc định nghĩa nhƣ sau: HI ( x) n y I ( x, y ) VI ( y ) m x I ( x, y ) (1.1) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com có sở liệu chuẩn đƣợc cơng bố rộng rãi cho vấn đề Cơ sở liệu huấn luyện kiểm định đƣợc biết đến nhiều sở liệu Compaq Trong bảng so sánh đƣợc đƣa dƣới đây, kết tốt mà phƣơng pháp đạt đƣợc, đƣợc tổng hợp [Valimir Vezhnevets, Vassili Sazonov Alla Andreeva ], với kết thử nghiệm dựa có liệu Compaq nêu Bảng sau so sánh hệ số phát không phƣơng pháp Mặc dù phƣơng pháp khác liệu huấn luyện tập liệu test, nhƣ chiến lƣợc huấn luyện, bảng dƣới mơ tả tranh tồn cảnh hiệu phƣơng pháp Phƣơng Pháp Nhận biết Nhận biết sai Bayes SPM RGB 80% 8.5% (Jones Regh 1999) 90% 14.2% 93.4 % 19.8% 80% 8% Gaussian Mixture models RGB 80% ~9.5% (Jones Rehg 1999) 90% ~15.5% SOM in TS 78% 32% 90% 20.9% 90% 33.3% 90% 30,0% 94.7% 30.2% Bayes SPM RGB (Bran Mason 2000) Maximum Entropy Model RGB (Jedynak al 2002) (Brown al 2002) Elliptical boundary model CIE – xy (Lee Yoo 2002) Single Gaussian Cb Cr (Lee Yoo 2002) Gausian Mixture IQ (Lee Yoo 2002) Thresholding trục I YIQ (Brand Mason 2000) Bảng 3-1: Kết nhận biết sai phƣơng pháp 40 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.1.6 Đánh giá phƣơng pháp Ƣu điểm phƣơng pháp sử dụng ngƣỡng để phân lớp điểm ảnh màu da hay khơng tính đơn giản tính trực giác cao quy tắc phân lớp Tuy nhiên, điểm khó khăn cần phải tìm đƣợc không gian màu tốt quy tắc xứng đáng khơng gian Phƣơng pháp đƣợc đề xuất sử dụng thuật toán máy học để tìm đƣợc khơng gian quy tắc thích hợp, nhiên đề xuất vấn đề mở tƣơng lai Các phƣơng pháp sử dụng mơ hình hóa khơng tham số thật nhanh việc huấn luyện phân lớp, độc lập với phân bố hình dạng màu da không gian màu Tuy nhiên, phƣơng pháp lại yêu cầu nhiều nhớ lƣu trữ phụ thuộc cố dịnh vào tập liệu huấn luyện Các phƣơng pháp mơ hình hóa có tham số xử lý nhanh Hơn chúng lại có khả tự tạo liệu huấn luyện phù hợp, chúng đƣợc miêu tả số lƣợng không nhiều tham số đặc biệt chúng cần không đáng kể nhớ lƣu trữ Tuy nhiên, chúng thực chậm huấn luyện làm việc, hiệu chúng phụ thuộc nhiều vào hình dạng phân phối màu da Bên cạnh đó, hầu hết phƣơng pháp mơ hình hóa màu da có tham số bỏ qua thống kê màu tham số 3.1.7 Chọn lựa khơng gian màu phƣơng pháp mơ hình hóa dùng để nhận biết màu da cho đồ án Với mục đích sử dụng nhận biết màu da để tiến hành phần vùng màu da, giảm khơng gian tìm kiếm khn mặt ảnh màu Vì vậy, phƣơng pháp cần thiết cho đồ án phải có hiệu cao, thời gian thực nhanh, yêu cầu nhớ không lớn Thời gian huấn luyện vấn đề Không gian nhớ phải phù hợp với phƣơng pháp nhận biết màu da Chính vậy, xem xét tất phƣơng pháp, đặc trƣng nhƣ hiệu phƣơng pháp Chúng ta sử dụng phƣơng pháp mơ hình hóa có tham số để tiến hành phân vùng màu da cho ảnh Cụ thể phƣơng pháp đƣợc lựa chọn phƣơng pháp mơ hình hóa màu da có tham số dựa phân phối Gaussian Và khơng gian màu đƣợc lựa chọn khơng gian RGB đặc điểm đơn, phân biệt rõ ràng độ sáng thành phần màu Đồng thời, để nâng cao hiệu 41 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com giảm thời gian tính tốn cho phƣơng pháp chọn lựa này, xem xét quy tắc đựoc đề xuất nhóm phƣơng pháp dùng nguỡng để lọc khởi tạo loại bỏ điểm ảnh chắn màu da 3.2 Nhận biết phân vùng màu da Với ảnh đầu vào ta tiến hành nhận biết phân vùng màu da cho ảnh Quá trình nhận biết trình phân lớp pixel ảnh làm hai lớp, lớp pixel màu da lớp pixel màu da Sau trình nhận biết, tiến hành phân vùng để sƣ dụng làm giảm không gian tìm kiếm trình phát mặt ngƣời Nghĩa tìm kiếm mặt ngƣời vùng màu da đƣợc nhận biết 3.2.1 Lọc khởi tạo Nhƣ đề cập, trƣớc pixel đƣợc nhận biết có pixel màu da hay khơng đƣợc đƣa qua lọc khởi tạo Thực chất, lọc tập quy tắc đƣợc chọn lọc từ phƣơng pháp chọn ngƣỡng để phân vùng màu da Tập quy tắc đƣợc kiểm định từ thực nghiệm đắn với màu da cần nhật biết Sau tham khảo số quy tắc đƣợc đề xuất, tiền hành chọn lọc thử nghiệm nhiều ảnh màu khác nhau, đồ án đề xuất tập quy tắc sau nhằm giúp lọc từ ban đầu pixel màu da Điều cho phép giảm khối lƣợng tính tốn ảnh đáng kể Tập quy tắc đƣợc phát biểu không gian màu RGB nhƣ sau: Một pixel pixel màu da thỏa mãn điều kiện sau đây: ( (B > 160 && R < 180 && G < 180) - Quá nhiều thành phần xanh lơ (Blue) (G > 160 && R < 180 && B < 180) - Quá nhiều thành phần xanh (Green) (B < 100 && R < 100 && G < 100) - Quá tối (G > 200) – pixel màu xanh Green (R < 102 && G > 100 && B > 110 && G < 140 && B < 160) – Màu xanh đại dương 42 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hoặc là: R > 95 && G > 40 && B < 20 max{R, G, B} – min{ R, G, B }> 15 |R - G| > 15 && R > G && R > B Hoặc là: R > 220 && G > 210 && B > 170 && |R - G| = 15 && R > B && G > B 3.2.2 Nhận biết màu da Kết trình nhận biết đƣợc thấy hình cạnh bên Ảnh phân vùng có dạng ảnh nhị phân Pixel màu da đƣợc giữ ngun, cịn pixel khơng phải màu da đƣợc đại diễn màu đen Hình 3-1: Ảnh trƣớc sau nhận biết màu da 3.3 Trích chọn đặc trƣng Haar - like Đặc trƣng Haar like Viola Jones công bố, gồm đặc trƣng để xác định khuôn mặt ngƣời Mỗi đặc trƣng Haar–like kết hợp hai hay ba hình chữ nhật "trắng" hay "đen" nhƣ hình sau: 43 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 3-2: đặc trƣng Haar-like Để sử dụng đặt trƣng vào việc xác định khuôn mặt ngƣời, đặt trƣng Haar-like đƣợc mở rộng ra, đƣợc chia làm tập đặc trƣng nhƣ sau: Đặc trƣng cạnh (edge features): Đặc trƣng đƣờng (line features): Đặc trƣng xung quanh tâm (center-surround features): Hình 3-3: Các đặc trƣng mở rộng đặc trƣng Haar-like sở Dùng đặc trƣng trên, ta tính đƣợc giá trị đặc trƣng Haar-like chênh lệch tổng pixel vùng đen vùng trắng nhƣ công thức sau : f(x) = Tổngvùng đen(các mức xám pixel) - Tổngvùng trắng(các mức xám pixel) Sử dụng giá trị này, so sánh với giá trị giá trị pixel thô, đặc trƣng Haar-like tăng/giảm thay đổi in-class/out-of-class (bên hay bên ngồi lớp khn mặt ngƣời), làm cho phân loại dễ Nhƣ ta thấy rằng, để tính giá trị đặc trƣng Haar-like, ta phải tính tổng vùng pixel ảnh Nhƣng để tính tốn giá trị đặc trƣng Haar-like cho tất vị trí ảnh địi hỏi chi phí tính tốn lớn, khơng đáp ứng đƣợc cho ứng dụng địi hỏi tính run-time Do Viola Jones đƣa khái niệm gọi Integral Image, mảng chiều với kích thƣớc với kích ảnh cần tính đặc trƣng Haar-like, với phần tử mảng đƣợc tính cách tính tổng điểm ảnh phía (dịng-1) bên trái (cột-1) Bắt đầu từ vị trí trên, bên trái đến vị trí 44 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com dƣới, phải ảnh, việc tính tốn đơn đựa phép cộng số nguyên đơn giản, P(x,y) = tốc độ thực i( x ' , y ' ) x' x, y ' nhanh (4.1) y Hình 3-4: Cách tính Integral Image ảnh Sau tính đƣợc Integral Image, việc tính tổng giá trị mức xám vùng ảnh thực đơn giản theo cách sau Giả sử ta cần tính tổng giá trị mức xám vùng D nhƣ hình 4, ta tính nhƣ sau: D = A + B + C + D – (A+B) – (A+C) + A (4.2) Với A + B + C + D giá trị điểm P4 Integral Image, tƣơng tự nhƣ A+B giá trị điểm P2, A+C giá trị điểm P3, A giá trị điểm P1 Vậy ta viết lại biểu thức tính D nhƣ sau: (4.3) Hình 3-5: Ví dụ cách tính nhanh giá trị mức xám vùng D ảnh Tiếp theo, để chọn đặc trƣng Haar-like dùng cho việc thiết lập ngƣỡng, Viola Jones sử dụng phƣơng pháp máy học đƣợc gọi AdaBoost AdaBoost kết hợp phân loại yếu để tạo thành phân loại mạnh Với phân loại yếu cho câu trả lời xác viện 45 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com đoán cách ngẫn nhiên chút, phân loại mạnh đƣa câu trả lời xác trên60% 3.4 Huấn luyện dị tìm khn mặt AdaBoost phân loại mạnh phi tuyến phức dựa hƣớng tiếp cận boosting đƣợc Freund Schapire đƣa vào năm 1995 [2] Adaboost hoạt động nguyên tắc kết hợp tuyến tính weak classifiers để hình thành strong classifier Là cải tiến tiếp cận boosting, AdaBoost sử dụng thêm khái niệm trọng số (weight) để đánh dấu mẫu khó nhận dạng Trong trình huấn luyện, weak classifiers đƣợc xây dựng, thuật toán tiến hành cập nhật lại trọng số để chuẩn bị cho việc xây dựng weak classifier kế tiếp: tăng trọng số mẫu bị nhận dạng sai giảm trọng số mẫu đƣợc nhận dạng weak classifier vừa xây dựng Bằng cách weak classifer sau tập trung vào mẫu mà weak classifiers trƣớc làm chƣa tốt Sau cùng, weak classifers đƣợc kết hợp tùy theo mức độ tốt chúng để tạo nên strong classifier Viola Jones dùng AdaBoost kết hợp phân loại yếu sử dụng đặc trƣng Haar-like theo mơ hình phân tầng (cascade) nhƣ sau: Hình 3-6: Mơ hình phân tầng kết hợp phân loại yếu để xác định khuôn mặt 46 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Trong đó, hk phân loại yếu, đƣợc biểu diễn nhƣ sau: Hk = pkfk(x) < pk k ngược lại x: cửa sổ cần xét Ok: ngƣỡng (O = teta) fk: giá trị đặc trƣng Haar-like pk: hệ số định chiều phƣơng trình AdaBoost kết hợp phân loại yếu thành phân loại mạnh nhƣ sau: H(x) = sign(a1h1(x) +a2h2(x) + + anhn(x)) (a = alpha) Với: at >= hệ số chuẩn hố cho phân loại yếu Hình 3-7: Kết hợp phân loại yếu thành phân loại mạnh 3.5 Q trình dị tìm khn mặt Việc dị tìm khn mặt ảnh qua phân tầng huấn luyện gặp vấn đề số sửa sổ với kích thƣớc khác lớn Để khắc phục vấn đề này, phƣơng pháp dò theo kiến trúc tháp đƣợc áp dụng nhƣ sau: xét ảnh s kích thƣớc (wxh) , step = , hệ số co scale = 1.2  Lặp kích thƣớc (w x h) lớn cửa sổ ảnh mặt ngƣời huấn luyện (w0 x h0): - Duyệt toàn vị trí (x,y) cửa sổ với kích thƣớc (w0 x h0) , với vị trí tiến hành: Áp dụng dị tìm phân tầng để xác định có phải mặt ngƣời hay khơng Nếu mặt ngƣời vị trí (x,y) thực tế mặt ngƣời vị trí (x*scalestep, y*scalestep) kích thƣớc cửa sổ (w0*scalestep, h0*scalestep) - Gán w1 = w / scale h1 = h / scale 47 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com - Thu nhỏ ảnh từ kích thƣớc (w x h) đến (w1 x h1) - Gán w = w1 h = h1 - step = step + Nhận xét : Hệ số co scale định độ mịn cửa sồ dị tìm, nhƣ scale nhỏ (≥1 ) có nhiều cửa sổ dị tìm nên xác Áp dụng thuật tốn dị theo kiến trúc tháp nhƣ ta dị tìm tất khn mặt tất vị trí, song kích thƣớc dị tìm bƣớc nhƣ sau : - Bƣớc : kích thƣớc từ (w0, h0) đến (w0*scale,h0*scale) - Bƣớc : kích thƣớc từ (w0*scale,h0*scale) đến (w0*scale2,h0*scale2) - ………… Bƣớc n : kích thƣớc từ (w0*scalen-1,h0*scalen-1) đến (w0*scale,h0*scale) 3.6 Hệ thống xác định vị trí khn mặt ngƣời Hình 3-8: Hệ thống xác định vị trí khn mặt ngƣời (Face detection system) Nhƣ hình trên, từ ảnh gốc ban đầu, ta đƣợc tính Integral Image, mảng chiều với phần tử (x, y) đƣợc tính tổng phần tử (x', y') với x' < x y' < y, mục đích để tính nhanh tổng giá trị mức xám 48 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com vùng hình chữ nhật ảnh gốc Các vùng ảnh đƣợc đƣa qua hàm Haar để ƣớc lƣợng đặc trƣng, kết ƣớc lƣợng đƣợc đƣa qua điều chỉnh AdaBoost để loại bỏ nhanh đặc trƣng khơng có khả đặc trƣng khuôn mặt ngƣời Chỉ có tập nhỏ đặc trƣng mà điều chỉnh AdaBoost cho có khả đặc trƣng khuôn mặt ngƣời đƣợc chuyển sang cho định kết Bộ định tổng hợp kết khuôn mặt ngƣời kết phân loại yếu trả khuôn mặt ngƣời 49 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CHƢƠNG 4: CÀI ĐẶT ỨNG DỤNG 4.1 Môi trƣờng TEST Phần cứng : Một máy tính Pentum IV 2.8 Ghz Card đồ họa 128 MB Ram 512 MB Phần mềm : Ngôn ngữ sử dụng: VC++ Visual Studio 2005 Bộ cài OpenCV OpenCV.NET 4.2 Một số giao diện Hình 4-1: Giao diện chƣơng trình 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 4-2: Ảnh sau đƣợc mở Hình 4-3: Ảnh sau đƣợc lọc màu da 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 4-4: Ảnh kết phát khn mặt 4.3 Nhận xét Chƣơng trình cho kết tƣơng đối tốt, dị tìm đƣợc hầu hết khn mặt Tuy nhiên cịn phát thừa thiếu, điều tập huấn luyện chƣa đƣợc xác tƣ nhƣ màu da ngƣời chụp chƣa đựoc chuẩn xác nhƣ đứng lệch phía, màu da bị chói sáng quá, … 52 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com KẾT LUẬN Phát khn mặt tốn quan trọng lĩnh vực thị giác máy tính Những cơng nghệ có cịn non trẻ nhiều vấn đề cần phải tiếp tục nghiên cứu Với đề tài “Dị tìm khn mặt ảnh dựa vào màu da”, khố luận trình bày tổng quan số phƣơng pháp phát khuôn mặt, tập trung trình bày hai phƣơng pháp “phát khuôn mặt dựa vào màu da” “phát khuôn mặt sử dụng đăc trƣng Haar AdaBoost” Khoá luận xây dựng đƣợc hệ thống phát khuôn mặt sử dụng lọc màu da đặc trƣng Haar lọc AdaBoost cho kết phát đƣợc khn mặt nhanh chóng xác Việc cài đặt thử nghiệm thuật tốn ngơn ngữ MS VC++ 2005 đƣợc thực hiện, bƣớc đầu cho kết tốt Trong tƣơng lai em tiếp tục nghiên cứu thêm để hồn thiện độ xác thời gian dị tìm, cố gắng để ứng dụng đƣợc chƣơng trình vào số hệ thống phục vụ lĩnh vực: giám sát, theo dõi, an ninh trí tuệ nhân tạo… Tuy nhiên hạn chế điều kiện thời gian, khoá luận khơng thể tránh khỏi thiếu xót Kính mong đƣợc đóng góp ý kiến thầy bạn, để em hồn thiện tốt đề tài nghiên cứu đợt khố luận em Em xin trân trọng cảm ơn! 53 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÀI LIỆU THAM KHẢO [1] Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phúc Doãn - Tổng quan phƣơng pháp xác định khuôn mặt ngƣời [2] Nguyễn Tuấn Nghĩa (2005) – Sử dụng mơ hình Entropy cực đại nhận dạng màu da ảnh màu – Luận văn tốt nghiệp Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội [3] CBCL Face Database, CMU and MIT, http://www.ai.mit.edu/projects/cbcl.old/software-datasets/FaceData2.html [4] Tài liệu OpenCV 54 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... đến phát nhận dạng khuôn mặt 1.4.1 Hƣớng tiếp cận dựa tri thức 1.4.2 Hƣớng tiếp cận dựa đặc trƣng bất biến 11 1.4.3 Hƣớng tiếp cận dựa so khớp mẫu 13 1.4.4 Hƣớng tiếp cận dựa... khn mặt đƣợc tìm kiếm vùng màu da Việc phân vùng giúp cho thời gian phát hệ thống cải thiện đáng kể, cịn giúp cho hệ thống hoạt động hiệu Đồ án với tên gọi ? ?Một hƣớng tiếp cận phát khuân mặt ảnh? ??... QUAN VỀ PHÁT HIỆN KHUÔN MẶT 1.1 Giới thiệu 1.2 Tổng quan kiến trúc hệ thống nhận dạng mặt ngƣời 1.3 Một số lĩnh vực ứng dụng phát khuôn mặt 1.4 Các hƣớng tiếp cận liên