Khóa luận tốt nghiệp tìm hiểu một số phương pháp phát hiện khuôn mặt trong ảnh

Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh MỞ ĐẦU Trong năm gần đây, ứng dụng trí tuệ nhân tạo ngày phát triển đánh giá cao Một lĩnh vực quan tâm trí tuệ nhân tạo nhằm tạo ứng dụng thông minh, có tính người nhận dạng Đối tượng cho việc nghiên cứu nhận dạng phong phú đa dạng Trong đề tài chọn đối tượng khuôn mặt, bước việc nhận dạng phát khn mặt Khn mặt đóng vai trị quan trọng q trình giao tiếp người với người, mang lượng thông tin giàu có, chẳng hạn xác định giới tính, tuổi tác, trạng thái cảm xúc người đó, khảo sát đường nét khuôn mặt biết người muốn nói Do đó, phát bước tiền đề quan trọng phục vụ công việc nhận dạng khuôn mặt sau Có nhiều phương pháp phát khn mặt, AdaBoost mạng Nơ-ron phương pháp Đồ án chia chương: Chương trình bày tổng quan số phương pháp phát khuôn mặt Phương pháp Adaboost mạng Nơ-ron dùng để phát khn mặt trình bày chương Chương phần cài đặt ứng dụng, số thử nghiệm dị tìm khn mặt ảnh, cuối kết luận Trang: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khn mặt ảnh CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT 1.1 Giới thiệu Hơn thập kỷ qua có nhiều cơng trình nghiên cứu tốn xác định khuôn mặt người từ ảnh đen trắng, xám đến ảnh màu ngày hôm Các nghiên cứu từ tốn đơn giản, ảnh có khn mặt người nhìn thẳng vào thiết bị thu hình đầu tư thẳng đứng ảnh đen trắng Cho đến ngày hơm tốn mở rộng cho ảnh màu, có nhiều khn mặt ảnh, có nhiều tư thay đổi ảnh Khơng mà cịn mở rộng phạm vi từ mơi trường xung quanh đơn giản (trong phịng thí nghiệm) mơi trường xung quanh phức tạp (như tự nhiên) nhằm đáp ứng nhu cầu thực tế Xác định khuôn mặt người (Face Detection) kỹ thuật máy tính để xác định vị trí kích thước khn mặt người ảnh (ảnh kỹ thuật số) Kỹ thuật nhận biết đặc trưng khuôn mặt bỏ qua thứ khác, như: tòa nhà, cối, thể, … 1.2 Một số lĩnh vực ứng dụng phát khuôn mặt Phát khuôn mặt ứng dụng nhiều lĩnh vực: - Hệ thống tương tác người máy: giúp người bị tật khiếm khuyết trao đổi Những người dùng ngơn ngữ tay giao tiếp với người bình thường Những người bị bại liệt thơng qua số ký hiệu nháy mắt biểu lộ họ muốn, … Đó toán điệu bàn tay (hand gesture), điệu khn mặt, … - Nhận dạng người A có phải tội phạm truy nã hay không? Giúp quan an ninh quản lý tốt người Công việc nhận dạng mơi trường bình thường bóng tối (sử dụng camera hồng ngoại) - Hệ thống quan sát, theo dõi bảo vệ Các hệ thống camera xác định đâu người theo dõi người xem họ có vi phạm khơng, ví dụ xâm phạm khu vực không vào, … Trang: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh - Lưu trữ (rút tiền ATM, để biết rút tiền vào thời điểm đó), có tình trạng người bị người khác lấy thẻ ATM hay mã số PIN người ăn cắp rút tiền, người chủ thẻ rút tiền lại báo cho ngân hàng thẻ tiền Các ngân hàng có nhu cầu có giao dịch tiền kiểm tra hay lưu trữ khn mặt người rút tiền để sau đối chứng xử lý - Thẻ cước, chứng minh nhân dân (Face dentification) - Điều khiển vào ra: văn phòng, cơng ty, trụ sở, máy tính,… Kết hợp thêm vân tay hốc mắt Cho phép nhân viên vào nơi cần thiết, hay người đăng nhập máy tính cá nhân mà khơng cần nhớ tên đăng nhập mật mà cần xác định thông qua khuôn mặt - An ninh sân bay, xuất nhập cảnh (hiện quan xuất nhập cảnh Mỹ áp dụng) Dùng để xác thực người xuất nhập cảnh kiểm tra có phải nhân vật khủng bố không - Tương lai phát triển loại thẻ thơng minh có tích hợp sẵn đặc trưng người dùng đó, người dùng khác dùng để truy cập hay xử lý hệ thống yêu cầu kiểm tra đặc trưng khuôn mặt so với thẻ để biết có phải chủ thẻ hay khơng - Tìm kiếm tổ chức liệu liên quan đến người thông qua khuôn mặt người nhiều hệ sở liệu lưu trữ thật lớn, internet, hãng truyền hình, … Ví dụ: tìm đoạn video có tổng thống Bush phát biểu, tìm phim có diễn viên Thành Long đóng, tìm trận đá banh có Ronaldinho đá - Phân loại lưu trữ hình ảnh điện thoại di động Thơng qua tốn xác định khn mặt người trích đặc trưng, dựa vào đặc trưng để xếp, lưu trữ, giúp người sử dụng dễ dàng truy tìm cần thiết - Kiểm tra trạng thái người lái xe có ngủ gật, tập trung hay không, hỗ trợ thông báo cần thiết - Phân tích cảm xúc khuôn mặt Trang: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh - Một số hãng sản xuất máy chụp ảnh ứng dụng tốn xác định khn mặt người vào máy chụp ảnh hệ kết hình ảnh đẹp 1.3 Một số phương pháp xác định khuôn mặt người Có nhiều nghiên cứu tìm phương pháp xác định khuôn mặt người, từ ảnh xám đến ngày ảnh màu Dựa vào tính chất phương pháp xác định khuôn mặt người ảnh, phân chia phương pháp thành bốn hướng tiếp cận chính: - Hướng tiếp cận dựa tri thức: Mã hóa hiểu biết người loại khuôn mặt người thành luật Thông thường luật mô tả quan hệ đặc trưng - Hướng tiếp cận dựa đặc trưng không thay đổi: Mục tiêu thuật tốn tìm đặc trưng mô tả cấu trúc khuôn mặt người mà đặc trưng không thay đổi tư khn mặt, vị trí đặt thiết bị thu hình điều kiện ánh sáng thay đổi - Hướng tiếp cận dựa so khớp mẫu: Dùng mẫu chuẩn khuôn mặt người (các mẫu chọn lựa lưu trữ) để mô tả cho khuôn mặt người hay đặc trưng khuôn mặt (các mẫu phải chọn cho tách biệt theo tiêu chuẩn mà tác giả định để so sánh) - Hướng tiếp cận dựa diện mạo: Trái ngược hẳn với so khớp mẫu, mơ hình học học từ tập ảnh huấn luyện cho trước Sau hệ thống xác định khn mặt người Một số tác giả gọi hướng tiếp cận hướng tiếp cận theo phương pháp học 1.3.1 Hướng tiếp cận dựa tri thức Trong hướng tiếp cận này, luật phụ thuộc lớn vào tri thức tác giả nghiên cứu toán xác định khuôn mặt người Đây hướng tiếp cận dạng top-down Dễ dàng xây dựng luật để mô tả đặc trưng khuôn mặt quan hệ tương ứng Ví dụ, khn mặt thường có hai mắt đối xứng qua trục thẳng đứng khn mặt có mũi, miệng Các quan hệ đặc trưng mô tả quan hệ khoảng cách vị trí Thơng thường tác giả trích đặc trưng khuôn Trang: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh mặt trước tiên để có ứng viên, sau ứng viên xác định thông qua luật để biết ứng viên khuôn mặt ứng viên khuôn mặt Một vấn đề phức tạp dùng hướng tiếp cận chuyển từ tri thức người sang luật cách hiệu Nếu luật q chi tiết (chặt chẽ) xác định xác định thiếu khn mặt có ảnh, khn mặt khơng thể thỏa mãn tất luật đưa Nhưng luật tổng quát q xác định lầm vùng khơng phải khn mặt mà lại xác định khn mặt Và khó khăn cần mở rộng yêu cầu toán để xác định khn mặt có nhiều tư khác Hình 1-1: (a) Ảnh ban đầu có độ phân giải n = 1; (b), (c), (d) Ảnh có độ phân giải n = 4, 8, 16 Yang Huang dùng phương thức theo hướng tiếp cận để xác định khuôn mặt Hệ thống hai tác giả bao gồm ba mức luật Ở mức cao nhất, dùng khung cửa sổ quét ảnh thơng qua tập luật để tìm ứng viên khn mặt Ở mức kế tiếp, hai ông dùng tập luật để mô tả tổng qt hình dáng khn mặt Cịn mức cuối lại dùng tập luật khác để xem xét mức chi tiết đặc trưng khuôn mặt Một hệ thống đa độ phân giải có thứ tự dùng để xác định, hình 1-1 Các luật mức cao để tìm ứng viên như: “vùng trung tâm khn mặt (phần tối hình 1-2) có bốn phần với mức độ bản”, “phần xung quanh bên khuôn mặt (phần sáng hình 1-2) có mức độ bản”, “mức độ khác giá trị xám trung bình phần trung tâm phần bao bên đáng kể” Ở mức hai, xem xét biểu đồ ứng viên để loại bớt ứng viên khơng phải khn mặt, đồng thời dị cạnh bao xung quanh ứng viên Ở mức cuối cùng, ứng viên lại xem xét đặc trưng khuôn mặt mắt miệng Hai ông dùng chiến lược “từ thô Trang: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh đến mịn” hay “làm rõ dần” để giảm số lượng tính tốn xử lý Mặc dù tỷ lệ xác chưa cao, tiền đề cho nhiều nghiên cứu sau Hình 1-2: Một loại tri trức người nghiên cứu phân tích khuôn mặt Kotropoulos Pitas đưa phương pháp dùng độ phân giải thấp Hai ông dùng phương pháp chiếu để xác định đặc trưng khuôn mặt Kanade thành công với phương pháp chiếu để xác định biên khuôn mặt Với I(x,y) giá trị xám điểm ảnh có kích thước m x n vị trí (x,y), hàm để chiếu ảnh theo phương ngang thẳng đứng định nghĩa sau: HI ( x) = ∑ ny −1 I ( x, y) VI ( y ) = ∑ m x −1 I ( x, y ) (1.1) Hình 1-3: Phương pháp chiếu: (a) Ảnh có khn mặt hình đơn giản; (b) Ảnh có khn mặt hình phức tạp; (c) Ảnh có nhiều khn mặt Dựa biểu đồ hình chiếu ngang, có hai cực tiểu cục hai ông xét trình thay đổi độ đốc HI, cạnh bên trái phải hai bên đầu Tương tự với hình chiếu dọc VI, cực tiểu cục cho ta biết vị trí miệng, đỉnh mũi, hai mắt Các đặc trưng đủ để xác định khuôn mặt Trang: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểuu số phư ương pháp phhát khơn mặt trongg ảnh Hình 1-3.a m ví dụ v cách xáác định Cácch xác địnnh có tỷ t lệ xác định đ xác 86.5% cho trư ường hợp có khn mặt m thẳng trrong ảnh v hình nềnn khơng phhức tạp Nếu N hình nềền phức tạạp khó k tìm, nhhư hình 1-3.b Nếu u ảnh có nhhiều khnn mặt sẽẽ khơng xácc định đượ ợc, hình 1-33.c Hình h 1-4: Chiếếu phhần ứng viêên để xác đđịnh khuôn n mặt Mateos v Chicote dùng kết cấu c để xác định ứng viên trongg ảnh màu Sau phhân tích hìình dáng, kích k thướcc, thành phhần khnn mặt để xáác định khhn mặt Khi tìm đ ứng viên v khnn mặt, haii ơng tríchh ứng viên t thànhh phần khun mặt, sau chiếếu phhần đểể xác thực có phảải thànhh phần khn mặt hayy khơng, hhình 1-4 Tỷ ỷ lệ xác hơnn 87% Berbar kếết hợp mơ hình màuu da người xác địnnh cạnh đểể tìm ứng viên v ó kết hợp ccác đặc trư ưng phư ương pháp chiếu ứng khnn mặt người Sau viên khuôn k mặtt xuống hệệ trục tọa đđộ để xác định đ ứng viên v th hật khhuôn mặt người n 1.3.2 Hướng tiếp cận dựa d đ đặc trưng không k thaay đổi Đây hướ Đ ớng tiếp cậận theo kiểuu bottom-u up Các tácc giả cố gắnng tìm cácc đặc trưngg khơng thaay đổi củaa khuôn mặặt người để đ xác địnhh khuôn mặt m người Dựa nhận n xét thhực tế: conn người dễễ dàng nhậận biết khuôn mặặt cáác tư khhác v điều kiện ánh sánng khác nh hau; đóó khn mặt m phải có thuộcc tính hay đặc trưng khơng thaay đổi Theeo nhiều nnhiều nghiêên ban đầu phải xác x định c đặc trư ưng khuônn mặt có khhn mặt ảnh hay khơngg Các đặcc trưng ư: lông màày, mắt, mũi, m miệngg, đườngg viền củaa tóc Trang: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh trích phương pháp xác định cạnh Trên sở đặc trưng này, xây dựng mơ hình thống kê để mô tả quan hệ đặc trưng xác định tồn khuôn mặt ảnh Một vấn đề thuật toán theo hướng tiếp cận đặc trưng cần phải điều chỉnh cho phù hợp điều kiện ánh sáng, nhiễu, bị che khuất Đơi bóng khn mặt tạo thêm cạnh mới, mà cạnh lại rõ cạnh thật khn mặt, dùng cạnh để xác định gặp khó khăn 1.3.2.1 Các đặc trưng khuôn mặt Sirohey đưa phương pháp xác định khn mặt từ ảnh có hình phức tạp Đây phương pháp dựa đường biên, dùng phương pháp Candy heuristics để loại bỏ cạnh để cịn lại đường bao xung quanh khn mặt Một hình ellipse dùng để bao khn mặt, tách biệt vùng đầu hình Tỷ lệ xác thuật toán 80% Cũng dùng phương pháp cạnh Sirohey, Chetverikov Lerch dùng phưong pháp dựa blob streak (hình dạng giọt nước sọc xen kẽ), để xác định theo hướng cạnh Hai ông dùng hai blob tối ba blob sáng để mơ tả hai mắt, hai bên gị má, mũi Mơ hình dùng treak để mơ tả hình dáng ngồi khn mặt, lơng mày, mơi Dùng ảnh có độ phân giải thấp theo biến đổi laplace để xác định khuôn mặt thông qua blob Graf đưa phương pháp xác định đặc trưng xác định khuôn mặt ảnh xám Dùng lọc để làm biên, phép tốn hình thái học dùng để làm bật vùng có cường độ cao hình dáng chắn (như mắt) Thơng qua biểu đồ để tìm đỉnh bật xác định ngưỡng để chuyển ảnh xám thành hai ảnh nhị phân Các thành phần dính xuất hai ảnh nhị phân xem vùng ứng viên khuôn mặt phân loại xem có phải khn mặt khơng Phương pháp kiểm tra ảnh có đầu vai người Tuy nhiên cịn có vấn đề để sử dụng phép tốn hình thái xác định khuôn mặt vùng ứng viên Trang: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh 1.3.2.2 Đặc trưng kết cấu Khn mặt người có kết cấu riêng biệt mà dùng để phân loại so với đối tượng khác Augusteijn Skufca cho hình dạng khn mặt dùng làm kết cấu phân loại, gọi kết cấu giống khuôn mặt (face-like texture) Có ba loại đặc trưng xem xét: màu da, tóc, thứ khác Hai ơng dùng mạng nơ-ron mối tương quan cascade cho phân loại có giám sát kết cấu, ánh xạ đặc trưng tự tổ chức Kohonen để gom nhóm lớp kết cấu khác Hai tác giả đề xuất dùng phương pháp bầu cử không định kết cấu đưa vào kết cấu da hay kết cấu tóc Dai Nakano dùng mơ hình SGLD để xác định khuôn mặt người Thông tin màu sắc kết hợp với mơ hình kết cấu khn mặt Hai tác giả xây dựng thuật giải xác định khuôn mặt không gian màu, với phần tựa màu cam để xác định vùng khuôn mặt người Ưu điểm phương pháp xác định khn mặt khơng chụp thẳng có râu có kính Mark Andrew dùng phân bố màu da thuật toán DoG (Difference of Gauss) để tìm ứng viên, xác thực hệ thống học kết cấu khuôn mặt Manian Ross dùng biến đổi wavelet để xây dựng tập liệu kết cấu khuôn mặt ảnh xám thông qua nhiều độ phân giải khác nhau, kết hợp xác suất thông kê để xác định khuôn mặt người Tỷ lệ xác 87%, tỷ lệ xác định sai 18% 1.3.2.3 Đặc trưng sắc màu da Thông thường ảnh màu không xác định trực tiếp toàn liệu ảnh mà thường dùng tính chất sắc màu da người (khn mặt người) để chọn ứng viên khuôn mặt người (lúc liệu thu hẹp đáng kể) để xác định khuôn mặt người 1.3.2.4 Đa đặc trưng Gần có nhiều nghiên cứu sử dụng đặc trưng toàn cục như: màu da người, kích thước, hình dáng để tìm ứng viên khn mặt, sau xác định ứng viên khuôn mặt thông qua đặc trưng cục như: mắt, Trang: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh lông mày, mũi, miệng, tóc Tùy tác giả sử dụng tập đặc trưng khác Yachida đưa phương pháp xác định khuôn mặt người ảnh màu lý thuyết logic mờ Ơng dùng hai mơ hình mờ để mơ tả phân bố màu da người màu tóc khơng gian màu CIE XYZ Có năm mơ dùng để mơ tả hình dáng mặt ảnh (một thẳng bốn xoay xung quanh) Mỗi mơ hình mẫu 2-chiều bao gồm vng có kích thước m x n, chứa nhiều điểm ảnh Hai thuộc tính gán cho ô là: tỷ lệ màu da tỷ lệ tóc, tỷ lệ diện tích vùng da so với diện tích Mỗi điểm ảnh phân loại thành tóc, khn mặt, tóc/khn mặt, tóc/nền sở phân bố mơ hình, theo cách có vùng giống khn mặt giống tóc Mơ hình hình dáng đầu so sánh với vùng giống khn mặt giống tóc Nếu tương tự, vùng xét trở thành ứng viên khn mặt, sau dùng đặc trưng mắt-lông mày mũi-miệng để xác định ứng viên khuôn mặt thật Sobottka Pitas dùng đặc trưng hình dáng màu sắc để xác định khuôn mặt người Dùng ngưỡng để phân đoạn không gian màu HSV để xác định vùng màu da người Các thành phần dính xác định thuật tốn tăng vùng độ phân giải thơ Xem xét tiền ứng viên vừa khớp hình dạng ellipse chọn làm ứng viên khuôn mặt Sau dùng đặc trưng bên như: mắt miệng, trích sở vùng mắt miệng tối vùng khác khuôn mặt, sau phân loại dựa mạng nơ-ron để biết vùng ứng viên khuôn mặt người vùng khuôn mặt người Tỷ lệ xác 85% 1.3.3 Hướng tiếp cận dựa so khớp mẫu Trong so khớp mẫu, mẫu chuẩn khuôn mặt (thường khuôn mặt chụp thẳng) xác định trước xác định tham số thông qua hàm Từ ảnh đưa vào, tính giá trị tương quan so với mẫu chuẩn đường viền khuôn mặt, mắt, mũi miệng Thông qua giá trị tương quan mà tác giả định có hay khơng có tồn khuôn mặt ảnh Trang: 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh Hình 3-6: Ví dụ ảnh khn mặt thẳng canh biên Trong việc huấn luyện dị tìm, việc thu thập số mẫu đủ lớn vấn đề quan trọng Một kỹ thuật thường dùng khung nhìn ảo, ảnh mẫu tạo từ ảnh thực (quay, dịch chuyển, biến đổi tỷ lệ ngẫu nhiên ảnh mẫu) 3.2.3 Tiền xử lý độ sáng độ tương phản tập mẫu học Sau canh biên khn mặt, cịn nguồn biến đổi (khơng kể biến đổi chất khuôn mặt) Biến đổi gây độ sáng đặc tính máy ảnh, dẫn đến ảnh có độ sáng tươi hay kém, ảnh có độ tương phản Ta xử lý vấn đề tiếp cận xử lý ảnh đơn giản Kỹ thuật tiền xử lý trước hết cân giá trị mật độ toàn cửa sổ Lập hàm biến đổi tuyến tính giá trị mật độ vùng trịn cửa sổ Các điểm ảnh bên ngồi hình trịn Nếu mật độ pixel (x,y) I(x,y), cách biến đổi tuyến tính tham số hoá a, b, c với: (x y ⎛a⎞ ⎜ ⎟ 1) ⎜ b ⎟ = I ( x , y ) ⎜c ⎟ ⎝ ⎠ (3.19) Trang: 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh Việc chọn cách biến đổi tuỳ ý Nó biểu diễn khác biệt độ sáng toàn ảnh Các biến đổi giới hạn tuyến tính để số tham số việc tạo lập hàm nhanh chóng Tập hợp với pixel tồn cửa sổ hình trịn ta phương trình ma trận ràng buộc, giải phương pháp đảo ngược giả Phương trình tuyến tính xấp xỉ tồn độ sáng phần cửa sổ, bị trừ với cửa sổ để cân biến đổi độ sáng Tiếp theo, cân lược đồ, ánh xạ không tuyến tính giá trị mật độ để mở rộng miền cường độ cửa sổ Lược đồ tính với pixel vùng tròn cửa sổ Việc bù cho khác biệt việc thu nhận đầu vào camera, cải thiện độ tương phản số trường hợp Các kết bước cho Hình 3-7 Hình 3-7: Các bước việc tiền xử lý cửa sổ Đầu tiên, xây dựng hàm ánh xạ tuyến tính với giá trị mật độ cửa sổ, sau trừ nó, để hiệu chỉnh độ sáng Tiếp theo, áp dụng cân lược đồ, để hiệu chỉnh đầu vào camera khác cải thiện độ tương phản Trong bước, việc ánh xạ tính với pixel bên hình trịn, áp dụng với tồn cửa sổ Trang: 52 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh 3.3 Huấn luyện dị tìm khn mặt 3.3.1 Giới thiệu Phần trình bày thuật tốn dựa mạng nơ-ron để dị tìm cửa sổ có chứa khn mặt đứng, thẳng ảnh Thuật toán thực cách áp dụng hay nhiều mạng nơ-ron trực tiếp với phần ảnh đầu vào, kiểm tra kết chúng Mỗi mạng huấn luyện để kết xuất kết có hay khơng có khn mặt Huấn luyện mạng nơ-ron để dị tìm khn mặt cơng việc đầy thách thức, khó khăn việc biểu diễn ảnh “không khuôn mặt” Không việc nhận dạng khn mặt, lớp phân biệt khuôn mặt khác Hai lớp gọi phân biệt dị tìm khn mặt “ảnh có chứa khn mặt” “ảnh khơng chứa khn mặt” Dễ dàng lấy mẫu ảnh chứa khuôn mặt điển hình, việc lấy mẫu ảnh khơng chứa khn mặt điển hình khó nhiều Ta tránh việc dùng tập huấn luyện có kích thước lớn để biểu diễn không khuôn mặt việc chọn thêm ảnh vào tập huấn luyện tiến hành huấn luyện Phương pháp “bootstrap” nhằm giảm kích thước tập huấn luyện cần thiết Việc dùng cách thức xử lý đa mạng heuristic để làm rõ ràng kết cải thiện đáng kể độ xác dị tìm 3.3.2 Huấn luyện dị tìm khn mặt Hệ thống hoạt động theo hai giai đoạn: trước hết áp dụng tập dị tìm dựa mạng nơ-ron vào ảnh, sau dùng kiểm tra để kết hợp đầu Các dị tìm riêng lẻ khảo sát vị trí ảnh vài tỷ lệ, tìm vị trí chứa khn mặt Sau kiểm tra hợp dị tìm từ mạng riêng lẻ loại trừ dị tìm bị lặp Thành phần hệ thống mạng nơ-ron nhận đầu vào vùng 20x20 (pixels) ảnh tạo đầu khoảng đến -1, biểu thị có hay khơng có khn mặt Để dị tìm khn mặt ảnh, mạng áp dụng vị trí ảnh Để dị tìm khn mặt lớn kích thước cửa sổ, ảnh đầu vào giảm kích thước nhiều lần, áp dụng dị tìm kích thước Mạng có số bất biến với vị trí kích thước Số bất biến xác định số tỷ lệ vị trí dùng Với này, ta áp dụng Trang: 53 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh lọc vị trí điểm ảnh, giảm tỷ lệ xuống 1.2 bước phân tích ảnh tứ phân Sau cửa sổ 20x20 pixel trích từ vị trí tỷ lệ ảnh nhập, tiền xử lý dùng bước hiệu chỉnh độ sáng cân lược đồ Cửa sổ sau tiền xử lý truyền qua mạng nơ-ron Cửa sổ đầu vào chia thành mảnh nhỏ, vùng 10x10 (pixels), 16 vùng 5x5 (pixels), vùng chồng lấp 20x5 (pixels) Mỗi vùng có liên kết đầy đủ với đơn vị ẩn Với thử nghiệm sau, ta dùng mạng với hai ba tập đơn vị ẩn Hình dáng vùng chọn phép đơn vị ẩn dị tìm đặc trưng cho việc dị tìm khn mặt Cụ thể, sọc ngang cho phép đơn vị ẩn dò tìm đặc trưng miệng, cặp mắt, đơn vị ẩn với vùng tiếp thu hình vng dị tìm đặc trưng mắt, mũi, miệng Các thử nghiệm cho thấy hình dạng xác vùng khơng quan trọng, quan trọng đầu vào chia thành vùng nhỏ thay dùng kết nối hồn tồn với toàn đầu vào Tương tự mẫu liên kết đầu vào thường dùng việc nhận dạng tiếng nói ký tự Mạng có đầu giá trị thực, định cửa sổ có chứa khn mặt hay không 3.3.2.1 Ảnh huấn luyện khuôn mặt Để dùng mạng nơ-ron phân loại cửa sổ khuôn mặt hay không, ta cần mẫu huấn luyện cho tập Với mẫu khuôn mặt ta dùng kỹ thuật canh biên ảnh khn mặt số điểm đặc trưng gán nhãn tay Sau canh biên, khn mặt co về kích thước, vị trí hướng đồng cửa sổ 20x20 pixel Ảnh co với lượng ngẫu nhiên từ / 1.2 đến 1.2 Điều cho phép dị tìm áp dụng vị trí pixel tỷ lệ chóp ảnh, dị tìm khn mặt vị trí tỷ lệ trung bình Ngồi ra, dị tìm mạnh với biến đổi khơng đáng kể khuôn mặt, chúng quay với lượng ngẫu nhiên (tối đa 10o) 3.3.2.2 Ảnh huấn luyện khuôn mặt Ta cần nhiều ảnh không khuôn mặt để huấn luyện dị tìm khn mặt, đa dạng ảnh không khuôn mặt lớn nhiều so với ảnh khuôn mặt Một lớp ảnh không chứa khuôn mặt ảnh phong cảnh chẳng hạn cây, núi, Trang: 54 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh nhà Thu thập tập không khuôn mặt “đặc trưng” việc khó Hầu ảnh xem mẫu không khuôn mặt; không gian ảnh không khuôn mặt lớn không gian ảnh khuôn mặt Tiếp cận thống kê máy học cho ta nên huấn luyện mạng nơ-ron phân bố ảnh mà mạng thấy chạy Với dị tìm khuôn mặt, số mẫu khuôn mặt 15.000 số thích hợp Tuy nhiên, tập đại diện ảnh phong cảnh chứa gần 150,000,000 cửa sổ, việc huấn luyện sở liệu khn mặt có kích thước lớn khó Phần mô tả việc huấn luyện sở liệu khuôn mặt ™ Phương pháp huấn luyện chủ động - Tạo tập khởi tạo ảnh không khuôn mặt cách tạo 1000 ảnh ngẫu nhiên Áp dụng bước tiền xử lý cho ảnh - Huấn luyện mạng nơ-ron nhân tạo với mẫu khuôn mặt, -1 với mẫu khơng khn mặt Trong lần lặp vịng lặp, trọng số mạng khởi tạo ngẫu nhiên Sau lần lặp này, ta dùng trọng số tính qua việc huấn luyện lần lặp trước - Chạy hệ thống ảnh phong cảnh không chứa khn mặt Thu thập ảnh mạng nhận lầm khn mặt (hoạt hố đầu >0) - Chọn ngẫu nhiên 250 ảnh này, áp dụng bước tiền xử lý, sau thêm chúng vào tập mẫu âm Sang Bước Thuật toán huấn luyện dùng Bước thuật toán hồi quy lỗi chuẩn Các nơ-ron dùng hàm kích hoạt dạng tanh, cho đầu từ -1 đến 1, ngưỡng với dị tìm khn mặt Vì ta khơng huấn luyện với mẫu âm, đối số xác suất phần trước không áp dụng cho việc thiết lập ngưỡng dị tìm - Vì số mẫu âm lớn nhiều so với số mẫu dương, bó mẫu huấn luyện chứa mẫu âm, khơng thích hợp cho việc huấn luyện mạng nơ-ron Thay bó gồm 100 mẫu dương âm lấy ngẫu nhiên từ toàn tập huấn luyện, truyền qua thuật tốn hồi quy ngược Ta chọn bó huấn luyện có 50% mẫu âm 50% mẫu dương Điều đảm bảo Trang: 55 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh ban đầu, tập mẫu dương nhiều tập mẫu âm, mạng học từ hai tập Hình 3-8: Trong huấn luyện, hệ thống huấn luyện phần áp dụng với ảnh phong cảnh không chứa khuôn mặt (như bên trái) Bất kỳ vùng ảnh dị khn mặt lỗi, thêm vào tập mẫu huấn luyện âm Trang: 56 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khn mặt ảnh 3.4 Q trình dị tìm khn mặt Tập mẫu khuôn mặt Tập mẫu khuôn mặt Canh biên mẫu khn mặt Tiền xử lí tập mẫu học Huấn luyện dị tìm khn mặt thẳng Ảnh thử nghiệm có khn mặt Lấy tất cửa sổ với vị trí ảnh Tiền xử lí cửa sổ Xác minh cửa sổ có phải khn mặt hay khơng Đúng Loại bỏ cửa Sai sổ khơng phải khn mặt Giữ lại vị trí mẫu khuôn mặt Kết hợp khuôn mặt mà vị trí trùng lặp Các khn mặt vị trí khác Hình 3-9: Sơ đồ luồng xử lí bước vấn đề dị tìm khn mặt Trang: 57 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh Mô tả lưu đồ: - Bước 1: Tiếp nhận ảnh đầu vào có chứa khn mặt - Bước 2: Đánh dấu vị trí có khả khn mặt ảnh Đây bước để loại đa số vị trí khơng phải khn mặt, giữ lại số vị trí có khả khn mặt - Bước 3: Thực chuẩn hóa liệu nơi đánh dấu bước phương pháp: cân lược đồ để cải thiện độ sáng độ tương phản - Bước 4: Kiểm tra vị trí chuẩn hóa bước có thật khuôn mặt hay không? Công việc thực mạng nơ-ron huấn luyện với nhiều ảnh mẫu khuôn mặt không khuôn mặt - Bước 5: Đưa định đâu khuôn mặt Việc làm thực việc kết hợp nhiều mạng số heuristic đơn giản Trang: 58 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh CHƯƠNG 4: CÀI ĐẶT ỨNG DỤNG 4.1 Môi trường TEST Phần cứng : Một máy tính pentum IV Card đồ họa 256 MB Ram 512 MB Phần mềm : Ngôn ngữ sử dụng: C# visual studio 2005 Tập ảnh huấn luyện gồm 100 ảnh mặt người 500 ảnh không mặt người 4.2 Một số giao diện Hình 4-1: Giao diện chương trình Trang: 59 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khn mặt ảnh Hình 4-2: Q trình dị tìm khn mặt Hình 4-3: Kết q trình dị tìm khn mặt Trang: 60 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khn mặt ảnh Hình 4-4: Giao diện để hiệu chỉnh thông số mạng Nơ-ron Hình 4-5: Quá trình huấn luyện mạng Nơ-ron Trang: 61 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khn mặt ảnh 4.3 Kết Hình 4-6: Kết chương trình sau dị tìm khn mặt (a) (c) (b) (d) Hình 4-7: (a) Ảnh với mơi trường phức tạp; (b) (c) ảnh khuôn mặt với tư khác nhau, (d) ảnh khuôn mặt bị che khuất phần Trang: 62 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khn mặt ảnh Hình 4-8: Kết chương trình với ảnh có nhiều mặt người Chương trình cho kết tương đối tốt, dị tìm hầu hết khn mặt Tuy nhiên cịn phát thừa thiếu, điều tập mẫu dùng để huấn luyện Trong thực tế, tập ảnh không khn mặt có số lượng lớn phong phú nhiều so với tập ảnh khn mặt Vì dùng tập ảnh để huấn luyện cho máy điều khó khăn 4.4 Nhận xét Bộ dị tìm khn mặt sử dụng mạng Nơ-ron thực tương đối tốt, đạt kết khả quan dị tìm khn mặt Bộ dị tìm khn mặt sử dụng mạng Nơ-ron nhận biết tốt khuôn mặt với tư khác nhau: thẳng đứng (hình 4-6), khơng thẳng đứng (hình 4-7 b,c) bị che khuất phần (hình 4-7 d) Bộ dị tìm thử nghiệm thực dị tìm khơng đạt kết mong muốn mơi trường ảnh có nhiều mặt người Như hình 4-8 dị tìm phát 7/11 khn mặt, phát nhầm lẫn vùng có khn mặt Xây dựng chương trình dị tìm khn mặt sử dụng mạng nơ-ron mang tính chất thử nghiệm thuật toán, cần phải phát triển nhiều để áp dụng vào thực tế Trang: 63 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh KẾT LUẬN Phát khuôn mặt toán quan trọng lĩnh vực thị giác máy tính Cơng nghệ cịn non trẻ có nhiều vấn đề cần phải tiếp tục nghiên cứu Với đề tài “Tìm hiểu số phương pháp phát khuôn mặt ảnh”, khố luận trình bày tổng quan số phương pháp phát khn mặt, tập trung trình bày hai phương pháp “phát khuôn mặt sử dụng mạng Nơ-ron” “phát khn mặt sử dụng AdaBoost” Khố luận xây dựng hệ thống phát khuôn mặt sử dụng mạng Nơ-ron cho kết phát khuôn ảnh Việc cài đặt thử nghiệm thuật tốn ngơn ngữ C# thực hiện, bước đầu cho kết tốt Trong tương lai em tiếp tục nghiên cứu thêm để hồn thiện độ xác thời gian dị tìm, cố gắng để ứng dụng chương trình vào số hệ thống phục vụ lĩnh vực: giám sát, theo dõi, an ninh trí tuệ nhân tạo… Tuy nhiên hạn chế điều kiện thời gian, khố luận khơng thể tránh khỏi thiếu xót Kính mong đóng góp ý kiến thầy bạn, để em hồn thiện tốt đề tài nghiên cứu đợt khoá luận Trân trọng cảm ơn! Trang: 64 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh TÀI LIỆU THAM KHẢO [1] Nguyễn tuấn nghĩa (2005) – Sử dụng mơ hình Entropy cực đại nhận dạng màu da ảnh màu – Luận văn tốt nghiệp Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội [2] Lu Buon Vinh, Hoàng Phương Anh (2004) - Nghiên cứu xây dựng hệ thống nhận dạng mặt người dựa FSVM Adaboost - Luận văn cử nhân tin học Khoa công nghệ thông tin, ĐH KHTN TP HCM [3] Trần Phước Long, Nguyễn Văn Lượng (2003) : Nhận dạng người dựa vào thông tin khuôn mặt xuất ảnh Luận văn tốt nghiệp, Khoa Công nghệ Thông tin, Đại học Khoa học Tự nhiên Tp HCM [4] Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phúc Dỗn - Tổng quan phương pháp xác định khn mặt người [5] J Meynet (2003) – Fast Face Detection Using AdaBoost - National Polytechnique Institute of Grenoble [6] H.A Rowley (1999) – Neural network – Based Face Detection – School of Computer Science, Computer Science Department, Carnegie Mellon University Pittsburgh, PA 15123 [7] CBCL Face Database, CMU and MIT, http://www.ai.mit.edu/projects/cbcl.old/softwaredatasets/FaceData2.html [8] CMU Image database http://vasc.ri.cmu.edu/idb/html/face/frontal_images/index.html Trang: 65 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh 2.5 Huấn luyện dị tìm khn mặt - Dữ liệu huấn luyện: Tập A gồm ảnh khuôn mặt, tập B gồm ảnh không khuôn mặt (B>>A) -... luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khuôn mặt ảnh - Số lượng xác định nhầm số lượng vùng ảnh khuôn mặt người mà hệ thống xác định nhầm khuôn mặt người (false positives)... luanvanchat@agmail.com Khóa luận tốt nghiệp Tìm hiểu số phương pháp phát khn mặt ảnh mặt trước tiên để có ứng viên, sau ứng viên xác định thông qua luật để biết ứng viên khuôn mặt ứng viên khuôn mặt Một vấn