Xác định mặt người sử dụng các đặc trưng hình học 3d

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ VŨ THỊ TUYẾT XÁC ĐỊNH MẶT NGƢỜI SỬ DỤNG CÁC ĐẶC TRƢNG HÌNH HỌC 3D LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ VŨ THỊ TUYẾT XÁC ĐỊNH MẶT NGƢỜI SỬ DỤNG CÁC ĐẶC TRƢNG HÌNH HỌC 3D Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS ĐỖ NĂNG TOÀN Hà Nội - 2015 LỜI CẢM ƠN Lời xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo PGS.TS Đỗ Năng Toàn, Phó viện trƣởng Viện Công nghệ thông tin - Đại học Quốc gia Hà Nội Trong thời gian làm luận văn tốt nghiệp Thầy dành nhiều thời gian quý báu tận tình bảo, hƣớng dẫn nghiên cứu, thực luận văn Tôi xin đƣợc cảm ơn thầy giáo, cô giáo giảng dạy trình học tập làm luận văn Các thầy cô giúp có hiểu biết sâu sắc lĩnh vực mà nghiên cứu để vận dụng kiến thức vào công tác hiệu Xin cảm ơn gia đình, bạn bè, đồng nghiệp tạo điều kiện tốt nhất, động viên, cổ vũ suốt trình học tập nghiên cứu để hoàn thành luận văn tốt nghiệp Hà Nội, tháng 10 năm 2015 Học viên thực LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu độc lập thân có giúp đỡ lớn thầy hƣớng dẫn Những số liệu, kết đƣợc đƣa luận văn trung thực chƣa đƣợc công bố công trình nghiên cứu khác Trong luận văn có tham khảo số tài liệu số tác giả đƣợc liệt kê phần tài liệu tham khảo cuối luận văn Hà Nội, tháng 10 năm 2015 Học viên thực MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC BẢNG MỞ ĐẦU Chƣơng KHÁI QUÁT VỀ NHẬN DẠNG MẶT NGƢỜI 1.1 Bài toán nhận dạng mặt ngƣời 1.1.1 Giới thiệu 1.1.2 Tầm quan trọng nhận dạng mặt ngƣời 1.1.3 Ứng dụng toán nhận dạng mặt ngƣời 10 1.1.4 Các hƣớng tiếp cận nhận dạng mặt ngƣời 11 1.1.4.1 Hƣớng tiếp cận dựa tri thức 12 1.1.4.2 Hƣớng tiếp cận dựa đặc trƣng không thay đổi 14 1.1.4.3 Hƣớng tiếp cận dựa so sánh khớp mẫu 15 1.1.4.4 Hƣớng tiếp cận dựa diện mạo 17 1.1.5 Những khó khăn toán nhận dạng mặt ngƣời 21 1.2 Nhận dạng mặt ngƣời dựa đặc trƣng 3D 22 Chƣơng PHÁT HIỆN MẶT NGƢỜI SỬ DỤNG ĐẶC TRƢNG 3D 24 2.1 Đặc trƣng 3D 24 2.2 Rút trích đặc trƣng lồi lõm 25 2.2.1 Điểm lồi điểm lõm 25 2.2.2 Dò tìm lấy vùng lồi, lõm 25 2.2.3 Dò tìm phát vùng lồi, lõm nhiều mức khác 27 2.2.4 Tối ƣu tốc độ việc dò tìm 28 2.3 Xây dựng cấu trúc lồi lõm 29 2.4 Xây dựng hàm tính độ tƣơng đồng hai 33 2.4.1 Độ tƣơng đồng hai nút 33 2.4.2 Độ tƣơng đồng hai 34 2.4.3 Không gian khoảng cách hai 34 2.5 Nhận dạng 35 2.5.1 Cơ sở lý thuyết 35 2.5.2 Canh biên đặc trƣng khuôn mặt 36 2.5.2.1 Kỹ thuật dò biên 36 2.5.2.2 Canh biên 38 2.5.3 Xử lý độ sáng tập ảnh mẫu 40 2.5.4 Gán nhãn 41 2.5.5 Thống kê 41 2.5.6 Các đánh giá dùng phát khuôn mặt 42 2.5.7 Hậu xử lý 43 Chƣơng CÀI ĐẶT VÀ THỬ NGHIỆM 45 3.1 Môi trƣờng thử nghiệm 45 3.2 Tập ảnh thử nghiệm 45 3.3 Kết thử nghiệm 47 3.4 Nhận xét 48 3.5 Một số ảnh kết tiêu biểu 49 KẾT LUẬN 51 TÀI LIỆU THAM KHẢO 52 DANH MỤC HÌNH VẼ Hình 1.1: Hệ thống nhận dạng mặt ngƣời Hình 1.2: Hệ thống đa độ phân giải 13 Hình 1.3: Phƣơng pháp chiếu 14 Hình 1.4: Mô hình mạng Nơ ron H Rowley 18 Hình 1.5: Mô hình Markov xác định khuôn mặt 20 Hình 1.6: Các trạng thái ẩn mô hình Markov 21 Hình 1.7: Vector quan sát để huấn luyện mô hình Markov ẩn 21 Hình 2.1 Dò tìm thông tin lồi lõm 24 Hình 2.2: Dò tìm vùng lồi lõm ảnh 25 Hình 2.3: Tập lọc 26 Hình 2.4: Dò tìm vùng lồi lõm nhiều mức khác 28 Hình 2.5: Ảnh tích phân 29 Hình 2.6: Tính tổng độ sáng hình chữ nhật R(l,r,t,b) 29 Hình 2.7: Cây cấp bậc 30 Hình 2.8: Cây cấp bậc đƣợc rút trích từ khuôn mặt 30 Hình 2.9: Vị trí vùng tƣơng đối nút 31 Hình 2.10: Cách tính vector đại diện độ sáng nút 31 Hình 2.11: Các thông tin nút rút trích đƣợc 32 Hình 2.12: Biểu diễn khuôn mặt không gian 35 Hình 2.13: Chọn k chuẩn 35 Hình 2.14: Đánh giá điểm có thuộc lớp khuôn mặt hay không 36 Hình 2.15: Canh biên vị trí khuôn mặt 39 Hình 2.16: Hiệu chỉnh độ sáng cân lƣợc đồ 40 Hình 2.17: Gán nhãn cho tập ảnh học 41 Hình 2.18: Mô hình phát mặt ngƣời 42 Hình 3.1: Một số ảnh khuôn mặt tập ảnh Markus Weber 46 Hình 3.2 Một số ảnh khuôn mặt tập ảnh Markus Weber 47 Hình 3.2: Một số trƣờng hợp phát 50 Hình 3.3: Trƣờng hợp phát chƣa 50 DANH MỤC BẢNG Bảng 1: Kết thử nghiệm rút trích đặc trƣng mức 47 Bảng 2: Kết thử nghiệm rút trích đặc trƣng mức 47 Bảng 3: Kết thử nghiệm tập ảnh không chứa khuôn mặt 47 Bảng 4: Kết thử nghiệm tiếp cận diện mạo tập ảnh 48 MỞ ĐẦU Lý chọn đề tài Hiện với phát triển vƣợt bậc kỹ thuật số mạng toàn cầu, vấn đề an ninh, bảo mật thông tin ngày trở nên quan trọng khó khăn Những vụ đánh cắp tài khoản thẻ tín dụng hay đột nhập trái phép vào hệ thống máy tính, tòa nhà quan nhà nƣớc, phủ xảy ngày nhiều Hơn 200 triệu đô la số tiền bị thất thoát Mỹ vào năm 2012 vụ gian lận xâm nhập trái phép nói [21] Hầu hết vụ phạm pháp này, bọn tội phạm lợi dụng khe hở trình truy cập vào hệ thống thông tin kiểm soát đa số hệ thống thực quyền truy cập ngƣời sử dụng không dựa vào thông tin “chúng ta ai” mà chủ yếu dựa vào “chúng ta có gì” Hay nói cách khác, thông tin mà ngƣời sử dụng cung cấp cho hệ thống không dựa vào đặc trƣng họ nhƣ mặt, mũi, vân tay mà họ sở hữu nhƣ họ tên, ngày tháng năm sinh, số chứng minh thƣ nhân dân, mật mã, số thẻ tín dụng Những thông tin không mang tính đặc trƣng mà mang tính xác thực ngƣời sử dụng mà chúng bị chép đánh cắp kẻ trộm hoàn toàn truy cập vào hệ thống sử dụng liệu họ muốn Từ yêu cầu đó, công nghệ cho phép việc xác thực dựa vào chất cá nhân Công nghệ đƣợc phát triển theo hƣớng sinh trắc học, phƣơng pháp tự động cho phép xác thực hay nhận dạng cá nhân dựa vào đặc trƣng sinh học ngƣời nhƣ đặc điểm khuôn mặt, vân tay… đặc điểm liên quan đến hành vi nhƣ giọng nói, chữ viết nên có độ xác cao khó bị giả mạo Các đặc trƣng sinh học ngƣời khó thay đổi, đặc trƣng hành vi thay đổi yếu tố tâm lý nhƣ mệt mỏi, căng thẳng hay bệnh tật Chính lý mà hệ thống nhận dạng dựa đặc trƣng sinh học thƣờng hiệu so với hệ thống nhận dạng dựa vào đặc trƣng hành vi Nhận dạng mặt ngƣời số phƣơng pháp nhận dạng dựa vào đặc trƣng sinh học cho kết xác cao Hơn nữa, số đặc trƣng sinh học ngƣời khuôn mặt đóng vai trò quan trọng trình giao tiếp ngƣời với ngƣời mang lƣợng thông tin giàu có, chẳng hạn nhƣ dựa vào khuôn mặt xác định giới tính, độ tuổi, cảm xúc Nhận dạng khuôn mặt toán nhƣng thách thức lớn độ phức tạp Do đến toán thu hút đƣợc quan tâm nhiều nhà khoa học Từ lý chọn đề tài: “Xác định mặt ngƣời sử dụng đặc trƣng hình học 3D” làm đề tài luận văn tốt nghiệp Mục tiêu, nhiệm vụ nghiên cứu Tìm hiểu mô hình toán nhận dạng bƣớc thực để xây dựng hệ thống nhận dạng mặt ngƣời; Tìm hiểu, nắm đƣợc công nghệ đƣợc áp dụng bƣớc hệ thống; Hiểu rõ lý thuyết toán học tính chất đặc trựng kỹ thuật đƣợc sử dụng để giải toán khuôn khổ luận văn; Tìm hiểu sử dụng công cụ hữu ích nhằm phục vụ cho toán nhận dạng mặt ngƣời Đối tƣợng phạm vi nghiên cứu Đối tƣợng nghiên cứu: Các phƣơng pháp, thuật toán phục vụ cho việc phát nhận dạng mặt ngƣời ảnh; sở liệu chuẩn Phạm vi nghiên cứu: Luận văn tập trung vào nghiên cứu phát mặt ngƣời dựa vào đặc trƣng hình học khuôn mặt Phƣơng pháp nghiên cứu Các phƣơng pháp nghiên cứu lý thuyết nhƣ: Phƣơng pháp phân tích tổng hợp lý thuyết, phƣơng pháp mô hình hóa Phƣơng pháp nghiên cứu thực tiễn nhƣ: Phƣơng pháp phân tích tổng kết kinh nghiệm, phƣơng pháp quan sát khoa học Kết cấu luận văn Ngoài phần mở đầu, mục lục, kết luận, tài liệu tham khảo, đề tài gồm chƣơng nhƣ sau: Chƣơng 1: Khái quát nhận dạng mặt ngƣời Tìm hiểu chung toán nhận dạng mặt ngƣời, ứng dụng toán số phƣơng pháp nhận dạng mặt ngƣời Chƣơng 2: Phát mặt ngƣời sử dụng đặc trƣng 3D Trình bày đặc trƣng lồi lõm khuôn mặt phát mặt ngƣời dựa vào đặc trƣng lồi lõm Chƣơng 3: Cài đặt thử nghiệm Xây dựng chƣơng trình ứng dụng số kết thu đƣợc Chƣơng KHÁI QUÁT VỀ NHẬN DẠNG MẶT NGƢỜI 1.1 Bài toán nhận dạng mặt ngƣời 1.1.1 Giới thiệu Nhận dạng khuôn mặt khái niệm mẻ, đƣợc phát triển vào năm 60 kỷ trƣớc Khi đó, ngƣời ta phải dùng tới phƣơng pháp tính toán thủ công để xác định vị trí, khoảng cách phận khuôn mặt Về sau, vào cuối thập niên 80, kỹ thuật nhận diện khuôn mặt dần đƣợc cải thiện M Kirby L Sirovich [11] phát triển phƣơng pháp tìm mặt riêng (eigenface) sử dụng phƣơng pháp phân tích thành phần (Principal component analysis - PCA), đánh dấu bƣớc ngoặt ngành công nghệ nhận diện khuôn mặt Ngày nay, dễ dàng nhìn thấy ứng dụng công nghệ nhận diện khuôn mặt việc điều tra tội phạm, kiểm tra hành khách sân bay hay việc xác thực truy cập vào hệ thống Thuật toán nhận diện khuôn mặt đƣợc chia làm hai loại hình học (geometric) trắc quang (photometric) Hình học nhận diện khuôn mặt dựa vào đặc trƣng khuôn mặt nhƣ mắt, mũi, miệng, gò má; trắc quang phƣơng pháp biến hình ảnh thành giá trị so sánh với giá trị mẫu để nhận diện Ngày nhà nghiên cứu phát triển kỹ thuật nhận diện khuôn mặt riêng, nhƣng phổ biến có ba loại phân tích thành phần (Principal component analysis - PCA), phân tích phân lớp tuyến tính (Linear discriminant analysis - LDA) phƣơng pháp đồ thị đàn hồi (Elastic Bunch Graph Matching - EBGM) Cách nhận diện khuôn mặt sử dụng phƣơng pháp phân tích thành phần phụ thuộc nhiều vào sở liệu ban đầu chứa ảnh mẫu góc quay camera nhƣ ánh sáng Phƣơng pháp sử dụng thuật toán đại số để tìm giá trị mặt riêng vector riêng so sánh với giá trị mẫu, ta thu đƣợc khuôn mặt cần nhận diện Ƣu điểm phƣơng pháp giảm thiểu đƣợc liệu cần sử dụng làm mẫu Còn phƣơng pháp phân lớp tuyến tính lại phân loại lớp chƣa biết thành lớp biết, mà khuôn mặt tạo thành lớp khác biệt khuôn mặt lớp nhỏ Cả phân tích thành phần phân lớp tuyến tính chọn cách thống kê lấy mẫu, chọn lọc để nhận diện khuôn mặt Phƣơng pháp lại đồ thị đàn hồi chia mặt thành mạng lƣới gồm nút với khuôn mặt có khoảng 80 điểm nút Vị trí nút giúp xác định khoảng cách hai mắt, độ dài sống mũi, độ sâu hốc mắt, hình dạng gò má… Điểm khó phƣơng pháp cần tính toán xác khoảng cách điểm nút, phải dùng 39 trí đặc trƣng khuôn mặt cụ thể hai hốc mắt, mũi trung tâm miệng hai khóe miệng Bƣớc dùng thông tin khuôn mặt để canh biên với khuôn mặt khác Trƣớc hết ta định nghĩa canh biên hai điểm đặc trƣng phép quay, biến đổi tỷ lệ dịch chuyển vị trí để làm cực tiểu hóa tổng bình phƣơng khoảng cách cặp đặc trƣng tƣơng ứng Trong không gian hai chiều, phép biến đổi tọa độ nhƣ đƣợc biểu diễn nhƣ sau: 𝑥′ 𝑠 𝑐𝑜𝑠 𝜃 = 𝑦′ 𝑠 𝑠𝑖𝑛 𝜃 −𝑠 𝑠𝑖𝑛 𝜃 𝑠 𝑐𝑜𝑠 𝜃 𝑥 𝑡𝑥 𝑎 + = 𝑦 𝑡𝑦 𝑏 −𝑏 𝑎 𝑡𝑥 𝑡𝑦 𝑥 𝑦 (2.16) Nếu có nhiều hai cặp đặc trƣng phân biệt, hệ phƣơng trình tuyến tính giải phƣơng pháp đảo ngƣợc Phƣơng pháp đƣợc thực nhƣ sau: Bƣớc 1: Khởi tạo 𝐹 vector vị trí trung bình đặc trƣng gán nhãn so với số đặc trƣng ban đầu Trong trƣờng hợp canh biên với khuôn mặt thẳng đặc trƣng vị trí hai mắc, đỉnh mũi, hai khóe trung tâm miệng đƣợc xem vị trí quan trọng, ứng cử viên cửa sổ đầu vào Bƣớc 2: Với khuôn mặt n, ta sử dụng thủ tục canh biên để tính phép quay, dịch chuyển biến đổi tỷ lệ hợp lý để canh biên đặc trƣng khuôn mặt 𝐹𝑛 với vị trí đặc trƣng trung bình 𝐹 Ta gọi vị trí đặc trƣng canh biên 𝐹𝑛′ Bƣớc 3: Cập nhật 𝐹 việc lấy trung bình vị trí đặc trƣng canh biên 𝐹𝑛′ cho khuôn mặt n Bƣớc 4: Tọa độ đặc trƣng 𝐹 đƣợc quay, dịch chuyển biến đổi để phù hợp với số tọa độ đƣợc làm tọa độ khởi tạo Thông thƣờng thuật toán hội tụ sau năm lần lặp, tạo cho khuôn mặt phép biến đổi để ánh xạ gần với vị trí chuẩn Khi ta biết đƣợc tham số để canh biên khuôn mặt, ảnh đƣợc lấy mẫu lại dùng nội suy song tuyến tính Hình 2.15: Canh biên vị trí khuôn mặt 40 2.5.3 Xử lý độ sáng tập ảnh mẫu Khi việc canh biên khuôn mặt hoàn thành, đặc trƣng ánh sáng máy ảnh làm cho ảnh có độ sáng không độ tƣơng phản Để giải vấn đề ta sử dụng kỹ thuật xử lý ảnh đơn nhƣ sau Trƣớc hết cân giá trị mật độ toàn cửa sổ cách lập hàm biến đổi tuyến tính giá trị mật độ vùng tròn cửa sổ Các điểm bên vòng tròn đƣợc xem Giả sử mật độ pixel (x,y) I(x,y) cách biến đổi tuyến tính đƣợc tham số hóa a,b,c với: 𝑥 𝑦 𝑎 𝑏 = 𝐼(𝑥, 𝑦) 𝑐 (2.17) Việc biến đổi nhằm biểu diễn khác biệt độ sáng toàn ảnh Các biến đổi đƣợc giới hạn tuyến tính để việc lập hàm đơn giản tham số Tập hợp tất pixel toàn cửa sổ đƣờng tròn ta đƣợc phƣơng trình ma trận ràng buộc đƣợc giải phƣơng pháp đảo ngƣợc Phƣơng trình xấp xỉ toàn độ sáng phần cửa sổ trừ với cửa sổ kế cận để cân biến đổi độ sáng Cân lƣợc đồ, ánh xạ không tuyến tính giá trị mật độ để nới rộng miền cƣợng độ cửa sổ Lƣợc đồ đƣợc tính với pixcel cửa sổ vòng tròn Mặt nạ tròn để loại pixcel Window ban đầu Hàm tuyến tính Window hiệu chỉnh độ sáng (đã trừ hàm tuyến tính) Window cân lƣợc đồ Hình 2.16: Hiệu chỉnh độ sáng cân lược đồ Để hiệu chỉnh độ sáng việc xây dựng hàm ánh xạ tuyến tính với giá trị mật độ cửa sổ sau trừ để hiệu chỉnh ánh sáng Tiếp theo sử dụng cân lƣợc đồ để hiệu chỉnh đầu vào ảnh nhằm cải thiện độ 41 tƣơng phản Với bƣớc việc ánh xạ đƣợc tính với pixcel bên hình tròn áp dụng với toàn cửa sổ 2.5.4 Gán nhãn Từ tập ảnh học ta dùng phƣơng pháp trình bày để rút trích lồi lõm ảnh Các đƣợc gán nhãn thủ công Với đƣợc gán nhãn khuôn mặt hay khuôn mặt Do từ tập ảnh học ta rút trích đƣợc hai tập tập biểu diễn đối tƣợng khuôn mặt tập biểu diễn đối tƣợng khuôn mặt Rút trích Tập ảnh học Gán nhãn Khuôn mặt Không phải khuôn mặt Hình 2.17: Gán nhãn cho tập ảnh học 2.5.5 Thống kê Mục đích bƣớc xấp xỉ cấu trúc khuôn mặt Trong bƣớc gán nhãn rút trích gán nhãn Kết thu đƣợc số thuộc tập khuôn mặt Những đƣợc dùng làm liệu học thống kê Mô hình thống kê đƣợc sử dụng nhƣ sau: Gọi S(Tx) tổng khoảng cách từ Tx đến tất lại tập học Khi đó: 𝑖=𝑛 𝑖≠𝑥 𝑆(𝑇𝑥 ) = 𝑇𝑆(𝑇𝑥 , 𝑇𝑖 ) 𝑖=1 Và tập học trở thành: (2.18) 42 TH = {(Ti,S(Ti)), Ti  KM} (2.19) Trong KM tập đƣợc gán nhãn khuôn mặt Việc học thống kê theo mô hình đƣợc thực nhƣ sau: chọn tập TH k có giá trị S(T) nhỏ nhất, k đại diện tiêu biểu cho lớp khuôn mặt Sau từ k (tạm gọi tập chuẩn) dùng để phát khuôn mặt theo mô hình sau: Ảnh đầu vào Tập chuẩn Đánh giá Ứng viên Xử lý Vị trí khuôn mặt Hình 2.18: Mô hình phát mặt người Đầu tiên từ ảnh đầu vào, dùng phƣơng pháp rút trích đặc trƣng lồi lõm ta nhận đƣợc danh sách lồi lõm Ứng với cây, ta so sánh với tập chuẩn để kiểm tra xem có phải biểu diễn khuôn mặt không Nếu thỏa điều kiện ứng viên khuôn mặt Các ứng viên đƣợc xử lý để khử trùng lắp khuôn mặt số có phần nút gốc chồng lắp với 2.5.6 Các đánh giá dùng phát khuôn mặt Dựa vào tập chuẩn, để xét có khả khuôn mặt hay không ta dựa trung bình khoảng cách đến tất lại tập chuẩn Khoảng cách đƣợc tính nhƣ sau: 43 𝐷 (𝑡) = 𝑘 𝑖=1 𝑡, 𝑇𝑖  𝑘 (2.20) Trong đó: 𝐷(𝑡): trung bình khoảng cách t đến lại tập chuẩn t: xét Ti: tập k chuẩn Dựa vào giá trị 𝐷, t xét đƣợc đánh giá ứng viên khuôn mặt hay không dựa vào công thức sau: t  FaceCandidate  𝐷(𝑡) ≤ 1 (2.21) Trong ngƣỡng 1 ngƣỡng thực nghiệm, ngƣỡng đƣợc lấy khoảng 0.2 đến 0.4 Ngoài cách tính trung bình khoảng cách ra, sử dụng việc tính trung bình độ tƣơng đồng ứng viên với tập chuẩn để đánh giá ứng viên 𝑆(𝑡) = 𝑘 𝑖=1 𝑇𝑆(𝑡, 𝑇𝑖 ) 𝑘 (2.22) Trong đó: 𝑆(𝑡): trung bình độ tƣơng đồng t so với tập chuẩn T: xét Ti: tập k chuẩn Tƣơng tự trƣờng hợp trên, giá trị 𝑆(𝑡) đƣợc dùng để đánh giá xem t có khuôn mặt hay không t  FaceCandidate  𝑆(𝑡) ≤ 2 (2.23) Ngƣỡng 2 số gần với số Có thể nói 2  1-1 Ngƣỡng có giá trị từ 0.6 đên 0.8 Tuy nhiên chất hai cách giống 2.5.7 Hậu xử lý Các kết thu đƣợc cho thấy có vùng khuôn mặt đƣợc phát có phần chồng lắp lên Có thể phát đƣợc nhiều ứng viên khuôn mặt, nhƣng chúng chồng lắp nhiều lên vị trí khuôn mặt Vì cần có thuật toán để làm giảm chồng lắp Trƣớc hết sử dụng 44 đánh giá đơn giản để liên kết vùng chồng lắp, hai ứng viên khuôn mặt có diện tích bị chồng lắp lên 1/3 diện tích chúng đƣợc xem mặt trùng đƣợc liên kết lại thành vùng lớn Vùng diện tích xem xét vùng nút gốc ứng viên Sau gom nhóm đƣợc vùng thu đƣợc hay nhiều vùng chứa khuôn mặt Tuy nhiên sai số kích thƣớc kích thƣớc khuôn mặt thực tế nên việc áp dụng tiếp kỹ thuật xác định vùng lồi lõm với mức nhỏ nhằm phát xác vùng Các vùng lồi lõm đƣợc liên kết lại với vùng khuôn mặt vùng liên thông lớn 45 Chƣơng CÀI ĐẶT VÀ THỬ NGHIỆM 3.1 Môi trƣờng thử nghiệm Chƣơng trình nhận dạng mặt ngƣời đƣợc viết ngôn ngữ C# sử dụng Visual Studio 2008 với hàm AIP hỗ trợ nhận dạng khuôn mặt thƣ viện Luxand FaceSDK Luxand FaceSDK thƣ viện đa tảng cho phép VS C++, C#, VB.NET, JAVA để phát triển, sử dụng thuật toán để phát khuôn mặt ngƣời ảnh cách nhanh chóng đáng tin Làm việc hệ thống 32-bit 64-bit, FaceSDK đƣợc sử dụng để xây dựng Web, Windows, Linux, Mac OS X, iOS, ứng dụng Android, cho phép xác định khuôn mặt hình ảnh tĩnh dòng video Máy tính thử nghiệm có cấu hình Pentium Dual-Core 2.0 GHz, nhớ 2GB, hệ điều hành Microsoft Windows 3.2 Tập ảnh thử nghiệm Để thử nghiệm chƣơng trình, luận văn sử dụng tập liệu ảnh khuôn mặt đƣợc thu thập Markus Weber [22] Đây tập liệu ảnh đƣợc chụp dƣới nhiều góc độ, tƣ khác gồm ngoại cảnh nhà với điều kiện chiếu sáng đa dạng (xem hình 3.1) a) Ảnh chụp nhà b) Ảnh chụp trời 46 c) Ảnh chụp thiếu ánh sáng d) Ảnh có phức tạp e) Ảnh chụp khuôn mặt bị che phần f) Ảnh chụp khuôn mặt biểu cảm Hình 3.1: Một số ảnh khuôn mặt tập ảnh Markus Weber Ngoài chƣơng trình thử nghiệm tập liệu khuôn mặt, tập liệu đối tƣợng [22], tập hình ảnh bao gồm xe background nhà đồ dùng nhà (xem hình 3.2) a) Ảnh đồ dùng b) Ảnh thiên nhiên 47 c) Ảnh nhà d) Ảnh xe Hình 3.2 Một số ảnh khuôn mặt tập ảnh Markus Weber 3.3 Kết thử nghiệm Từ tập ảnh thử nghiệm nêu phần 3.2 sử dụng phƣơng pháp rút trích trình bày chƣơng để rút trích vùng lồi lõm ảnh Thử nghiệm dƣới rút trích đặc trƣng lồi lõm mức 1=60 2=120 Kết thử nghiệm đƣợc trình bày bảng sau: Bảng 1: Kết thử nghiệm rút trích đặc trưng mức Số ảnh thử nghiệm Đúng Sai Độ xác Thời gian xử lý trung bình 100 95 95% 1.5s Tôi thực lại thử nghiệm với việc rút trích đặc trƣng lồi lõm mức 1 = 20, 2 = 60 3 = 120 Kết thu đƣợc nhƣ sau: Bảng 2: Kết thử nghiệm rút trích đặc trưng mức Số ảnh thử nghiệm Đúng Sai Độ xác Thời gian xử lý trung bình 100 97 97% 1.85s Ngoài chƣơng trình thử nghiệm tập liệu khuôn mặt kết nhƣ sau: Bảng 3: Kết thử nghiệm tập ảnh không chứa khuôn mặt Số ảnh thử nghiệm Đúng Sai Độ xác Thời gian xử lý trung bình 100 98 98% 1.85s 48 3.4 Nhận xét Qua trình thử nghiệm tập ảnh chọn cho thấy: - Chƣơng trình cho kết tƣơng đối tốt, dò tìm đƣợc hầu hết khuôn mặt; - Kết rút trích vùng lồi lõm xác hay không phụ thuộc vào mức σ Việc xây dựng lớp tăng độ xác đáng kể so với việc rút trích đặc trƣng lớp, nhiên việc rút trích đặc trƣng nhiều lớp làm cho trình xử lý tính toán chậm hơn; - Với ảnh có độ sáng tốt hơn, độ phân giải cao thời gian xử lý nhanh hơn, xác Điều cho thấy yếu tố ánh sáng chất lƣợng ảnh có ảnh hƣởng đến khả xác định vùng lồi lõm nhanh hay chậm ảnh hƣởng đến tính xác kết rút trích; - Một số ảnh phát khuôn mặt ảnh có phức tạp, ảnh tối khiến cho trình phát trở nên khó khăn ảnh có gần giống với khuôn mặt nên bị nhận dạng nhầm khung cảnh thành khuôn mặt Ngoài để có so sánh thử kiểm tra chƣơng trình phát khuôn mặt với hƣớng tiếp cận dựa diện mạo sử dụng mạng nơ ron kết đƣợc thể bảng Bảng 4: Kết thử nghiệm tiếp cận diện mạo tập ảnh Tập ảnh thử nghiệm Số ảnh Đúng Sai Độ xác Thời gian xử lý trung bình Tập ảnh khuôn mặt 100 91 91% 3.14s Tập ảnh khuôn mặt 100 94 94% 3.14s Thời gian thực trung bình lần thử nghiệm 3.14s nhiều so với tiếp cận 3D Và điều nhận thấy thử nghiệm chƣơng trình phát khuôn mặt sử dụng mạng Nơ-ron với ảnh có độ phân giải cao tốc độ xử lý chƣơng trình chậm dẫn đến thời gian xử lý tăng lên 49 3.5 Một số ảnh kết tiêu biểu a) Ảnh có phức tạp b) Ảnh khuôn mặt biểu cảm c) Ảnh chụp thiếu ánh sáng d) Ảnh khuôn mặt quay 1800 e) Ảnh đồ dùng f) Ảnh nhà 50 g) Ảnh xe f) Ảnh thiên nhiên Hình 3.2: Một số trường hợp phát Hình 3.3: Trường hợp phát chưa 51 KẾT LUẬN Cùng với phát triển mạnh mẽ công nghệ thông tin, lĩnh vực đời sống đƣợc tin học hóa Việc ứng dụng công nghệ thông tin vào hoạt động sản xuất, kinh doanh, giải trí mang lại lợi ích đáng kể Đặc biệt công nghệ thông tin đƣợc ứng dụng nhiều lĩnh vực an toàn bảo mật thông tin Qua luận văn đóng góp đƣợc hƣớng tiếp cận cho toán xác định khuôn mặt ngƣời ảnh hƣớng tiếp cận dựa vào đặc trƣng lồi lõm khuôn mặt để phát Kết chấp nhận đƣợc nhƣng bƣớc đầu để phát triển toán phát mặt ngƣời ảnh Bên cạnh đó, trình xây dựng chƣơng trình thử nghiệm, tìm hiểu thêm thƣ viện mã nguồn mở Luxand FaceSDK, qua biết cách sử dụng hàm có sẵn thƣ viện Chƣơng trình demo cho kết tƣơng đối tốt, dò tìm đƣợc hầu hết khuôn mặt, thời gian phát nhanh ảnh mặt ngƣời đƣợc chụp thẳng, chất lƣợng ảnh tốt Tuy nhiên, ảnh chụp nghiêng 450, ảnh có màu sắc tối, ảnh có phức tạp chƣơng trình khó phát đƣợc khuôn mặt Đối với ảnh webcam hiệu suất chƣơng trình tùy thuộc theo chất lƣợng loại webcam đƣợc sử dụng trình chụp ảnh, nhƣng giống việc phát khuôn mặt ảnh, chƣơng trình khó phát đƣợc mặt ngƣời ảnh có độ sáng khuôn mặt bị chụp nghiêng 450 Hƣớng phát triển đề tài: Đây đề tài tƣơng đối phức tạp, cố gắng xây dựng hệ thống có khả phát mặt ngƣời dựa vào thông tin khuôn mặt xuất ảnh tốt Nhƣng với hạn chế mặt trình độ nhƣ thời gian thực hiện, kết thúc đề tài với mảng nhỏ lĩnh vực phát Tuy nhiên thời gian tới áp dụng thêm số kỹ thuật nâng cao chất lƣợng ảnh nhƣ tách ngƣỡng, tăng giảm độ sáng bó cụm để tiền xử lý ảnh đầu vào nhằm loại bớt nhiễu làm tăng khả phát đối tƣợng giúp chƣơng trình phát đƣợc ảnh có phức tạp ảnh tối 52 TÀI LIỆU THAM KHẢO Tiếng Việt [1] PGS.TS Đỗ Năng Toàn, TS Phạm Việt Bình, Xử lý ảnh, Đại học Thái Nguyên, 2007 Tiếng Anh [2] A Yuille, P.Halinan, and D Cohen, “Feature Extraction from Faces Using efomable Template”, Int’l J Computer Vision, vol 8, no 2, pp 99-111, 1992 [3] C Kotropoulos and I Pitas, “Rule-Based Face Detection in Frontal Views”, Proc Int’l Conf Acoustics, Speech and Signal Processing, pp 122-126, 1998 [4] Duc A Duong, Du LH Tran, DuanD Tran, “Optimizing Speed for Adaptive Local Thresholding Algorithm Using Dynamic Programming”, International Conference on Electronics, Information, and Communications 2004-ICEIC’04, Vol 1, pp 438-441, Aug 2004 [5] E Osuna, R Freund, and F Girosi, “Training Support Vector Machines: An Application to Face Detection” Proc IEEE Conf Computer Vision and Pattern Recognition, pp 130-136, 1997 [6] Fuzhen Huang and Jianbo Su, “Multiple Face Detection Using adaptive Flows”, Sinobiometrics 2004, LNCS 3338, pp 137-143, Springer-Verlag Berlin eidellberg, 2004 [7] G Yang, T S Huang, “Human Face Detection in Complex Background”, Pattern Recognition, Vol 27, No 1, pp 53-63, 1994 [8] H Schneiderman, T Kanade, “Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Detection”, Proc IEEE Conf Computer Vision and Pattern Recognition (CVPR’98), pp 45-51, 1998 [9] H Rowley, S Baluja, T Kanade, “Neural network-based face detection”, IEEE Transaction on Pattern Analysis and Machine Intelligence (PAMI), Vol 20, No 1, pp 23-38, Jan 1998 [10] James L Crowley, Alice C Parker, “A Representation for Shape based on Peaks and Ridges in the Difference of Low-Pass Transform”, Technical ReportCMU-RI-TR-83-4, Carnegie-Mellon University, May 1983 [11] K.V Mardia and Dryden, “Shape Distributions for Landmark Data”, Advanced Applied Probability, vol 21, pp 742-755, 1989 [12] L Sirovich and M Kirby, “Low-dimensional proceduce for the characterization of human faces” The Optical of America A, Vol 4, page 519, March 1987 53 [13] Ming-Hsuan Yang, David J Kriegman, Narendra Ahuja, “Detecting Faces in Images: A Survey”, IEEE Transaction on Pattern Analysis and Machine Intelligence (PAMI), Vol 24, No 1, pp 34-47, January 2002 (1-25) [14] M Kirby and L Sirovich, “Application of the Karhunen-LoeveProceduce for the Characterization of Human face”, IEEE Trans Patten Analysis and Machine Intelligence, vol 12, no 1, pp 103-108, Jan 1990 [15] P Viola, M Jones, “Rapid object detection using a boosted cascade of simple features”, Proc IEEE Conf Computer Vision and Pattern Recognition (CVPR’01), pp 511-518, Dec 2001 [16] Quan Yuan, Wen Gao, Hongxun Yao, “Robust frontal face detection in complex environment”, International Conference on Pattern Recognition 2002 ICPR’02, pp 25-28, Aug 2002, Canada [17] S.A Sirohey, “Human face Segmentation and Identification”, Technical Report CS-TR-3176, Univ of Maryland, 1983 [18] T Sakai, M Nagao, and S Fujibayashi, “Line Extraction and Pattern Detection in a Photograph”, Pattern Recognition, vol 1, pp 233-248, 1969 [19] Tony Lindeberg, “Edge Detection and Ridge Detection with Automatic Scale Selection”, International Journal of Computer Vision, pp 117-154, Vol 30, No 2, Nov 1998 [20] Thanh Hai Tran Thi, Augustin Lux, “A method for Ridge Extraction”, 6th Asian Conference on Computer Vision 2004- ACCV’04, Vol 2, Feb 2004, Korea Website: [21] http://news.zing.vn/Nhung-vu-an-cap-tien-qua-mang-lon-nhat-trong-lichsu-post458349.html [22] http://www.vision.caltech.edu/html-files/archive.html [...]... là kết hợp các vùng đặc trƣng khuôn mặt với các trạng thái của mô hình (Hình 1.6) trán mắt mũi miệng cằm Hình 1.5: Mô hình Markov xác định khuôn mặt 21 Hình 1.6: Các trạng thái ẩn của mô hình Markov Thông thƣờng phƣơng pháp dựa vào mô hình Markov ẩn sẽ xem xét một mẫu khuôn mặt nhƣ một chuỗi các vector quan sát (Hình 1.7) với mỗi vector là một dãy điểm ảnh Sau đó áp dụng một định hƣớng theo xác suất... viên có thể là khuôn mặt ngƣời để xác định khuôn mặt ngƣời d Đa đặc trưng Gần đây có nhiều phƣơng pháp sử dụng kết hợp các đặc trƣng toàn cục nhƣ: màu da, kích thƣớc và hình dạng để tìm các ứng viên khuôn mặt, sau đó sẽ xác minh ứng viên nào là khuôn mặt thông qua các đặc trƣng chi tiết nhƣ: mắt, mũi, miệng và tóc Tùy theo các tác giả khác nhau có thể sử dụng các tập đặc trƣng khác nhau 1.1.4.3 Hướng tiếp... bên trái và bên phải của khuôn mặt Còn theo hình chiếu dọc, xét biểu đồ biến thiên của VI, các cực tiểu địa phƣơng cũng cho ta vị trí của hai mắt, miệng và đỉnh mũi Những đặc trƣng này đủ để xác định khuôn mặt Hình 1.3 là một ví dụ về cách xác định khuôn mặt sử dụng phƣơng pháp chiếu Với cách xác định này tỉ lệ chính xác đạt khoảng 86.5% đối với trƣờng hợp chỉ có một khuôn mặt trong ảnh và nền ảnh không... pháp này áp dụng các kỹ thuật theo hƣớng xác suất thống kê và máy học để tìm ra những đặc tính liên quan của khuôn mặt và không phải là khuôn mặt Những đặc tính này đã đƣợc học trong hình thái các mô hình phân phối hay các hàm biệt số nên có thể dùng các đặc tính này để xác định khuôn mặt Đối với bài toán này để nâng cao hiệu quả tính toán cũng nhƣ hiệu quả xác định thì việc giảm số chiều thƣờng đƣợc... duy nhất một đƣờng bao xung quanh khuôn mặt Dùng một hình elip để bao khuôn mặt, tách biệt vùng đầu và hình nền Độ chính xác của thuật toán này là 80%) Leung đƣa ra một mô hình xác suất để xác định khuôn mặt có hình nền phức tạp dựa trên việc tìm kiếm các đặc trƣng không thay đổi của khuôn mặt, sau đó dùng một đồ thị ngẫu nhiên để xác định khuôn mặt Leung dùng năm đặc trƣng là hai mắt, hai lỗ mũi, phần... trọng của mô hình Markov ẩn là các mẫu có thể đƣợc đặc tính hóa nhƣ các tiến trình ngẫu nhiên có tham số và các tham số này đƣợc ƣớc lƣợng một cách chính xác Đối với bài toán nhận dạng mẫu thì phải xác định rõ có bao nhiêu trạng thái ẩn đầu tiên cho hình thái mô hình Sau đó huấn luyện mô hình Markov ẩn học xác suất chuyển tiếp giữa các trạng thái từ các mẫu, mỗi mẫu này đƣợc mô tả nhƣ một chuỗi các quan... kiếm cho các đặc trƣng khác của khuôn mặt Từ những đặc trƣng không thay đổi, những đặc trƣng khác sẽ đƣợc xác định thông qua đánh giá xác suất khoảng cách giữa các đặc trƣng Tỷ lệ chính xác của thuật toán này là 86% b Kết cấu khuôn mặt Mỗi khuôn mặt có những kết cấu riêng mà có thể dùng để phân loại và so sánh với các đối tƣợng khác Augusteijin và Skufca đã suy luận rằng hình dạng của khuôn mặt dùng... trên đều sử dụng các đặc trƣng chủ yếu dựa trên độ sáng của điểm ảnh Vì vậy các mối quan hệ giữa các đặc trƣng rút trích cần đƣợc bổ sung vào các luật heristic để phân tích hiệu quả hơn Mặt khác, nếu không có các tri thức bổ sung đƣợc định nghĩa trƣớc thì các mô hình này khó có thể đạt độ chính xác cao trong nhận dạng mặt ngƣời Vì vậy để đạt độ chính xác cao hơn, chúng ta cần hƣớng đến một loại đặc trƣng... của một tập con các vector này đƣợc gọi là support vector b4 Mô hình Markov ẩn (Hidden Markow Model – HMM) Mô hình Markov ẩn là một mô hình thống kê đƣợc mô hình hóa, quá trình mô hình hóa gọi là quá trình Markov với các tham số không biết trƣớc và nhiệm vụ là phải xác định các tham số đó từ các tham số quan sát đƣợc Các tham số của mô hình đƣợc rút ra sau đó có thể sử dụng để thực hiện các phân tích... tả hình dáng, sau đó dùng một mô hình phân bố điểm (Point Distribution Model - PDM) để mô tả vector hình dáng qua toàn bộ các cá thể Dùng cách tiếp cận của Kirby và Sirovich [14] để mô tả cƣờng độ bề ngoài của hình dáng đã đƣợc chuẩn hóa Để tìm kiếm và ƣớc lƣợng vị trí khuôn mặt cũng nhƣ các tham số về hình dáng ông sử dụng một mô hình phân bố điểm có hình dáng nhƣ khuôn mặt Các ứng viên khuôn mặt ... đỉnh mũi Những đặc trƣng đủ để xác định khuôn mặt Hình 1.3 ví dụ cách xác định khuôn mặt sử dụng phƣơng pháp chiếu Với cách xác định tỉ lệ xác đạt khoảng 86.5% trƣờng hợp có khuôn mặt ảnh ảnh không... áp dụng mô hình thống kê để xác định phát khuôn mặt Trong luận văn tập trung vào nhận dạng mặt ngƣời 24 Chƣơng PHÁT HIỆN MẶT NGƢỜI SỬ DỤNG ĐẶC TRƢNG 3D 2.1 Đặc trƣng 3D Nói cách đơn giản đặc. .. dụng kỹ thuật theo hƣớng xác suất thống kê máy học để tìm đặc tính liên quan khuôn mặt khuôn mặt Những đặc tính đƣợc học hình thái mô hình phân phối hay hàm biệt số nên dùng đặc tính để xác định