Báo cáo đồ án tên đề tài nhận dạng khuôn mặt

• BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI KHOA ĐIỆN-ĐIỆN TỬ BÁO CÁO ĐỒ ÁN Tên đề tài Nhận dạng khuôn mặt Giảng viên môn: Nguyễn Thúy Bình Nhóm 19 Thành viên nhóm Nguyễn Bá Thế Phạm Phi Vũ Vũ Đức Long 191404338 191403549 191412532 HÀ NỘI, tháng năm 2023 MỤC LỤC MỞ ĐẦU………………………………………………………………………………………4 CHƯƠNG KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI KHÁI QUÁT VỀ XỬ LÝ ẢNH……………………………………………………5 1.1 Một số khái niệm 1.2 Một số vấn đề xử lý ảnh 1.3 Một số ứng dụng xử lý ảnh BÀI TỐN NHẬN DẠNG MẶT NGƯỜI ……………………………………………9 2.1 Bài tốn nhận dạng mặt người 2.2 Những khó khăn nhận dạng khuôn mặt 2.3 Tầm quan trọng toán nhận diện mặt người……………………………….10 2.4 Các ứng dụng đặc trưng toán nhận diện mặt người……………… …….11 2.5 Xây dựng hệ thống nhận diện mặt người đặc trưng………………………………12 2.6 Một số phương pháp nhận dạng mặt người……………………………………….13 CHƯƠNG 2.Xây dụng ứng dụng kết quả……………………………………………… 21 XÂY DỰNG ỨNG DỤNG……………………………………………………………….21 1.1 Lấy liệu……………………………………………………………………… 21 1.2 Nhận diện khuôn mặt…………………………………………………………… 22 1.3 kết thực hiện………………………………………………………………… 23 So sánh mức độ xác nhận diện khn mặt…………………………… 24 2.1 Code so sánh mức độ xác……………………………………………………24 2.2 Kết thực hiện………………………………………………………………… 24 KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU…………………………………………………25 Kết quả……………………………………………………………………………… 25 Hướng nghiên cứu 25 LỜI CẢM ƠN Lời đầu tiên, chúng em xin cảm ơn thầy cô Trường Đại học Giao Thông Vận Tải giảng dạy, truyền đạt cho chúng em kiến thức tảng bản, kinh nghiệm thực tế, định hướng giúp đỡ chúng em trình học tập nghiên cứu tìm hiểu đề tài Chúng em xin cảm ơn cô Nguyễn Thúy Bình hướng dẫn, giải đáp vướng mắc đưa lời khuyên, định hướng phát triển học tập nghiên cứu trình thực triển khai đề tài Trong trình thực đề tài chúng em cố gắng hoàn thành phạm vi kiến thức tích lũy học tập được, nhiên để hiểu hết kiến thức chúng em cần phải nổ lực nữa, dành nhiều thời gian nghiên cứu cố gắng Trong trình làm đề tài kiến thức kinh nghiệm thực tế cịn nên chắn khơng tránh khỏi lỗi thiếu sót Vì chúng em mong nhận góp ý bảo nhiều từ phía thầy để chúng em phát triển đề tài làm chủ kiến thức Chúng em xin trân trọng cảm ơn MỞ ĐẦU Giới thiệu Công nghệ thông tin ứng ụng lĩnh vực đời sống, Với hệ thống máy tính, làm nhiều việc, tiết kiệm thời gian công sức Điển cơng việc nhận dạng mặt người Ngày xưa, muốn tìm kiếm kẻ tình nghi siêu thị hay sân bay, nhân viên an ninh phải tìm kiếm hình camera theo dõi Ngày công việc làm tự động nhờ hệ thống nhận diện khuôn mặt người Phát mặt người ảnh phần quan trọng hệ thống nhận dạng mặt người đó, giải tốt việc phát mặt người giúp tiết kiệm thời gian nâng cao độ xác việc nhận dạng khuôn mặt Phát mặt người toán nhận dạng đơn giản, hệ thống cần phân loại đối tượng đưa vào phải có người hay người Ở mức độ cao hơn, sau phát khuôn mặt, khuôn mặt so sánh với khn mặt, khn mặt so sánh với khn mặt có liệu để nhận dạng xem khuôn mặt (thường áp dụng nhận dạng khuôn mặt người tiếng tội phạm bị truy nã) Mục tiêu đề tài Với mong muốn tìm giải pháp giải vấn đề trên, nhóm nghiên cứu mạnh dạn chọn đề tài “NHẬN DIỆN MẶT NGƯỜI” Mục tiêu tìm hiểu xây dựng ứng dụng nhận diện khn mặt Nội dung kế hoạch thực Xây dựng chương trình nhận dạng mặt người thơng qua camera Bố cục báo cáo Sau phần Mở đầu, báo cáo trình bày ba chương, cụ thể sau: Chương Tổng quan xử lý ảnh toán nhận diện mặt người Chương Xây dựng ứng dụng nhận diện mặt người Cuối Kết luận, Tài liệu tham khảo liên quan đến đề tài CHƯƠNG KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI KHÁI QUÁT VỀ XỬ LÝ ẢNH 1.1 Một số khái niệm Xử lý ảnh mảng quan trọng kỹ thuật thị giác máy tính, tiền đề cho nhiều nghiên cứu thuộc lĩnh vực Hai nhiệm vụ trình xử lý nâng cao chất lượng thơng tin hình ảnh xử lý số liệu cung cấp cho trình khác có việc ứng dụng thị giác vào điều khiển Quá trình việc thu nhận ảnh nguồn (từ thiết bị thu nhận ảnh dạng số tương tự) gửi đến máy tính Dữ liệu ảnh lưu trữ định dạng phù hợp với trình xử lý Người lập trình tác động thuật toán tương ứng lên liệu ảnh nhằm thay đổi cấu trúc ảnh phù hợp với ứng dụng khác Quá trình xử lý nhận dạng ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu q trình xử lý ảnh ảnh “đã xử lý” kết luận Hình Quá trình xử lý ảnh Ảnh xem tập hợp điểm ảnh điểm ảnh xem đặc trưng cường độ ánh sáng hay dấu hiệu vị trí đối tượng khơng gian xem hàm n biến P(c,c1,c2, ,) Do đó, ảnh xử lý ảnh xem ảnh n chiều * Sơ đồ tổng quát hệ thống xử lý ảnh: Hình Các bước hệ thống xử lý ảnh 1.2 Một số vấn đề xử lý ảnh 1.2.1 Các hệ thống xử lý ảnh a Tiền xử lý Tiền xử lý giai đoạn xử lý ảnh số Tùy thuộc vào trình xử lý giai đoạn thực công đoạn khác như: nâng cấp, khôi phục ảnh, nắm hình học, nhử nhiễu v.v… b.Trích chọn đặc điểm Các đặc điểm đối tượng trích chọn tùy theo mục đích nhận dạng q trình xử lý ảnh Trích chọn hiệu đặc điểm giúp cho việc nhận dạng đối tượng ảnh xác, với tốc độ tính tốn cao dung lượng nhớ lưu trữ giảm c Đối sánh, nhận dạng d Nhận dạng tự động (automatic recognition), mô tả đối tượng, phân loại phân nhóm mẫu vấn đề quan trọng thị giác máy, ứng dụng nhiều ngành khoa học khác Ví dụ mẫu ảnh vân tay, ảnh vật chụp, chữ viết, khn mặt người ký đồ tín hiệu tiếng nói Khi biết mẫu đó, để nhận dạng phân loại mẫu Hệ thống nhận dạng tự động bao gồm ba khâu tương ứng với ba giai đoạn chủ yếu sau đây:  Thu nhận liệu tiền xử lý  Biểu diễn liệu  Nhận dạng, định Bốn cách tiếp cận khác lý thuyết nhận dạng là:  Đối sánh mẫu dựa đặc trưng trích chọn  Phân loại thống kê  Đối sánh cấu trúc  Phân loại dựa mạng nơ-ron nhân tạo Trong ứng dụng rõ ràng khơng thể dùng có cách tiếp cận đơn lẻ để phân loại “tối ưu” cần sử dụng lúc nhiều phương pháp cách tiếp cận khác Do vậy, phương thức phân loại tổ hợp hay sử dụng nhận dạng có kết có triển vọng dựa thiết kế hệ thống lai (hybrid system) bao gồm nhiều mơ hình kết hợp 1.2.2 Các hình thái ảnh a.Chuyển ảnh màu thành ảnh xám Đơn vị tế bào ảnh số pixel Tùy theo định dạng ảnh màu hay ảnh xám mà pixel có thơng số khác Đối với ảnh màu pixel mang thông tin ba màu tạo màu khả biến Đỏ (R), Xanh (G) Xanh biển (B) [Thomas 1892] Trong pixel ảnh màu, ba màu R, G B bố trí sát có cường độ sáng khác Thơng thường, màu biểu diễn tám bit tương ứng 256 mức độ màu khác Như vậy, pixel có 28x3=224 màu (khoảng 16.78 triệu màu) Đối với ảnh xám, thông thường pixel mang thông tin 256 mức xám (tương ứng với tám bit) ánh xám hồn tồn tái đầy đủ cấu trúc ảnh màu tương ứng thông qua tám mặt phẳng bit theo độ xám b Lược đồ xám ảnh (Histogram) Lược đồ xám số ảnh số có mức xám khoảng [0, L-1] hàm rời rạc p(rk)=nk/n Trong nk số pixel có mức thu xám thứ rk, n tổng số pixel ảnh k=0,1,2 L−1 Do P(rk) cho xấp xỉ xác suất xảy mức xám rk Vẽ hàm với tất giá trị k biểu diễn khái quát xuất mức xám ảnh Chúng ta thề lược đồ mức xám ảnh thông qua tần suất xuất mức xám qua hệ tọa độ vng góc xOy Trong đó, trục hồnh biểu diễn số mức xám từ đến N (số bit ảnh xám) Trục tung biểu diễn số pixel mức xám 1.3 Một số ứng dụng xử lý ảnh Như nói trên, kỹ thuật xử lý ảnh trước chủ yếu sử dụng để nâng cao chất lượng hình ảnh, xác tạo cảm giác gia tăng chất lượng ảnh quang học mắt người quan sát Thời gian gần đây, phạm vi ứng dụng xử lý ảnh mở rộng khơng ngừng, nói khơng có lĩnh vực khoa học không sử dụng thành tựu công nghệ xử lý ảnh số Trong y học thuật toán xử lý ảnh cho phép biến đổi hình ảnh tạo từ nguồn xạ X -ray hay nguồn xạ siêu âm thành hình ảnh quang học bề mặt film x-quang trực tiếp bề mặt hình hiển thị Hình ảnh quan chức người sau xử lý tiếp để nâng cao độ tương phản, lọc, tách thành phần cần thiết (chụp cắt lớp) tạo hình ảnh khơng gian ba chiều (siêu âm chiều) Trong lĩnh vực địa chất, hình ảnh nhận từ vệ tinh phân tích để xác định cấu trúc bề mặt trái đất Kỹ thuật làm đường biên (image enhancement) khơi phục hình ảnh (image restoration) cho phép nâng cao chất lượng ảnh vệ tinh tạo đồ địa hình 3-D với độ xác cao Trong ngành khí tượng học, ảnh nhận từ hệ thống vệ tinh theo dõi thời tiết xử lý, nâng cao chất lượng ghép hình để tạo ảnh bề mặt trái đất vùng rộng lớn, qua thực việc dự báo thời tiết cách xác Xử lý ảnh sử dụng rộng rãi lĩnh vực hình hệ thống bảo mật kiểm sốt truy cập: q trình xử lý ảnh với mục đích nhận dạng vân tay hay khuôn mặt cho phép phát nhanh đối tương nghi vấn nâng cao hiệu hệ thống bảo mật cá nhân kiểm soát vào Ngồi ra, kể đến ứng dụng quan trọng khác kỹ thuật xử lý ảnh tĩnh ảnh động đời sống tự động nhận dạng, nhận dạng mục tiêu quân sự, máy nhìn công nghiệp hệ thống điều khiển tự động, nén ảnh tĩnh, ảnh động để lưu truyền mạng viễn thơng v.v BÀI TỐN NHẬN DẠNG MẶT NGƯỜI 2.1 Bài toán nhận dạng mặt người Hệ thống nhận dạng mặt người hệ thống nhận vào ảnh video (một chuỗi ảnh) Qua xử lý tính tốn hệ thống xác định vị trí mặt người ảnh (nếu có) xác định người số người hệ thống biết (qua trình học) người lạ 2.2 Những khó khăn nhận dạng khn mặt a Tư góc chụp: Ảnh chụp khn mặt thay đổi nhiều góc chụp camera khuôn mặt Chẳng hạn như: chụp thẳng, chụp xéo bên trái 450 hay xéo bên phải 450, chụp từ xuống, chụp từ lên, v.v…) Với tư khác nhau, thành phần khuôn mặt mắt, mũi, miệng bị khuất phần chí khuất hết Khn mặt nhìn thẳng góc chụp máy ảnh lại lệch nhiều so với hướng nhìn thẳng khn mặt lúc chụp ảnh mặt người quay nghiêng sang bên nhiều khó khăn lớn toán nhận diện mặt người b Sự xuất thiếu số thành phần khuôn mặt: Các đặc trưng râu mép, râu hàm, mắt kính, v.v… xuất khơng Vấn đề làm cho tốn khó khăn nhiều c Sự biểu cảm khuôn mặt: Biểu cảm khn mặt người làm ảnh hưởng đáng kể lên thông số khuôn mặt Chẳng hạn, khn mặt người, khác họ cười sợ hãi… d Sự che khuất: Khn mặt bị che khuất đối tượng khác khuôn mặt khác e Hướng ảnh: Các ảnh khn mặt biến đổi nhiều với góc quay khác trục camera Chẳng hạn chụp với trục máy ảnh nghiêng làm cho khuôn mặt bị nghiêng so với trục ảnh f Điều kiện ảnh: Ảnh chụp điều kiện khác về: chiếu sang, tính chất camera (máy kỹ thuật số, máy hồng ngoại, v.v…) ảnh hưởng nhiều đến chất lượng ảnh khuôn mặt g Nền ảnh phức tạp: ảnh phức tạp khó khăn tốn nhận diện khuôn mặt người ảnh, khuôn mặt người dễ bị nhầm lẫn với nhiều khung cảnh phức tạp xung quanh ảnh hưởng nhiều đến trình phân tích rút trích đặc trưng khn mặt ảnh, dẫn đến khơng nhận khuôn mặt nhận nhầm khung cảnh xung quanh thành khuôn mặt người h Màu sắc da mặt: màu sắc da mặt tối gần với màu sắc khung cảnh môi trường xung quanh khó khăn với tốn nhận diện mặt người Nếu màu sắc da người tối thuật tốn gặp khó khăn việc nhận diện đặc trưng khơng tìm khuôn mặt người 2.3 Tầm quan trọng tốn nhận diện mặt người Nếu cơng nghệ nhận dạng giọng nói phù hợp với ứng dụng callcenter nhược điểm tiếng ồn, khơng phù hợp với nơi cơng cộng đơng người cơng nghệ nhận dạng chữ ký gây nhiều phiền phức cho người sử dụng khó trì chữ ký giống thời điểm Trong đó, cơng nghệ nhận dạng vân tay dùng phổ biến, có nhược điểm bị ảnh hưởng độ ẩm da đặc biệt khơng xác cao với người có tay hay tiếp xúc với hố chất Bên cạnh đó, nhận dạng vân tay cịn có hạn chế việc giả mạo, 10 tội phạm truy tìm hay khơng, nhân vật đặc biệt cần quan tâm vv  Giải trí: hẩu hết máy ảnh đại ngày có chức tự động nhận diện mặt người để lấy độ nét, điều chỉnh ánh sáng cho phù hợp với khung cảnh xung quanh Trên số trang web áp dụng công nghệ tự động nhận diện mặt người so sánh với kho liệu khổng lồ để đưa lời chào, dịch vụ thơng cho người sử dụng  Hệ thống quan sát, theo dõi bảo vệ: hệ thống camera xác định đâu người theo dõi người đó…  Điều khiển vào quan, văn phòng: cho phép nhân viên vào khu vực quan mà không cần phải đăng nhập hay dùng thẻ Nếu kết hợp với sử dụng vân tay hay hốc mắt đem lại kết xác cao  Tổ chức tìm kiếm liên quan đến người thơng qua khuôn mặt nhiều hệ sở liệu lớn  Phân tích cảm xúc khn mặt người v v 2.5 Xây dựng hệ thống nhận diện mặt người đặc trưng Một hệ thống nhận diện khuôn mặt người xây dựng qua nhiều cơng đoạn khác phúc tạp, ta khái quát chung hệ thông nhận dạng khuôn mặt người gồm có bước sau: 12 Hình Hệ thống nhận diện mặt người đặc trưng  Tiền xử lý: hệ thống nhận vào ảnh tĩnh, sau sử lý ảnh cho chất lượng tốt hơn, chỉnh lại độ sáng, giảm độ nhiễu … điều giúp cho q trình rút trích đặc trưng khuôn mặt dễ dáng nhiều Quá trình tiền xử lý thường đơn giản nhanh gọn nên khơng cần dùng thuật tốn phức tạp nhiều thời gian  Trích rút đặc trưng: Trích rút đặc trưng kỹ thuật sử dụng thuật tốn để lấy thơng tin mang đặc điểm riêng biệt người  Nhận diện khn mặt: sau rút trích đặc trưng, đưa vào khối nhận dạng để phân lớp đối tượng 2.6 Một số phương pháp nhận dạng mặt người Hiện có nhiều phương pháp nhằm xác định khuôn mặt người ảnh, từ ảnh có chất lượng khơng tốt tốt, khơng màu (đen trắng) đến có màu Nhưng phân chia phương pháp thành bốn hướng tiếp cận chính: 13 - Hướng tiếp cận dựa tri thức: Mã hóa hiểu biết người khn mặt thành luật luật thường mô tả quan hệ đặc trưng khuôn mặt - Hướng tiếp cận dựa diện mạo: Hướng tiếp cận dùng tập ảnh huấn luyện cho trước, sau hệ thống xác định khn mặt người, cịn có tên là: hướng tiếp cận dựa phương pháp học - Hướng tiếp cận dựa so sánh khớp mẫu: Dùng mẫu chuẩn khuôn mặt người để mô tả cho khuôn mặt hay đặc trưng khuôn mặt - Hướng tiếp cận dựa đặc trưng khơng thay đổi: Các thuật tốn tìm đặc trưng mơ tả cấu trúc khn mặt người mà đặc trưng không thay đổi tư khuôn mặt, điều kiện ánh sáng hay vị trí đặt máy ảnh thay đổi 2.6.1 Dựa tri thức Trong hướng tiếp cận này, luật phụ thuộc lớn vào tri thức tác giả nghiên cứu toán xác định khuôn mặt người Đây hướng tiếp cận dạng top-down Dễ dàng xây dựng luật để mô tả đặc trưng khuôn mặt quan hệ tương ứng Ví dụ, khn mặt thường có hai mắt đối xứng qua trục thẳng đứng khn mặt có mũi, miệng Các quan hệ đặc trưng mơ tả quan hệ khoảng cách vị trí Thơng thường trích đặc trưng khn mặt trước tiên để có ứng viên, sau ứng viên xác định thông qua luật để biết ứng viên khuôn mặt ứng viên khuôn mặt Thường áp dụng trình xác định để giảm số lượng xác định sai Một vấn đề phức tạp dùng hướng tiếp cận chuyển từ tri thức người sang luật hiệu Nếu luật chi tiết xác định xác định thiếu khn mặt có ảnh, khn mặt khơng thể thỏa mãn tất luật đưa Nhưng luật tổng qt q xác định lầm vùng khơng phải khn mặt mà lại xác định khn mặt Và khó khăn mở rộng yêu cầu từ toán để xác định khn mặt có nhiều tư khác 14 Hai tác giả Yang Huang dùng phương thức theo hướng tiếp cận sau để xác khuôn mặt Hệ thống hai tác giả bao gồm ba mức luật Ở mức cao nhất, dùng khung cửa sổ quét ảnh thông qua tập luật để tìm ứng viên khuôn mặt Ở mức kế tiếp, hai ông dùng tập luật để mơ tả tổng qt hình dáng khn mặt Còn mức cuối lại dùng tập luật khác để xem xét mức chi tiết đặc trưng khuôn mặt Một hệ thống đa độ phân giải có thứ tự dung để xác định Các luật mức cao để tìm ứng viên như: “vùng trung tâm khn mặt có bốn phần với mức độ bản”, “phần xung quanh bên khn mặt có mức độ bản”, “mức độ khác giá trị xám trung bình phần trung tâm phần bao bên đáng kể” Độ phân giải thấp ảnh dùng để tìm ứng viên khn mặt mà cịn tìm mức phân giải tốt Ở mức hai, xem xét biểu đồ histogram ứng viên để loại bớt ứng viên khn mặt, đồng thời dị cạnh bao xung quanh ứng viên Ở mức cuối cùng, ứng viên lại xem xét đặc trưng khuôn mặt mắt miệng Hai ông dùng chiến lược “từ thô đến mịn” hay “làm rõ dần” để giảm số lượng tính tốn xử lý Mặc dù tỷ lệ xác chưa cao, tiền đề cho nhiều nghiên cứu sau Hai tác giả Kotropoulos Pitas đưa phương pháp tương tự dùng độ phân giải thấp Hai ông dùng phương pháp chiếu để xác định đặc trưng khuôn mặt, Kanade thành công với phương pháp chiếu để xác định biên khuôn mặt Với I(x,y) giá trị xám điểm ảnh có kích thước m x n vị trí (x,y), hàm để chiếu ảnh theo phương ngang thẳng đứng định nghĩa sau: { n HI ( x ) =∑ I ( x , y) y=1 m VI ( y )=∑ I (x , y) x=1 Dựa biểu đồ hình chiếu ngang, có hai cực tiểu địa phương hai ơng xét q trình thay đổi độ đốc HI, cạnh bên trái phải hai bên đầu Tương tự 15 với hình chiếu dọc VI, cực tiểu địa phương cho ta biết vị trí miệng, đỉnh mũi, hai mắt Các đặc trưng đủ để xác định khuôn mặt 2.6.2 Hướng tiếp cận dựa đặc trưng không thay đổi Đây hướng tiếp cận theo kiểu bottom-up Các tác giả cố gắng tìm đặc trưng khơng thay đổi khuôn mặt người để xác định khuôn mặt người Dựa nhận xét thực tế, người dễ dàng nhận biết khuôn mặt đối tượng tư khác điều kiện ánh sáng khác nhau, phải tồn thuộc tính hay đặc trưng khơng thay đổi Có nhiều nghiên cứu xác định đặc trưng khuôn mặt có khn mặt ảnh hay khơng Các đặc trưng như: lông mày, mắt, mũi, miệng, đường viền tóc trích phương pháp xác định cạnh Trên sở đặc trưng này, xây dựng mơ hình thống kê để mơ tả quan hệ đặc trưng xác định tồn khuôn mặt ảnh Một vấn đề thuật toán theo hướng tiếp cân đặc trưng cần phải điều chỉnh cho phù hợp điều kiện ánh sáng, nhiễu, bị che khuất Đơi bóng khn mặt tạo thêm cạnh mới, mà cạnh lại rõ cạnh thật khn mặt, dùng cạnh để xác định gặp khó khăn a.Các đặc trưng khuôn mặt Sirohey đưa phương pháp xác định khn mặt từ ảnh có hình phức tạp Phương pháp dựa cạnh (dùng phương pháp Candy heuristics để loại bỏ cạnh để lại đường bao xung quanh khuôn mặt Một hình ellipse dùng để bao khn mặt, tách biệt vùng đầu hình Tỷ lệ xác thuật toán 80% Cũng dùng phương pháp cạnh Sirohey, Chetverikov Lerch dùng phưong pháp dựa blob streak (hình dạng giọt nước sọc xen kẽ), để xác định theo hướng cạnh Hai ông dùng hai blob tối ba blob sáng để mô tả hai mắt, hai bên gị má, mũi Mơ hình dùng treak để mơ tả hình dáng ngồi khn mặt, lơng mày, mơi Dùng ảnh có độ phân giải thấp theo biến đổi Laplace để xác định khn mặt thơng qua blob 16 Leung trình bày mơ hình xác suất để xác định khn mặt ảnh có hình phức tạp sở xác định đặc trưng cục so khớp đồ thị ngẫu nhiên Dùng năm đặc trưng (hai mắt, hai lỗ mũi, phần nối mũi miệng) để mơ tả khn mặt Ln tính quan hệ khoảng cách với đặc trưng cặp (như mắt trái, mắt phải), dùng phân bố Gauss để mơ hình hóa Một mẫu khn mặt đưa thơng qua trung bình tương ứng cho tập đa hướng, đa tỷ lệ lọc đạo hàm Gauss Từ ảnh, đặc trưng ứng viên xác định cách so khớp điểm ảnh lọc tương ứng với vector mẫu (tương tự mối tương quan), chọn hai ứng viên đặc trưng đứng đầu để tìm kiếm cho đặc trưng khác khuôn mặt Giống xây dựng mộ đồ thị quan hệ node đồ thị tương ứng đặc trưng khuôn mặt, đưa xác suất vào để xác định Tỷ lệ xác định xác 86% b Kết cấu khn mặt: Khn mặt người có kết cấu riêng biệt mà dùng để phân loại so với đối tượng khác Augusteijn Skufca cho hình dạng khuôn mặt dùng làm kết cấu phân loại, gọi kết cấu giống khn mặt (face-like texture) Tính kết cấu qua đặc trưng thống kê thứ tự thứ hai (SGLD) vùng có kích thước 16×16 điểm ảnh Có ba loại đặc trưng xem xét: màu da, tóc, thứ khác Hai ơng dùng mạng neural mối tương quan cascade cho phân loại có giám sát kết cấu ánh xạ đặc trưng tự tổ chức Kohonen để gom nhóm lớp kết cấu khác Hai tác giả đề xuất dùng phương pháp bầu cử không định kết cấu đưa vào kết cấu da hay kết cấu tóc Manian Ross dùng biến đổi wavelet để xây dựng tập liệu kết cấu khuôn mặt ảnh xám thông qua nhiều độ phân giải khác kết hợp xác suất thông kê để xác định khn mặt người Mỗi mẫu có chín đặc trưng Tỷ lệ xác 87%, tỷ lệ xác định sai 18% 17 Hình Kết cấu khn mặt c Sắc màu da Thông thường ảnh màu khơng xác định trực tiếp tồn liệu ảnh mà tác giả dùng tính chất sắc màu da người (khuôn mặt người) để chọn ứng viên khn mặt người (lúc liệu thu hẹp đáng kể) để xác định khn mặt người Tơi trình bày chi tiết mơ hình hóa màu da người sau Hình Màu sắc da mặt d Đa đặc trưng Gần có nhiều nghiên cứu sử dụng đặc trưng tồn cục như: màu da người, kích thước, hình dáng để tìm ứng viên khn mặt, sau xác định ứng viên khuôn mặt thông qua dùng đặc trưng cục (chi tiết) như: mắt, lông mày, mũi, miệng, tóc Tùy tác giả sử dụng tập đặc trưng khác 2.6.3 Hướng tiếp cận dựa so khớp mẫu Trong so khớp mẫu, mẫu chuẩn khuôn mặt (thường khuôn mặt chụp thẳng) xác định trước xác định tham số thơng qua hàm Từ ảnh đưa vào, tính giá trị tương quan so với mẫu chuẩn đường viền khuôn mặt, mắt, mũi miệng Thông qua giá trị tương quan mà tác giả định có hay khơng có tồn khn mặt ảnh Hướng tiếp cận có lợi dễ cài đặt, không hiệu tỷ lệ, tư thế, hình dáng thay đổi Nhiều độ phân giải, đa tỷ lệ, mẫu con, mẫu biến dạng xem xét thành bất biến tỷ lệ hình dáng 18 a Xác định mẫu trước Tác giả Sakai cố gắng thử xác định khn mặt người chụp thẳng ảnh Ơng dùng vài mẫu mắt, mũi, miệng, đường viền khn mặt để mơ hình hóa khn mặt Mỗi mẫu định nghĩa giới hạn đoạn thẳng Các đường thẳng ảnh trích phương pháp xem xét thay đổi gradient nhiều so khớp mẫu Đầu tiên tìm ứng viên thông qua mối tương quan ảnh mẫu đường viền Sau đó, so khớp với mẫu khác Hay nói cách khác, giai đoạn đầu xem giai đoạn sơ chế để tìm ứng viên, giai đọan thứ hai giai đoạn tinh chế để xác định có tồn hay không khuôn mặt người Ý tưởng trì nghiên cứu sau Cịn tác giả Craw đưa phương pháp xác định khuôn mặt người dựa vào mẫu hình dáng ảnh chụp thẳng (dùng vẻ bề hình dáng khn mặt) Đầu tiên dùng phép lọc Sobel để tìm cạnh Các cạnh nhóm lại theo số ràng buộc Sau đó, tìm đường viền đầu, trình tương tự lặp lặp lại với tỷ lệ khác để xác định đặc trưng khác như: mắt, lông mày, mơi Sau Craw mơ tả phương thức xác định dùng tập có 40 mẫu để tìm đặc trưng khn mặt điều khiển chiến lược dị tìm b Các mẫu bị biến dạng Tác giả Yuille dùng mẫu biến dạng để mơ hình hóa đặc trưng khn mặt, mơ hình có khả linh hoạt cho đặc trưng khuôn mặt Trong hướng tiếp cận này, đặc trưng khuôn mặt mơ tả mẫu tham số hóa Một hàm lượng (giá trị) định nghĩa để liên kết cạnh, đỉnh, thung lũng ảnh để tương ứng với tham số mẫu Mơ hình tốt tối thiểu hàm lượng qua tham số, Mặc dù kết tốt với mẫu biến dạng theo vết đối tượng đặc trưng khơng mơ hình theo lưới, hạn chế hướng tiếp cận mẫu biến dạng phải khởi tạo phạm vi gần đối tượng để xác định 19 Hai tác giả Huang Su dùng lý thuyết dịng chảy để xác định đường viền khn mặt dựa đặc tính hình học Hai ơng dùng lý thuyết tập đồng mức (Level Set) để loang từ khởi động ban đầu để có khn mặt người 2.6.4 Hướng tiếp cận dựa diện mạo Trái ngược với phưong pháp so khớp mẫu với mẫu định nghĩa trước chuyên gia, mẫu hướng tiếp cận học từ ảnh mẫu Một tổng quát, phương pháp theo hướng tiếp cận áp dụng kỹ thuật theo hướng xác suất thống kê máy học để tìm đặc tính liên quan khn mặt khơng phải khn mặt Các đặc tính học hình thái mơ hình phân bố hay hàm biệt số nên dùng dùng đặc tính để xác định khn mặt người Đồng thời, toán giảm số chiều thường quan tâm để tăng hiệu tính tốn hiệu xác định Có nhiều phương pháp áp dụng xác suất thống kê để giải Một ảnh hay vector đặc trưng xuất phát từ ảnh xem biến ngẫu nhiên x, biến ngẫu nhiên có đặc tính khn mặt hay khơng phải khn mặt cơng thức tính theo hàm mật độ phân lớp theo điều kiện Có thể dùng phân loại Bayes khả cực phân loại ứng viên khuôn mặt hay khuôn mặt Không thể cài đặt trực tiếp phân loại Bayes số chiều x cao, P(x | khn mặt) P(x | khơng phải khuôn mặt) đa phương thức, chưa thể hiểu xây dựng dạng tham số hóa cách tự nhiên cho P(x | khuôn mặt) P(x | khơng phải khn mặt) Có nhiều nghiên cứu theo hướng tiếp cận quan tâm xấp xỉ có tham số hay khơng có tham số cho P(x | khn mặt) P(x | khuôn mặt) Các tiếp cận khác hướng tiếp cận dựa diện mạo tìm hàm biệt số (như: mặt phẳng định, siêu phẳng để tách liệu, hàm ngưỡng) để phân biệt hai lớp liệu: khuôn mặt khơng phải khn mặt Bình thường, mẫu ảnh chiếu vào khơng gian có số chiều thấp hơn, sau dùng hàm biệt số (dựa độ đo 20