Báo cáo môn Thị giác máy tính của đại học Khoa học tự nhiên. Đề tài nhận diện khuôn mặt bằng Arcface sử dụng các hàm Softmax loss, hàm Arcface loss, mô hình hoá của Aceface loss, ưu nhược điểm của Arcface, đề tài nhận diện khuôn mặt người trong một bức hình cho trước
KHOA TOÁN CƠ TIN HỌC TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN HÀ NỘI Đề tài: Nhận diện khn mặt với thuật tốn Arcface MỤC LỤC MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI Tóm tắt .4 Tầm quan trọng đề tài CHƯƠNG 2: MỤC TIÊU Giới thiệu Khó khăn CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU Ứng dụng Arcface vào tốn nhận dạng khn mặt 1.1 Hàm SoftMax Loss 1.2 Mặt hạn chế Hàm Softmax loss 1.3 Hàm ArcFace loss .8 Mơ hình hóa Arcface 10 Những ưu điểm ArcFace 11 Chi tiết triển khai .12 CHƯƠNG : KẾT QUẢ THỰC NGHIỆM 14 Demo code 14 KẾT LUẬN 14 Hướng phát triển 15 Đánh giá mục tiêu 15 TÀI LIỆU THAM KHẢO 16 MỞ ĐẦU Công nghệ thông tin ngày phát triển có vai trị quan trọng thiếu sống đại Con người ngày tạo cỗ máy thơng minh có khả tự nhận biết xử lý công việc cách tự động, phục vụ cho lợi ích người Kèm theo bùng nổ thiết bị ghi hình như: điện thoại di động, máy tính bảng, máy xách tay, máy ảnh, hệ thống camera quan sát (CCTV), v.v Trong năm gần đây, nhiều tiến lĩnh vực nghiên cứu trí tuệ nhân tạo, học máy học sâu đưa giải pháp cho toán nhận dạng nhận dạng vật thể, nhận dạng chữ viết, nhận dạng khn mặt, nhận dạng hình dáng, nhận dạng giọng nói, … với độ xác cao Nhận dạng khuôn mặt lĩnh vực nghiên cứu phổ biến, camera an ninh phổ biến, công nghệ dần sử dụng sân bay, văn phòng, đại học, ngân hàng địa điểm có hệ thống an ninh Hệ thống nhận dạng khn mặt tự động phát khuôn mặt ảnh video Trong báo cáo này, chúng em cung cấp chi tiết kỹ thuật cho việc nhận diện khuôn mặt cách sử dụng ArcFace để xuất đặc trưng khuôn mặt Nội dung báo cáo bao gồm: Chương 1: Tổng quan đề tài Chương 2: Mục tiêu Chương 3: Kết nghiên cứu Chương 4: Kết thực nghiệm CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI Tóm tắt Ở báo cáo này, chúng tơi trình bày tìm hiểu thuật toán Arcface để giải toán nhận dạng khuôn mặt quy mô lớn Một thách thức lớn xây dựng mơ hình nhận dạng hình ảnh quy mô lớn thực hàm Loss để nâng cao hiệu sức mạnh phân biệt cụm Để giải phương thức đề xuất ArcFace ArcFace sử dụng “Mất biên độ góc bổ sung” để giảm khoảng cách lớp tăng khoảng cách lớp đối tượng Bên cạnh đó, tốn đạt kết 'hiện đại' với phương pháp này, vượt trội hàm mát hàng đầu khác - Softmax Loss, Triplicate loss, Center loss, v.v loạt liệu Các kĩ thuật sử dụng thuật tốn Arcface hàm Loss SphereFace Hàm Loss có tác động lớn tới độ xác biểu diễn điểm ảnh, thu hẹp khoảng cách phân tích sâu ảnh ảnh đầu vào với khung hình khơng gian Tầm quan trọng đề tài Với phát triển không ngừng khoa học kĩ thuật, máy móc ngày trang bị công nghệ tiên tiến đáp ứng nhu cầu người Và nhận diện khuôn mặt số Nhận diện khn mặt ngày ứng dụng rộng rãi nhiều lĩnh vực đời sống như: Face ID, chấm công, truy bắt tội phạm… Công nghệ nhận diện khuôn mặt công nghệ sử dụng phổ biến Công nghệ có khả xác định nhận dạng người từ hình ảnh kỹ thuật số lấy mẫu trước từ khung hình nguồn video khác Nhận dạng khn mặt ứng dụng nhiều lĩnh vực khác trường học, y tế an ninh Ví dụ trường học ta ứng dụng tốn kiểm tra sinh viên có cúp tiết học cách sinh viên vào lớp sinh viên phải quét nhận dạng khuôn mặt để khớp với liệu lưu trường Với hệ thống nhận diện khuôn mặt dành cho điểm danh vào lớp Đối với sinh viên hệ thống camera lắp đặt phòng học tự động ghi nhận có mặt sinh viên dựa liệu hình ảnh sinh viên có Hệ thống thực tự động check-in cho sinh viên vào lớp check-out sinh viên khỏi lớp, liệu lưu vào database phục vụ cho việc điểm danh sinh viên Đối với nhà trường: Giám sát thời gian vào lớp sinh viên Nhà trường giảng viên có số liệu kiểm tra giám sát đối chiếu nhanh xác CHƯƠNG 2: MỤC TIÊU ● Tìm hiểu số thuật tốn nhận dạng khn mặt ● Chọn thuật tốn tìm hiểu rõ thuật tốn (Arcface) ● Tìm code demo cho thuật toán ● Đưa kết nghiên cứu Giới thiệu Mô tả khuôn mặt sử dụng nhúng Mạng nơ ron tích chập sâu (DCNN) phương pháp lựa chọn để nhận dạng khuôn mặt ArcFace, Additive Angular Margin Loss, hàm mát sử dụng tác vụ nhận dạng khuôn mặt Softmax thường sử dụng tác vụ Các kỹ thuật sử dụng thuật tốn Arcface hàm Loss SphereFace Các Hàm Loss sử dụng để tạo khung cho vấn đề tối ưu hóa q trình học sâu Khó khăn Đây phương pháp nên nghiên cứu chưa đạt kết mong muốn Chính vấn đề nhiều nhóm giới quan tâm nghiên cứu Khó khăn tốn nhận diện mặt người kể như: • Sự xuất có số đặc trưng khuôn mặt râu mép, râu hàm, mắt kính xuất • Tư góc chụp : Ảnh chụp khn mặt thay đổi nhiều góc chụp camera khn mặt • Ảnh mờ • Hướng ảnh bị che khuất • Nền ảnh phức tạp CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU Ứng dụng Arcface vào toán nhận dạng khn mặt Mơ hình hóa đặc điểm khác biệt khuôn mặt, tạo nhúng cho khn mặt đầu vào Đây vectơ có độ dài cố định, giống dấu vân tay kỹ thuật số cho khuôn mặt Các phép nhúng sử dụng để tính tốn mức độ giống hai khuôn mặt cách sử dụng độ tương tự cosine khoảng cách bình phương Các vectơ tạo từ hình ảnh khác người có độ giống cao khoảng cách thấp so với vectơ từ người khác 1.1 Hàm SoftMax Loss Trong đó: xi biểu thị trích chọn đặc trưng sâu mẫu thứ i, thuộc lớp thứ yi WTj biểu thị cột thứ j trọng số W bj độ lệch kì hạn Batch size số lớp tương ứng N n 1.2 Mặt hạn chế Hàm Softmax loss Hàm Softmax loss khơng tối ưu hóa rõ ràng tính nhúng để thực thi độ tương đồng cao cho mẫu nội tính đa dạng cho mẫu lớp Điều dẫn đến việc chênh lệch hiệu suất nhận dạng khuôn mặt sâu biến thể ngoại hình lớn lớp (ví dụ: thay đổi tư khoảng cách tuổi) kịch thử nghiệm quy mơ lớn (ví dụ: triệu nghìn tỷ cặp) 1.3 Hàm ArcFace loss ArcFace sử dụng góc lề tương tự SphereFace CosFace để tối đa hóa khả tách lớp khn mặt Nó sử dụng hàm arc-cosine để tính tốn góc đặc trưng trọng lượng mục tiêu Sau đó, thêm lề góc cộng vào góc mục tiêu, ta lấy lại logit mục tiêu hàm cosine Sau đó, phân chia lại tỷ lệ tất logit theo tính định mức cố định bước giống hàm Softmax loss Trong đó: θj góc trọng lượng Wj đặc điểm xi s tỷ lệ đặc trưng, bán kính siêu cầu m - góc phạt lề Hình Đào tạo DCNN để nhận dạng khuôn mặt giám sát Hàm ArcFace loss Dựa đặc trưng xi trọng lượng W chuẩn hóa, ta nhận cos θj (logit) cho lớp WT j xi Ta tính tốn arccosθyi nhận góc đặc trưng xi trọng lượng bề mặt thật Wyi Trên thực tế, Wj cung cấp loại trung tâm cho lớp Sau đó, ta thêm hình góc phạt lề m góc mục tiêu (thật bề mặt) θyi Sau đó, tính cos(θθyi + m) nhân tất logit với thang đo đặc trưng s Sau logits qua Hàm Softmax đóng góp vào Hàm Entropy chéo Hình Ví dụ hàm softmax ArcFace điểm nhận dạng với tính 2D Dấu chấm thể mẫu đường hướng tâm điểm nhận dạng Dựa chuẩn hóa đối tượng, tất đặc điểm khuôn mặt đẩy vào không gian vịng cung với bán kính cố định Khoảng cách khoảng cách trắc địa lớp gần trở nên rõ ràng goc phát lề kết hợp Kết hợp tất biên SphereFace, ArcFace CosFace hàm mát gọi CM: Như hình ảnh bên trái cho thấy, khung lề kết hợp đạt kết tốt, vượt trội nhiều so với Hàm Softmax loss Hình minh họa ranh giới định cho hàm tổn thất ví dụ phân loại nhị phân ArcFace có biên độ góc tuyến tính khơng đổi toàn khoảng thời gian Ngược lại, SphereFace CosFace có lề góc phi tuyến Mơ hình hóa Arcface Thay sử dụng khoảng cách euclid, ArcFace tính tốn khoảng cách trắc địa siêu cầu Không gian trắc địa không gian mà khoảng cách đo 10 đường ray Đường thu hai điểm gọi đường trắc địa Nó mơ tả khoảng cách ngắn điểm, gọi khoảng cách trắc địa Trong hình minh họa bên dưới, thấy diễn giải hình học ArcFace: (a) Sự tương ứng trực quan góc lề cung Lề góc ArcFace tương ứng với lề cung, khoảng cách trắc địa bề mặt siêu cầu (b) Các điểm màu xanh lam xanh lục biểu thị tính nhúng từ hai lớp khác ArcFace áp đặt trực tiếp lề góc (vịng cung) lớp Những ưu điểm ArcFace - Thu hút ArcFace trực tiếp tối ưu hóa biên khoảng cách trắc địa nhờ tương ứng xác góc cung siêu cầu chuẩn hóa Ta minh họa trực quan xảy khơng gian 512-D thơng qua phân tích thống kê góc đặc trưng trọng lượng - Hiệu ArcFace đạt hiệu suất đại mười tiêu chuẩn nhận dạng khuôn mặt bao gồm tập liệu hình ảnh video quy mô lớn - Dễ dàng ArcFace cần vài dòng mã dễ triển khai khung học sâu dựa đồ thị tính tốn Hơn nữa, ArcFace không cần phải kết hợp với hàm mát khác để có hiệu suất ổn định dễ dàng hội tụ liệu đào tạo 11 - Hiệu ArcFace bổ sung độ phức tạp tính tốn khơng đáng kể trình đào tạo Các GPU dễ dàng hỗ trợ hàng triệu điểm nhận dạng để đào tạo chiến lược song song mô hình dễ dàng hỗ trợ nhiều điểm nhận dạng Chi tiết triển khai Bộ liệu Chúng sử dụng riêng CASIA, VGGFace2, MS1MV2 DeepGlintFace (bao gồm MS1M-DeepGlint Asian-DeepGlint) làm liệu đào tạo để tiến hành so sánh công với phương pháp khác Trong trình huấn luyện Đã khám phá liệu xác minh khn mặt hiệu (ví dụ: LFW, CFP-FP, AgeDB-30) để kiểm tra cải thiện từ cài đặt khác Bên cạnh liệu LFW YTF sử dụng rộng rãi nhất, có báo cáo hiệu suất ArcFace liệu có độ tuổi lớn lâu đời gần (ví dụ: CPLFW CALFW) Chúng tơi thử nghiệm rộng rãi ArcFace đề xuất liệu hình ảnh quy mơ lớn (ví dụ: MegaFace, IJB-B, IJB-C Trillion-Pairs) liệu video (iQIYI-VID) Những kết đánh giá Kết cho LFW, YTF, CALFW CPLFW Bộ liệu LFW YTF tiêu chuẩn sử dụng rộng rãi để nhận diện khn mặt áp dụng hình ảnh video ArcFace đào tạo MS1MV2 với ResNet100 vượt qua giới hạn (ví dụ: SphereFace CosFace) đáng kể LFW YTF, điều cho thấy hình phạt góc bổ sung tăng cường đáng kể tính phân biệt sức mạnh học sâu, thể tính hiệu ArcFace Ngồi tập liệu LFW YTF, báo cáo hiệu suất ArcFace tập liệu giới thiệu gần (ví dụ: CPLFW CALFW) cho thấy biến thể độ tuổi tư cao với nhận dạng LFW Trong số tất mơ hình nhận dạng khn mặt mã nguồn mở, mơ hình ArcFace đánh giá mơ hình nhận dạng khuôn mặt xếp hạng hàng đầu Bảng, rõ ràng vượt trội đối tác xa lạ 12 Trong Hình, chúng tơi minh họa phân bố góc (dự đốn mơ hình ArcFace đào tạo MS1MV2 với ResNet100) cặp âm dương LFW, CFPFP, AgeDB-30, YTF, CPLFW CALFW Chúng ta thấy rõ phương sai bên khoảng cách tư tuổi tác làm tăng đáng kể góc cặp dương, làm cho ngưỡng tốt để xác minh khn mặt ngày tăng tạo nhiều vùng khó hiểu biểu đồ Vì vậy, Arcface sử dụng ứng dụng nhận dạng khuôn mặt tội phạm, chấm công, chấm thi, … Hướng phát triển Tìm hiểu thêm nhiều thuật tốn nhận diện khuôn mặt hơn, giải vấn đề liên quan đến nhận diện khuôn mặt Từ đặc trưng gương mặt truy xuất giới tính, chủng tộc, độ tuổi Ứng dụng Arcface vào nhiều tốn thực tế với quy mơ khác Đánh giá mục tiêu • • Tìm hiểu thuật tốn Chạy code demo 13 TÀI LIỆU THAM KHẢO J Deng, J Guo, and S Zafeiriou “Arcface: Additive angular margin loss for deep face recognition” 2018 W Liu, Y Wen, Z Yu, and M Yang “Large-margin softmax loss for convolutional neural networks” 2016 Q Cao, L Shen, W Xie, O M Parkhi, and A Zisserman “Vggface2: A dataset for recognising faces across pose and age” 2018 G B Huang, M Ramesh, T Berg, and E Learned-Miller “Labeled faces in the wild: A database for studying face recognition in unconstrained environments” 2007 “Video Face Recognition Demo of ArcFace” (https://www.youtube.com/watch?v=y-D1tReryGA) “Arcface - Tensorflow 2.0+” (θhttps://github.com/peteryuX/arcface-tf2) 14