Điểm danh sử dụng phương pháp nhận diện khuôn mặt

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO BÁO CÁO CUỐI KỲ ĐIỂM DANH SỬ DỤNG PHƯƠNG PHÁP NHẬN DIỆN KHN MẶT GVHD: TS TRẦN VŨ HỒNG MỤC LỤC I GIỚI THIỆU .4 1.1 Tên đề tài: 1.2 Ứng dụng đề tài vào thực tế 1.3 Mục tiêu đề tài II PHÂN TÍCH VẤN ĐỀ III PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT 3.1 Phát khuôn mặt phương pháp MTCNN 3.2 Model pre-trained Facenet 3.3 Phân loại khuôn mặt dùng phương pháp SVM .8 IV KẾT QUẢ ĐẠT ĐƯỢC 4.1 Tập liệu 4.2 Độ xác 4.3 Phương pháp đánh giá .11 V KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .13 5.1 Kết luận .13 5.2 Hướng phát triển 13 TÀI LIỆU THAM KHẢO .14 DANH MỤC HÌNH Hình Các pre-trained model Hình Phân loại khn mặt dùng SVM Hình 13 folder bạn thành viên lớp Hình Folder bạn “Hoan” Hình Nhận diện bạn “ChinhNghiep”, “TrongNghia” Hình Nhận diện bạn “Hoan”, “CongTien” .10 Hình Nhận diện bạn “Toan” 10 Hình Độ xác với số class tương ứng 11 Hình Độ xác class nhận diện 11 DANH MỤC BẢNG Bảng Bảng ma trận tương quan 12 I GIỚI THIỆU 1.1 Tên đề tài: Điểm danh sử dụng phương pháp nhận diện khuôn mặt 1.2 Ứng dụng đề tài vào thực tế Nhận dạng tự động khuôn mặt để điểm danh lớp học, tránh trường hợp gian lận thi cử Ngồi nhận diện khn mặt ứng dụng nhiều thực tiễn camera giám sát, hệ thống chấm cơng, thích ảnh tự động, lưu trữ thơng tin khn mặt máy ATM, tìm kiếm xác minh tội phạm 1.3 II Mục tiêu đề tài - Phát khuôn mặt - Phân loại khn mặt PHÂN TÍCH VẤN ĐỀ Hệ thống điểm danh mặt người thực trích suất khn mặt ảnh thu từ camera (webcam) xác định danh tính đối tượng hệ thống dựa vào nội dung ảnh khn mặt trích suất Hệ thống đối mặt với toán lớn xác định khuôn mặt phân loại khuôn mặt III PHƯƠNG PHÁP PHÁT HIỆN KHN MẶT 3.1 Phát khn mặt phương pháp MTCNN MTCNN hoạt động theo bước, bước có mạng neural riêng là: P- Net, R-Net O-net Với ảnh đầu vào, tạo nhiều hình ảnh với kích thước khác Tại P-Net, thuật toán sử dụng kernel 12x12 chạy qua hình để tìm kiếm khn mặt Sau lớp convolution thứ 3, mạng chia thành lớp Convolution 4-1 đưa xác suất khuôn mặt nằm bounding boxes, Convolution 4-2 cung cấp tọa độ bounding boxes R-Net có cấu trúc tương tự vói P-Net Tuy nhiên sử dụng nhiều layer Tại đây, network sử dụng bounding boxes cung cấp từ P-Net tinh chỉnh lại tọa độ Tương tự R-Net chia làm layers bước cuối, cung cấp đầu tọa độ bounding boxes, độ tin tưởng O-Net lấy bounding boxes từ R-Net làm đầu vào đánh dấu tọa độ mốc khn mặt Ở bước này, thuật tốn đưa kết đầu khác bao gồm: xác suất khuôn mặt nằm bounding box, tọa độ bounding box tọa độ mốc khn mặt (vị trí mắt, mũi, miệng) 3.2 Model pre-trained Facenet Hầu hết xây dựng thuật tốn nhận diện khn mặt khơng cần phải train lại mơ hình facenet mà tận dụng lại mơ hình pretrain sẵn có Những mơ hình pretrain huấn luyện liệu lên tới hàng triệu ảnh Do có khả mã hóa tốt ảnh khơng gian 512 chiều Hình Các pre-trained model Facenet Kiến trúc mà tác giả sử dụng Inception ResNetv1 liệu CASIAWebFace VGGFace2 Nhóm em sử dụng model 20180402-114759 độ xác cao, lên đến 0.9965 Model sử dụng tập liệu gồm khoảng triệu ảnh thu thập từ gần 9000 người Nhóm em sử dụng model cho việc trích xuất đặc trưng từ ảnh khn mặt có kích thước 160x160 pixels thành vector đặc trưng để phục vụ cho việc phân loại bước 3.3 Phân loại khuôn mặt dùng phương pháp SVM Support Vector Machine (SVM) thuật toán thuộc nhóm Học có giám sát dùng để phân chia liệu (Classification) thành nhóm riêng biệt Từ đặc trưng khn mặt phân tích model pre-trained Facenet, nhóm em sử dụng SVM để chia thành class riêng biệt để phân loại Hình Phân loại khuôn mặt dùng SVM IV KẾT QUẢ ĐẠT ĐƯỢC 4.1 Tập liệu Chụp ảnh sưu tầm 400 ảnh (360 ảnh train, 40 ảnh test), 13 thư mục khác gồm tên thành viên lớp Hình 13 folder bạn thành viên lớp Các folder bạn thành viên lớp chứa ảnh đánh số từ đến 25 để phục vụ cho việc phát hiện, nhận dạng model Dưới ảnh folder thành viên “Hoan” Hình Folder bạn “Hoan” 4.2 Độ xác Độ xác cao tương ứng với class Dưới số bạn nhận diện với độ xác bên Hình Nhận diện bạn “ChinhNghiep”, “TrongNghia” Hình Nhận diện bạn “Hoan”, “CongTien” 10 Hình Nhận diện bạn “Toan” Nhìn chung, với số class nhiều, độ xác có hướng giảm 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 ACCURACY CLASS CLASS 13 CLASS Hình Độ xác với số class tương ứng Nhưng ta cần class có độ xác cao để xét phân loại 11 Hình Độ xác class nhận diện Như hình trên, ta thấy độ xác class “ChinhNghiep” 0.6577 cao tất class nên model nhận diện 4.3 Phương pháp đánh giá Mỗi class có ảnh test, lần thử thực tế để đánh giá độ xác theo phương pháp Ma trận tương quan Chỉ số tương quan số lần thử thành công mà model dự đốn Ví dụ:  Nếu 10 lần thử (thực tế ảnh test), model dự đoán hết 10 lần giá trị  Nếu 10 lần thử (thực tế ảnh test), model dự đốn lần giá trị 0.9  Nếu 10 lần thử (thực tế ảnh test), model dự đốn lần giá trị 0.8  … Từ ta có bảng sau 12 Bảng Bảng ma trận tương quan V KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Ưu điểm - Hoàn thành mục tiêu đề ra: Nhược điểm - Càng nhiều class, độ xác  Phát nhận dạng khuôn mặt giảm, ảnh hưởng đến tỉ lệ nhận dạng  Độ nhận dạng xác cao thành công 13  Dễ dàng nghiên cứu, học tập - Model thiếu linh hoạt, phục thuộc nhiều - Khắc phục thách thức: vào liệu hình ảnh trước đó, có  Khn mặt đâu hình thành viên mới, phải tạo thêm folder  Quá nhiều đặc điểm khác chạy lại model khuôn mặt 5.2 Hướng phát triển - Khắc phục trường hợp điểm danh qua ảnh: sử dụng model kết hợp camera 3D để xác định chiều sâu khung hình từ xác định người thật hay ảnh - Phát triển hệ thống điểm danh phục vụ quan, trường học, công ty, 14 TÀI LIỆU THAM KHẢO [1] "Support Vector Machine," 09 04 2017 [Online] Available: https://machinelearningcoban.com/2017/04/09/smv/ [2] Phạm Đình Khanh, "Mơ hình Facenet Face Recognition," 12 03 2020 [Online] Available: https://phamdinhkhanh.github.io/2020/03/12/faceNetAlgorithm.html [3] Lavender, "Tìm hiểu MTCNN áp dụng để xác định vị trí khn mặt.," 24 10 2018 [Online] Available: https://viblo.asia/p/tim-hieu-mtcnn-va-ap-dung-de-xacdinh-vi-tri-cac-khuon-mat-3Q75wkO75Wb Link dính kèm : https://drive.google.com/file/d/1Wl92Tt0KcP0jO_HqIN4AgjCY_6tdB0W/view?usp=sharing 15 ... tài: Điểm danh sử dụng phương pháp nhận diện khuôn mặt 1.2 Ứng dụng đề tài vào thực tế Nhận dạng tự động khuôn mặt để điểm danh lớp học, tránh trường hợp gian lận thi cử Ngồi nhận diện khn mặt. .. ảnh khn mặt trích suất Hệ thống đối mặt với toán lớn xác định khuôn mặt phân loại khuôn mặt III PHƯƠNG PHÁP PHÁT HIỆN KHUÔN MẶT 3.1 Phát khuôn mặt phương pháp MTCNN MTCNN hoạt động theo bước,... 1.2 Ứng dụng đề tài vào thực tế 1.3 Mục tiêu đề tài II PHÂN TÍCH VẤN ĐỀ III PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT 3.1 Phát khuôn mặt phương pháp MTCNN