Xây dựng ứng dụng điểm danh sinh viên dựa trên nhận diện khuôn mặt

Bài viết Xây dựng ứng dụng điểm danh sinh viên dựa trên nhận diện khuôn mặt tập trung nghiên cứu về vấn đề nhận dạng gương mặt qua camera an ninh. Đồng thời, tìm hiểu các cách thức nhằm phát hiện gương mặt dựa trên Ultra-light và dự báo gương mặt thông qua mô hình FaceNet sử dụng ngôn ngữ lập trình Python. Cuối cùng, chúng tôi xây dựng ứng dụng nhằm điểm danh sinh viên tự động dựa trên camera an ninh. Mời các bạn cùng tham khảo!

Xây dựng ứng dụng điểm danh sinh viên dựa nhận diện khuôn mặt Nguyễn Bảo Long CTK42, Khoa Công nghệ Thông Tin Trường Đại học Đà Lạt Lâm Đồng, Việt Nam 1812795@dlu.edu.vn Nguyễn Trọng Hiếu CTK42, Khoa Công nghệ Thông Tin Trường Đại học Đà Lạt Lâm Đồng, Việt Nam 1812756@dlu.edu.vn Phan Thị Thanh Nga Khoa Công nghệ Thông Tin Trường Đại học Đà Lạt Lâm Đồng, Việt Nam ngaptt@dlu.edu.vn Nguyễn Thị Lương Khoa Công nghệ Thông Tin Trường Đại học Đà Lạt Lâm Đồng, Việt Nam luongnt@dlu.edu.vn Lê Hồng Nhật CTK42, Khoa Cơng nghệ Thơng Tin Trường Đại học Đà Lạt Lâm Đồng, Việt Nam 1812814@dlu.edu.vn mô hình máy học thơng dụng để điểm danh sinh viên với liệu đầu vào ảnh chụp từ Camera [1] Một cơng trình khác sử dụng đặc trưng Haar-Like để nhận dạng mặt người từ tác giả Châu Ngân Khánh cộng [2], công trình này, tác giả sử dụng giải thuật Haar-Like kết hợp với đặc trưng SIFT để nhận dạng mặt người.Tại đây, nhóm tác giả thử nghiệm nhiều tập liệu kiểm chuẩn AT&T, Face94, Face95, Face96, kết mang lại khả quan với độ xác đạt thuật thuật toán KNN, KNN đảo ngược NBNN 94.35%, 86.05% 98.83% Nhóm tác giả Phạm Nguyên Khang, Trần Nguyễn Minh Thư Đỗ Thanh Nghị [3] đề xuất hệ thống điểm danh mặt người với đặc trưng GIST máy học véctơ hỗ trợ Kết thực nghiệm nghiên cứu mang lại kết khả quan Cụ thể sau: kết thực nghiệm tập liệu gồm 6722 ảnh 132 đối tượng sinh viên khoa Công nghệ thông tin – Truyền thông, trường Đại học Cần Thơ sử dụng phương pháp SVM kết hợp GIST đạt 99.29% phương pháp NBNN kết hợp SIFT đạt 98.88% Tóm tắt — Trong báo này, tập trung nghiên cứu vấn đề nhận dạng gương mặt qua camera an ninh Đồng thời, tìm hiểu cách thức nhằm phát gương mặt dựa Ultra-light dự báo gương mặt thông qua mơ hình FaceNet sử dụng ngơn ngữ lập trình Python Cuối cùng, xây dựng ứng dụng nhằm điểm danh sinh viên tự động dựa camera an ninh Từ khóa — phát khn mặt, nhận diện khuôn mặt, hệ thống điểm danh, FaceNet, CNN I GIỚI THIỆU Nhận dạng khn mặt tốn phổ biến sử dụng nhiều ứng dụng, đặc biệt ứng dụng chấm cơng nhân viên Do đó, chúng tơi định áp dụng tốn nhận dạng khn mặt vào việc điểm danh sinh viên Theo cách truyền thống, muốn điểm danh sinh viên, giáo viên thường điểm danh cách gọi tên sinh viên danh sách Phương pháp điểm danh làm nhiều thời gian giáo viên sinh viên Hiện nay, số giáo viên sử dụng thêm phương pháp điểm danh qua tảng hỗ trợ quản lý học tập Cụ thể, sinh viên phải đăng nhập tài khoản tham gia điểm danh giáo viên yêu cầu Phương pháp nhanh nhiều so với điểm danh đọc tên truyền thống, có bất cập dẫn đến việc sinh viên không điểm danh được, chẳng hạn sinh viên khơng có thiết bị thông minh để truy cập vào hệ thống, đường truyền mạng bất ổn định hay máy chủ Web bị tải dẫn đến không đăng nhập vào hệ thống Bên cạnh đó, sinh viên điểm danh hộ điểm danh dù khơng có mặt lớp Trong năm gần đây, nhờ phát triển cao công nghệ nhận dạng sinh trắc học, bao gồm cơng nghệ nhận diện khn mặt, hồn tồn thay phương pháp điểm danh truyền thống phương pháp điểm danh tự động thông minh sử dụng công nghệ nhận diện khuôn mặt từ ảnh camera Rõ ràng, điểm danh cách nhận diện khuôn mặt bắt buộc người muốn điểm danh phải xuất khung hình chụp khung hình camera đương nhiên khơng điểm danh hộ Ứng dụng điểm danh tự động nhận diện định danh sinh viên, lưu vào danh sách điểm danh giáo viên tiết kiệm nhiều thời gian công sức Một hệ thống nhận diện mặt người thông thường bao gồm bốn bước xử lý sau: Phát khuôn mặt (Face Detection) Phân đoạn khuôn mặt (Face Alignment hay Segmentation) Trích chọn đặc trưng (Feature Extraction) Nhận diện (Recognition) hay Phân lớp khuôn mặt (Face Classification) Trong năm gần đây, nhờ phát triển mạnh mẽ học sâu mà đặc biệt phát triển mạng nơ-ron tích chập hệ thống nhân diện trọng cải tiến đáng kể hết Đối với tốn nhận diện khn mặt thuật tốn Faster RCNN [5], YOLO [6] SSD [7] giúp tăng tốc độ mơ hình phát khn mặt dựa mạng nhân chập sâu lên mức đáp ứng thời gian thực Tuy nhiên, mơ hình xây dựng sử dụng SSD có tốc độ phát nhanh độ xác cao nên sử dụng phương pháp cho bước phát khn mặt Đối với bước rút trích đặc trưng nhận diện hay phân lớp khuôn mặt, mô hình Facenet cung cấp ưu điểm trội từ việc phát triển kiến trúc mạng Siamese kết hợp với việc sử dụng hàm mát linh hoạt để huấn luyện liệu ảnh lớn Trong báo khoa học “FaceNet: A Unified Embedding for Face Recognition and Clustering”, nhóm tác giả Florian Schroff, Dmitry Kalenichenko James Philbin đề xuất mơ hình nhận diện gương mặt với độ xác Trong nghiên cứu xây dựng ứng dụng điểm danh sinh viên tự động thông qua nhận dạng khuôn mặt xuất khung hình camera an ninh Việc điểm danh nhận diện khuôn mặt với phương pháp máy học công bố số cơng trình Nhóm tác giả Nguyễn Thanh Hải, Trịnh Thị Tuyết Lan, Trần Bảo Toàn đề xuất phương pháp sử dụng đặc trưng Haar-Like kết hợp với 110 cao: 99.63% tập liệu “Labeled Faces in the Wild” (LFW), 95.12% tập liệu “Youtube Face DB” [4] FaceNet thuật toán học sâu dùng để trích xuất điểm đặc trưng gương mặt người có ảnh Mơ hình cơng bố vào năm 2015 nhà nghiên cứu Google FaceNet hoạt động cách lấy hình ảnh từ gương mặt người làm liệu đầu vào trả véc-tơ đầu có 128 chiều, đại diện cho nét đặc trưng có gương mặt Do trình suy diễn dự báo nhanh đồng thời độ xác đảm bảo Chính độ xác ấn tượng mơ hình FaceNet nên nhóm chúng tơi định áp dụng mơ hình vào việc nhận diện sinh viên dựa gương mặt Bên cạnh đó, chúng tơi nghiên cứu áp dụng thư viện phân đoạn canh chỉnh gương mặt ảnh trước dự báo nhằm gia tăng độ xác khả áp dụng thực tế đề tài Hình 2: Mơ hình nhận diện vật thể bước Việc gộp hai quy trình xác định nhận diện vật thể vào bước giúp giảm thiểu thời gian xử lý cho mơ hình So sánh với mơ hình phải thực bước R-CNN SSD có tốc độ nhanh độ xác cao Khi ảnh đầu vào qua custom convolution layer (màu xanh dương) bị giảm chiều hạ độ phân giải, lúc ta lấy thơng tin vật thể có kích thước lớn Mơ hình SSD giải vấn để cách sử dụng thêm lớp convolutional filter layer (màu xanh cây) vào convolution layer phí trước Từ ta trích xuất đặc điểm nhận biết vật thể có kích thước nhỏ C FaceNet FaceNet [4] mơ hình dùng để trích xuất điểm đặc trưng gương mặt người có ảnh Mơ hình cơng bố vào năm 2015 nhà nghiên cứu Google Mục tiêu báo tìm hiểu phương thức học sâu áp dụng vào toán nhận dạng gương mặt, đồng thời đưa giải pháp điểm danh sinh viên tự động dựa camera an ninh Bài báo viết theo cấu trúc sau:  Giới thiệu  Cơ sở lý thuyết  Mơ hình đề xuất  Đánh giá mơ hình  Kết luận hướng phát triển Hình 3: Rút trích đặc trưng từ khn mặt III MƠ HÌNH II CƠ SỞ LÝ THUYẾT Quy trình điểm danh gồm có bước Đầu tiên, hệ thống lựa chọn camera để trích xuất hình ảnh điểm danh Từ hình ảnh trích xuất sử dụng mơ hình phát khn mặt Ultralight Mơ hình xây dựng thư viện PyTorch với ONNX có tốc độ xử lý vượt trội nhiều so với mô hình phổ biến Tiếp theo, sử dụng mơ hình facenet q trình nhận diện khn mặt Cuối cùng, đánh điểm danh cho sinh viên A Mạng nơ-ron nhân tạo Mạng nơron nhân tạo (ANN) mô theo nơron sinh học người, mạng lưới gồm nhiều nơron tổ chức thành lớp kết nối với nhau, với nhiều nhánh đầu vào nhánh đầu Mạng ứng dụng lĩnh vực khác thực tế, chẳng hạn xử lý nhận diện hình ảnh [8] Trong bước này, q trình phát khn mặt nhận diện khuôn mặt hai bước quan trọng, mô tả chi tiết phần sau A Phát khuôn mặt Sử dụng mơ hình phát khn mặt Ultra-light Để tăng khả nhận diện mơ hình, ta thêm vào module RFB (Receptive Fields Block) trước qua lớp tích chập trích xuất đặc trưng Hình 1: Nơ-ron nhân tạo mơ nơ-ron sinh học B Mơ hình Ultra-light fast face detection Đây mơ hình xây dựng Pytorch-SSD (Single Shot Detector) theo kiểu kiến trúc nhận diện vật thể bước (One-stage Detector) Hình 4: Sự can thiệp module RFB vào Pytorch SSD Module RFB thiết kế dựa trường cảm thụ (Receptive Fields – RFs) có hệ thống thị giác người RFB sử dụng tích chập dạng hở có tác dụng làm tăng tầm nhìn bao qt lớp tích chập Việc giúp cho việc trích xuất đặc trưng từ hình ảnh trở nên hiệu so với mơ hình ban đầu mà không ảnh hưởng nhiều đến tốc độ xử lý 111 giúp mơ hình đưa véc-tơ nhúng cho gương mặt hiệu từ tăng khả nhận diện gương mặt xác cho mơ hình Hình 5: Mơ giải thích trường cảm thụ RFB B Nhận diện khuôn mặt FaceNet [4] hoạt động cách lấy hình ảnh từ gương mặt người làm liệu đầu vào trả véc-tơ đầu có 128 giá trị số dại diện cho nét đặc trưng có gương mặt Trong máy học, véc-tơ gọi véc-tơ nhúng (embedding vector) Lý véc-tơ gọi tất thông tin quan trọng gương mặt “nhúng” vào véc-tơ Theo lý thuyết, véc-tơ nhúng gương mặt thuộc người tương đương Hình 7: Sử dụng hàm loss để tăng độ nhận diện Hàm Triplet Loss hàm loss function sử dụng ảnh để huấn luyện mơ hình Hàm định nghĩa sau: = 0,1 − ∀ Giá trị Ltriplet trình huấn luyện tối ưu cho tỉ lệ hai khoảng cách lớn Đồng nghĩa với việc khoảng cách cặp positive giảm đi, khoảng cách cặp negative tăng lên Tuy nhiên sau huấn luyện hàm Triplet Loss, khoảng cách cặp liệu nằm khoảng tỉ lệ giá trị định, giá trị khoảng cách tuyệt đối chúng lại không đồng Vì ta cần dùng thêm hàm Pairwise Loss để tối thiểu toàn khoảng cách cặp positive chọn hàm Triplet Loss T Hình 6: Mơ hình Inception resnet v1 ( Độ xác CASIA-WebFace 0.9905 VGGFace2 0.9965 )∈ Hình 8: Thuật tốn Triplet loss mơ q trình nhận diện MƠ HÌNH PRE-TRAIN FACENET Tập liệu , Quá trình huấn luyện tối thiểu khoảng cách tuyệt đối cặp vector positive Từ giới hạn lại khoảng cách tuyệt đối chúng Hình phía mơ tả thay đổi khoảng cách cặp liệu sau sử dụng hai hàm loss function trình huấn luyện mơ hình Hiện có mơ hình pre-train FaceNet huấn luyện từ liệu CASIA-WebFace VGGFace2 Tập liệu CASIA-WebFace (2014) chứa 494414 hình ảnh với 10575 nhân dạng (trung bình khoảng 46.8 ảnh cho cá thể) Trong dataset VGGFace2 (2018) chứa 3,31 triệu hình ảnh với 9131 nhân dạng (trung bình khoảng 362,6 ảnh cho cá thể) từ nhiều châu lục khác Độ xác từ mơ hình pre-train xác định tập liệu LFW đây: Kiến trúc Inception ResNet v1 Inception ResNet v1 ‖ ( ) − ( )‖ = FaceNet xây dựng mơ hình Inception Resnet V1 Inception có điểm đặc trưng có thêm output phụ Hai output phụ không ảnh hưởng nhiều tới chất lượng mạng lưới huấn luyện epoch đầu Chúng giúp việc huấn luyện mơ hình diễn nhanh cách tối ưu layer đầu dựa output phụ (trong epoch đầu) Có thể hiểu cách khác epoch đầu, layer cuối chưa tối ưu Sau thời gian tối ưu layer đầu tối ưu layer dựa final output Việc cải thiện khả tính toán tốc độ huấn luyện lên nhiều lần TABLE I ‖ ( ) − ( )‖ ‖ ( ) − ( )‖ + Có thể tăng kết dự đốn mơ hình nhận diện gương mặt cách sử dụng thêm hàm loss function Triplet Loss Pairwive Loss huấn luyện mơ hình Từ 112 C Thu thập liệu huấn luyện Trong đề tài này, nhóm thực thu thập ảnh cận mặt 60 sinh viên khoa Công nghệ thông tin trường Đại học Đà Lạt Kết thu 631 ảnh với trung bình 10.52 ảnh sinh viên Bảng hiển thị số hình ảnh mẫu sinh viên IV ĐÁNH GIÁ MƠ HÌNH A Quy trình huấn luyện mơ hình TABLE II STT Hình 9: Mơ hình huấn luyện chương trình Đầu tiên, tiến hành tách khuôn mặt liệu đầu vào (có thể từ ảnh video) Khn mặt sau cắt chỉnh lại hướng mặt có kích thước 160x160 MỘT SỐ HÌNH ẢNH HUẤN LUYỆN Họ Tên Nguyễn Danh Nguyễn Trọng Hiếu Nguyễn Bảo Long Lê Hoàng Nhật Trần Quân Hữu Hình ảnh Khải D Triển khai mơ hình Hình 10: Dữ liệu kết thu sau xử lý Danh sách khuôn mặt chuyển đổi sang véc-tơ nhúng, đưa vào mơ hình nhận diện lưu lại vào tập tin pickle để phục vụ cho việc nhận diện Hình 11: Mơ hình nhận diện gương mặt chương trình B Cấu hình hệ thống Nhóm nghiên cứu sử dụng hệ thống tài nguyên máy chủ khoa Công nghệ Thông tin – trường Đại học Đà Lạt, giúp tăng nhanh tốc độ huấn luyện mơ hình gấp nhiều lần so với sử dụng máy tính cá nhân thơng thường Cấu hình chi tiết máy chủ sau: Mơ hình liệu huấn luyện để so sánh với liệu đầu vào để định danh người đó, độ sai số kiểm sốt thông số đặt sẵn E Đánh giá kết Để so sánh độ hiệu mô hình, nhóm nghiên cứu tiến hành thử nghiệm với mơ hình Inception ResNet v1 mơ hình CNN thiết kế (hình 13), sử dụng liệu so sánh kết mơ hình với Việc huấn luyện thực với liệu gồm 591 hình 60 sinh viên thuộc khoa Cơng nghệ thông tin trường Đại học Đà Lạt Bộ liệu chia thành phần, phần huấn luyện chiếm 80% (459 hình) phần kiểm thử kết chiếm 20% (132 hình) Kết chi tiết trình bày bảng  CPU: Bộ xử lý Intel® Xeon® E5-2670, socket, 16 nhân, tốc độ turbo tối đa 3.30 GHz  Ram: 256 GB, DDR3, bus 1333 Mhz Mô hình tiến hành huấn luyện máy ảo, sử dụng hệ điều hành Linux với cấu hình: CPU nhân luồng (16 nhân ảo), Ram 64GB kết hợp 128GB Swap, ổ cứng dung lượng 256GB Phần mềm công cụ sử dụng:  Linux – Hệ điều hành mã nguồn mở, phát triển dựa hệ điều hành Unix Đây hệ điều hành với quyền miễn phí, có tính bảo mật linh hoạt cao  Python – Là ngôn ngữ lập trình bậc cao, thường sử dụng việc nghiên cứu xây dựng mơ hình Máy học  Visual Studio Code – Là mơi trường phát triển tích hợp để triển khai thực chương trình 113 TABLE III Mơ hình Inception ResNet v1 CNN SO SÁNH MƠ HÌNH Thời gian (phút) Độ xác 166 98% 31 70% Qua bảng thấy rõ mơ hình Inception ResNet v1 dùng FaceNet mang lại kết cao so với mơ hình CNN [2] [3] [4] [5] [6] Hình 12: Các lớp mơ hình CNN [7] [8] V KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Bài báo trình bày phương pháp xây dựng ứng dụng điểm danh sinh viên Chúng thực đánh giá kết nhận dạng với độ xác 98% liệu thu thập 60 sinh viên thuộc khoa Công nghệ Thông tin trường Đại học Đà Lạt [9] Trong thời gian tới, triển khai hệ thống điểm danh phòng thực hành Khoa Cơng nghệ Thơng tin nói riêng khoa khác thuộc trường Đại học Đà Lạt nói chung Tiếp tục thu thập liệu khn mặt sinh viên nghiên cứu mơ hình khác để nâng cao độ xác thời gian xử lý [10] TÀI LIỆU THAM KHẢO [1] H Nguyễn Thanh, L Trịnh Thị Tuyết, T Trần Bảo, 114 N Phan Kim Yến, Đ Trần Thanh, and N Nguyễn Thái, “Giải Pháp Điểm Danh Sinh Viên Bằng Nhận Dạng Gương Mặt Với Đặc Trưng Haar-like Kết Hợp Thuật Toán Rừng Ngẫu Nhiên” pp 179–186, [Online] Available: http://thuvien.vku.udn.vn/bitstream/123456789/759/ 1/B26.179-186.pdf K Châu Ngân and N Đoàn Thanh, “Nhận dạng mặt người với giải thuật Haar Like feature - Cascade of boosted classifiers đặc trưng Sift,” vol 3, no 2, pp 15–24, 2014 P N Khang, T N Minh Thư, and Đ T Nghị, “Điểm Danh Bằng Mặt Người Với Đặc Trưng Gist Và Máy Học Véctơ Hỗ Trợ,” 2019, doi: 10.15625/vap.2017.00019 F Schroff, D Kalenichenko, and J Philbin, “FaceNet: A unified embedding for face recognition and clustering” Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit., vol 07-12-June, pp 815–823, 2015, doi: 10.1109/CVPR.2015.7298682 Ren, S., He, K., Girshick, R., Sun, J.: “Faster RCNN: Towards real-time object detectionwith region proposal networks” In: NIPS, 2015 Redmon, J., Divvala, S., Girshick, R., Farhadi, A.: “You only look once: Unified, real-timeobject detection” In: CVPR, 2016 W Liu et al., “SSD: Single Shot MultiBox Detector,” arXiv:1512.02325 [cs], vol 9905, pp 21–37, 2016 Grossi, Enzo & Buscema, Massimo (2008) “Introduction to artificial neural networks” European journal of gastroenterology & hepatology 19 1046-54 10.1097/MEG.0b013e3282f198a0 Szegedy, Christian and Ioffe, Sergey and Vanhoucke, Vincent and Alemi, Alexander A “Inception-v4, inception-resnet and the impact of residual connections on learning”, AAAI 2016 Phạm Việt Anh, Lê Xuân Hải, Vương Trung Hiếu, “Ứng dụng mơ hình facenet việc xây dựng phát triển hệ thống nhận diện khuôn mặt trường Đại học Công nghiệp Hà Nội”, Vol 57 - No (Oct 2021), Tạp chí Khoa học Cơng nghệ, Đại học Công nghiệp Hà Nội  ... bước này, q trình phát khn mặt nhận diện khuôn mặt hai bước quan trọng, mô tả chi tiết phần sau A Phát khuôn mặt Sử dụng mơ hình phát khn mặt Ultra-light Để tăng khả nhận diện mơ hình, ta thêm vào... PHÁT TRIỂN Bài báo trình bày phương pháp xây dựng ứng dụng điểm danh sinh viên Chúng thực đánh giá kết nhận dạng với độ xác 98% liệu thu thập 60 sinh viên thuộc khoa Công nghệ Thông tin trường... thu sau xử lý Danh sách khuôn mặt chuyển đổi sang véc-tơ nhúng, đưa vào mơ hình nhận diện lưu lại vào tập tin pickle để phục vụ cho việc nhận diện Hình 11: Mơ hình nhận diện gương mặt chương trình