Đang tải... (xem toàn văn)
Công Nghệ Thông Tin, it, phầm mềm, website, web, mobile app, trí tuệ nhân tạo, blockchain, AI, machine learning - Công Nghệ Thông Tin, it, phầm mềm, website, web, mobile app, trí tuệ nhân tạo, blockchain, AI, machine learning - Quản trị kinh doanh Vietnam J. Agri. Sci. 2024, Vol. 22, No. 1: 94-106 Tạp chí Khoa học Nông nghiệp Việt Nam 2024, 22(1): 94-106 www.vnua.edu.vn 94 MỘT GIẢI PHÁP ĐIỂM DANH BẰNG CÔNG NGHỆ NHẬN DẠNG KHUÔN MẶ T VÀ ỨNG DỤNG TẠI PHÒNG THỰC HÀNH KHOA CÔNG NGHỆ THÔNG TIN Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền Khoa Công nghệ thông tin, Học viện Nông nghiệp Việt Nam Tác giả chính liên hệ: lmquanvnua.edu.vn Ngày nhận bài: 03.07.2023 Ngày chấp nhận đăng: 05.01.2024 TÓM TẮT Mỗi gương mặt có một thuộc tính đơn nhất do đó hình ảnh gương mặt được sử dụng như một khóa bảo mật để truy cập tài khoản cá nhân trong các lĩnh vực như ngân hàng, dịch vụ thương mại điện tử, tài khoản cá nhân trên điện thoại hoặc máy tính. Nghiên cứu này nhằm mục đích đưa ra một giải pháp mới để điểm danh sinh viên tham dự lớp học bằng công nghệ nhận diện khuôn mặt khi kết hợp các mạng học sâu đa nhiệm để phát hiện khuôn mặt trong ảnh hoặc video, công nghệ mã hóa của mạng FaceNet để số hóa khuôn mặt phát hiện được và thuật toán phân lớp để tìm kiếm và so khớp khuôn mặt cần nhận diện với thông tin của khuôn mặt được lưu trữ trong cơ sở dữ liệ u. Nghiên cứu đã thu được bộ cơ sở dữ liệu điểm danh sinh viên tham dự lớp học, chương trình máy tính thực hiệ n việc điểm danh bằng công nghệ nhận diện khuôn mặt và phân tích đánh giá hiệu quả của các chế độ điể m danh khác nhau bao gồm: sử dụng hình ảnh chụp của từng nhóm nhỏ sinh viên; sử dụng webcam kết nố i máy tính theo các chế độ tự động và bán tự động. Với hệ thống điểm danh này, giáo viên có thể kiểm soát thông tin tham dự lớ p học của sinh viên, dễ dàng phát hiện gian lận của sinh viên trong học tập tại các lớp học phần (lý thuyết và thự c hành) và thi hết học phần của sinh viên. Từ khóa: Mạng học sâu đa nhiệm, FaceNet, thuật toán phân lớp, phát hiện khuôn mặt, nhận dạng khuôn mặt. A Solution for Attendance Checking with Face Recognition Technology and Application at Laboratories in Faculty of Information Technology ABSTRACT Each human face has an unique characteristic so the face image is used as a security key to access personal accounts in many domains such as bankings, E-commerce services, phone or computer personal accounts. This study aimed to introduce a new solution for class attendance checking by using face recognition technology when combining multi-tasking deep learning networks, to detect faces in photos or videos, encryption of FaceNet to digitize detected faces and support vertor machine clustering algorithm to search and match the face to be recognized with the face stored in the database. This research has obtained a database of student attendance, a computer program that implements the attendance by facial recognition technology, and analyzed and evaluated the effectiveness of other attendance methods, included: using photographs of small group of student and using a webcam connected to a computer in automatic and semi-automatic modes. With this kind of attendance checking system, teachers can control students'''' class attendance, easily detect cheating in study and examination in both theory and practicum courses and the final exams. Keywords: Multi-tasking deep learning networks, FaceNet, support vector machine, face detection, face recognition, class attendance. 1. ĐẶT VẤN ĐỀ Thái độ học têp, tham dă lĆp học cüng nhþ gian lên trong học têp và thi cā đang là vçn đề nan giâi đối vĆi công tác quân lý học têp cû a sinh viên. VĆi nhĂng hình thĀc điểm danh thông thþąng đang đþĉc áp dýng hiện nay nhþ: gọi tên Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền 95 tÿng sinh viên; điểm danh theo thĀ tă vð trí ngồi; làm bài kiểm tra 5 phút để lç y thông tin sinh viên tham dă lĆp; đếm số đæu ngþą i trong lĆp;„ Các cách thĀc điểm danh ć trên chî cho phép giâng viên ním đþĉc thông tin tham dă lĆp học cûa sinh viên một cách tþĄng đối và gæn nhþ không thể để phát hiện đþĉc tình trä ng gian lên vĆi trþąng hĉp sinh viên thuê một sinh viên khác đi học và điểm danh thay cho mình. Vçn đề trên đñi hói nhà quâ n lý và giáo viên giâng däy lĆp học phæn cæn có một phþĄng pháp tiếp cên mĆi trong việc quân lý học tê p và thi cā nhìm phát hiện và ngën chð n các gian lên xuçt hiện trong lĆp học, kðp thąi đþa ra câ nh báo tĆi sinh viên và gia đình sinh viên biết đþĉ c thăc träng học têp hiện täi cûa con em mình. Nghiên cĀu về công nghệ nhên däng bì ng khuôn mðt đþĉc phát triển và Āng dý ng trong nhiều lïnh văc khác nhau nhþ: Ứng dý ng công nghệ nhên däng khuôn mðt trong quâ n lý hành chính cûa nhòm sinh viên trþąng Đäi học Thái Nguyên (2017). Yugashini cs. (2013), đã phát triển mô hình cāa tă động đòng mć khi kết hĉ p thông tin nhên däng khuôn mðt và bộ câm biến PIC Microcontroller 16F877A. Ngô Tùng SĄn cs. (2020), đã nghiên cĀu và phát triển hệ thố ng hỗ trĉ điểm danh vĆi camera giám sát täi giâng đþąng sā dýng mäng học sâu (DCNN) täi Đä i học FPT. Træn Nhþ Ý Nguyễn PhþĄng Häc (2021), đã kết hĉp Haar-Cascade và mäng học såu đa nhiệm (MTCNN) vào thuêt toán ARCFACE (Additive Angular Margin Loss) giúp câi tiến về mðt tốc độ xā lý và giâm thą i gian nhên däng khuôn mðt. Trong nghiên cĀu này chúng tôi sā dý ng công nghệ nhên diện cûa DeepFace đþĉ c phát triển bći FaceBook để phát triển công nghệ lõi cûa chþĄng trình nhên diện 2. PHƯƠNG PHÁP NGHIÊN CỨU 2.1. Mạng học sâu đa nhiệm MTCNN MTCNN là một mäng nĄ-ron có thể thă c hiện nhên diện khuôn mðt và cën chî nh khuôn mðt trên hình ânh. Zhang cs. (2016) đã giĆ i thiệu mäng nĄ-ron này bao gồm 3 mä ng riêng biệt (Hình 1). Nguồn: Zhang cs. (2016). Hình 1. Các giai đoạn của mạng đa nghiệm MTCNN Một giải pháp điểm danh bằng công nghệ nhận dạng khuôn mặt và ứng dụng tại Phòng Thực hành Khoa Công nghệ thông tin 96 2.1.1. Mạng P (Proposal Network) Một bộ hình ânh, là bân sao cûa ânh gốc vĆi kích thþĆc thay đổi theo cçu trúc kim tă tháp (Image Pyramid) đþĉc đþa qua mäng P để xác đðnh các hộp giĆi hän chĀa khuôn mðt và giá trð mĀc độ tin cêy cûa các hộp này. Thuêt toán loä i trÿ để loäi bó các hộp giĆi hän cò độ tin cêy nhó hĄn ngþĈng và thuêt toán NMS (No - Max Supression) để loäi bó các hộp giĆi hän có tî lệ trùng nhau vþĉt ngþĈng cho phép. 2.1.2. Mạng R (Refine Network) Mäng R (Refine Network) thăc hiện các bþĆc nhþ mäng P-Net. Tuy nhiên, mäng còn sā dýng một phþĄng pháp cò tên là zero-padding, nhìm thăc hiện việc chñn thêm các điểm ânh có giá trð 0 vào các phæn thiếu cûa hộp giĆi hän nếu hộp giĆi hän này nìm ngoài biên cûa ânh. Tçt câ các hộp giĆi hän này sẽ đþĉc điều chînh về kích thþĆc 24 × 24 và đþĉc truyền vào mäng R-Net. Kết quâ đæu ra cûa mäng R-Net cho biết đæu vào có phâi là khuôn mðt hay không, bao gồm 1 vòctĄ 4 phæn tā mô tâ biên giĆi hän cûa khuôn mðt và 1 vòctĄ có 10 phæn tā mô tâ vð trí trên khuôn mðt đò. Đæu ra cûa mäng này sẽ đþĉc truyền vào mäng tiếp theo, mäng O-Net. 2.1.3. Mạng O (Output Network) Mäng này cüng thăc hiện chĀc nëng tþĄng tă nhþ trong mäng R-Net, vĆi kích thþĆc ânh ć đæu vào cûa mäng đþĉc thay đổi thành 48 × 48. Tuy nhiên, kết quâ đæu ra cûa mäng lúc này không còn chî là các tọa độ cûa các hộp giĆi hän nĂa. TþĄng Āng vĆi mỗi khuôn mðt nhên däng đþĉc trong ânh, kết quâ trâ về 3 bộ giá trð bao gồm: 4 tọa độ cûa hộp giĆi hän; 5 tọa độ điểm cĄ sć trên khuôn mðt mðt bao gồm: 2 mít, 1 müi, 2 bên cánh môi và hệ số độ tin cêy cûa mỗi hộp giĆi hän. Hình 2. Mạng đề xuất P Hình 3. Mạng tinh chînh R Hình 4. Mạng O Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền 97 2.1.4. Dữ liệu huấn luyện của mạng MTCNN Zhang cs. (2016) đã tiến hành so sánh hiệu quâ cûa mäng MTCNN trong phát hiện khuôn mðt vĆi các phþĄng pháp tån tiến nhçt trên các têp dĂ liệu ânh lĆn nhþ FDDB (Face Detection Data Set and Benchmark), WIDER FACE, AFLW (Annotated Facial Lanmarks in the Wild). Thăc nghiệm cho kết quâ vþĉt trội về độ chính xác và duy trì đþĉc tốc độ xā lý theo thąi gian thăc. Kiến trúc mäng học såu đa nhiệm MTCNN tþĄng đối phĀc täp để triển khai một cách độc lêp trên têp dĂ liệu mĆi. Do đò, trong bài báo này nhóm nghiên cĀu sā dýng các mô hình đþĉc huçn luyện tÿ trþĆc trên các têp dĂ liệu lĆn bći Ivan de Paz Centeno và đþĉc cçp phép bći học viện công nghệ Massachusetts (MIT) dþĆi däng mã nguồn mć. 2.2. Mạng FaceNet 2.2.1. Véctơ nhúng Là một vòctĄ vĆi số chiều cố đðnh, giá trð cûa vòctĄ này đã đþĉc học trong quá trình huçn luyện cûa mô hình và đäi diện cho một têp hĉp các đðc trþng cûa khuôn mðt, đòng vai trñ quan trọng trong việc phân loäi các đối tþĉng trong chiều không gian đã đþĉc biến đổi. VòctĄ nhúng rçt hĂu dýng trong việc tìm các lân cên trong một cým cho sïn, dăa vào mối quan hệ theo khoâng cách giĂa các vòctĄ nhúng vĆi nhau. Trong nghiên cĀu về số chiều số hóa cûa vòctĄ nhúng, Schroff. cs. (2015) đã chî ra rìng vòctĄ nhúng 128-D cho kết quâ tối þu về độ chính xác. 2.2.2. Mạng Inception Nëm 2014, Google đã giĆi thiệu một cç u trúc mäng CNN (Hình 5), vĆi đðc trþng là các khối Inception cho phép mäng đþĉc học theo cçu trúc song song, nghïa là vĆi 1 đæu vào có thể đþĉc đþa vào nhiều lĆp tích chêp khác nhau để đþa ra các kết quâ khác nhau, sau đò đþĉc gộ p läi thành 1 kết quâ duy nhçt ć đæu ra. Việc họ c song song này giúp mäng có thể học đþĉc nhiề u chi tiết hĄn, lçy đþĉc nhiều đðc trþng hĄn so vĆ i mäng CNN truyền thống. Ngoài ra, mäng cüng áp dýng các khối tích chêp có kernel bìng 1 × 1 nhìm giâm kích thþĆc cûa mäng, khiến việ c huçn luyện trć nên nhanh hĄn. Hình 5. Cấu trúc mạng Inception V1 Hình 6. Cấu trúc của Triplet Loss Một giải pháp điểm danh bằng công nghệ nhận dạng khuôn mặt và ứng dụng tại Phòng Thực hành Khoa Công nghệ thông tin 98 2.2.3. Hàm mất mát 3 điểm (Triplet Loss) Trong mäng CNN vĆi hàm Loss truyề n thống, ć đò ta chî so sánh giá trð đæu ra cû a mäng vĆi giá trð thăc (ground truth) cûa dĂ liệu. Schroff. cs. (2015) đã đþa ra hàm mçt mát 3 điểm (triplet loss) bao gồm 3 giá trð đæu vào: mó neo a i x anchor - là ânh khuôn mðt đæu ra cû a mäng; p i x positive - là ânh khuôn mðt cû a cùng một ngþąi giống vĆi anchor; n i x nagative - là ânh khuôn mðt cûa một ngþąi khác vĆ i anchor. Yêu cæu cûa thuê t toán Triplet Loss là căc tiểu hóa khoâng cách euclid ( Euclidean distance) giĂa a i x và p i x (anchor – positive) tþĄng Āng vĆi ânh khuôn mðt cûa cùng mộ t nhân däng và căc đäi hóa khoâng cách giĂa a i x và n i x (anchor – negative) tþĄng Āng vĆi ânh khuôn mð t cûa các nhân däng khác nhau (Hình 6). 2 2 a p a n i i i i 2 2 f x f x f x f x (1) Trong đó: - a i f x , p i f x , n i f x là các vòctĄ nhúng mã hóa cûa ânh a i x , p i x , n i x - a i f x , p i f x , n i f x là têp hĉp các bộ ba triplets trong bộ dĂ liệu đào täo có bêc là N - α (margin) là độ sai lệch tối thiểu giĂa p i f x và n i f x Để mäng học đþĉc nhiều “tri thĀc” hĄn, trong mỗi bó dĂ liệu (mini-batch) điểm positive đþĉc chọn nìm xa nhçt có thể so vĆi anchor, điểm negative đþĉc chọn nìm gæn nhçt có thể so vĆi anchor, các hàm argmin và argmax đþĉc sā dýng để tìm ra các cðp triplets thóa mã yêu cæu về khoâng cách. Hàm mçt mát (Loss) tổng quát đþĉc xác đðnh bći công thĀc sau: N 2 2 a p a n i i i i 2 2i 1 L f x f x f x f x (2) 2.2.4. Mô hình pre-trained với FaceNet Trong nghiên cĀu này, nhóm sā dýng mô hình đã đþĉc đào täo tÿ trþĆc (pre-trained model) cûa mäng học såu FaceNet đþĉ c nghiên cĀu bći Schroff cs. (2015) khi sā dýng mäng nĄ-ron tích chêp sâu (DNN) vĆi cç u trúc các Inception cûa Szegedy cs. (2015) trên têp dĂ liệu LFW (Labeled Faces in the Wild) và DB (Youtube Faces) để nhên däng khuôn mðt. 2.3 Kết hợp mạng MTCNN và FaceNet Trong nghiên cĀu này, nhóm nghiên cĀu sā dýng mäng học såu đa nhiệm MTCNN để phát hiện khuôn mðt ngþąi trong bĀc ânh cæ n phân tích. Mỗi hình ânh khuôn mðt phát hiện đþĉc tÿ mäng này sẽ đþĉc cít và thay đổi kích thþĆc thành kích thþĆc chuèn 160 × 160 pixels và đþĉc truyền qua mäng FaceNet để số hóa thành vòctĄ 128 chiều. VòctĄ số hòa này đþĉc lþu lä i thành bộ cĄ sć dĂ liệu cĄ bân và đþĉc sā dýng để so sánh mĀc độ tþĄng tă nhau giĂ a các khuôn mðt bìng cách tích khoâng cách giĂa các vòctĄ vĆi nhau thông qua thuêt toán phân lĆp SVM. 3. KẾT QUẢ VÀ THẢO LUẬN Để hoàn thành việc thu thêp dĂ liệ u và phát triển chþĄng trình nhên diện dăa trên mäng học såu đa nhiệ m MTCNN, FaceNet và thuêt toán phân lĆp SVM, nhóm nghiên cĀu đã tiến hành thu thêp dĂ liệu ânh khuôn mðt cû a sinh viên các nhóm thăc hành täi Bộ môn Vê t lý, Khoa Công nghệ thông tin trong khoâng thą i gian tÿ tháng 12023 tĆi tháng 62023. Giao diện phæn mềm đþĉc thiết kế bći PyQt5 Designer, dăa trên ngôn ngĂ lêp trình Python. 3.1. Thu thập dữ liệu ảnh sinh viên tạ i Phòng thực tập Vật lý, Khoa Công nghệ thông tin Quá trình thu thêp dĂ liệu ânh cûa 200 sinh viên đþĉc thăc hiện bći phæn mềm chýp ânh tă động, đþĉc phát triển bć i nhóm nghiên cĀu. Số lþĉng ânh chýp vĆi mỗi méu là 30 ânh. Để việc phân tích dĂ liệu và nhên dä ng khuôn mðt đþĉc chính xác thì quá trình chýp â nh khuôn mðt phâi thóa mãn một số điều kiện sau: - Ngþąi đþĉc lçy méu không đeo khè u trang, cách camera tÿ 40 đến 50cm để thu đþĉc Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền 99 hình ânh khuôn mðt rõ nét, không bð mą trong khung hình kích thþĆc 640 × 480 pixels. - Ngþąi đþĉc lçy méu đþĉc khuyến nghð có tþĄng tác vĆi nhóm nghiên cĀ u trong quá trình chýp hình, để thu đþĉc ânh chýp vĆi nhiề u träng thái câm xúc khác nhau (cþąi, há miệ ng, nháy mít, nhím mít,„), để phong phú dĂ liệ u số hóa và nâng cao độ chính xác trong quá trình nhên däng. - Ngþąi đþĉc lçy méu sẽ thay đổi vð trí góc cûa khuôn mðt so vĆi camera để thu đþĉc các gòc nhìn khác nhau: quay đæu tÿ bên trái (-45 độ) tĆi bên phâi (+45 độ); quay đæu tÿ góc nhìn chính diện hþĆng lên cao 10 độ. Thą i gian lçy méu là 15s. - Khi chýp ânh, có thể thay đổi mĀc độ chiếu sáng lên khuôn mðt để thu đþĉc các góc phĄi sáng khác nhau, điều này sẽ cò đòng gòp rçt quan trọng khi nhên däng ć các điều kiệ n ánh sáng khác nhau cûa môi trþąng lĆp họ c, giâng đþąng, hội trþąng,„ 3.2. Phân tích số liệu số hóa khuôn mặt 3.2.1. Phương pháp phân tích thành phầ n chính PCA PhþĄng pháp phån tích thành phæn chính (PCA) đþĉc sā dýng để phân tích să phân bố trong không gian 3 chiều cçu trúc dĂ liệu cûa vòctĄ nhúng 128-D cho têp méu 200 bộ dĂ liệu. Các đồ thð trên hình 7, biểu diễn dĂ liệu cûa vòctĄ nhúng 128-D đþĉc mã hóa bći mä ng FaceNet vĆi số lþĉng ânh chĀa khuôn mð t Nimgspersion thay đổi tÿ 1 đến 30. Điểm dĂ liệu đþĉc phân bố nìm trong hình cæ u bán kính R0. Să phân bố cûa các điểm dĂ li ệu này tþĄng đối hỗn loän và chþa cò tính têp trung vĆ i Nimgspersion < 5. Khi Nimgspersion ≥ 10, các điểm â nh cûa mỗi bộ dĂ liệu khác cò xu hþĆng tê p trung theo tÿng cým, khoâng cách giĂa các cý m này trć nên bò hĄn. VĆi Nimgspersion ≥ 20, bộ 200 dĂ liệu đþĉc phân bố tþĄng đối ổn đð nh trong hình cæu có bán kính0 1 r ~ R . 7 Nhþ vêy việc lăa chọn số lþĉng ânh cû a mỗi nhân däng Nimgspersion trong bộ dĂ liệ u mã hóa có thể đþĉc đánh giá một cách đð nh tính dăa vào phân tích ć trên. Trong nghiên cĀ u này, chúng tôi sā dýng Nimgspersion = 30 để cån đối giĂa độ chính xác cûa kết quâ nhên däng và thąi gian xā lý cüng nhþ tài nguyên cûa máy tính hiện cò. 3.2.2. Phương pháp phân tích dự a trên các thuật toán máy học Để đánh giá bộ dĂ liệu kiểm tra cû a 200 (méu), mỗi méu có 30 ânh, mỗi ânh đþĉ c mã hóa thành vòctĄ 128 - D, trong đò 80 dĂ liệ u cho têp đào täo và 20 dĂ liệu cho têp kiể m tra trong bâng 1. Nhóm nghiên cĀu sā dýng các mô hình họ c máy tÿ thþ viện sklearn để đánh giá độ chính xác cûa các thuêt toán. Kết quâ đþĉc mô tâ trong bâng 2. Tÿ kết quâ trên cho thç y, các mô hình học máy KNN và SVM cho kết quâ cò độ chính xác tĆi trên 99 vĆi bộ dĂ liệu đþĉc số hóa bći mäng MTCNN - FaceNet. Tÿ nhĂng phân tích ć trên, thuên toán phân lĆp SVM vĆi vai trñ là bþĆc thĀ ba cû a quá trình nhên diện để xác đðnh thông tin cû a khuôn mðt cæn nhên diện. 3.3. Triển khai ứng dụng tại Phòng Thí nghiệm Vật lý, Khoa Công nghệ thông tin, Học viện Nông nghiệp Việt N...
Vietnam J Agri Sci 2024, Vol 22, No 1: 94-106 Tạp chí Khoa học Nông nghiệp Việt Nam 2024, 22(1): 94-106 www.vnua.edu.vn MỘT GIẢI PHÁP ĐIỂM DANH BẰNG CÔNG NGHỆ NHẬN DẠNG KHUÔN MẶT VÀ ỨNG DỤNG TẠI PHÒNG THỰC HÀNH KHOA CÔNG NGHỆ THÔNG TIN Lương Minh Quân*, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền Khoa Công nghệ thông tin, Học viện Nông nghiệp Việt Nam *Tác giả chính liên hệ: lmquan@vnua.edu.vn Ngày nhận bài: 03.07.2023 Ngày chấp nhận đăng: 05.01.2024 TÓM TẮT Mỗi gương mặt có một thuộc tính đơn nhất do đó hình ảnh gương mặt được sử dụng như một khóa bảo mật để truy cập tài khoản cá nhân trong các lĩnh vực như ngân hàng, dịch vụ thương mại điện tử, tài khoản cá nhân trên điện thoại hoặc máy tính Nghiên cứu này nhằm mục đích đưa ra một giải pháp mới để điểm danh sinh viên tham dự lớp học bằng công nghệ nhận diện khuôn mặt khi kết hợp các mạng học sâu đa nhiệm để phát hiện khuôn mặt trong ảnh hoặc video, công nghệ mã hóa của mạng FaceNet để số hóa khuôn mặt phát hiện được và thuật toán phân lớp để tìm kiếm và so khớp khuôn mặt cần nhận diện với thông tin của khuôn mặt được lưu trữ trong cơ sở dữ liệu Nghiên cứu đã thu được bộ cơ sở dữ liệu điểm danh sinh viên tham dự lớp học, chương trình máy tính thực hiện việc điểm danh bằng công nghệ nhận diện khuôn mặt và phân tích đánh giá hiệu quả của các chế độ điểm danh khác nhau bao gồm: sử dụng hình ảnh chụp của từng nhóm nhỏ sinh viên; sử dụng webcam kết nối máy tính theo các chế độ tự động và bán tự động Với hệ thống điểm danh này, giáo viên có thể kiểm soát thông tin tham dự lớp học của sinh viên, dễ dàng phát hiện gian lận của sinh viên trong học tập tại các lớp học phần (lý thuyết và thực hành) và thi hết học phần của sinh viên Từ khóa: Mạng học sâu đa nhiệm, FaceNet, thuật toán phân lớp, phát hiện khuôn mặt, nhận dạng khuôn mặt A Solution for Attendance Checking with Face Recognition Technology and Application at Laboratories in Faculty of Information Technology ABSTRACT Each human face has an unique characteristic so the face image is used as a security key to access personal accounts in many domains such as bankings, E-commerce services, phone or computer personal accounts This study aimed to introduce a new solution for class attendance checking by using face recognition technology when combining multi-tasking deep learning networks, to detect faces in photos or videos, encryption of FaceNet to digitize detected faces and support vertor machine clustering algorithm to search and match the face to be recognized with the face stored in the database This research has obtained a database of student attendance, a computer program that implements the attendance by facial recognition technology, and analyzed and evaluated the effectiveness of other attendance methods, included: using photographs of small group of student and using a webcam connected to a computer in automatic and semi-automatic modes With this kind of attendance checking system, teachers can control students' class attendance, easily detect cheating in study and examination in both theory and practicum courses and the final exams Keywords: Multi-tasking deep learning networks, FaceNet, support vector machine, face detection, face recognition, class attendance 1 ĐẶT VẤN ĐỀ nan giâi đối vĆi công tác quân lý học têp cûa sinh viên Thái độ học têp, tham dă lĆp học cüng nhþ gian lên trong học têp và thi cā đang là vçn đề VĆi nhĂng hình thĀc điểm danh thông thþąng đang đþĉc áp dýng hiện nay nhþ: gọi tên 94 Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền tÿng sinh viên; điểm danh theo thĀ tă vð trí PIC Microcontroller 16F877A Ngô Tùng SĄn & ngồi; làm bài kiểm tra 5 phút để lçy thông tin cs (2020), đã nghiên cĀu và phát triển hệ thống sinh viên tham dă lĆp; đếm số đæu ngþąi trong hỗ trĉ điểm danh vĆi camera giám sát täi giâng lĆp;„ Các cách thĀc điểm danh ć trên chî cho đþąng sā dýng mäng học sâu (DCNN) täi Đäi phép giâng viên ním đþĉc thông tin tham dă học FPT Træn Nhþ Ý & Nguyễn PhþĄng Häc lĆp học cûa sinh viên một cách tþĄng đối và gæn (2021), đã kết hĉp Haar-Cascade và mäng học nhþ không thể để phát hiện đþĉc tình träng såu đa nhiệm (MTCNN) vào thuêt toán gian lên vĆi trþąng hĉp sinh viên thuê một sinh ARCFACE (Additive Angular Margin Loss) giúp viên khác đi học và điểm danh thay cho mình câi tiến về mðt tốc độ xā lý và giâm thąi gian nhên däng khuôn mðt Vçn đề trên đñi hói nhà quân lý và giáo viên giâng däy lĆp học phæn cæn có một phþĄng Trong nghiên cĀu này chúng tôi sā dýng pháp tiếp cên mĆi trong việc quân lý học têp và công nghệ nhên diện cûa DeepFace đþĉc phát thi cā nhìm phát hiện và ngën chðn các gian triển bći FaceBook để phát triển công nghệ lõi lên xuçt hiện trong lĆp học, kðp thąi đþa ra cânh cûa chþĄng trình nhên diện báo tĆi sinh viên và gia đình sinh viên biết đþĉc thăc träng học têp hiện täi cûa con em mình 2 PHƯƠNG PHÁP NGHIÊN CỨU Nghiên cĀu về công nghệ nhên däng bìng 2.1 Mạng học sâu đa nhiệm MTCNN khuôn mðt đþĉc phát triển và Āng dýng trong nhiều lïnh văc khác nhau nhþ: Ứng dýng công MTCNN là một mäng nĄ-ron có thể thăc nghệ nhên däng khuôn mðt trong quân lý hành hiện nhên diện khuôn mðt và cën chînh khuôn chính cûa nhòm sinh viên trþąng Đäi học Thái mðt trên hình ânh Zhang & cs (2016) đã giĆi Nguyên (2017) Yugashini & cs (2013), đã phát thiệu mäng nĄ-ron này bao gồm 3 mäng riêng triển mô hình cāa tă động đòng mć khi kết hĉp biệt (Hình 1) thông tin nhên däng khuôn mðt và bộ câm biến Nguồn: Zhang & cs (2016) Hình 1 Các giai đoạn của mạng đa nghiệm MTCNN 95 Một giải pháp điểm danh bằng công nghệ nhận dạng khuôn mặt và ứng dụng tại Phòng Thực hành Khoa Công nghệ thông tin 2.1.1 Mạng P (Proposal Network) về kích thþĆc 24 × 24 và đþĉc truyền vào mäng R-Net Kết quâ đæu ra cûa mäng R-Net cho biết Một bộ hình ânh, là bân sao cûa ânh gốc vĆi đæu vào có phâi là khuôn mðt hay không, bao kích thþĆc thay đổi theo cçu trúc kim tă tháp gồm 1 vòctĄ 4 phæn tā mô tâ biên giĆi hän cûa (Image Pyramid) đþĉc đþa qua mäng P để xác khuôn mðt và 1 vòctĄ có 10 phæn tā mô tâ vð trí đðnh các hộp giĆi hän chĀa khuôn mðt và giá trð trên khuôn mðt đò Đæu ra cûa mäng này sẽ mĀc độ tin cêy cûa các hộp này Thuêt toán loäi đþĉc truyền vào mäng tiếp theo, mäng O-Net trÿ để loäi bó các hộp giĆi hän cò độ tin cêy nhó hĄn ngþĈng và thuêt toán NMS (No - Max 2.1.3 Mạng O (Output Network) Supression) để loäi bó các hộp giĆi hän có tî lệ trùng nhau vþĉt ngþĈng cho phép Mäng này cüng thăc hiện chĀc nëng tþĄng tă nhþ trong mäng R-Net, vĆi kích thþĆc ânh ć đæu 2.1.2 Mạng R (Refine Network) vào cûa mäng đþĉc thay đổi thành 48 × 48 Tuy nhiên, kết quâ đæu ra cûa mäng lúc này không Mäng R (Refine Network) thăc hiện các còn chî là các tọa độ cûa các hộp giĆi hän nĂa bþĆc nhþ mäng P-Net Tuy nhiên, mäng còn sā TþĄng Āng vĆi mỗi khuôn mðt nhên däng đþĉc dýng một phþĄng pháp cò tên là zero-padding, trong ânh, kết quâ trâ về 3 bộ giá trð bao gồm: 4 nhìm thăc hiện việc chñn thêm các điểm ânh có tọa độ cûa hộp giĆi hän; 5 tọa độ điểm cĄ sć trên giá trð 0 vào các phæn thiếu cûa hộp giĆi hän khuôn mðt mðt bao gồm: 2 mít, 1 müi, 2 bên nếu hộp giĆi hän này nìm ngoài biên cûa ânh cánh môi và hệ số độ tin cêy cûa mỗi hộp giĆi hän Tçt câ các hộp giĆi hän này sẽ đþĉc điều chînh Hình 2 Mạng đề xuất P Hình 3 Mạng tinh chînh R Hình 4 Mạng O 96 Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền 2.1.4 Dữ liệu huấn luyện của mạng MTCNN luyện cûa mô hình và đäi diện cho một têp hĉp các đðc trþng cûa khuôn mðt, đòng vai trñ quan Zhang & cs (2016) đã tiến hành so sánh trọng trong việc phân loäi các đối tþĉng trong hiệu quâ cûa mäng MTCNN trong phát hiện chiều không gian đã đþĉc biến đổi VòctĄ nhúng khuôn mðt vĆi các phþĄng pháp tån tiến nhçt rçt hĂu dýng trong việc tìm các lân cên trong trên các têp dĂ liệu ânh lĆn nhþ FDDB (Face một cým cho sïn, dăa vào mối quan hệ theo Detection Data Set and Benchmark), WIDER khoâng cách giĂa các vòctĄ nhúng vĆi nhau FACE, AFLW (Annotated Facial Lanmarks in Trong nghiên cĀu về số chiều số hóa cûa vòctĄ the Wild) Thăc nghiệm cho kết quâ vþĉt trội về nhúng, Schroff & cs (2015) đã chî ra rìng vòctĄ độ chính xác và duy trì đþĉc tốc độ xā lý theo nhúng 128-D cho kết quâ tối þu về độ chính xác thąi gian thăc 2.2.2 Mạng Inception Kiến trúc mäng học såu đa nhiệm MTCNN tþĄng đối phĀc täp để triển khai một cách độc Nëm 2014, Google đã giĆi thiệu một cçu lêp trên têp dĂ liệu mĆi Do đò, trong bài báo trúc mäng CNN (Hình 5), vĆi đðc trþng là các này nhóm nghiên cĀu sā dýng các mô hình đþĉc khối Inception cho phép mäng đþĉc học theo cçu huçn luyện tÿ trþĆc trên các têp dĂ liệu lĆn bći trúc song song, nghïa là vĆi 1 đæu vào có thể Ivan de Paz Centeno và đþĉc cçp phép bći học đþĉc đþa vào nhiều lĆp tích chêp khác nhau để viện công nghệ Massachusetts (MIT) dþĆi däng đþa ra các kết quâ khác nhau, sau đò đþĉc gộp mã nguồn mć läi thành 1 kết quâ duy nhçt ć đæu ra Việc học song song này giúp mäng có thể học đþĉc nhiều 2.2 Mạng FaceNet chi tiết hĄn, lçy đþĉc nhiều đðc trþng hĄn so vĆi mäng CNN truyền thống Ngoài ra, mäng cüng 2.2.1 Véctơ nhúng áp dýng các khối tích chêp có kernel bìng 1 × 1 nhìm giâm kích thþĆc cûa mäng, khiến việc Là một vòctĄ vĆi số chiều cố đðnh, giá trð cûa huçn luyện trć nên nhanh hĄn vòctĄ này đã đþĉc học trong quá trình huçn Hình 5 Cấu trúc mạng Inception V1 Hình 6 Cấu trúc của Triplet Loss 97 Một giải pháp điểm danh bằng công nghệ nhận dạng khuôn mặt và ứng dụng tại Phòng Thực hành Khoa Công nghệ thông tin 2.2.3 Hàm mất mát 3 điểm (Triplet Loss) model) cûa mäng học såu FaceNet đþĉc nghiên cĀu bći Schroff & cs (2015) khi sā dýng mäng Trong mäng CNN vĆi hàm Loss truyền nĄ-ron tích chêp sâu (DNN) vĆi cçu trúc các Inception cûa Szegedy & cs (2015) trên têp dĂ thống, ć đò ta chî so sánh giá trð đæu ra cûa liệu LFW (Labeled Faces in the Wild) và DB (Youtube Faces) để nhên däng khuôn mðt mäng vĆi giá trð thăc (ground truth) cûa dĂ liệu 2.3 Kết hợp mạng MTCNN và FaceNet Schroff & cs (2015) đã đþa ra hàm mçt mát 3 Trong nghiên cĀu này, nhóm nghiên cĀu sā điểm (triplet loss) bao gồm 3 giá trð đæu vào: mó dýng mäng học såu đa nhiệm MTCNN để phát hiện khuôn mðt ngþąi trong bĀc ânh cæn phân neo xia anchor - là ânh khuôn mðt đæu ra cûa tích Mỗi hình ânh khuôn mðt phát hiện đþĉc tÿ mäng này sẽ đþĉc cít và thay đổi kích thþĆc mäng; x p positive - là ânh khuôn mðt cûa thành kích thþĆc chuèn 160 × 160 pixels và i đþĉc truyền qua mäng FaceNet để số hóa thành vòctĄ 128 chiều VòctĄ số hòa này đþĉc lþu läi cùng một ngþąi giống vĆi anchor; xin nagative - thành bộ cĄ sć dĂ liệu cĄ bân và đþĉc sā dýng để so sánh mĀc độ tþĄng tă nhau giĂa các khuôn là ânh khuôn mðt cûa một ngþąi khác vĆi mðt bìng cách tích khoâng cách giĂa các vòctĄ anchor Yêu cæu cûa thuêt toán Triplet Loss là vĆi nhau thông qua thuêt toán phân lĆp SVM căc tiểu hóa khoâng cách euclid (Euclidean distance) giĂa xia và xip (anchor – positive) 3 KẾT QUẢ VÀ THẢO LUẬN tþĄng Āng vĆi ânh khuôn mðt cûa cùng một nhân Để hoàn thành việc thu thêp dĂ liệu và däng và căc đäi hóa khoâng cách giĂa xia và xin phát triển chþĄng trình nhên diện dăa trên mäng học såu đa nhiệm MTCNN, FaceNet và (anchor – negative) tþĄng Āng vĆi ânh khuôn mðt thuêt toán phân lĆp SVM, nhóm nghiên cĀu đã cûa các nhân däng khác nhau (Hình 6) tiến hành thu thêp dĂ liệu ânh khuôn mðt cûa sinh viên các nhóm thăc hành täi Bộ môn Vêt f xia f xip f 2 xia f xin (1) 2 lý, Khoa Công nghệ thông tin trong khoâng thąi 2 2 gian tÿ tháng 1/2023 tĆi tháng 6/2023 Giao diện phæn mềm đþĉc thiết kế bći PyQt5 Trong đó: Designer, dăa trên ngôn ngĂ lêp trình Python - f xia , f xip , f xin là các vòctĄ nhúng mã 3.1 Thu thập dữ liệu ảnh sinh viên tại Phòng thực tập Vật lý, Khoa Công nghệ hóa cûa ânh xia , xip , xin thông tin - f xia , f xip , f xin là têp hĉp các bộ Quá trình thu thêp dĂ liệu ânh cûa 200 sinh viên đþĉc thăc hiện bći phæn mềm chýp ba triplets trong bộ dĂ liệu đào täo có bêc là N ânh tă động, đþĉc phát triển bći nhóm nghiên cĀu Số lþĉng ânh chýp vĆi mỗi méu là 30 ânh - α (margin) là độ sai lệch tối thiểu giĂa Để việc phân tích dĂ liệu và nhên däng khuôn mðt đþĉc chính xác thì quá trình chýp ânh f x p và f x n khuôn mðt phâi thóa mãn một số điều kiện sau: i i - Ngþąi đþĉc lçy méu không đeo khèu Để mäng học đþĉc nhiều “tri thĀc” hĄn, trang, cách camera tÿ 40 đến 50cm để thu đþĉc trong mỗi bó dĂ liệu (mini-batch) điểm positive đþĉc chọn nìm xa nhçt có thể so vĆi anchor, điểm negative đþĉc chọn nìm gæn nhçt có thể so vĆi anchor, các hàm argmin và argmax đþĉc sā dýng để tìm ra các cðp triplets thóa mã yêu cæu về khoâng cách Hàm mçt mát (Loss) tổng quát đþĉc xác đðnh bći công thĀc sau: L f N xia f xip f 2 xia f xin 2 i1 2 2 (2) 2.2.4 Mô hình pre-trained với FaceNet Trong nghiên cĀu này, nhóm sā dýng mô hình đã đþĉc đào täo tÿ trþĆc (pre-trained 98 Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền hình ânh khuôn mðt rõ nét, không bð mą trong hóa có thể đþĉc đánh giá một cách đðnh tính khung hình kích thþĆc 640 × 480 pixels dăa vào phân tích ć trên Trong nghiên cĀu này, chúng tôi sā dýng Nimgs/persion = 30 để cån - Ngþąi đþĉc lçy méu đþĉc khuyến nghð có đối giĂa độ chính xác cûa kết quâ nhên däng tþĄng tác vĆi nhóm nghiên cĀu trong quá trình và thąi gian xā lý cüng nhþ tài nguyên cûa chýp hình, để thu đþĉc ânh chýp vĆi nhiều máy tính hiện cò träng thái câm xúc khác nhau (cþąi, há miệng, nháy mít, nhím mít,„), để phong phú dĂ liệu 3.2.2 Phương pháp phân tích dựa trên các số hóa và nâng cao độ chính xác trong quá trình thuật toán máy học nhên däng Để đánh giá bộ dĂ liệu kiểm tra cûa 200 - Ngþąi đþĉc lçy méu sẽ thay đổi vð trí góc (méu), mỗi méu có 30 ânh, mỗi ânh đþĉc mã hóa cûa khuôn mðt so vĆi camera để thu đþĉc các thành vòctĄ 128 - D, trong đò 80% dĂ liệu cho gòc nhìn khác nhau: quay đæu tÿ bên trái têp đào täo và 20% dĂ liệu cho têp kiểm tra (-45 độ) tĆi bên phâi (+45 độ); quay đæu tÿ góc trong bâng 1 nhìn chính diện hþĆng lên cao 10 độ Thąi gian lçy méu là 15s Nhóm nghiên cĀu sā dýng các mô hình học máy tÿ thþ viện sklearn để đánh giá độ chính - Khi chýp ânh, có thể thay đổi mĀc độ xác cûa các thuêt toán Kết quâ đþĉc mô tâ chiếu sáng lên khuôn mðt để thu đþĉc các góc trong bâng 2 Tÿ kết quâ trên cho thçy, các mô phĄi sáng khác nhau, điều này sẽ cò đòng gòp hình học máy KNN và SVM cho kết quâ cò độ rçt quan trọng khi nhên däng ć các điều kiện chính xác tĆi trên 99% vĆi bộ dĂ liệu đþĉc số hóa ánh sáng khác nhau cûa môi trþąng lĆp học, bći mäng MTCNN - FaceNet giâng đþąng, hội trþąng,„ Tÿ nhĂng phân tích ć trên, thuên toán 3.2 Phân tích số liệu số hóa khuôn mặt phân lĆp SVM vĆi vai trñ là bþĆc thĀ ba cûa quá trình nhên diện để xác đðnh thông tin cûa 3.2.1 Phương pháp phân tích thành phần khuôn mðt cæn nhên diện chính PCA 3.3 Triển khai ứng dụng tại Phòng Thí PhþĄng pháp phån tích thành phæn chính nghiệm Vật lý, Khoa Công nghệ thông tin, (PCA) đþĉc sā dýng để phân tích să phân bố Học viện Nông nghiệp Việt Nam trong không gian 3 chiều cçu trúc dĂ liệu cûa vòctĄ nhúng 128-D cho têp méu 200 bộ dĂ liệu 3.3.1 Các chế độ điểm danh Các đồ thð trên hình 7, biểu diễn dĂ liệu cûa vòctĄ nhúng 128-D đþĉc mã hóa bći mäng PhþĄng pháp điểm danh tham dă lĆp học FaceNet vĆi số lþĉng ânh chĀa khuôn mðt bìng công nghệ nhên diện đþĉc nhóm nghiên Nimgs/persion thay đổi tÿ 1 đến 30 Điểm dĂ liệu cĀu triển khai täi các nhóm thăc hành vêt lý, đþĉc phân bố nìm trong hình cæu bán kính Khoa Công nghệ thông tin Do tính chçt riêng R0 Să phân bố cûa các điểm dĂ liệu này tþĄng biệt cûa học phæn thăc hành vêt lý: mỗi nhóm đối hỗn loän và chþa cò tính têp trung vĆi thăc hành có tối đa 25 sinh viên đþĉc chia Nimgs/persion < 5 Khi Nimgs/persion ≥ 10, các điểm ânh thành 7 nhóm nhó, mỗi nhóm nhó có tÿ 3 đến 4 cûa mỗi bộ dĂ liệu khác cò xu hþĆng têp trung sinh viên cùng hĉp tác vĆi nhau để làm bài thăc theo tÿng cým, khoâng cách giĂa các cým này hành Do đò, nhòm nghiên cĀu đã tiến hành trć nên bò hĄn VĆi Nimgs/persion ≥ 20, bộ 200 dĂ điểm danh bìng công nghệ nhên diện trong một liệu đþĉc phân bố tþĄng đối ổn đðnh trong hình số trþąng hĉp sau: cæu có bán kính r ~ 1 R0 - Nhên diện thông qua ânh chýp các nhóm 7 sinh viên trong lĆp học: yêu cæu vĆi ânh chýp cæn phâi rõ nét, các khuôn mðt không bð che Nhþ vêy việc lăa chọn số lþĉng ânh cûa khuçt, góc chýp trăc diện mỗi nhân däng Nimgs/persion trong bộ dĂ liệu mã 99 Một giải pháp điểm danh bằng công nghệ nhận dạng khuôn mặt và ứng dụng tại Phòng Thực hành Khoa Công nghệ thông tin - Nhên diện theo thąi gian thăc thông qua trþĆc camera, hệ thống sẽ phân tích và nhên diện hệ thống camera giám sát hoðc webcam: việc tÿng ngþąi trong mỗi khung hình Nhòm đã điểm danh theo thąi gian thăc đþĉc thăc hiện khi nghiên cĀu và phát phiển công nghệ nhên diện mỗi sinh viên hoðc tÿng nhóm sinh viên đĀng theo thąi gian thăc vĆi 3 chế độ cĄ bân: Mỗi dữ liệu chứa 1 ảnh Mỗi dữ liệu chứa 5 ảnh Mỗi dữ liệu chứa 10 ảnh Mỗi dữ liệu chứa 15 ảnh Mỗi dữ liệu chứa 20 ảnh Mỗi dữ liệu chứa 30 ảnh Hình 7 Phân bố không gian của điểm ảnh được mã hóa bởi FaceNet Bảng 1 Tham số bộ dữ liệu số hóa của 200 sinh viên Số thứ tự Số mẫu Số ảnh Số chiều mã hóa Tập dữ liệu 200 6000 128 Tập training 160 4800 128 Tập testing 40 1200 128 Bảng 2 So sánh kết quả các mô hình máy học Phương pháp máy học Tham số Độ chính xác Multilinear Regression Mặc định 49,43% Decision Tree Regressor Mặc định 58,17% Polynomial with Ridge Degree = 3, alpha = 1 83,15% Polynomial Regression Degree = 3 85,08% Random Forest Regresso Mặc định 89,23% K nearest neightbor (KNN) N_neighbors = 4 99,84% Support Vertor Machine (SVM) Kernel = ’linear’ C = 1 100% 100 Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền Hình 8 Giao diện chính của phần mềm nhận dạng khuôn mặt Hình 9 So khớp hình ảnh (hình ânh tác giâ thăc hiện nghiên cĀu) + Chế độ tự do (Free mode): trong chế độ điệp: “2 khuôn mðt này có phâi cùng một nhân này, thông tin cá nhân về mỗi khuôn mðt trong däng hay không?” Việc so khĆp hình ânh bìng khung hình sẽ đþĉc thông báo, khi nhìn vào mít thþąng có thể đþĉc thăc hiện một cách dễ màn hình thì giáo viên có thể biết sinh viên nào dàng, do đò việc điểm danh sinh viên cò độ (tên, MSV,„) chính xác cao và tránh đþĉc các trþąng hĉp gian lên cûa ngþąi học nhþ: thuê ngþąi đi học, thuê + Chế độ điểm danh có kiểm soát: chế độ ngþąi đi thi, phát hiện ngþąi lä mðt (không phâi này cho phép giáo viên có thể kiểm soát đþĉc thành viên cûa lĆp),„ thông tin nhên diện bći phæn mềm cò đúng vĆi dĂ liệu sinh viên đþĉc lþu trĂ trong cĄ sć dĂ liệu + Chế độ điểm danh không kiểm soát: trong hay không Để thăc hiện ý tþćng nêu trên, mỗi chế độ này, việc điểm danh đþĉc thăc hiện một khi hình ânh khuôn mðt trong khung hình đþĉc cách tă động mà không có să can thiệp tÿ phía phát hiện, hệ thống sẽ so khĆp khuôn mðt đò vĆi giáo viên hay ngþąi quân lý phæn mềm Để khuôn mðt đþĉc lþu trĂ trên cĄ sć dĂ liệu thông thông tin nhên däng đâm bâo độ chính xác cao, qua cĄ chế số hóa cûa vòctĄ nhúng để tìm ra nhóm nghiên cĀu đã bổ xung thuêt toán nhên vòctĄ nhúng có khoâng cách gæn nhçt tþĄng Āng däng trên nhiều khung hình liên tiếp vĆi số vĆi khuôn mðt cæn nhên däng Khi đò, một bâng lþĉng N tÿ 20 đến 30 khung hình (frame), do thông báo đþĉc gāi tĆi ngþąi quân lý vĆi thông vêy mỗi sinh viên sẽ đĀng trþĆc camera trong 101 Một giải pháp điểm danh bằng công nghệ nhận dạng khuôn mặt và ứng dụng tại Phòng Thực hành Khoa Công nghệ thông tin thąi gian 2-3 giây để hoàn tçt quá trình phân biến cûa hình ânh khuôn mðt; điều kiện chiếu tích Vì mỗi khung hình sẽ cho kết quâ nhên sáng; số lþĉng sinh viên trong bộ cĄ sć dĂ liệu,„ däng cûa một ngþąi nào đò trong cĄ sć dĂ liệu, nên 20 khung hình sẽ cho 20 kết quâ có thể 3.3.2 Kết quâ nhận diện qua ânh chụp giống hoðc khác nhau Kết quâ nhên däng đþĉc từng nhóm sinh viên thực hành tă động lþu và cĄ sć dĂ liệu nếu số lþĉng khung hình trâ về cùng một ngþąi và phâi thóa mãn Ảnh chýp cûa tÿng nhóm nhó đþĉc tiến hành điều kiện: tiền xā lý trþĆc khi đþa vào phæn mềm nhên diện để đâm bâo kết quâ cò độ chính xác trên các têp Kết quâ nhên däng > = round (coeff * N) (3) cĄ bân có 25 sinh viên là 100% Tÿ bâng số liệu 3 và hình 10 ta nhên thçy độ chính xác cò xu hþĆng Trong đò, coeff là hệ số trong khoâng [0, 1]; giâm dæn khi số lþĉng méu trong bộ dĂ liệu cæn N là số lþĉng khung hình cæn phân tích Các giá nhên diện tëng lên cĀ trung bình 1% cho 100 méu trð này đþĉc điều chînh dăa trên các điều kiện và đþĉc ngoäi suy theo hình 11 khi kích thþĆc thăc tế cûa quá trình nhên däng nhþ: độ phổ méu tëng lên tĆi 500 sinh viên Bảng 3 Phân tích kết quả nhận diện theo ảnh chụp Số lượng sinh viên Độ chính xác Sai số 25 1,0000 0,0000 50 1,0000 0,0000 75 1,0000 0,0000 100 0,9900 0,0013 125 0,9900 0,0020 150 0,9900 0,0040 175 0,9886 0,0011 200 0,9800 0,0038 Hình 10 Phân tích kết quả nhận diện theo số lượng sinh viên trong mẫu 102 Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền Hình 11 Ngoại suy mức độ suy giảm của độ chính xác khi kích thước mẫu tăng lên Hình 12 Chương trình nhận dạng trong chế độ tự do (Free Mode) Phân tích trên cho thçy rìng, khi triển khai vĆi máy tính, một camera đþĉc kết nĆi vĆi máy hệ thống nhên däng qua ânh chýp vĆi têp dĂ tính, ć độ cao 170cm (tþĄng đþĄng độ cao trung liệu cò kích thþĆc lĆn, chúng ta cæn phâi thăc bình cûa sinh viên) đþĉc bố trí täi cāa ra vào hiện thêm một số phân tích bổ xung nhþ phån cûa lĆp học Khi sinh viên vào lĆp, læn lþĉt chia têp dĂ liệu theo giĆi tính; phån chia theo độ tÿng ngþąi hoðc tÿng nhóm tÿ 3 đến 4 ngþąi sẽ tuổi;„ để chia nhó têp dĂ liệu thành các têp có đĀng trþĆc camera, mðt nhìn thîng hþĆng về cò kích thþĆc nhó hĄn 200 phía camera trong khoâng thąi gian tÿ 1 đến 2 giåy để hệ thống thu läi hình ânh và xā lý, kết 3.3.3 Kết quâ nhận dạng theo thời gian thực quâ nhên däng sẽ hiển thð trên cāa sổ màn qua hệ thống camera giám sát tự động hình cûa máy tính Nhóm nghiên cĀu đã phát triển 3 chế độ hoät động khác nhau cûa chþĄng Để tiến hành điểm danh sinh viên tham dă trình nhên däng lĆp học thông qua hệ thống camera có kết nối 103 Một giải pháp điểm danh bằng công nghệ nhận dạng khuôn mặt và ứng dụng tại Phòng Thực hành Khoa Công nghệ thông tin a Chế độ tự do (Free Mode) + Chọn “No” nếu hai hình ânh này không mô tâ thông tin cûa cùng một nhân däng, giáo Trong chế độ này, tÿng nhóm sinh viên sẽ viên có thể yêu cæu sinh viên thay đổi vð trí, đĀng trþĆc camera ć khoâng cách nhó hĄn 1m khoâng cách so vĆi camera hay thêm chí là träng Camera sẽ thu läi hình ânh vĆi tốc độ 30 khung thái câm xúc trên khuôn mðt,„ để thu đþĉc kết hình (frame)/giây Mỗi khung hình sẽ đþĉc phân quâ nhên däng giống vĆi hình ânh cæn phân tích tích bći chþĄng trình để phát hiện các khuôn Khi kết thúc, giáo viên có thể kiểm tra thông tin mðt VĆi mỗi khuôn mðt phát hiện đþĉc sẽ đþĉc điểm danh bìng cách truy cêp vào cĄ sć dĂ liệu mã hóa bći mäng FaceNet Cuối cùng thuêt “Student_HVN_Database.db” Bâng “HVN_Class toán phân lĆp SVM (Support Vector Mechine) _MMTA_ K66” lþu trĂ thông tin điểm danh cûa đþĉc sā dýng để so khĆp khuôn mðt phát hiện lĆp học theo tÿng buổi học riêng biệt đþĉc vĆi nhân däng trong bộ dĂ liệu cĄ sć Khi truy cêp vào thông tin nhþ hình 14, Nhþ đã biết, mỗi nhân däng đþĉc phát hiện thông tin tham dă lĆp học cûa sinh viên vĆi các bći hệ thống sẽ đi kñm theo một hệ số mô tâ độ trþąng thông tin nhþ: Họ và tên; MSV; thąi gian chính xác cûa kết quâ nhên däng Hệ số này sẽ đến lĆp; và đðc biệt hình ânh khuôn mðt cæn đþĉc so sánh vĆi giá trð ngþĈng đþĉc điều chînh nhên däng và hình ânh lþu trĂ trong cĄ sć dĂ bći ngþąi dùng (Proba = 0,901) Nếu ≥ Proba liệu đþĉc tích hĉp trong trþąng dĂ liệu thông tin sinh viên cæn nhên däng sẽ đþĉc hiển “Image_Composed” giúp ta phån biệt đþĉc kết thð Nếu ≤ Proba, một khung hình mæu đó kết quâ nhên däng là đúng hay sai VĆi nhĂng sinh hĉp vĆi dñng chĂ “Unknown” mô tâ träng thái viên tham dă lĆp học sẽ có dçu tích “X” trong chþa xác đðnh đþĉc danh tính cûa sinh viên đò trþąng “Attendence” VĆi cçu hình cûa máy tính Core i7 - 12700, card đồ họa NVIDIA GeForce RTX 3070 Ti Laptop Hình thĀc điểm danh có can thiệp cûa ngþąi GPU, chþĄng trình cò khâ nëng nhên däng đồng quân lý phù hĉp để triển khai trong các lĆp học thąi 10 khuôn mðt trong khi vén đâm bâo tốc độ täi giâng đþąng, phòng thăc hành, các buổi sinh 30 khung hình /giây (FPS = 30) hoät chuyên môn, các buổi thi học phæn,„ b Hình thức điểm danh tự động có can thiệp c Hình thức điểm danh tự động không can thiệp (Authorize Checking) (Self-Checking) Khi chþĄng trình chäy trong chế độ VĆi hình thĀc điểm danh này, quy trình Authorize Checking (Hình 13), giáo viên yêu thăc hiện tþĄng tă nhþ quá trình điểm danh tă cæu tÿng sinh viên đĀng trþĆc camera để ghi läi động có can thiệp Tuy nhiên điểm khác biệt hình ânh Hệ thống phæn mềm sẽ phân tích nìm ć chỗ: thông tin trên tÿng khung hình và đþa ra thông báo về kết quâ nhên däng nếu xuçt hiện khuôn + Không cæn ngþąi quân lý xác nhên “Yes” mðt trong khung hình đò Một thông báo xuçt hoðc “No” hiện vĆi câu hói “Are you Ho_Va_Ten_MSV?”, kèm theo cðp hình ânh cûa khuôn mðt xuçt + Hệ thống sẽ tă phån tích thông tin ngþąi hiện trong cāa sổ FACE DETECTED và hình cæn nhên däng cò đúng vĆi hình ânh lþu trĂ hay ânh đối chiếu trong cāa sổ IMAGE IN DATA không thông qua việc bổ xung thêm ràng buộc số khung hình tối thiểu (Num of frames) mà hệ Giáo viên hoðc ngþąi quân lý sẽ đối chiều thống cæn phân tích phâi thuộc về cùng một hình ânh nìm trong 2 cāa sổ này để xác nhên nhân däng Nếu yêu cæu số khung hình tối thiểu thông tin nhên däng có chính xác hay không: đþĉc thóa mãn, hệ thống sẽ tă động lþu trĂ thông tin vào bâng cĄ sć dĂ liệu + Chọn “Yes” nếu 2 khuôn mðt trong FACE DETECTED và IMAGE IN DATA trùng nhau Ví dụ: Nếu Nframes = 20 và Ccoeff = 0,7 thì số Khi đò thông tin cá nhån cûa ngþąi đþĉc nhên kết quâ trâ về phâi cùng một nhân däng khi däng sẽ xuçt hiện trong danh sách “LIST OF phân tích tÿng khung hình là Nframes × Ccoeff = 14 STUDENTS” và đþĉc lþu vào danh sách điểm Chî khi thóa mãn điều kiện trên thì thông tin danh trong cĄ sć dĂ liệu cûa ngþąi cæn nhên däng mĆi đþĉc hệ thống xác nhên và lþu và bâng dĂ liệu điểm danh 104 Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền Lþu ý rìng, các giá trð cûa Nframes và Ccoeff có hay bó gią, trốn học,„ để hỗ trĉ công tác quân lý thể đþĉc điều chînh bći ngþąi quân lý sao cho sinh viên cüng nhþ chçt lþĉng đào täo đþĉc phù hĉp vĆi điều kiện thăc tế khi triển khai quá nâng cao trình điểm danh Hình thĀc điểm danh tă động không can thiệp phù hĉp để áp dýng trong các + Phát hiện tình träng gian lên trong học trþąng hĉp nhþ: và thi hết học phæn: mỗi khuôn mðt cûa sinh viên tham dă buổi học và buổi thi đều đþĉc lþu + Giám sát thông tin tham dă lĆp học cûa trĂ và so khĆp vĆi gþĄng mðt trong hệ thống cĄ sinh viên nhþ: bó gią, đến lĆp muộn; thąi gian sć dĂ liệu nên việc trích xuçt thông tin có thể vào lĆp muộn bao lâu Tÿ nhĂng dĂ liệu trên, phát hiện đþĉc các sinh viên cố tình gian lên đĄn vð quân lý sẽ kðp thąi đþa ra nhĂng cânh trong học và thi một cách nhanh chóng và báo, liên hệ vĆi gia đình cûa nhĂng sinh viên dễ dàng Hình 13 Chế độ điểm danh có kiểm soát bởi giáo viên Hình 14 Lưu trữ dữ liệu điểm danh của lớp học 105 Một giải pháp điểm danh bằng công nghệ nhận dạng khuôn mặt và ứng dụng tại Phòng Thực hành Khoa Công nghệ thông tin 4 KẾT LUẬN TÀI LIỆU THAM KHẢO Nhóm nghiên cĀu đã phát triển thành công Đào Quang Toàn (2017) Nhận dạng khuông mặt trong phæn mềm nhên däng khuôn mðt ngþąi dăa hỗ trợ công tác quản lý tiếp dân Luận văn Thạc sĩ trên mäng học såu đa nhiệm MTCNN, số hóa Khoa học Máy tính Đại học Thái Nguyên bći công nghệ FaceNet và nhên diện khuôn mðt bìng thuêt toán phân lĆp SVM dăa trên khoâng Erik L.M., Gary B.H., Aruni R.C., Li H & Gang H cách giĂa các vòctĄ số hóa trong không gian 128 (2016) Labeled Faces in the Wild: A Survey chiều Nhòm đã áp dýng phæn mềm trên các In Advances in Face Detection and Facial Image nhóm sinh viên khoa CNTT tham gia thăc têp Analysis Springer pp 189-248 Vêt lý täi phòng thí nghiệm vĆi các hình thĀc điểm danh khác nhau: điểm danh qua ânh chýp; Fabian P., Gael V., Alexandre G., Vincent M., Bertrand điểm danh có kiểm soát cûa giáo viên và điểm T., Olivier G., Mathieu B., Andreas M., Joel N., danh tă động Số liệu điểm danh theo tÿng buổi Gilles L., Peter P., Ron W., Vincent D., Jake V., đþĉc lþu trĂ trong cĄ sć dĂ liệu giúp giáo viên Alexandre P., David C., Matthieu B., Matthieu P dễ dàng thống kê thông tin tham dă lĆp học cûa & Édouard D (2011) Scikit-learn: Machine tÿng sinh viên Learning in Python JMLR 12, pages: 2825-2830 Công nghệ điểm danh qua nhên däng Jain V & Erik L.M (2010) FDDB: A Benchmark for khuôn mðt đã hỗ trĉ giáo viên trong việc quân Face Detection in Unconstrained Settings lý sinh viên một cách hiệu quâ, qua đò kðp thąi Technical Report UM-CS-2010-009 Dept ngën chðn đþĉc các hình thĀc gian lên trong học of Computer Science, University of têp nhþ: sinh viên bó học và thuê ngþąi khác đi Massachusetts, Amherst học, điểm danh; thuê ngþąi đi thi;„ Martin K., Paul W., Peter M R & Horst B (2011) Tuy nhiên, công nghệ điểm danh hiện täi Annotated Facial Landmarks in the Wild: A Large- chþa cò khâ nëng phån biệt hình ânh cûa ngþąi scale, Real-world Database for Facial Landmark đĀng trþĆc camera và ânh chýp cûa ngþąi đò Localization In Proc First IEEE International đþĉc lþu läi trên các thiết bð thông minh nhþ Workshop on Benchmarking Facial Image Ipad, Iphone,„ khi mà hình ânh này đþĉc đðt Analysis Technologies trþĆc camera để tiến hành điểm danh Do đò, các nghiên cĀu chuyên såu hĄn khi phån tích Ngo Tung Son, Bui Ngoc Anh, Tran Quy Ban, Le Phuong ânh nhiệt thu đþĉc tÿ camera hồng ngoäi và Chi, Bui Đinh Chien, Duong Xuan Hoa, Le Van camera thþąng cæn tiếp týc đþĉc thăc hiện Thanh, Tran Quang Huy, Le Đinh Duy & trong giai đoän tiếp theo để hoàn thiện hĄn công Muhammad Hassan Raza Khan (2020) nghệ hiện đäi này Implementing CCTV-Based Attendance Taking Support System Using Deep Face Recognition: A LỜI CẢM ƠN Case Study at FPT Polytechnic College Symmetry 12(2): 307 DOI: 10.3390/sym12020307 Để hoàn thành nghiên cĀu công nghệ nhên däng và triển khai Āng dýng công nghệ này, Schroff F., Kalenichenko D & Philbin J (2015) nhóm nghiên cĀu chân thành câm Ąn să hỗ trĉ FaceNet: A Unified Embedding for Face về tài chính cûa Học viện Nông nghiệp Việt Recognition and Clustering Proceedings of the Nam; Ban Chû nhiệm Khoa Công nghệ thông IEEE Conference on Computer Vision and Pattern tin; Bộ môn Vêt lý và đðc biệt là các lĆp sinh Recognition pp 815-823 viên K67 Khoa CĄ - Điện, Khoa Công nghệ thông tin, K66MMT đã tham gia lçy méu ânh Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., và kiểm thā công nghệ nhên däng trong khoâng Anguelov D., Erhan D., Vanhoucke V & Rabinovich thąi gian tÿ tháng 11/2022 đến tháng 6/2023 A (2015) Going deeper with convolutions Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition pp 1-9 Trần Như Ý & Nguyễn Phương Hạc (2021) Ứng dụng Haar-Cascade và MTCNN vào thuật toán ARCFACE cho hệ thống nhận dạng mặt người Tạp chí Công thương (2): 224-230 Yugashini I., Vidhyasri S & Gayathri D.K (2013) Design and Implementation of Automated Door Accessing System with Face Recognition International Journal of Science and Modern Engineering ISSN: 2319-6386 1(12) Zhang Z., Zhang K., Li Z & Qiao Y (2016) Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks IEEE Signal Processing Letters 23(10): 1499-1503 106