3 TÍCH HỢP ỨNG DỤNG PHÂN TÍCH KHN MẶT TRONG
3.13 Cảnh báo vi phạm khi thí sinh khơng tập trung vào bài thi, có
Hình 3.13: Cảnh báo vi phạm khi thí sinh khơng tập trung vào bài thi, có hướng nhìn ra ngồi khuvực quan sát. vực quan sát.
3.5 Kết quả thử nghiệm thực tế
Module Face ID API đã được tích hợp thử nghiệm vào hai hệ thống LMS bao gồm: Hệ thống quản lý đào tạo lập trình viên – Cơng ty cổ phẩn giáo dục Zent Education và Hệ thống quản lý đào tạo tiếng Anh dự bị cho sinh viên trường Quốc tế - Đại học Quốc Gia Hà Nội.
Kết quả thử nghiệm thực tế trên một số lớp học đã triển khai:
- Lớp lập trình Java - Zent Education + Số sinh viên: 14
+ Thời gian thử nghiệm: 15 phút + Bảng thống kê kết quả Số cảnh báo ghi nhận Số cảnh báo chính xác Tỉ lệ chính xác Ghi chú Tổng số cảnh báo 40 36 90%
Cảnh báo sinh viên trước camera không phải là sinh viên đăng nhập hệ thống
5 5 100%
Cảnh báo sinh viên không xuất hiện trong khu vực quan sát của camera
4 3 75%
01 trường hợp đeo khẩu trang quá cao, hệ thống không nhận dạng được khuôn mặt
Cảnh báo sinh viên không ngồi ngay ngắn trong quá trình thi.
28 26 93%
01 trường hợp quay ngang và đeo khẩu trang nên hệ thống không nhận dạng được Cảnh báo xuất hiện 2
khn mặt trong một khung hình
3 2 67%
01 trường hợp ghi nhận hình ảnh của bạn ngồi bàn dưới
- Lớp lập trình web front end - Zent Education + Số sinh viên: 12
+ Thời gian thử nghiệm: 15 phút + Bảng thống kê kết quả Số cảnh báo ghi nhận Số cảnh báo chính xác Tỉ lệ chính xác Ghi chú Tổng số cảnh báo 56 49 88%
Cảnh báo sinh viên trước camera không phải là sinh viên đăng nhập hệ thống
9 9 100%
Cảnh báo sinh viên không xuất hiện trong khu vực quan sát của camera
12 9 75%
03 trường hợp đeo khẩu trang quá cao, hệ thống không nhận dạng được khuôn mặt
Cảnh báo sinh viên khơng ngồi ngay ngắn trong q trình thi.
26 24 92%
01 trường hợp quay ngang và đeo khẩu trang nên hệ thống không nhận dạng được Cảnh báo xuất hiện 2
khn mặt trong một khung hình
9 7 78%
02 trường hợp ghi nhận hình ảnh của bạn ngồi bàn dưới
- Lớp Cơ sở dữ liệu nâng cao - Trường Quốc tế + Số sinh viên: 23
+ Thời gian thử nghiệm: 15 phút + Bảng thống kê kết quả Số cảnh báo ghi nhận Số cảnh báo chính xác Tỉ lệ chính xác Ghi chú Tổng số cảnh báo 73 69 95%
Cảnh báo sinh viên trước camera không phải là sinh viên đăng nhập hệ thống
12 11 92%
Cảnh báo sinh viên không xuất hiện trong khu vực quan sát của camera
17 16 94%
01 trường hợp đeo khẩu trang quá cao, hệ thống không nhận dạng được khuôn mặt
Cảnh báo sinh viên khơng ngồi ngay ngắn trong q trình thi.
30 29 97%
01 trường hợp quay ngang và đeo khẩu trang nên hệ thống không nhận dạng được Cảnh báo xuất hiện 2
khuôn mặt trong một khung hình
14 13 93%
01 trường hợp ghi nhận hình ảnh của bạn ngồi bàn dưới
Một số hình ảnh thử nghiệm thực tế:
Hình 3.14: Cảnh báo vi phạm nhìn ra ngồi phạm vi quan sát.
Hình 3.16: Cảnh báo vi phạm nhìn ra ngồi phạm vi quan sát.
Hình 3.17: Nhận dạng thí sinh đăng nhập hệ thống.
Hình 3.19: Nhận dạng thí sinh đăng nhập hệ thống.
Hình 3.21: Cảnh báo sai khi nhận dạng thí sinh do có hình ảnh thí sinh ngồi bàn sau.
3.6 Kết chương
Trong chương này tơi đã trình bày những phân tích các hành vi gian lận từ việc theo dõi khn mặt. Qua đó tơi xây dựng module phát hiện và cảnh báo sớm nhằm giảm thiểu gian lận mà phân tích khn mặt có thể giải quyết được. Những vấn đề được trình bày nhằm đáp ứng những vấn đề của thời cuộc đang diễn ra một cách nhanh chóng và cấp thiết. Bên cạnh đó, tơi cũng xây dựng một bộ cơng cụ gồm các API hỗ trợ tích hợp cho các nền tảng thi trực tuyến có thể sử dụng mục đích giám sát và cảnh báo sớm nhằm giảm thiểu gian lận trong quá trình diễn ra các bài thi trực tuyến. Ngồi ra tơi cũng trình bày kết quả thử nghiệm thực tế khi tích hợp vào hệ thống LMS của 2 đơn vị đào tạo.
Kết luận
Luận văn “Ứng dụng phân tích khn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống LMS” trình bày cơ sở kiến thức liên quan đến phân tích khn mặt bao gồm các phương pháp mơ hình nhận diện khn mặt và theo dõi ánh nhìn. Các nhiệm vụ trong phân tích khn mặt là nền tảng cơ sở cho xây dựng các phương pháp phục vụ cảnh báo sớm nhằm giảm thiểu gian lận trong hệ thống thi trực tuyến. Đề tài đã giải quyết được các vấn đề sau:
• Giới thiệu các phương pháp nhận diện khuôn mặt hiện nay dựa trên học máy với các đặc trưng cứng như: LBP, SIFT, HOG... và các phương pháp dựa trên các mơ hình học sâu: Face Net, ArcFace...
• Giới thiệu nền tảng nhiệm vụ nhận diện khuôn mặt hướng tiếp cận và phương pháp giải quyết dựa trên mạng nơ-ron nhận tạo CNN.
• Tìm hiểu và đưa ra giải pháp theo dõi ánh nhìn từ hình ảnh khn mặt thông qua biểu đồ 68 điểm trên khn mặt.
• Đề xuất tích hợp các nhiệm vụ phân tích khn mặt trong các hệ thống thi trực tuyến thông qua các API cần thiết.
• Mơ hình nhận diện khn mặt độ chính xác lên đến 99.85 %, mơ hình nhận diện cảm xúc đạt độ chính xác trên 95 %.
• Triển khai thực nghiệm các API cảnh báo sớm các vi phạm nhằm giảm thiểu gian lận trong các hệ thống lên trên một server.
Hướng phát triển
Do sự hạn chế về thời gian nên nội dung nghiên cứu của đề tài cần phải được phát triển để có thể ứng dụng ngày vào các hệ thống thi trực tuyến. Những nghiên cứu tiếp theo về phân tích khn mặt trong chống gian lận được triển khai theo các hướng sau:
• Nhận diện khn mặt theo thời gian thực trong suốt thời gian thực hiện bài thi trực tuyến.
• Ngun cứu thuật tốn tối ưu nhận diện cảm xúc khn mặt và tích hợp nhằm đưa ra các cảnh bảo chính xác hơn.
• Tối ưu hố hiệu năng các API để có thể đưa các mơ hình hoạt động tại các thiết bị cạnh không cần sử dụng thông qua các API.
• Nghiên cứu và đề xuất các phương án chống gian lận khác liên quan để giọng nói và hành vi.
• Tích hợp phân tích dữ liệu để đưa ra các cảnh báo, dự đoán về kết quả học tập của sinh viên.
[1] GROSS, Charles G.; SERGENT, Justine. Face recognition. Current opinion in neurobiology, 1992, 2.2: 156-161.
[2] Zhao, W., Chellappa, R., Phillips, P. J., Rosenfeld, A. (2003). Face recogni- tion: A literature survey. ACM computing surveys (CSUR), 35(4), 399-458.
[3] Albawi, S., Mohammed, T. A., Al-Zawi, S. (2017, August). Understand- ing of a convolutional neural network. In 2017 international conference on engineering and technology (ICET) (pp. 1-6). Ieee.
[4] Gallant, S. I. (1990). Perceptron-based learning algorithms. IEEE Transac- tions on neural networks, 1(2), 179-191.
[5] Gardner, M. W., Dorling, S. R. (1998). Artificial neural networks (the mul- tilayer perceptron)—a review of applications in the atmospheric sciences. Atmospheric environment, 32(14-15), 2627-2636.
[6] Iandola, F. N., Han, S., Moskewicz, M. W., Ashraf, K., Dally, W. J., Keutzer, K. (2016). SqueezeNet: AlexNet-level accuracy with 50x fewer pa- rameters and< 0.5 MB model size. arXiv preprint arXiv:1602.07360.
[7] Hochreiter, S. (1998). The vanishing gradient problem during learning recur- rent neural nets and problem solutions. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 6(02), 107-116.
[8] Nanni, L., Ghidoni, S., Brahnam, S. (2017). Handcrafted vs. non- handcrafted features for computer vision classification. Pattern Recognition, 71, 158-172.
[9] Le, V., Brandt, J., Lin, Z., Bourdev, L., Huang, T. S. (2012, October). Interactive facial feature localization. In European conference on computer vision (pp. 679-692). Springer, Berlin, Heidelberg.
[10] Zhang, B., Gao, Y., Zhao, S., Liu, J. (2009). Local derivative pattern versus local binary pattern: face recognition with high-order local pattern descrip- tor. IEEE transactions on image processing, 19(2), 533-544.
[11] Cruz-Mota, J., Bogdanova, I., Paquier, B., Bierlaire, M., Thiran, J. P. (2012). Scale invariant feature transform on the sphere: Theory and ap- plications. International journal of computer vision, 98(2), 217-241.
[12] Dalal, N., Triggs, B. (2005, June). Histograms of oriented gradients for human detection. In 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR’05) (Vol. 1, pp. 886-893). Ieee.
[13] Mehrotra, R., Namuduri, K. R., Ranganathan, N. (1992). Gabor filter-based edge detection. Pattern recognition, 25(12), 1479-1494.
[14] Abdi, H., Williams, L. J. (2010). Principal component analysis. Wiley in- terdisciplinary reviews: computational statistics, 2(4), 433-459.
[15] Huang, G. B., Jones, M. J., Learned-Miller, E. (2008, October). LFW results using a combined Nowak plus MERL recognizer. In Workshop on Faces in’Real-Life’Images: Detection, Alignment, and Recognition.
[16] Schroff, F., Kalenichenko, D., Philbin, J. (2015). Facenet: A unified em- bedding for face recognition and clustering. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 815-823).
[17] Martínez-Díaz, Y., Méndez-Vázquez, H., López-Avila, L., Chang, L., Enrique Sucar, L., Tistarelli, M. (2018). Toward more realistic face recognition eval- uation protocols for the youtube faces database. In Proceedings of the IEEE conference on computer vision and pattern recognition workshops (pp. 413- 421).
[18] Kozma, L. (2008). k Nearest Neighbors algorithm (kNN). Helsinki University of Technology, 32.
[19] Zhang, C., Liao, Q., Rakhlin, A., Miranda, B., Golowich, N., Poggio, T. (2018). Theory of deep learning IIb: Optimization properties of SGD. arXiv preprint arXiv:1801.02254.
[20] Lydia, A., Francis, S. (2019). Adagrad—an optimizer for stochastic gradient descent. Int. J. Inf. Comput. Sci, 6(5), 566-568.
[21] Deng, J., Guo, J., Xue, N., Zafeiriou, S. (2019). Arcface: Additive angular margin loss for deep face recognition. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 4690-4699).
[22] Qin, Z., Zhang, Z., Chen, X., Wang, C., Peng, Y. (2018, October). Fd- mobilenet: Improved mobilenet with a fast downsampling strategy. In 2018 25th IEEE International Conference on Image Processing (ICIP) (pp. 1363- 1367). IEEE.
[23] Wang, Y. Q. (2014). An analysis of the Viola-Jones face detection algorithm. Image Processing On Line, 4, 128-148.
[24] Viola, P., Jones, M. (2001, December). Rapid object detection using a boosted cascade of simple features. In Proceedings of the 2001 IEEE com- puter society conference on computer vision and pattern recognition. CVPR 2001 (Vol. 1, pp. I-I). Ieee.
[25] Vezhnevets, A., Vezhnevets, V. (2005, September). Modest AdaBoost- teaching AdaBoost to generalize better. In Graphicon (Vol. 12, No. 5, pp. 987-997).
[26] Adelson, E. H., Anderson, C. H., Bergen, J. R., Burt, P. J., Ogden, J. M. (1984). Pyramid methods in image processing. RCA engineer, 29(6), 33-41.
[27] Devernay, F. (1995). A non-maxima suppression method for edge detection with sub-pixel accuracy (Doctoral dissertation, INRIA).
[28] Ku, H., Dong, W. (2020). Face recognition based on mtcnn and convolu- tional neural network. Frontiers in Signal Processing, 4(1), 37-42.
[29] Du, J. (2018, April). Understanding of object detection based on CNN family and YOLO. In Journal of Physics: Conference Series (Vol. 1004, No. 1, p. 012029). IOP Publishing.
[30] Girshick, R., Donahue, J., Darrell, T., Malik, J. (2014). Rich feature hi- erarchies for accurate object detection and semantic segmentation. In Pro- ceedings of the IEEE conference on computer vision and pattern recognition (pp. 580-587).
[31] Girshick, R. (2015). Fast r-cnn. In Proceedings of the IEEE international conference on computer vision (pp. 1440-1448).
[32] Prasad, K. S. V., D’souza, K. B., Bhargava, V. K. (2020). A downscaled faster-RCNN framework for signal detection and time-frequency localization in wideband RF systems. IEEE Transactions on Wireless Communications, 19(7), 4847-4862.
[33] Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., Berg, A. C. (2016, October). Ssd: Single shot multibox detector. In European conference on computer vision (pp. 21-37). Springer, Cham.
[34] Kutchko, K. M., Laederach, A. (2017). Transcending the prediction paradigm: novel applications of SHAPE to RNA function and evolution. Wiley Interdisciplinary Reviews: RNA, 8(1), e1374.
[35] Wu, Y., Ji, Q. (2019). Facial landmark detection: A literature survey. In- ternational Journal of Computer Vision, 127(2), 115-142.
[36] Sagonas, C., Antonakos, E., Tzimiropoulos, G., Zafeiriou, S., Pantic, M. (2016). 300 faces in-the-wild challenge: Database and results. Image and vision computing, 47, 3-18.
[37] Koolagudi, S. G., Rao, K. S. (2012). Emotion recognition from speech: a review. International journal of speech technology, 15(2), 99-117.
[38] Sonka, M., Hlavac, V., Boyle, R. (1993). Image pre-processing. In Image processing, analysis and machine vision (pp. 56-111). Springer, Boston, MA.
[39] Sebastian V, B., Unnikrishnan, A., Balakrishnan, K. (2012). Gray level co- occurrence matrices: generalisation and some new features. arXiv preprint arXiv:1205.4831.
[40] Zhao, G., Ahonen, T., Matas, J., Pietikainen, M. (2011). Rotation-invariant image and video description with local binary pattern features. IEEE trans- actions on image processing, 21(4), 1465-1477.
[41] Suthaharan, S. (2016). Support vector machine. In Machine learning models and algorithms for big data classification (pp. 207-235). Springer, Boston, MA.
[42] Noriega, L. (2005). Multilayer perceptron tutorial. School of Computing. Staffordshire University.
[43] Rojas, R. (1996). The backpropagation algorithm. In Neural networks (pp. 149-182). Springer, Berlin, Heidelberg.ansactions on image processing, 21(4), 1465-1477.
[44] Zahara, L., Musa, P., Wibowo, E. P., Karim, I., Musa, S. B. (2020, Novem- ber). The facial emotion recognition (fer-2013) dataset for prediction sys- tem of micro-expressions face using the convolutional neural network (cnn) algorithm based raspberry pi. In 2020 Fifth International Conference on Informatics and Computing (ICIC) (pp. 1-9). IEEE.
[45] Roberts, R. A., Mullis, C. T. (1987). Digital signal processing. Addison- Wesley Longman Publishing Co., Inc..
[46] Sibi, P., Jones, S. A., Siddarth, P. (2013). Analysis of different activation functions using back propagation neural networks. Journal of theoretical and applied information technology, 47(3), 1264-1268.
[47] Krizhevsky, A., Sutskever, I., Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 25.
[48] Kaddoun, S. S., Aberni, Y., Boubchir, L., Raddadi, M., Daachi, B. (2021, December). Convolutional Neural Algorithm for Palm Vein Recognition using ZFNet Architecture. In 2021 4th International Conference on Bio- Engineering for Smart Technologies (BioSMART) (pp. 1-4). IEEE.
[49] Sam, S. M., Kamardin, K., Sjarif, N. N. A., Mohamed, N. (2019). Offline sig- nature verification using deep learning convolutional neural network (CNN)
architectures GoogLeNet inception-v1 and inception-v3. Procedia Computer Science, 161, 475-483.
[50] He, K., Zhang, X., Ren, S., Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).
[51] Kaddoun, S. S., Aberni, Y., Boubchir, L., Raddadi, M., Daachi, B. (2021, December). Convolutional Neural Algorithm for Palm Vein Recognition using ZFNet Architecture. In 2021 4th International Conference on Bio- Engineering for Smart Technologies (BioSMART) (pp. 1-4). IEEE.
[52] Liu, C., Zoph, B., Neumann, M., Shlens, J., Hua, W., Li, L. J., ... Mur- phy, K. (2018). Progressive neural architecture search. In Proceedings of the European conference on computer vision (ECCV) (pp. 19-34).
[53] Deng, L. (2012). The mnist database of handwritten digit images for machine learning research [best of the web]. IEEE signal processing magazine, 29(6), 141-142.
[54] Recht, B., Roelofs, R., Schmidt, L., Shankar, V. (2018). Do CIFAR-10 classifiers generalize to CIFAR-10?. arXiv preprint arXiv:1806.00451.
[55] Wu, Y., Ji, Q. (2019). Facial landmark detection: A literature survey. In- ternational Journal of Computer Vision, 127(2), 115-142.