Hệ thống điểm danh tự động học sinh trung học phổ thông qua camera trong lớp học

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Nguyễn Thị Sen HỆ THỐNG ĐIỂM DANH TỰ ĐỘNG HỌC SINH TRUNG HỌC PHỔ THÔNG QUA CAMERA TRONG LỚP HỌC LUẬN VĂN THẠC SĨ MÁY TÍNH Thành phố Hồ Chí Minh - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Nguyễn Thị Sen HỆ THỐNG ĐIỂM DANH TỰ ĐỘNG HỌC SINH TRUNG HỌC PHỔ THÔNG QUA CAMERA TRONG LỚP HỌC Chuyên ngành : Khoa học máy tính Mã số : 8480101 LUẬN VĂN THẠC SĨ MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS PHẠM THẾ BẢO Thành phố Hồ Chí Minh - 2018 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân hướng dẫn khoa học PGS.TS Phạm Thế Bảo Các thông tin số liệu luận văn có nguồn gốc rõ ràng, cụ thể, trích dẫn theo quy định Kết nghiên cứu luận văn hoàn toàn trung thực, khách quan chưa sử dụng hay công bố cơng trình nghiên cứu khác Thành phố Hồ Chí Minh tháng năm 2018 Học viên Nguyễn Thị Sen LỜI CẢM ƠN Lời đầu tiên, tơi xin bày tỏ lịng biết ơn chân thành sâu sắc đến Thầy PGS.TS Phạm Thế Bảo - giảng viên hướng dẫn luận văn Trong trình tìm hiểu nghiên cứu đề tài, gặp nhiều khó khăn nhờ Thầy ln động viên, hết lịng hướng dẫn giúp đỡ nên tơi hồn thành luận văn Tôi xin gửi lời cảm ơn chân thành đến quý Thầy/Cô – Trường Đại học Sư phạm Thành phố Hồ Chí Minh tận tâm dạy dỗ truyền đạt kiến thức quý báu q trình học tập Đồng thời, tơi xin cảm ơn thầy/cơ Khoa Cơng nghệ Thơng tin Phịng Sau Đại học hỗ trợ tạo điều kiện cho thời gian qua Cuối cùng, xin bày tỏ lịng biết ơn đến gia đình, trường THPT Vũng Tàu – nơi công tác, động viên giúp đỡ tơi suốt q trình học tập thực luận văn Thành phố Hồ Chí Minh tháng năm 2018 Học viên thực Nguyễn Thị Sen MỤC LỤC Trang Trang phụ bìa Lời cam đoan Lời cảm ơn Mục lục Danh mục thuật ngữ viết tắt Danh mục bảng Danh mục hình vẽ, biểu đồ Chương GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Mục tiêu luận văn 1.3 Nội dung thực 1.4 Những khó khăn thách thức 1.5 Các hướng tiếp cận 1.6 Hướng giải 1.7 Bố cục luận văn Chương CƠ SỞ LÝ THUYẾT 10 2.1 Mạng nơ-ron nhân tạo 10 2.1.1 Cấu trúc mạng nơ-ron 10 2.1.2 Một số dạng mạng nơ-ron 14 2.1.3 Quá trình học mạng nơ-ron 14 2.1.4 Mạng nơ-ron nhân tạo xử lí ảnh 14 2.2 Mạng nơ-ron tích chập 15 2.2.1 Tích chập 16 2.2.2 Lớp hàm kích hoạt 17 2.2.3 Lớp tổng hợp 18 2.2.4 Lớp kết nối đầy đủ 19 2.2.5 Nguyên lý hoạt động mạng nơ-ron tích chập 19 2.3 Mơ hình YOLO 20 2.3.1 Cấu trúc mạng YOLO 22 2.3.2 Nguyên tắc hoạt động YOLO 23 2.3.3 Quá trình huấn luyện YOLO 24 2.4 Lọc theo mức độ tương quan hàm nhân 27 2.4.1 Các vấn đề liên quan 29 2.4.2 Phương pháp theo dõi đối tượng lọc theo mức độ tương quan hàm nhân 31 Chương XÂY DỰNG THUẬT TOÁN 40 3.1 Phát đối tượng đầu học sinh 41 3.2 Theo vết chuyển động đầu học sinh lớp học 44 3.3 Xác định vị trí đầu học sinh dựa trung bình 46 3.4 Điểm danh học sinh 47 Chương KẾT QUẢ THỰC NGHIỆM VÀ HƯỚNG PHÁT TRIỂN 49 4.1 Môi trường thực nghiệm 49 4.2 Xây dựng liệu 49 4.3 Kết 49 4.3.1 Thời gian thực 49 4.3.2 Phát đối tượng đầu học sinh 50 4.3.3 Xác định vị trí đối tượng đầu học sinh 52 4.4 Đánh giá 53 4.4.1 Ưu điểm 53 4.4.2 Nhược điểm 54 4.5 Hướng phát triển 59 TÀI LIỆU KHAM KHẢO 60 DANH MỤC THUẬT NGỮ VÀ VIẾT TẮT THPT Trung học phổ thông TP Thành Phố CNN Convolution Neural Network YOLO You Only Look Once YOLO v1 You Only Look Once version YOLO v2 You Only Look Once version YOLO v3 You Only Look Once version EFK Extended Kalman Filter UKF Unscented Kalman Filter DL Deep Learning ANN Artificial Neural Network DBN Deep Belief Network CNN Convolutional Neural Network RNN Recurrent Neural Network R-CNN Regions with Convolutional Neural Network RELU Rectified Linear Unit IOU Intersection Over Union DCF Discriminatively Correlation Filters SRDCF Spatially Regularized Discriminatively Correlation Filters KCF Kernelized Correlation Filter TLD Tracking-Learning-Detection MOSSE Minimum Output Sum of Squared Error HOG Histogram of Oriented Gradients DFT Discrete Fourier Transform RGB Red, Green and Blue DANH MỤC CÁC BẢNG Bảng 4.1 Thời gian trung bình frame 49 Bảng 4.2 Độ xác giai đoạn phát 50 Bảng 4.3 Độ xác giai đoạn theo vết đối tượng đầu học sinh 51 Bảng 4.4 Độ xác giai đoạn xác định vị trí 52 DANH MỤC HÌNH VẼ, BIỂU ĐỒ Hình 2.1 Cấu trúc nơ ron 11 Hình 2.2 Cấu trúc nơ-ron đầy đủ tầng 11 Hình 2.3 Cấu trúc nơ-ron đầy đủ có nhiều tầng 12 Hình 2.4 Cấu trúc nơ-ron khơng có tầng ẩn 13 Hình 2.5 Mơ hình CNN 16 Hình 2.6 Phương pháp tích chập 17 Hình 2.7 Tính tốn với phương pháp MaxPooling 19 Hình 2.8 Nguyên lý hoạt động mạng nơ-ron tích chập 20 Hình 2.9 Hệ thống phát đối tượng dựa vào YOLO 21 Hình 2.10 Mạng phát đối tượng có 24 lớp tích chập lớp kết nối đầy đủ 23 Hình 2.11 Mơ hình phát đối tượng phương pháp hồi quy 25 Hình 2.12 Các mẫu huấn luyện thu cách thay đổi theo chu kỳ mẫu sở khơng thể đại diện cho nội dung hình ảnh cách 29 Hình 2.13 Ma trận chuẩn hóa khơng gian 35 Hình 2.14 Sơ đồ thuật toán lọc theo mức độ tương quan 39 Hình 3.1 Mơ hình mơ tả hoạt động toán 40 Hình 4.1 Phát nhiều bao biên đối tượng frame 54 Hình 4.2 Phát nhiều bao biên đối tượng frame sau so với hình 4.1 55 Hình 4.3 Kết thuật toán 55 Hình 4.4 Khơng thể phát q thơng tin 56 Hình 4.5 Có đối tượng bị vật thể che khuất 56 Hình 4.6 Các bao biên đối tượng bị sai 57 Hình 4.7 Frame video 57 52 BIỂU ĐỒ TỈ LỆ THEO VẾT ĐỐI TƯỢNG 100 100 100 100 93.58 97.54 100 100 100 12A9 12A10 11A1 96.88 98.78 98.68 11A2 11A3 Trung bình Độ xác (%) 80 60 40 20 12A3 12A4 12A5 12A7 12A8 Tên lớp Biểu đồ 4.2 Độ xác giai đoạn theo vết đối tượng đầu học sinh tỉ lệ trung bình độ xác lớp kiểm tra 4.3.3 Xác định vị trí đối tượng đầu học sinh Bảng 4.4 Độ xác giai đoạn xác định vị trí * Tỉ lệ số học sinh thuật toán xác định so với sĩ số lớp Độ Tên lớp Tỉ lệ xác (%) 12A3 24/26 92.31 12A4 29/33 87.88 12A5 26/28 92.86 12A7 27/30 90 12A8 18/33 81.81 12A9 21/28 75 12A10 25/32 78.13 11A1 18/30 83.33 11A2 22/29 75.86 53 11A3 19/31 83.87 … … … Trung bình 84.105 Độ xác (%) BIỂU ĐỒ TỈ LỆ XÁC ĐỊNH VỊ TRÍ HỌC SINH 100 90 80 70 60 50 40 30 20 10 92.31 12A3 87.88 12A4 92.86 90 81.81 12A5 12A7 12A8 75 78.13 12A9 12A10 83.33 11A1 83.87 84.1 11A3 Trung bình 75.86 11A2 Tên lớp Biểu đồ 4.3 Độ xác giai đoạn sau sử dụng phép chiếu để xác định vị trí phát đối tượng đầu học sinh 4.4 Đánh giá 4.4.1 Ưu điểm Sử dụng mơ hình nơ-ron nhân tạo Yolo v2 vào toán phát giúp phát đối tượng chứa phần lớn màu đen (phần tóc), hướng tiếp cận chúng tơi sử dụng YOLO v2 kết hợp với giải pháp làm tăng cường kết đạt Xây dựng áp dụng thuật toán kết hợp bao biên đối tượng nhiều khung hình để tăng độ xác cho bước phát Xây dựng áp dụng thuật tốn tìm kiếm thời điểm đối tượng tương đối ổn định để bắt đầu phát 54 4.4.2 Nhược điểm Có vài lớp có vị trí bố trí sơ đồ chỗ ngồi khác với lớp khác làm ảnh hưởng đến xây dựng tập liệu chung số yếu tố khách quan khác làm giảm độ xác tốn, cụ thể theo phân tích giai đoạn phát đối tượng đầu học sinh, giai đoạn theo vết đối tượng đầu học sinh 4.4.2.1 Giai đoạn phát đối tượng đầu học sinh - Ở giai đoạn này, đối tượng di chuyển liên tục đối tượng tạo nhiều bao biên đối tượng đường đi, hình 4.1, hình 4.2, hình 4.3, hình 4.4 cho thấy kết ta hai bao biên đối tượng đối tượng -Tuy tối ưu cho số lượng bao biên đối tượng phát vị trí để loại bỏ đối tượng giáo viên chưa giải hoàn toàn trường hợp Hình 4.1 Phát nhiều bao biên đối tượng frame 55 Hình 4.2 Phát nhiều bao biên đối tượng frame sau so với hình 4.1 Hình 4.3 Kết thuật tốn 56 Hình 4.4 Khơng thể phát q thơng tin Phát chưa xác đối tượng khơng thể rõ đặc trưng (mơ hình học đối tượng có đủ hai phần thơng tin gồm màu đen tóc màu da người) Hình 4.4 cho ta thấy đối tượng hình chữ nhật màu trắng có phần tóc màu đen, cịn bị chìm vào màu áo học sinh đằng trước Với trường hợp đối tượng bị vật thể che khuất khơng thể phát được, hình 4.5 Hình 4.5 Có đối tượng bị vật thể che khuất 57 - Phát chưa xác mơ hình phát sai đối tượng, hình 4.6 Hình 4.6 Các bao biên đối tượng bị sai - Một trường hợp khác, video khơng thỏa điều kiện đầu vào thuật tốn chọn sai thời điểm bắt đầu, dẫn đến toàn trình thực sai  Hình 4.7, frame video học sinh đứng dậy  Hình 4.8, thuật tốn trả kết học sinh bắt đầu ngồi xuống Hình 4.7 Frame video 58 Hình 4.8 Frame bắt đầu phát 4.4.2.2 Giai đoạn theo vết đối tượng đầu học sinh - Sai theo vết chủ yếu bao biên đối tượng thay đối cấu trúc nhanh so với trạng thái trước - Hình 4.9 với bao biên đối tượng đánh dấu, ta thấy đặc trưng rõ chai nước với đen, nên đối tượng di chuyển bao biên đối tượng khơng thay đổi 59 Hình 4.9 Theo vết chưa xác - Mơ hình Yolo v2 giải ảnh có chiều dài chiều rộng phải bội 32, ảnh đầu vào 1920 ×1080 nên phải thay đổi kích thước thành 1088 × 1088 dẫn đến việc phần thông tin đối tượng - Độ xác bước phát chưa hồn tồn 100% nên chưa thể áp dụng vào thực tế mà cần cải tiến thêm - Chưa đề xuất phương pháp giải hai toán phát theo vết đối tượng hoàn toàn màu đen bị chìm vào đen 4.5 Hướng phát triển - Xây dựng thuật toán bắt đầu phát giáo viên học sinh đứng yên - Thay đổi góc độ camera để lấy thơng tin nhiều - Xây dựng mơ hình dựa ý tưởng Yolo v2 để xử lý ảnh có chiều dài chiều rộng có kích thước khác bội số - Xây dựng thuật toán xử lý đối tượng bị chìm vào 60 TÀI LIỆU KHAM KHẢO [1] Internet, "hệ thống camera giám sát giao thông" https://www.baomoi.com/trien-khai-du-an-he-thong-camera-giam-satan-ninh-giao-thong-trat-tu-uu-tien-tien-do-lap-dat-he-thong-cameraphuc-vu-tuan-le-cap-cao-apec-2017/c/23264994.epi, ngày truy cập 20/10/2017 [2] Internet, "Sử dụng camera giám sát phát hành vi đeo bám khách du lịch" http://www.catp.danang.gov.vn/-/se-trich-xuat-hinh-anh-tu- camera-giam-sat-e-xu-phat-hanh-vi-eo-bam-cheo-keo-khach-du-lich, ngày truy cập 20/10/2017 [3] Internet, "Camera giám sát phát vi phạm an tồn giao thơng" http://voh.com.vn/chinh-tri-xa-hoi/tphcm-lap-2000-camera-tu-trichxuat-hinh-anh-toi-pham-nguoi-vi-pham-giao-thong-232595.html, ngày truy cập 20/10/2017 [4] Internet, "Hệ thống điểm danh sinh viên thẻ từ vân tay" http://vken.vn/he-thong-diem-danh-sinh-vien-bang-the-tu-hoac-vantay.html, ngày truy cập 04/07/2018 [5] Phạm Nguyên Khang, Trần Nguyễn Minh Thư, Đỗ Thanh Nghị, "Điểm danh mặt người với đặc trưng GIST máy học véc-tơ hỗ trợ," Khoa CNTT-TT, Trường Đại học Cần Thơ, Tháng 8/2017 [6] Bahlmann, C., Zhu, Y., Ramesh, V., Pellkofer, M., & Koehler, "A system for traffic sign detection, tracking, and recognition using color, shape, and motion information," Proceedings IEEE, In Intelligent Vehicles Symposium, 2005 61 [7] Sobottka, K., & Pitas, "Face localization and facial feature extraction based on shape and color information," In ICIP (3) (pp 483-486), (1996, September) [8] Goshtasby, Ardeshir, "Template matching in rotated images," IEEE Transactions on Pattern Analysis and Machine Intelligence, (1985): 338344 [9] Comaniciu, D., & Meer, "Mean shift analysis and applications In Computer Vision," The Proceedings of the Seventh IEEE International Conference on (Vol 2, pp 1197-1203), 1999 [10] C.K.Chui, G Chen, "Kalman filtering with real-time applications," pp.20 – 48, 1991 [11] Gao, Long, Yunsong Li, and Jifeng Ning, "Improved kernelized correlation filter tracking by using spatial regularization," Journal of Visual Communication and Image Representation 50: 74-82, 2018 [12] Hepner, Georgef, et al, "Artificial neural network classification using a minimal training set- Comparison to conventional supervised classification," Photogrammetric Engineering and Remote Sensing 56.4: 469-473, 1990 [13] S I Amari & A Cichocki, "Adaptive blind signal processing-neural network approaches," Proceedings of the IEEE, 86(10): 2026-2048, 1998 [14] A Karpathy, G Toderici, S Shetty, T Leung, R Sukthankar & L FeiFei, "Large-scale video classification with convolutional neural networks," In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition (pp 1725-1732), 2014 62 [15] K H R B G X Z a J S S Ren, "Object detection networks on convolutional feature maps," CoRR, abs/1504.06066, 2015 [16] S Ren, K He, R Girshick, and J Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks," arXiv preprint arXiv:1506.01497, 2015 [17] C Szegedy, W Liu, Y Jia, P Sermanet, S Reed, D Anguelov, D Erhan, V Vanhoucke, and A Rabinovich, "Going deeper with convolutions," CoRR, abs/1409.4842,, 2014 [18] M Lin, Q Chen, and S Yan, "Network in network," CoRR, abs/1312.4400, 2013 [19] O Russakovsky, J Deng, H Su, J Krause, S Satheesh, S Ma, Z Huang, A Karpathy, A Khosla, M Bernstein, A C Berg, and L Fei-Fei, "ImageNet Large Scale Visual Recognition Challenge," International Journal of Computer Vision (IJCV), 2015 [20] S Ren, K He, R B Girshick, X Zhang, and J Sun, "Object detection networks on convolutional feature maps," CoRR, abs/1504.06066, 2015 [21] A Krizhevsky, I Sutskever, and G E Hinton, "Imagenet classification with deep convolutional neural networks," In Advances in neural information processing systems, pages 1097–1105, 2012 [22] K H R G a J S S Ren, "Faster r-cnn: Towards real-time object detection with region proposal networks," arXiv preprint arXiv:1506.01497, 2015 [23] D C R C S C A D M S A.W Smeulders, "Visual tracking: an experimental survey," IEEE Trans Pattern Anal Mach Intell, 36 (2013) 1441–1468 63 [24] A Yilmaz, O Javed, M Shah, "Object tracking: a survey, ACM Comput," Surv, 38 (2006) 81–93 [25] D.S Bolme, J.R Beveridge, B.A Draper, Y.M Lui, "Visual object tracking using adaptive correlation filters," IEEE Conference on Computer Vision and Pattern Recognition, 1113–1120 (2010) [26] M Danelljan, G Hager, F.S Khan, M Felsberg, "Learning spatially regularized correlation filters for visual tracking," IEEE International Conference on Computer Vision, 4310–4318 (2015) [27] J.F Henriques, R Caseiro, P Martins, J Batista, "High-speed tracking with kernelized correlation filters," IEEE Trans Pattern Anal Mach Intell, 37 (2015) 583–596 [28] Z Hong, Z Chen, C Wang, X Mei, D Prokhorov, D Tao, "Multi-Store Tracker (MUSTer): a cognitive psychology inspired approach to object tracking," IEEE Conference on Computer Vision and Pattern Recognition, 749–758 (2015) [29] H Grabner, C Leistner, H Bischof, "Semi-supervised on-line boosting for robust tracking," European Conference on Computer Vision, 234– 247 (2008) [30] S Hare, A Saffari, P.H.S Torr, "Struck: structured output tracking with kernels," IEEE International Conference on Computer Vision, 263–270 (2011) [31] Z Kalal, K Mikolajczyk, J Matas, "Tracking-learning-detection," IEEE Trans Pattern Anal Mach Intell., 34 (2012) 1409–1422 [32] J Ning, J Yang, S Jiang, L Zhang, M.H Yang, "Object tracking via dual linear structured SVM and explicit feature map," IEEE Conference on Computer Vision and Pattern Recognition, 4266–4274 (2016) 64 [33] J.M Zhang, S.G Ma, S Sclaroff, "MEEM: Robust tracking via multiple experts using entropy minimization," European Conference on Computer Vision, 188–203 (2014) [34] S Avidan, "Support vector tracking," IEEE Trans Pattern Anal Mach Intell, 26 (2004) 1064–1072 [35] C.Q Hong, J Yu, J You, X.H Chen, D.P Tao, "Multi-view ensemble manifold regularization for 3D object recognition," Inf Sci, 320 (2015) 395–405 [36] H Grabner, C Leistner, H Bischof, "Semi-supervised on-line boosting for robust tracking," European Conference on Computer Vision, 34–247 (2008) [37] B Babenko, M.H Yang, S Belongie, "Robust object tracking with online multiple instance learning," IEEE Trans Pattern Anal Mach Intell, 33 (2011) 1619–1632 [38] H Song, Y Zheng, K Zhang, "Robust visual tracking via self-similarity learning," Electron Lett, 53 (2017) 20–22 [39] C Ma, J.B Huang, X.K Yang, M.H Yang, "Hierarchical convolutional features for visual tracking," IEEE International Conference on Computer Vision, 3074–3082 (2015) [40] K Zhang, Q Liu, Y Wu, M.H Yang, "Robust visual tracking via convolutional networks without training," IEEE Trans Image Process, 25 (2016) 1779–1792 [41] H Galoogahi, T Sim, S Lucey, "Muti-channel correlation filters," IEEE International Conference on Computer Vision, 3072–3079 (2013) 65 [42] J.F Henriques, R Caseiro, P Martins, J Batista, "Exploiting the circulant structure of tracking-by-detection with kernels," European Conference on Computer Vision, 702–715 (2013) [43] Y Li, J Zhu, "A scale adaptive kernel correlation filter tracker with feature integration," European Conference on Computer Vision, 254– 265 (2014) [44] M Danelljan, G Hager, F.S Khan, M Felsberg, J Weijer, "Accurate scale estimation for robust visual tracking," British Machine Vision Conference, 2014 [45] C.Q Hong, J.K Zhu, J Yu, J Chen, X.H Chen, "Realtime and robust object matching with a large number of templates," Multimedia Tools Appl, 75 (2016) 1459–1480 [46] W Chen, K Zhang, Q Liu, "Robust visual tracking via patch based kernel correlation filters with adaptive multiple feature ensemble," Neurocomputing, 214 (2016) 607–617 [47] B Zhang, Z Li, X Cao, Q Ye, C Chen, L Shen, A Perina, R Ji, "Output constraint transfer for kernelized correlation filter in tracking," IEEE Trans Syst Man Cybernet.: Syst, 47 (2017) 693–703 [48] Y Li, J Zhu, S.C.H Hoi, "Reliable Patch Trackers: Robust visual tracking by exploiting reliable patches," IEEE Conference on Computer Vision and Pattern Recognition, 353–361 (2015) [49] P.F Felzenszwalb, R.B Girshick, D McAllester, D Ramanan, "Object detection with discriminatively trained part-based models," IEEE Trans Pattern Anal Mach Intell, 32 (2010) 1627–1645 66 [50] J.V.D Weijer, C Schmid, J Verbeek, D Larlus, "Learning color names for real-world applications," IEEE Trans Image Process, 18 (2009) 1512–1523 ... VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Nguyễn Thị Sen HỆ THỐNG ĐIỂM DANH TỰ ĐỘNG HỌC SINH TRUNG HỌC PHỔ THÔNG QUA CAMERA TRONG LỚP HỌC Chuyên ngành : Khoa học máy tính Mã số :... đối tượng đầu học sinh 53 Chương GIỚI THIỆU Chương luận văn trình bày tổng quan toán ? ?Hệ thống điểm danh tự động học sinh THPT qua camera lớp học? ?? Đặt vấn đề 1.1 Ngày công nghệ thông tin phát... trường học sử dụng hệ thống giám sát thông qua camera gắn cố định phịng học nhằm quản lí nếp hỗ trợ điểm danh học sinh lẫn giáo viên trình diễn tiết học tránh tình trạng học sinh trốn tiết học Cụ