Hệ thống điểm danh tự động học sinh trung học phổ thông qua camera trong lớp học

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Nguyễn Thị Sen HỆ THỐNG ĐIỂM DANH TỰ ĐỘNG HỌC SINH TRUNG HỌC PHỔ THÔNG QUA CAMERA TRONG LỚP HỌC LUẬN VĂN THẠC SĨ MÁY TÍNH Thành phố Hồ Chí Minh - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Nguyễn Thị Sen HỆ THỐNG ĐIỂM DANH TỰ ĐỘNG HỌC SINH TRUNG HỌC PHỔ THÔNG QUA CAMERA TRONG LỚP HỌC Chuyên ngành : Khoa học máy tính Mã số LUẬN VĂN THẠC SĨ MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS PHẠM THẾ BẢO Thành phố Hồ Chí Minh - 2018 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân hướng dẫn khoa học PGS.TS Phạm Thế Bảo Các thông tin số liệu luận văn có nguồn gốc rõ ràng, cụ thể, trích dẫn theo quy định Kết nghiên cứu luận văn hoàn toàn trung thực, khách quan chưa sử dụng hay công bố cơng trình nghiên cứu khác Thành phố Hồ Chí Minh tháng năm 2018 Học viên Nguyễn Thị Sen LỜI CẢM ƠN Lời đầu tiên, xin bày tỏ lòng biết ơn chân thành sâu sắc đến Thầy PGS.TS Phạm Thế Bảo - giảng viên hướng dẫn luận văn Trong trình tìm hiểu nghiên cứu đề tài, tơi gặp nhiều khó khăn nhờ Thầy ln động viên, hết lịng hướng dẫn giúp đỡ nên tơi hồn thành luận văn Tôi xin gửi lời cảm ơn chân thành đến quý Thầy/Cô – Trường Đại học Sư phạm Thành phố Hồ Chí Minh tận tâm dạy dỗ truyền đạt kiến thức quý báu trình học tập Đồng thời, tơi xin cảm ơn thầy/cơ Khoa Cơng nghệ Thơng tin Phịng Sau Đại học hỗ trợ tạo điều kiện cho thời gian qua Cuối cùng, xin bày tỏ lịng biết ơn đến gia đình, trường THPT Vũng Tàu – nơi công tác, động viên giúp đỡ tơi suốt q trình học tập thực luận văn Thành phố Hồ Chí Minh tháng năm 2018 Học viên thực Nguyễn Thị Sen MỤC LỤC Trang Trang phụ bìa Lời cam đoan Lời cảm ơn Mục lục Danh mục thuật ngữ viết tắt Danh mục bảng Danh mục hình vẽ, biểu đồ Chương GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Mục tiêu luận văn 1.3 Nội dung thực .2 1.4 Những khó khăn thách thức 1.5 Các hướng tiếp cận .4 1.6 Hướng giải 1.7 Bố cục luận văn Chương CƠ SỞ LÝ THUYẾT 10 2.1 Mạng nơ-ron nhân tạo 10 2.1.1 Cấu trúc mạng nơ-ron 10 2.1.2 Một số dạng mạng nơ-ron 14 2.1.3 Quá trình học mạng nơ-ron 14 2.1.4 Mạng nơ-ron nhân tạo xử lí ảnh 14 2.2 Mạng nơ-ron tích chập .15 2.2.1 Tích chập .16 2.2.2 Lớp hàm kích hoạt 17 2.2.3 Lớp tổng hợp .18 2.2.4 Lớp kết nối đầy đủ 19 2.2.5 Nguyên lý hoạt động mạng nơ-ron tích chập .19 2.3 Mơ hình YOLO 20 2.3.1 Cấu trúc mạng YOLO 22 2.3.2 Nguyên tắc hoạt động YOLO .23 2.3.3 Quá trình huấn luyện YOLO 24 2.4 Lọc theo mức độ tương quan hàm nhân 27 2.4.1 Các vấn đề liên quan 29 2.4.2 Phương pháp theo dõi đối tượng lọc theo mức độ tương quan hàm nhân Chương 31 XÂY DỰNG THUẬT TOÁN 40 3.1 Phát đối tượng đầu học sinh .41 3.2 Theo vết chuyển động đầu học sinh lớp học 44 3.3 Xác định vị trí đầu học sinh dựa trung bình 46 3.4 Điểm danh học sinh 47 Chương KẾT QUẢ THỰC NGHIỆM VÀ HƯỚNG PHÁT TRIỂN 49 4.1 Môi trường thực nghiệm 49 4.2 Xây dựng liệu 49 4.3 Kết .49 4.3.1 Thời gian thực .49 4.3.2 Phát đối tượng đầu học sinh 50 4.3.3 Xác định vị trí đối tượng đầu học sinh 52 4.4 Đánh giá 53 4.4.1 Ưu điểm 53 4.4.2 Nhược điểm 54 4.5 Hướng phát triển 59 TÀI LIỆU KHAM KHẢO 60 THPT TP CNN YOLO YOLO v1 YOLO v2 YOLO v3 EFK UKF DL ANN DBN CNN RNN R-CNN RELU IOU DCF SRDCF KCF TLD MOSSE HOG DFT RGB DANH MỤC CÁC BẢNG Bảng 4.1 Thời gian trung bình frame 49 Bảng 4.2 Độ xác giai đoạn phát 50 Bảng 4.3 Độ xác giai đoạn theo vết đối tượng đầu học sinh 51 Bảng 4.4 Độ xác giai đoạn xác định vị trí 52 DANH MỤC HÌNH VẼ, BIỂU ĐỒ Hình 2.1 Cấu trúc nơ ron 11 Hình 2.2 Cấu trúc nơ-ron đầy đủ tầng .11 Hình 2.3 Cấu trúc nơ-ron đầy đủ có nhiều tầng 12 Hình 2.4 Cấu trúc nơ-ron khơng có tầng ẩn 13 Hình 2.5 Mơ hình CNN 16 Hình 2.6 Phương pháp tích chập 17 Hình 2.7 Tính tốn với phương pháp MaxPooling 19 Hình 2.8 Ngun lý hoạt động mạng nơ-ron tích chập 20 Hình 2.9 Hệ thống phát đối tượng dựa vào YOLO 21 Hình 2.10 Mạng phát đối tượng có 24 lớp tích chập lớp kết nối đầy đủ 23 Hình 2.11 Mơ hình phát đối tượng phương pháp hồi quy 25 Hình 2.12 Các mẫu huấn luyện thu cách thay đổi theo chu kỳ mẫu sở khơng thể đại diện cho nội dung hình ảnh cách 29 Hình 2.13 Ma trận chuẩn hóa khơng gian 35 Hình 2.14 Sơ đồ thuật toán lọc theo mức độ tương quan 39 Hình 3.1 Mơ hình mơ tả hoạt động tốn 40 Hình 4.1 Phát nhiều bao biên đối tượng frame 54 Hình 4.2 Phát nhiều bao biên đối tượng frame sau so với hình 4.1 55 Hình 4.3 Kết thuật tốn 55 Hình 4.4 Khơng thể phát q thơng tin 56 Hình 4.5 Có đối tượng bị vật thể che khuất 56 Hình 4.6 Các bao biên đối tượng bị sai 57 Hình 4.7 Frame video 57 53 Trung bình BIỂU ĐỒ TỈ LỆ XÁC ĐỊNH VỊ TRÍ HỌC SINH Độ xác (%) 100 92.31 90 80 70 60 50 40 30 20 10 12A3 Tên lớp Biểu đồ 4.3 Độ xác giai đoạn sau sử dụng phép chiếu để xác định vị trí phát đối tượng đầu học sinh 4.4 Đánh giá 4.4.1 Ưu điểm Sử dụng mơ hình nơ-ron nhân tạo Yolo v2 vào tốn phát giúp phát đối tượng chứa phần lớn màu đen (phần tóc), hướng tiếp cận sử dụng YOLO v2 kết hợp với giải pháp làm tăng cường kết đạt Xây dựng áp dụng thuật toán kết hợp bao biên đối tượng nhiều khung hình để tăng độ xác cho bước phát Xây dựng áp dụng thuật tốn tìm kiếm thời điểm đối tượng tương đối ổn định để bắt đầu phát 54 4.4.2 Nhược điểm Có vài lớp có vị trí bố trí sơ đồ chỗ ngồi khác với lớp khác làm ảnh hưởng đến xây dựng tập liệu chung số yếu tố khách quan khác làm giảm độ xác tốn, cụ thể theo phân tích giai đoạn phát đối tượng đầu học sinh, giai đoạn theo vết đối tượng đầu học sinh 4.4.2.1 Giai đoạn phát đối tượng đầu học sinh - Ở giai đoạn này, đối tượng di chuyển liên tục đối tượng tạo nhiều bao biên đối tượng đường đi, hình 4.1, hình 4.2, hình 4.3, hình 4.4 cho thấy kết ta hai bao biên đối tượng đối tượng -Tuy tối ưu cho số lượng bao biên đối tượng phát vị trí để loại bỏ đối tượng giáo viên chưa giải hồn tồn trường hợp Hình 4.1 Phát nhiều bao biên đối tượng frame 55 Hình 4.2 Phát nhiều bao biên đối tượng frame sau so với hình 4.1 Hình 4.3 Kết thuật tốn 56 Hình 4.4 Khơng thể phát q thơng tin Phát chưa xác đối tượng khơng thể rõ đặc trưng (mơ hình học đối tượng có đủ hai phần thơng tin gồm màu đen tóc màu da người) Hình 4.4 cho ta thấy đối tượng hình chữ nhật màu trắng có phần tóc màu đen, cịn bị chìm vào màu áo học sinh đằng trước Với trường hợp đối tượng bị vật thể che khuất phát được, hình 4.5 Hình 4.5 Có đối tượng bị vật thể che khuất 57 Phát chưa xác mơ hình phát sai đối tượng, hình 4.6 - Hình 4.6 Các bao biên đối tượng bị sai - Một trường hợp khác, video không thỏa điều kiện đầu vào thuật toán chọn sai thời điểm bắt đầu, dẫn đến tồn q trình thực sai  Hình 4.7, frame video học sinh đứng dậy  Hình 4.8, thuật tốn trả kết học sinh bắt đầu ngồi xuống Hình 4.7 Frame video 58 Hình 4.8 Frame bắt đầu phát 4.4.2.2 Giai đoạn theo vết đối tượng đầu học sinh - Sai theo vết chủ yếu bao biên đối tượng thay đối cấu trúc nhanh so với trạng thái trước - Hình 4.9 với bao biên đối tượng đánh dấu, ta thấy đặc trưng rõ chai nước với đen, nên đối tượng di chuyển bao biên đối tượng khơng thay đổi 59 Hình 4.9 Theo vết chưa xác - Mơ hình Yolo v2 giải ảnh có chiều dài chiều rộng phải bội 32, ảnh đầu vào 1920 ×1080 nên phải thay đổi kích thước thành 1088 × 1088 dẫn đến việc phần thông tin đối tượng - Độ xác bước phát chưa hoàn toàn 100% nên chưa thể áp dụng vào thực tế mà cần cải tiến thêm - Chưa đề xuất phương pháp giải hai toán phát theo vết đối tượng hồn tồn màu đen bị chìm vào đen 4.5 - Hướng phát triển Xây dựng thuật toán bắt đầu phát giáo viên học sinh đứng yên - Thay đổi góc độ camera để lấy thơng tin nhiều - Xây dựng mơ hình dựa ý tưởng Yolo v2 để xử lý ảnh có chiều dài chiều rộng có kích thước khác bội số - Xây dựng thuật toán xử lý đối tượng bị chìm vào 60 TÀI LIỆU KHAM KHẢO [1] Internet, "hệ thống camera giám sát giao thông" https://www.baomoi.com/trien-khai-du-an-he-thong-camera-giam-satan-ninh-giao-thong-trat-tu-uu-tien-tien-do-lap-dat-he-thong-cameraphuc-vu-tuan-le-cap-cao-apec-2017/c/23264994.epi, ngày truy cập 20/10/2017 [2] Internet, "Sử dụng camera giám sát phát hành vi đeo bám khách du lịch" http://www.catp.danang.gov.vn/-/se-trich-xuat-hinh-anh-tucamera-giam-sat-e-xu-phat-hanh-vi-eo-bam-cheo-keo-khach-du-lich, ngày truy cập 20/10/2017 [3] Internet, "Camera giám sát phát vi phạm an tồn giao thơng" http://voh.com.vn/chinh-tri-xa-hoi/tphcm-lap-2000-camera-tu-trichxuat-hinh-anh-toi-pham-nguoi-vi-pham-giao-thong-232595.html, ngày truy cập 20/10/2017 [4] Internet, "Hệ thống điểm danh sinh viên thẻ từ vân tay" http://vken.vn/he-thong-diem-danh-sinh-vien-bang-the-tu-hoac-vantay.html, ngày truy cập 04/07/2018 [5] Phạm Nguyên Khang, Trần Nguyễn Minh Thư, Đỗ Thanh Nghị, "Điểm danh mặt người với đặc trưng GIST máy học véc-tơ hỗ trợ," Khoa CNTT-TT, Trường Đại học Cần Thơ, Tháng 8/2017 [6] Bahlmann, C., Zhu, Y., Ramesh, V., Pellkofer, M., & Koehler, "A system for traffic sign detection, tracking, and recognition using color, shape, and motion information," Proceedings IEEE, In Intelligent Vehicles Symposium, 2005 61 [7] Sobottka, K., & Pitas, "Face localization and facial feature extraction based on shape and color information," In ICIP (3) (pp 483-486), (1996, September) [8] Goshtasby, Ardeshir, "Template matching in rotated images," IEEE Transactions on Pattern Analysis and Machine Intelligence, (1985): 338-344 [9] Comaniciu, D., & Meer, "Mean shift analysis and applications In Computer Vision," The Proceedings of the Seventh IEEE International Conference on (Vol 2, pp 1197-1203), 1999 [10] C.K.Chui, G Chen, "Kalman filtering with real-time applications," pp.20 – 48, 1991 [11] Gao, Long, Yunsong Li, and Jifeng Ning, "Improved kernelized correlation filter tracking by using spatial regularization," Journal of Visual Communication and Image Representation 50: 74-82, 2018 [12] Hepner, Georgef, et al, "Artificial neural network classification using a minimal training set- Comparison to conventional supervised classification," Photogrammetric Engineering and Remote Sensing 56.4: 469-473, 1990 [13] S I Amari & A Cichocki, "Adaptive blind signal processing-neural network approaches," Proceedings of the IEEE, 86(10): 2026-2048, 1998 [14] A Karpathy, G Toderici, S Shetty, T Leung, R Sukthankar & L FeiFei, "Large-scale video classification with convolutional neural networks," In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition (pp 1725-1732), 2014 62 [15] K H R B G X Z a J S S Ren, "Object detection networks on convolutional feature maps," CoRR, abs/1504.06066, 2015 [16] S Ren, K He, R Girshick, and J Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks," arXiv preprint arXiv:1506.01497, 2015 [17] C Szegedy, W Liu, Y Jia, P Sermanet, S Reed, D Anguelov, D Erhan, V Vanhoucke, and A Rabinovich, "Going deeper with convolutions," CoRR, abs/1409.4842,, 2014 [18] M Lin, Q Chen, and S Yan, "Network in network," CoRR, abs/1312.4400, 2013 [19] O Russakovsky, J Deng, H Su, J Krause, S Satheesh, S Ma, Z Huang, A Karpathy, A Khosla, M Bernstein, A C Berg, and L Fei-Fei, "ImageNet Large Scale Visual Recognition Challenge," International Journal of Computer Vision (IJCV), 2015 [20] S Ren, K He, R B Girshick, X Zhang, and J Sun, "Object detection networks on convolutional feature maps," CoRR, abs/1504.06066, 2015 [21] A Krizhevsky, I Sutskever, and G E Hinton, "Imagenet classification with deep convolutional neural networks," In Advances in neural information processing systems, pages 1097–1105, 2012 [22] K H R G a J S S Ren, "Faster r-cnn: Towards real-time object detection with region proposal networks," arXiv preprint arXiv:1506.01497, 2015 [23] D C R C S C A D M S A.W Smeulders, "Visual tracking: an experimental survey," IEEE Trans Pattern Anal Mach Intell, 36 (2013) 1441–1468 63 [24] A Yilmaz, O Javed, M Shah, "Object tracking: a survey, ACM Comput," Surv, 38 (2006) 81–93 [25] D.S Bolme, J.R Beveridge, B.A Draper, Y.M Lui, "Visual object tracking using adaptive correlation filters," IEEE Conference on Computer Vision and Pattern Recognition, 1113–1120 (2010) [26] M Danelljan, G Hager, F.S Khan, M Felsberg, "Learning spatially regularized correlation filters for visual tracking," IEEE International Conference on Computer Vision, 4310–4318 (2015) [27] J.F Henriques, R Caseiro, P Martins, J Batista, "High-speed tracking with kernelized correlation filters," IEEE Trans Pattern Anal Mach Intell, 37 (2015) 583–596 [28] Z Hong, Z Chen, C Wang, X Mei, D Prokhorov, D Tao, "MultiStore Tracker (MUSTer): a cognitive psychology inspired approach to object tracking," IEEE Conference on Computer Vision and Pattern Recognition, 749–758 (2015) [29] H Grabner, C Leistner, H Bischof, "Semi-supervised on-line boosting for robust tracking," European Conference on Computer Vision, 234– 247 (2008) [30] S Hare, A Saffari, P.H.S Torr, "Struck: structured output tracking with kernels," IEEE International Conference on Computer Vision, 263–270 (2011) [31] Z Kalal, K Mikolajczyk, J Matas, "Tracking-learning-detection," IEEE Trans Pattern Anal Mach Intell., 34 (2012) 1409–1422 [32] J Ning, J Yang, S Jiang, L Zhang, M.H Yang, "Object tracking via dual linear structured SVM and explicit feature map," IEEE Conference on Computer Vision and Pattern Recognition, 4266–4274 (2016) 64 [33] J.M Zhang, S.G Ma, S Sclaroff, "MEEM: Robust tracking via multiple experts using entropy minimization," European Conference on Computer Vision, 188–203 (2014) [34] S Avidan, "Support vector tracking," IEEE Trans Pattern Anal Mach Intell, 26 (2004) 1064–1072 [35] C.Q Hong, J Yu, J You, X.H Chen, D.P Tao, "Multi-view ensemble manifold regularization for 3D object recognition," Inf Sci, 320 (2015) 395–405 [36] H Grabner, C Leistner, H Bischof, "Semi-supervised on-line boosting for robust tracking," European Conference on Computer Vision, 34–247 (2008) [37] B Babenko, M.H Yang, S Belongie, "Robust object tracking with online multiple instance learning," IEEE Trans Pattern Anal Mach Intell, 33 (2011) 1619–1632 [38] H Song, Y Zheng, K Zhang, "Robust visual tracking via self-similarity learning," Electron Lett, 53 (2017) 20–22 [39] C Ma, J.B Huang, X.K Yang, M.H Yang, "Hierarchical convolutional features for visual tracking," IEEE International Conference on Computer Vision, 3074–3082 (2015) [40] K Zhang, Q Liu, Y Wu, M.H Yang, "Robust visual tracking via convolutional networks without training," IEEE Trans Image Process, 25 (2016) 1779–1792 [41] H Galoogahi, T Sim, S Lucey, "Muti-channel correlation filters," IEEE International Conference on Computer Vision, 3072–3079 (2013) 65 [42] J.F Henriques, R Caseiro, P Martins, J Batista, "Exploiting the circulant structure of tracking-by-detection with kernels," European Conference on Computer Vision, 702–715 (2013) [43] Y Li, J Zhu, "A scale adaptive kernel correlation filter tracker with feature integration," European Conference on Computer Vision, 254– 265 (2014) [44] M Danelljan, G Hager, F.S Khan, M Felsberg, J Weijer, "Accurate scale estimation for robust visual tracking," British Machine Vision Conference, 2014 [45] C.Q Hong, J.K Zhu, J Yu, J Chen, X.H Chen, "Realtime and robust object matching with a large number of templates," Multimedia Tools Appl, 75 (2016) 1459–1480 [46] W Chen, K Zhang, Q Liu, "Robust visual tracking via patch based kernel correlation filters with adaptive multiple feature ensemble," Neurocomputing, 214 (2016) 607–617 [47] B Zhang, Z Li, X Cao, Q Ye, C Chen, L Shen, A Perina, R Ji, "Output constraint transfer for kernelized correlation filter in tracking," IEEE Trans Syst Man Cybernet.: Syst, 47 (2017) 693–703 [48] Y Li, J Zhu, S.C.H Hoi, "Reliable Patch Trackers: Robust visual tracking by exploiting reliable patches," IEEE Conference on Computer Vision and Pattern Recognition, 353–361 (2015) [49] P.F Felzenszwalb, R.B Girshick, D McAllester, D Ramanan, "Object detection with discriminatively trained part-based models," IEEE Trans Pattern Anal Mach Intell, 32 (2010) 1627–1645 66 [50] J.V.D Weijer, C Schmid, J Verbeek, D Larlus, "Learning color names for real-world applications," IEEE Trans Image Process, 18 (2009) 1512–1523 ... VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Nguyễn Thị Sen HỆ THỐNG ĐIỂM DANH TỰ ĐỘNG HỌC SINH TRUNG HỌC PHỔ THÔNG QUA CAMERA TRONG LỚP HỌC Chuyên ngành : Khoa học máy tính Mã số LUẬN... đối tượng đầu học sinh 53 Chương GIỚI THIỆU Chương luận văn trình bày tổng quan tốn ? ?Hệ thống điểm danh tự động học sinh THPT qua camera lớp học? ?? 1.1 Đặt vấn đề Ngày công nghệ thông tin phát... trường học sử dụng hệ thống giám sát thông qua camera gắn cố định phịng học nhằm quản lí nếp hỗ trợ điểm danh học sinh lẫn giáo viên trình diễn tiết học tránh tình trạng học sinh trốn tiết học Cụ