(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video(Luận văn thạc sĩ) Hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video
Trang / 90 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI NGỮ-TIN HỌC THÀNH PHỐ HỒ CHÍ MINH LÊ THÁI TÚ TIỀN HỆ THỐNG ĐIỂM DANH HỌC SINH THÔNG QUA NHẬN DẠNG ĐẦU HỌC SINH KẾT HỢP THEO VẾT CHUYỂN ĐỘNG TRONG VIDEO LUẬN VĂN THẠC SĨ Ngành: CƠNG NGHỆ THƠNG TIN Mã sớ: 60480201 NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS PHẠM THẾ BẢO TP HỒ CHÍ MINH – THÁNG NĂM 2019 Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang / 90 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu thân hướng dẫn PGS.TS Phạm Thế Bảo Các số liệu, kết trình bày luận văn trung thực Những tư liệu sử dụng luận văn có nguồn gốc trích dẫn rõ ràng, đầy đủ Học viên Lê Thái Tú Tiền Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang / 90 Học viên bảo vệ thành công luận văn ngày 04/6/2019, Hội đồng đánh giá luận văn thạc sĩ thành lập theo Quyết định số 115/QĐ-ĐNT ngày 20/5/2019 Hiệu trưởng Trường ĐH Ngoại ngữ-Tin học TP.HCM, với tham gia của: Chủ tịch Hội đồng: PGS.TS Trần Văn Lăng ĐH Lạc Hồng (Đồng Nai) Phản biện 1: TS Nguyễn Đức Cường Phản biện 2: PGS.TS Nguyễn Thanh Bình ĐH Bách Khoa (ĐHQG TP.HCM) Ủy viên: PGS.TS Lê Hoàng Thái ĐH KHTN (ĐHQG TP.HCM) Thư ký: Tiến sĩ Trần Minh Thái ĐH Ngoại ngữ-Tin học TP.HCM Luận văn Thạc sĩ Công nghệ thông tin ĐH Ngoại ngữ-Tin học TP.HCM Lê Thái Tú Tiền 16CH201014 Trang / 90 DANH MỤC CÁC CHỮ VIẾT TẮT TỪ ĐẦY ĐỦ NGHĨA TT TỪ VIẾT TẮT ANN Artificial Neural Network CNN Convolutional Neural Network Mạng nơ-ron tích chập FCNN Full Convolution Neural Network Mạng nơ-ron tích chập đầy đủ HOG Histogram of orientation gradients Lược đồ định hướng gradient LCT Long-term correlation tracking Theo vết tương quan dài hạn MOSSE MLP Mạng nơ-ron nhân tạo Minimum output sum of squared error Bình phương sai số tổng đầu nhỏ Multilayer Perceptron Mạng thần kinh nhân tạo truyền thẳng nhiều lớp R-CNN Region proposals + CNN CNN khu vực SVM Support vector machine Máy vectơ hỗ trợ 10 YOLO You only look once Bạn nhìn lần Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang / 90 DANH MỤC CÁC HÌNH VẼ TT TÊN NỘI DUNG TRANG Hình 1.1 Mơ hình phân cấp phát vùng đầu theo thời gian thực 15 Hình 1.2 So sánh kết entropy giai đoạn 16 Hình 2.1 Cấu trúc mạng thần kinh nhân tạo 24 Hình 2.2 Ma trận cửa sổ trượt 26 Hình 2.3 Cấu trúc lớp CNN 28 Hình 2.4 Trường tiếp nhận cục 30 Hình 2.5 Nơ-ron lớp ẩn 30 Hình 2.6 Nơ-ron lớp ẩn 31 Hình 2.7 Một sơ đồ đặc trưng 31 10 Hình 2.8 Lớp tổng hợp CNN 33 11 Hình 2.9 Sự kết hợp lớp tích chập max-pooling 33 12 Hình 2.10 Các lớp tạo thành CNN cho 10 giá trị 34 13 Hình 2.11 Giai đoạn phân vùng ảnh 37 14 Hình 2.12 Giai đoạn xác định đối tượng 38 15 Hình 2.13 Chín hình dạng mẫu đối tượng 40 16 Hình 3.1 Mơ hình tốn điểm danh học sinh dùng camera 51 17 Hình 4.1 Danh sách video quay lớp học 68 18 Hình 4.2 Danh sách frame hình chọn huấn luyện từ 30 video 69 19 Hình 4.3 Đối tượng bị vật thể che khuất lớp TĐC34A 79 20 Hình 4.4 Phát sai đối tượng lớp TKT33-3N 79 Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang / 90 TT TÊN NỘI DUNG TRANG 21 Hình 4.5 Hình frame thứ 76 lớp TCB33-3N 80 22 Hình 4.6 Hình frame thứ 91 lớp TCB33-3N 81 23 Hình 4.7 Hình frame thứ 99 video M06 (lớp TCB333N) 81 24 Hình 4.8 Hình frame thứ 27 lớp TNT34 82 25 Hình 4.9 Hình frame thứ 45 lớp TNT34 82 26 Hình 4.10 Hình frame thứ 99 video M42 (lớp TNT34) 83 27 Hình 4.11 Hình frame thứ 27 lớp TTP34 83 28 Hình 4.12 Hình frame thứ 99 lớp TTP34 84 Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang / 90 DANH MỤC CÁC BẢNG BIỂU, SƠ ĐỒ TT TÊN NỘI DUNG Sơ đồ 1.1 Sơ đồ mô tả phát đối tượng chuyển động Bảng 4.1 Danh sách 45 video dùng làm liệu Bảng 4.2 Danh sách 45 video phân nhóm theo buổi 63 Bảng 4.3 Danh sách 45 video phân nhóm theo phịng 64 Bảng 4.4 Danh sách 45 video phân nhóm theo tầng 64 Bảng 4.5 Danh sách 45 video phân nhóm theo ánh sáng 64 Bảng 4.6 Độ xác tốn điểm danh phân nhóm theo buổi 67 Biểu đồ 4.1 Độ xác tốn điểm danh phân nhóm theo buổi 68 Bảng 4.7 Độ xác tốn điểm danh phân nhóm theo phịng 68 10 Biểu đồ 4.2 Độ xác tốn điểm danh phân nhóm theo phịng 69 11 Bảng 4.8 Độ xác tốn điểm danh phân nhóm theo tầng 70 12 Biểu đồ 4.3 Độ xác tốn điểm danh phân nhóm theo tầng 70 13 Bảng 4.9 Độ xác tốn điểm danh phân nhóm theo ánh sáng 71 14 Biểu đồ 4.4 Độ xác tốn điểm danh phân nhóm theo ánh sáng 71 15 Bảng 4.10 Độ xác tốn điểm danh phân nhóm theo lớp học 72 16 Biểu đồ 4.5 Độ xác tốn điểm danh phân nhóm theo lớp học 73 Luận văn Thạc sĩ Cơng nghệ thông tin TRANG 16 61 – 63 Lê Thái Tú Tiền 16CH201014 Trang / 90 MỤC LỤC LỜI CAM ĐOAN DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ DANH MỤC CÁC BẢNG BIỂU, SƠ ĐỒ MỤC LỤC LỜI CẢM ƠN 10 TỔNG QUAN 11 Đặt vấn đề 11 Giới thiệu toán 13 Các hướng tiếp cận 14 1.3.1 Xác định vị trí vùng đầu ảnh 14 1.3.2 Theo vết chuyển động đối tượng 18 Đề xuất hướng giải 21 CƠ SỞ LÝ THUYẾT 23 Mạng nơ-ron nhân tạo 23 Mạng nơ-ron tích chập 26 2.2.1 Tổng quan 26 2.2.2 Mơ hình CNN 27 2.2.3 Xây dựng CNN cho phân loại ảnh 29 Phát đối tượng 34 2.3.1 Tổng quan 34 2.3.2 Phương pháp phát đối tượng 36 Theo vết chuyển động dựa tương quan 42 2.4.1 Giới thiệu 42 2.4.2 Những vấn đề liên quan đến thuật toán 44 2.4.3 Thuật toán theo vết đối tượng dựa đặc trưng tương quan 47 Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang / 90 2.4.4 Tổng kết 49 XÂY DỰNG THUẬT TOÁN 50 Phát vùng đầu học sinh ảnh 51 Theo vết chuyển động 57 Tính vị trí tâm trung bình vùng đầu học sinh 60 Điểm danh học sinh lớp học 61 KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 64 Môi trường thực nghiệm 64 Xây dựng liệu 64 Kết 69 4.3.1 Kết chi tiết 70 4.3.2 Các trường hợp sai toán điểm danh học sinh 78 Đánh giá 84 4.4.1 Ưu điểm 85 4.4.2 Nhược điểm 85 Hướng phát triển 86 TÀI LIỆU THAM KHẢO 88 Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 10 / 90 LỜI CẢM ƠN Trước tiên, xin gửi lời cám ơn chân thành đến quý thầy cô Trường Đại học Ngoại ngữ-Tin học Thành phố Hồ Chí Minh, Q thầy tham gia giảng dạy cho lớp Cao học Công nghệ thông tin khóa 1, người nhiệt tình cung cấp kiến thức, dạy tận tình học quý báu suốt thời gian học tập Trường Tôi xin chân thành cám ơn sâu sắc đến PGS.TS Phạm Thế Bảo, bận rộn với vô số cơng việc vai trị Trưởng mơn Ứng dụng tin học Trường Đại học Khoa học tự nhiên công tác giảng dạy Thầy hướng dẫn tận tình, chu đáo, cung cấp nhiều kiến thức chun mơn kịp thời bổ ích suốt thời gian thực luận văn Tôi xin cảm ơn Quý thầy cô, anh chị cán bộ, nhân viên thuộc Ban Khoa học-Hợp tác Đào tạo sau đại học Trường Đại học Ngoại ngữ-Tin học Thành phố Hồ Chí Minh tạo điều kiện thuận lợi cho chúng tơi hồn thành khóa học Mặc dù cố gắng để hoàn thành tốt luận văn chắn khơng tránh khỏi thiếu sót, mong nhận bảo Quý thầy cô Thành phố Hồ Chí Minh, tháng năm 2019 Học viên thực Lê Thái Tú Tiền Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 ... dựng hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động video cần tìm hiểu nhiều tài liệu kiến thức liên quan trí tuệ nhân tạo, mạng nơ-ron, kiến thức học. .. phương pháp truyền thống khơng làm Để thực tốn điểm danh học sinh dùng phương pháp nhận dạng vùng đầu học sinh kết hợp theo vết chuyển động vùng đầu học sinh camera, chia toán điểm danh thành bốn... phương pháp phát theo vết chuyển động vùng đầu học sinh giải toán điểm danh học sinh lớp học Phương pháp có ưu điểm dùng cơng nghệ nhận dạng đầu, nên nhận dạng đối tượng cuối phịng học, kể bạn ngồi