60 Trang 11 LỜI NÓI ĐẦU Mạng nơ-ron sâu Deep neural networks đang được nghiên cứu tích cực và các mô hình học sâu đã được sử dụng rộng rãi trong lĩnh vực thị giác máy tính.. Giới thiệu
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG PHẠM VĂN HÀ NGHIÊN CỨU VỀ KỸ THUẬT THEO DÕI ĐỐI TƯỢNG VÀ ỨNG DỤNG TRONG BÀI TOÁN CAMERA GIÁM SÁT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2023 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG PHẠM VĂN HÀ NGHIÊN CỨU VỀ KỸ THUẬT THEO DÕI ĐỐI TƯỢNG VÀ ỨNG DỤNG TRONG BÀI TOÁN CAMERA GIÁM SÁT Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Ngô Hữu Huy THÁI NGUYÊN - 2023 i LỜI CAM ĐOAN Tôi xin cam đoan luận văn tơi thực hiện, hướng dẫn khoa học TS Ngô Hữu Huy Các kết lý thuyết trình bày luận văn tổng hợp từ kết cơng bố có trích dẫn đầy đủ Các kết chương trình thực nghiệm luận văn tác giả thực hoàn toàn trung thực, sai tơi hồn tồn chịu trách nhiệm Thái Nguyên, ngày …… tháng năm 2023 Học viên Phạm Văn Hà ii LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến TS Ngô Hữu Huy người tận tình hướng dẫn, bảo, giúp đỡ em suốt trình làm luận văn Em xin gửi lời cảm ơn đến thầy cô giáo Trường Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên truyền đạt kiến thức giúp đỡ em suốt trình học tập Em xin gửi lời cảm ơn tới Ban Giám đốc Bệnh viện Phụ sản Thái Bình tạo kiện thuận lợi cho em tham gia khóa học suốt q trình hồn thành luận văn Em xin gửi lời cảm ơn tới bạn bè, đồng nghiệp gia đình động viên, khích lệ, tạo điều kiện giúp đỡ tơi suốt q trình học tập, thực hồn thành luận văn Xin chân thành cảm ơn! Thái Nguyên, ngày …… tháng năm 2023 Học viên Phạm Văn Hà iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÍ HIỆU, CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH .vii LỜI NÓI ĐẦU ix CHƯƠNG TỔNG QUAN HỌC SÂU TRONG MẠNG NƠ-RON 1.1 Tổng quan học máy, học sâu 1.1.1 Học máy (Machine Learning) 1.1.2 Học sâu (Deep Learning) 1.2 Mạng nơ-ron 10 1.2.1 Khái niệm mạng nơ-ron 10 1.2.2 Mạng nơ-ron sinh học 11 1.2.3 Mạng nơ-ron nhân tạo 12 1.2.4 Phân loại mạng nơ-ron nhân tạo 18 1.2.5 Huấn luyện mạng nơ-ron nhân tạo 19 1.3 Mạng nơ-ron tích chập 21 1.3.1 Giới thiệu mạng nơ-ron tích chập 21 1.3.2 Các lớp mạng nơ-ron tích chập 22 1.4 Vấn đề giám sát an ninh 28 CHƯƠNG KỸ THUẬT THEO DÕI ĐỐI TƯỢNG (OBJECT TRACKING) 29 2.1 Tổng quan theo kỹ thuật dõi đối tượng (Object Tracking) 29 2.2 Thuật toán TBD dựa học sâu 30 2.2.1 Thuật toán TBD dựa mơ hình học sâu phát đối tượng 31 2.2.2 Thuật tốn TBD dựa mơ hình học sâu theo dõi đối tượng 32 2.3 Thuật toán JDT dựa học sâu 36 iv 2.3.1 Mô-đun theo dõi phát hợp 37 2.3.2 Liên kết liệu trích xuất đặc trưng hợp 38 2.3.3 Thuật toán kết hợp theo dõi đối tượng đơn lẻ 39 2.4 Thuật toán MOT dựa Transformer 40 2.4.1 Thuật toán MOT dựa kiến trúc Transformer 42 2.4.2 So sánh thuật toán MOT dựa kiến trúc Transformer 44 2.5 Những thử thách MOT 45 2.5.1 Sự che phủ 45 2.5.2 Những thử thách kiến trúc nhẹ (Lightweight Architecture) 47 2.5.3 Một số thử thách thường gặp 47 CHƯƠNG KẾT QUẢ THỬ NGHIỆM TRONG BÀI TOÁN CAMERA GIÁM SÁT 49 3.1 Phát biểu toán camera giám sát người 49 3.2 Thu thập sở liệu 51 3.2.1 Cơ sở liệu 51 3.2.2 Công cụ gán nhãn liệu 53 3.3 Huấn luyện mơ hình 56 3.3.1 Mô hình YOLOv8 56 3.3.2 Mơ hình Deep SORT 57 3.3.3 Kết huấn luyện mơ hình 59 3.4 Phân tích đánh giá kết thu 62 KẾT LUẬN 64 TÀI LIỆU THAM KHẢO 65 v DANH MỤC CÁC KÍ HIỆU, CHỮ VIẾT TẮT Ý nghĩa STT Chữ viết tắt AI ANN Artificial Neural Network (Mạng nơ-ron nhân tạo) CNN Convolutional Neural Network (Mạng nơ-ron tích chập) JDT Joint Detection and Tracking (Phát theo dõi khớp) LSTM Long short term memory (Bộ nhớ ngắn hạn dài hạn) MOT Multiple Object Tracking (Theo dõi nhiều đối tượng) RNN Recurrent Neural Network (Mạng nơ-ron hồi quy) SORT Simple Online Realtime Object Tracking (Theo dõi đối tượng thời gian thực trực tuyến đơn giản) SOT Single Object Tracking (Theo dõi đối tượng đơn lẻ) TBD Tracking by Detection (Theo dõi cách phát hiện) 10 Artificial Intelligence (Trí tuệ nhân tạo) vi DANH MỤC CÁC BẢNG Bảng 3.1 Thông tin chi tiết sở liệu thực nghiệm 52 vii DANH MỤC CÁC HÌNH Hình 1.1 Các phương pháp máy học .3 Hình 1.2 Mối quan hệ AI, Machine Learning Deep Learning Hình 1.3 Một mạng nơ-ron sâu cho phân loại chữ số Hình 1.4 Đặc trưng sâu học mơ hình phân loại chữ số Hình 1.5 Một mạng nơ-ron tham số hóa trọng số Hình 1.6 Hàm mát đo lường chất lượng đầu mạng .8 Hình 1.7 Điểm mát sử dụng làm tín hiệu phản hồi để điều chỉnh trọng số Hình 1.8 Cấu trúc nơ-ron sinh học điển hình 11 Hình 1.9 Mơ hình nơ-ron nhân tạo 13 Hình 1.10 Mơ hình tốn học mạng nơ-ron nhân tạo 14 Hình 1.11 Mơ hình mạng nơ-ron nhân tạo 15 Hình 1.12 Hàm kích hoạt ReLU 16 Hình 1.13 Phân loại mạng nơ-ron nhân tạo 18 Hình 1.14 Mơ hình học có giám sát 19 Hình 1.15 Mơ hình học khơng có giám sát 20 Hình 1.16 Mơ hình học tăng cường 20 Hình 1.17 Mơ hình CNN phân loại ảnh 22 Hình 1.18 Một ví dụ lọc hình ảnh 2D .23 Hình 1.19 Minh họa hoạt động lớp tích chập 23 Hình 1.20 Minh họa hoạt động lớp tích chập với phần đệm bước sải 24 Hình 1.21 Minh họa hoạt động lớp gộp tối đa (max-pooling layer) với vùng gộp 2x2 bước sải 27 Hình 2.1 Phân loại thuật toán theo dõi đa đối tượng trực quan dựa học sâu .30 Hình 2.2 Các thủ tục tảng TBD, bao gồm bốn thành phần cốt lõi 31 Hình 2.3 Ba tảng thuật tốn JDT 36 viii Hình 2.4 Kiến trúc mã hóa-giải mã transformer 41 Hình 2.5 Hình ảnh minh họa che phủ 46 Hình 3.1 Mơ hình tổng quan hệ thống đề xuất .49 Hình 3.2 Minh họa ảnh sở liệu “Humans_data Image Dataset” 52 Hình 3.3 Minh họa ảnh sở liệu thu thập thủ cơng 53 Hình 3.4 Giao diện làm việc công cụ Make Sense 54 Hình 3.5 Cấu trúc mơ hình YOLOv8 .57 Hình 3.6 Kết huấn luyện mơ hình .60 Hình 3.7 Đường cong Precision – Recall 60 Hình 3.8 Minh họa kết phát người trình huấn luyện 61