Xây dựng ứng dụng đếm phương tiện giao thông bằng cách tiếp cận deep learning

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN NGÔ TUẤN LĨNH XÂY DỰNG ỨNG DỤNG ĐẾM PHƢƠNG TIỆN GIAO THÔNG BẰNG CÁCH TIẾP CẬN DEEP LEARNING ĐỀ ÁN/LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Bình Định – Năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN NGÔ TUẤN LĨNH XÂY DỰNG ỨNG DỤNG ĐẾM PHƢƠNG TIỆN GIAO THÔNG BẰNG CÁCH TIẾP CẬN DEEP LEARNING Ngành: Khoa học máy tính Mã số: 8480101 Ngƣời hƣớng dẫn: TS LÊ XUÂN VINH Bình Định – Năm 2023 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi và được sự hướng dẫn khoa học của TS Lê Xuân Vinh; Các nội dung nghiên cứu, kết quả trong đề tài này là trung thực và chưa công bố dưới bất kỳ hình thức nào trước đây Những số liệu, hình ảnh trong các bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá được chính tác giả thu thập từ các nguồn khác nhau có ghi rõ trong phần tài liệu tham khảo Ngoài ra, trong luận văn còn sử dụng một số nhận xét, đánh giá cũng như số liệu của các tác giả khác, cơ quan tổ chức khác đều có trích dẫn và chú thích nguồn gốc Nếu phát hiện có bất kỳ sự gian lận nào tôi xin hoàn toàn chịu trách nhiệm về nội dung luận văn của mình Trường Đại học Quy Nhơn không liên quan đến những vi phạm tác quyền, bản quyền do tôi gây ra trong quá trình thực hiện (nếu có) Bình Định, ngày 08 tháng 10 năm 2023 Người thực hiện Ngô Tuấn Lĩnh LỜI CẢM ƠN Em xin chân thành cảm ơn các Thầy, các Cô Khoa Công nghệ Thông tin Trường Đại học Quy Nhơn đã tận tình dạy dỗ, truyền đạt cho em nhiều kiến thức quý báu Em xin tỏ lòng biết ơn sâu sắc đến thầy TS Lê Xuân Vinh, người đã tận tình giúp đỡ và truyền đạt nhiều kinh nghiệm để đề tài có thể được thực hiện và hoàn thành Xin chân thành cảm ơn các bạn trong lớp Cao học Khoa học máy tính K24B, các bạn Khoa Công Nghệ Thông Tin, Trường Đại học Quy Nhơn đã giúp đỡ, động viên tôi rất nhiều trong quá trình thực hiện đề tài Em xin chân thành cảm ơn! Bình Định, ngày 08 tháng 10 năm 2023 Tác giả Ngô Tuấn Lĩnh MỤC LỤC Trang MỞ ĐẦU 1 1 Lý do chọn đề tài 1 2 Tổng quan tình hình nghiên cứu đề tài 1 2.1 Tình hình nghiên cứu trong nước 1 2.2 Tình hình nghiên cứu ngoài nước 2 3 Mục tiêu nghiên cứu 3 4 Đối tượng và phạm vi nghiên cứu 3 4.1 Đối tượng nghiên cứu 3 4.2 Phạm vi nghiên cứu 3 5 Nội dung nghiên cứu 3 6 Phương pháp luận và phương pháp nghiên cứu 3 CHƢƠNG I KIẾN THỨC CƠ SỞ VỀ HỌC MÁY VÀ HỌC SÂU 5 1.1 Học máy 5 1.1.1 Định nghĩa 5 1.1.2 Phân loại học máy 6 1.1.3 Các bước giải quyết bài toán trong học máy 7 1.1.4 Ứng dụng của học máy 8 1 2 Mạng nơ-ron (Neural Network) .8 1.2.1 ng quan v mạng nơ-ron 8 1.2.2 Các thành phần cơ bản của mạng nơ-ron nhân tạo 9 1.2.3 Kiến trúc ANN 13 1.2.4 Hoạt động của ANN 14 1.3 Mạng nơ-ron tích chập (CNN) 15 1.3.1 Cấu trúc của CNN .16 1.4 Đánh giá mạng trong học máy 21 1.4.1 Dữ liệu đánh giá 21 1.4.2 Các khái niệm, độ đo khi đánh giá mô hình 22 1.5 Học sâu 25 1.5.1 Các thành phần cuả mạng học sâu 25 1.5.2 Hoạt động của mạng học sâu 27 1.5.3 Ứng dụng 27 1.6 Tổng kết chương I 28 CHƢƠNG II PHÁT HIỆN ĐỐI TƢỢNG BẰNG HỌC SÂU 29 2.1 Bài toán phát hiện đối tượng 29 2.2 Một số cách tiếp cận bài toán phát hiện đối tượng dựa trên học sâu 29 2.2.1 R-CNN .30 2.2.2 Fast R-CNN 30 2.2.3 Faster R-CNN 31 2.2.4 Single Shot Detector-SSD 31 2.2.5 Mô hình YOLO 32 2.3 Thuật toán YOLO 32 2.3.1 Giới thiệu v YOLO 32 2.3.2 Kiến trúc của Yolo 33 2.3.3 Các tính năng trong Yolo 34 2.3.4 Các bước chính của thuật toán YOLO 38 2.4 YOLOV5 .41 2.4.1 Các thành phần 42 2.4.2 Kỹ thuật tăng cường dữ liệu trong YOLOv5 .44 2.4.3 Huấn luyện trong YOLOv5 46 2.4.4 Các tính năng b sung 47 2.5 Tổng kết chương II 52 CHƢƠNG III XÂY DỰNG ỨNG DỤNG ĐẾM PHƢƠNG TIỆN GIAO THÔNG 53 3.1 Phát biểu bài toán 53 3.2 Phương pháp được sử dụng 53 3.2.1 Đào tạo lại mô hình 54 3.2.2 Sử dụng mô hình đã huấn luyện để nhận dạng và đếm các phương tiện 55 3.3 Tiến hành .57 3.3.1 Đào tạo lại mô hình 57 3.4 Xây dựng ứng dụng 69 3.4.1 T chức dữ liệu 69 3.4.2 Nhận dạng và đếm phương tiện 70 3.4.3 Kết quả thực hiện 71 3.5 Tổng kết chương III 73 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 74 TÀI LIỆU THAM KHẢO 75 DANH MỤC THUẬT NGỮ VIẾT TẮT ANN Artificial Neural Network BiFPN Bidirectional Feature Pyramid Network BN Batch Normalization CNN Convolution Neural Networks Conv Convolution CPU Central Processing Unit CSP-PAN Cross-Stage Partial Network- Path Aggregation Network DSC Depthwise Separable Convolution FPN Feature Pyramid Network IoU Intersection over Union KNN k-Nearest Neighbors LR Label Binarizer PANet Path Aggregation Network R-CNN Region-based Convolutional Neural Network ReLU Rectifier Layer Units ROI Region of Interest RPN Region Proposal Network SPP Spatial Pyramid Pooling SPPF Spatial Pyramid Pooling Fusion SSD Single Shot MultiBox Detector SVM Support Vetor Machines DANH MỤC CÁC BẢNG Bảng 3.1 Kết quả demo video Hoaithanh.mp4 (file Hoaithanh.xlsx) Bảng 3.2 Kết quả demo video TranHungDao_9h.mp4 (file THD_9h.xlsx) Bảng 3.3 Kết quả demo video Muitau_TamQuan.mp4 (file Tamquan.xlsx) DANH MỤC CÁC HÌNH Hình 1.1: Mô hình mạng nơ-ron Hình 1.2 Đơn vị xử lí trong mạng nơ-ron Hình 1.3 Hàm đồng nhất (Identity function) Hình 1.4 Hàm bước nhị nhập (Binary step function) Hình 1.5 Hàm Sigmoid Hình 1.6 Hàm sigmoid lưỡng cực Hình 1.7 Đồ thị hàm ReLU Hình 1.8 Một số hàm truyền phổ biến Hình 1.9 Kiến trúc 3 phần của mạng ANN Hình 1.10 Mạng nơ-ron nhiều lớp Hình 1.11 Tế bào mạng nơ-ron nhân tạo Hình 1.12 Cấu trúc cơ bản của mạng Nơ-ron Tích chập (Lecun, 1989) Hình 1.13 Kiến trúc mạng tích chập tiêu biểu Hình 1.14 Minh họa việc áp dụng phép tính Conv Hình 1.15 Minh họa hoạt động của lớp pooling Hình 1.16 Minh hoạ hoạt động của lớp pooling Hình 1.17 Cấu trúc nơ-ron Hình 1.18 Kiến trúc mạng học sâu Hình 2.1 Kiến trúc mạng SSD Hình 2.2 Sơ đồ kiến trúc mạng YOLO Hình 2.3: Kiến trúc một output của model YOLO Hình 2.4 Các bản đồ đặc trưng của mạng YOLOv3 Hình 2.5 Xác định hộp neo cho một vật thể Hình 2.6 Công thức hàm Loss Hình 2.7 Công thức ước lượng hộp bao từ anchor box Hình 2.8 Non-max suppression Hình 2.9 Chia ảnh thành ô lưới Hình 2.10 Dự đoán hộp bao Hình 2.11 Xác định đối tượng và lọc dự đoán