Ứng dụng kỹ thuật học sâu trong phát hiện và đếm lưu lượng xe máy

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA DƯƠNG THỊ DỊU ỨNG DỤNG KỸ THUẬT HỌC SÂU TRONG PHÁT HIỆN VÀ ĐẾM LƯU LƯỢNG XE MÁY LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng - Năm 2019 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA DƯƠNG THỊ DỊU ỨNG DỤNG KỸ THUẬT HỌC SÂU TRONG PHÁT HIỆN VÀ ĐẾM LƯU LƯỢNG XE MÁY Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS HUỲNH HỮU HƯNG Đà Nẵng - Năm 2019 i LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng hướng dẫn trực tiếp TS Huỳnh Hữu Hưng Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Mọi chép không hợp lệ, vi phạm quy chế huấn luyện, hay gian trá, tơi xin chịu hồn toàn trách nhiệm Tác giả Dương Thị Dịu ii MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC ii DANH MỤC CÁC TỪ VIẾT TẮT vi DANH MỤC CÁC BẢNG vii DANH SÁCH HÌNH ẢNH viii MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ 2.1 Mục tiêu 2.2 Nhiệm vụ Đối tượng phạm vi nghiên cứu 3.1 Đối tượng 3.2 Phạm vi nghiên cứu Phương pháp nghiên cứu 4.1 Phương pháp nghiên cứu tài liệu 4.2 Phương pháp thực nghiệm Ý nghĩa khoa học thực tiễn Bố cục luận văn CHƯƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề 1.2 Những nghiên cứu liên quan 1.3 Kỹ thuật học sâu 1.3.1 Tổng quan học sâu 1.3.2 Mạng nơ-ron tích chập – Convolutional neural network (CNN) 10 1.4 Các kỹ thuật liên quan đến xử lý ảnh nhận diện đối tượng 14 1.4.1 Tổng quan xử lý ảnh 14 1.4.2 Các vấn đề bản xử lý ảnh 15 iii 1.4.3 Nhận diện phân loại ảnh 15 1.5 Kết luận chương 16 CHƯƠNG 2: GIẢI PHÁP TRIỂN KHAI 17 2.1 Mơ hình giải tốn 17 2.2 Các công cụ môi trường triển khai đề tài 19 2.2.1 Cơng cụ xử lý hình ảnh OpenCV 19 2.2.2 Công cụ đánh nhãn hình ảnh LabelImage 19 2.2.3 Thư viện học máy YOLO 20 2.3 Ngơn ngữ lập trình Python 24 2.4 Bản triển khai DarkFlow 24 2.5 Thư viện TensorFlow 24 2.6 Thuật toán RCNN - DeepLearning 27 2.7 Kết luận chương 28 CHƯƠNG 3: TRIỂN KHAI THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 29 3.1 Các bước thực 29 3.1.1 Thu thập liệu 30 3.1.2 Gán nhãn 31 3.1.3 Cài đặt Darkflow 35 3.1.4 Xây dựng thư mục 36 3.1.5 Tìm mơ hình huấn luyện trước 37 3.2 Quá trình huấn luyện 37 3.3 Tạo file để test video 40 3.4 Xử lý video đếm xe 41 3.5 Kiểm tra lại kết quả nhận 42 3.6 Kết quả thực nghiệm 42 3.6.1 Nhận dạng xe máy 42 3.6.2 Đếm số lượng xe máy 43 3.7 Nhận xét kết quả 44 3.7.1 Nhận dạng xe máy 44 iv 3.7.2 Đếm số lượng xe máy 45 3.8 Kết luận chương 45 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 46 1.1 Kết luận 46 1.2 Hướng phát triển 46 TÀI LIỆU THAM KHẢO 47 v ỨNG DỤNG KỸ THUẬT HỌC SÂU TRONG PHÁT HIỆN VÀ ĐẾM LƯU LƯỢNG XE MÁY Học viên: Dương Thị Dịu Mã số: 8480101 Khóa: 35 Chun ngành: Khoa học máy tính Trường Đại học Bách khoa - ĐHĐN Tóm tắt - Ngày nay, vấn đề giao thông đô thị ngày trở nên cấp bách, đặc biệt thành phố đông dân cư Việc nghiên cứu xử lý hình ảnh video hỗ trợ quan sát, thống kê, dự báo lĩnh vực giao thơng ngày có ý nghĩa quan trọng Trong luận văn này, đề xuất giải pháp đếm lưu lượng xe máy số tuyến đường nội thành thành phố Đà Nẵng Quá trình xử lý bao gồm bước: (1) xây dựng sở liệu đầu vào; (2) sử dụng công cụ gán nhãn hình ảnh; (3) huấn luyện sở liệu gán nhãn kỹ thuật học sâu Kết quả thực nghiệm video giao thông quan sát gắn địa bàn thành phố Đà Nẵng mang lại kết quả hứa hẹn Từ khóa: phát xe, đếm xe, học sâu APPLICATION OF DEEP LEARNING IN MOTO DETECTION AND COUNTING Abstract - Nowadays, the problems in urban transport are becoming increasingly urgent, especially in densely populated cities Researching and processing video images to support observation, statistics and forecasting in the field of delivery is increasingly important In this essay, I propose a solution to count motor traffic at some roads in the inner city of Da Nang Processing process includes the following steps: (1) building input database; (2) use image labeling tool; (3) training labeled databases with deep learning techniques Experimental results on observed traffic videos attached to the locality of Da Nang bring promising results Key words: vehicle detection, vehicle couting, deep learning vi DANH MỤC CÁC TỪ VIẾT TẮT DNN Deep Neural Network CNN Convolutional Neural Network SVM Support Vector Machine CUDA Compute Unified Device Architecture GPU Graphics Processing Unit ReLU Rectified Linear Unit YOLO You Only Look Once CPU Central Processing Unit vii DANH MỤC CÁC BẢNG Số hiệu Tên bảng Trang 3.1 Thống kê kết quả hiệu suất nhận dạng xe máy 43 3.2 Thống kê kết quả hiệu suất đếm xe máy 44 viii DANH SÁCH HÌNH ẢNH Số hiệu Tên hình vẽ Trang 1.1 Ùn tắc giao thơng Việt Nam 1.2 Nơ-ron sinh học 1.3 Perceptron 1.4 Hàm sigmoid 1.5 Mạng nơ-ron nhân tạo 1.6 Q trình tích chập (Convolutional) 10 1.7 Mơ hình chung mạng neural tích chập 11 1.8 Một ảnh thơng qua nhiều góc nhìn khác (các feature map) 12 1.9 Minh họa max pooling 13 1.10 Minh họa average pooling 13 1.11 Drop-out thực loại bỏ số neural q trình tính tốn 13 1.12 Sơ đồ tổng quát hệ thống xử lý ảnh [13] 14 2.1 Mơ hình đề xuất 17 2.2 Những vùng sáng lên video nhận diện vật thể 18 2.3 OpenCV 19 2.4 Công cụ LabelImage 20 2.5 Mỗi dự đốn đối tượng 21 2.6 Mỗi dự đốn số lượng cố định hộp ranh giới 21 2.7 YOLO bỏ sót vật thể gần 22 2.8 YOLO thực SxS dự đoán với B hộp ranh giới 22 2.9 Quá trình dự đốn thống 23 2.10 Kiến trúc mạng mơ hình YOLO 24 2.11 TensorFlow 25 2.12 Ví dụ minh họa Tensor 26 44 Bảng 2: Thống kê kết quả hiệu suất đếm xe máy STT Số xe máy thực tế Số xe máy đếm – 60 61 – 200 201 – 400 401 – 600 601 – 800 801 – 1000 1001 - 1200 7 10 11 14 Độ lệch (Thực tế - Đếm được) 11 19 0% -12.5% +133.33% +11.11% 0% +75% -26.3% Hình 3.29: Kết quả hiển thị số lượng xe lên video 3.7 Nhận xét kết 3.7.1 Nhận dạng xe máy Kết quả nhận dạng xe máy mơ thống kê cao mà xe máy lưu thơng đường phố có nhiều khác biệt màu sắc, kích thước, số lượng người ngồi xe máy hay loại hàng hóa chở xe, bị ảnh hưởng nhiều yếu tố khác bị che khuất, bóng cây… Qua thực nghiệm nhận thấy mơ hình cho kết quả nhận dạng cao mà xe không bị che khuất, có kích thước vừa phải Đối với số trường hợp xe máy không nhận dạng chủ yếu bị che khuất phần, kích thước hình ảnh xe q nhỏ Đặc biệt, mơ hình cịn bị nhầm lẫn 45 nhận dạng xe đạp, xe đạp điện thành xe máy, hai phương tiện tương đối giống xe máy, mơ hình không huấn luyện để nhận dạng xe đạp xe đạp điện 3.7.2 Đếm số lượng xe máy Độ chính xác hệ thống đếm xe máy cao Kết quả triển khai toán ta thấy có nhiều khả quan ứng dụng vào tốn u cầu độ chính xác khơng lớn, đưa số chấp nhận Từ hệ thống đơn giản này, ta cải tiến để nâng cao khả nhận dạng xe độ chính xác toán Kết quả tốn phụ thuộc nhiều vào tình hình giao thông, thời tiết, địa điểm thực nhiều yếu tố khác Mật độ lưu thông phương tiện giao thơng lớn độ chính xác giảm dần Cũng tương tự thời tiết diễn biến xấu hay địa điểm đếm xe có nhiều vật cản che khuất hay có nhiều bóng Bên cạnh thuật toán chưa ổn định yếu tố ảnh hưởng đến kết quả 3.8 Kết luận chương Trong chương triển khai thực bước thực nghiệm để huấn luyện mơ hình nhận dạng đếm xe máy Từ đánh giá kết quả sau thực với mơ hình YOLO 46 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 1.1 Kết luận Trong đề tài nghiên cứu này, đề cập đến nghiên cứu nhận dạng phát đối tượng video trước thử nghiệm, đánh giá, tìm điểm chung nghiên cứu Từ đề giải pháp tối ưu việc lựa chọn kỹ thuật Học sâu để thực việc nhận dạng đếm xe máy thông qua video Sau trình triển khai đề tài, bản hệ thống nhận dạng đếm xe máy, nhiên độ chính xác chưa cao Sự thiếu chính xác xuất phát từ nhiều nguyên nhân khác thiếu liệu huấn luyện nên mô hình nhận dạng có hiệu suất khơng cao, thuật tốn chưa tối ưu, hay nguyên nhân khách quan khác vật cản che khuất, thời tiết, Thuật toán nhận dạng tốt xe đường chiều, xe hướng lên khơng có vật cản 1.2 Hướng phát triển Để cải thiện độ chính xác, ta tiến hành thu thập thêm nhiều liệu hơn, đa dạng nhiều góc độ Ví dụ phân biệt màu sắc, kiểu loại xe Từ giúp mơ hình nhận dạng xe máy chính xác Sau có hệ thống phát nhận dạng xe có hiệu suất ổn định, đếm chính xác lưu lượng xe xe máy tham gia giao thông đường ta ứng dụng vào tốn khác lớn thực tế để giải vấn đề tắc nghẽn giao thơng hay tốn phân đường cho phương tiện 47 TÀI LIỆU THAM KHẢO [1] L Tsai, J Hsieh K Fan, “Vehicle detection using normalized color and edge map,” IEEE International Conference on Image Processing, Genova, Italy, 2005 [2] A Khammari, F Nashashibi, Y Abramson C Laurgeau, “Vehicle detection combining gradient analysis and AdaBoost classification,” IEEE Intelligent Transportation Systems, Vienna, 2005 [3] Z Ren, C Wang J He, “Vehicle Detection Using Android Smartphones,” Proceedings of the Seventh International Driving Symposium on Human Factors in Driver Assessment, Training and Vehicle Design, New York, 2013 [4] D Kleyko, R Hostettler, W Birk E Osipov, “Comparison of Machine Learning Techniques for Vehicle Classification Using Road Side Sensors,” 2015 IEEE 18th International Conference on Intelligent Transportation Systems, Las Palmas, 2015 [5] Z Chen, T Ellis S A Velastin, “Vehicle type categorization: A comparison of classification schemes,” 2011 14th International IEEE Conference on Intelligent Transportation Systems (ITSC), Washington, DC, 2011 [6] M A Manzoor Y Morgan, “Vehicle Make and Model classification system using bag of SIFT features,” 2017 IEEE 7th Annual Computing and Communication Workshop and Conference (CCWC), Las Vegas, NV, 2017 [7] J Redmon, S Divvala, R Girshick A Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” 2016 [8] J Hui, “Real-time Object Detection with YOLO, YOLOv2 and now YOLOv3,” 18 March 2018 [Trực tuyến] Available: https://medium.com/@jonathan_hui/real-time-object-detection-with-yoloyolov2-28b1b93e2088 [9] P Chansung, “YOLOv2 to detect your own objects using Darkflow,” 26 July 2018 [Trực tuyến] Available: https://towardsdatascience.com/yolov2-to-detectyour-own-objects-soccer-ball-using-darkflow-a4f98d5ce5bf [10] https://en.wikipedia.org/wiki/Activation_function [11] https://dlapplications.github.io/2018-07-17-cnn-introduction/ [12] https://deepmlml.com/rpn-explained.html [13] Huỳnh Hữu Hưng, Nguyễn Trọng Ngun, Võ Đức Hồng (2015), Giáo trình xử lý ảnh, NXB Thông tin truyền thông 48 [14] http://host.robots.ox.ac.uk/pascal/VOC/voc2007/ [15] http://cocodataset.org/ [16] Ren, Shaoqing, et al "Faster r-cnn: Towards real-time object detection with region proposal networks." Advances in neural information processing systems 2015 [17] tzutalin, "Library Label Image on Github," 2015 [Online] Available: https://github.com/tzutalin/labelImg [18] https://opencv.org [19] https://pjreddie.com/darknet/yolo/ [20] https://github.com/ahmetozlu/vehicle_counting_tensorflow [21] https://www.behance.net/gallery/4057777/Vehicle-Detection-Tracking-andCounting [22] https://github.com/AllenDowney/ThinkPython2 ... HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA DƯƠNG THỊ DỊU ỨNG DỤNG KỸ THUẬT HỌC SÂU TRONG PHÁT HIỆN VÀ ĐẾM LƯU LƯỢNG XE MÁY Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY... chính xác tốt cách ứng dụng kỹ thuật Học sâu để nhận dạng đếm xe máy 1.3 Kỹ thuật học sâu 1.3.1 Tổng quan học sâu Học sâu (deep learning) nhánh ngành máy học, dựa tập hợp thuật tốn để cố gắng... KHẢO 47 v ỨNG DỤNG KỸ THUẬT HỌC SÂU TRONG PHÁT HIỆN VÀ ĐẾM LƯU LƯỢNG XE MÁY Học viên: Dương Thị Dịu Mã số: 8480101 Khóa: 35 Chun ngành: Khoa học máy tính Trường Đại học Bách khoa - ĐHĐN