Ứng dụng deep learning để đếm số lượng xe ôtô trong nội thành đà nẵng

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẶNG THỊ MỸ NHÀN ỨNG DỤNG DEEP LEARNING ĐỂ ĐẾM SỐ LƯỢNG XE ÔTÔ TRONG NỘI THÀNH ĐÀ NẴNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng - Năm 2019 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẶNG THỊ MỸ NHÀN ỨNG DỤNG DEEP LEARNING ĐỂ ĐẾM SỐ LƯỢNG XE ÔTÔ TRONG NỘI THÀNH ĐÀ NẴNG Chuyên ngành: Khoa Học Máy Tính Mã số: 60480101 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC:TS TRẦN THẾ VŨ Đà Nẵng - Năm 2019 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng hướng dẫn trực tiếp TS.Trần Thế Vũ Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu hồn tồn trách nhiệm Tác giả Đặng Thị Mỹ Nhàn LỜI CẢM ƠN Sau thời gian nghiên cứu, đến luận văn thạc sĩ với đề tài “Ứng dụng Deep Learning để đếm số lượng xe ô tô nội thành Đà Nẵng” hoàn thành Trường Đại học Bách khoa - Đại học Đà Nẵng với nỗ lực thân giúp đỡ, bảo, hướng dẫn nhiệt tình giảng viên, động viên gia đình, bạn bè đồng nghiệp Để hồn thành luận văn, tác giả xin bày tỏ lòng biết ơn sâu sắc trân trọng tới thầy giáo TS Trần Thế Vũ công tác Viện Nghiên cứu & Đào tạo Việt Anh thuộc Đại học Đà Nẵng hướng dẫn giúp đỡ tác giả tận tình suốt thời gian thực hồn thành luận văn Tác giả xin cảm ơn đến Ban Giám hiệu Trường Đại học Bách khoa Đà Nẵng, Ban Giám hiệu Trường Đại học Quảng Bình, Ban chủ nhiệm khoa Cơng nghệ Thơng tin, Phịng Đào tạo sau đại học hai trường tạo điều kiện thuận lợi q trình học tập, nghiên cứu hồn thành luận văn Tác giả chân thành cảm ơn tới bạn đồng nghiệp, bạn bè hỗ trợ xếp mặt thời gian để luận văn hoàn thành Mặc dù có nhiều cố gắng, chắn luận văn khơng tránh khỏi thiếu sót định, tác giả mong nhận ý kiến góp ý Thầy Cô giáo bạn để luận văn ngày hoàn thiện Xin trân trọng cảm ơn! Đà Nẵng, tháng năm 2019 Tác giả luận văn Đặng Thị Mỹ Nhàn MỤC LỤC MỞ ĐẦU CHƯƠNG NGHIÊN CỨU TỔNG QUAN 1.1 KHÁI NIỆM VÀ THỰC TRẠNG GIAO THÔNG VIỆT NAM .5 1.1.1 Khái niệm giao thông 1.1.2 Thực trạng giao thông Việt Nam 1.2 KHÁI NIỆM VỀ XỬ LÝ ẢNH, HỌC MÁY VÀ BÀI TỐN NHẬN DẠNG Ơ TƠ QUA HÌNH ẢNH .5 1.2.1 Khái niệm xử lý ảnh 1.2.2 Tổng quan Học máy 1.2.3 Bài tốn nhận dạng tơ qua hình ảnh 10 1.3 TỔNG QUAN CÁC KẾT QUẢ NGHIÊN CỨU TRONG VÀ NGOÀI NƯỚC 12 1.3.1 Một số nghiên cứu thực nước ta 12 1.3.2 Các kết nghiên cứu nước 12 1.4 NHẬN DẠNG ĐỐI TƯỢNG XE Ô TÔ DỰA VÀO DEEP LEARNING 18 CHƯƠNG PHÂN TÍCH HỆ THỐNG 18 2.1 MÔI TRƯỜNG VÀ CÔNG CỤ SỬ DỤNG 18 2.1.1 Thư viện mã nguồn Tensorflow Object Detection 20 2.1.2 Thuật toán SSD (Single Shot Object Detectors) 22 2.1.3 Thuật toán Faster R-CNN 26 2.1.4 Lựa chọn mô hình Object Detectors 28 2.2 PHÁT TRIỂN CHƯƠNG TRÌNH 30 2.2.1 Thu thập liệu 31 2.2.2 Đánh nhãn liệu 32 2.2.3 Đào tạo mơ hình 34 2.2.4 Nhận dạng 35 2.2.5 Đếm phương tiện 36 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ .38 3.1 KẾT QUẢ THỰC NGHIỆM 38 3.1.1 Nhận diện xe chuyển động 38 3.1.2 Đếm số lượng xe 39 3.2 ĐÁNH GIÁ KẾT QUẢ 39 3.2.1 Nhận diện xe chuyển động 39 3.2.2 Đếm số lượng phương tiện 40 TỔNG KẾT 41 Kết luận 41 Hướng phát triển 41 TÀI LIỆU THAM KHẢO .42 TÓM TẮT LUẬN VĂN ỨNG DỤNG DEEP LEARNING ĐỂ ĐẾM SỐ LƯỢNG XE ÔTÔ TRONG NỘI THÀNH ĐÀ NẴNG Học viên: Đặng Thị Mỹ Nhàn Chuyên ngành: Khoa học máy tính Mã số: 60480101 - Khóa: 35 Trường Đại học Bách khoa - ĐHĐN Tóm tắt: Ngày nay, vấn đề giao thông đô thị ngày trở nên cấp bách, đặc biệt thành phố đông dân cư Việc nghiên cứu xử lý hình ảnh video hỗ trợ quan sát, thống kê, dự báo lĩnh vực giao thơng ngày có ý nghĩa quan trọng Trong luận văn này, đề xuất giải pháp đếm lưu lượng xe ôtô số tuyến đường nội thành thành phố Đà Nẵng Quá trình xử lý bao gồm bước: (1) Xây dựng sở liệu đầu vào; (2) Sử dụng cơng cụ gán nhãn hình ảnh; (3) Huấn luyện sở liệu gán nhãn kỹ thuật Deep Learning Kết thực nghiệm video giao thông quan sát gắn địa bàn Thành phố Đà Nẵng mang lại kết hứa hẹn Từ khóa: Phát xe, đếm xe, Deep Learning DEEP LEARNING APPLICATION TO COUNT THE NUMBER OF AUTOMOBILE IN DA NANG CITY Abstract: Nowadays, the problems in city transportation are more and more serious, especially in densely populated cities Therefore, researching and processing video images will help make the observation, statistics and forecast in the field of transportation more and more important In this thesis, I should suggest one solution that is countingthe number of vehicles circulating in the inner of Da Nang City to help dealt with the problems Theprocessing includes the following steps: (1) Building input database; (2) Using image labeling tool; (3) Training labeled databases with deep learning techniques The experimental results on observed traffic videos attached to the locality of Da Nang brought promising results Key words: Vehicle detection, vehicle couting, Deep learning DANH MỤC CÁC TỪ VIẾT TẮT CPU Central Processing Unit TPU Tencer Processing Unit GPU Graphics Processing Unit DPM Dopamine HMM Hidden Markov Model LBP Local Binary Pattern LDA Linear Discriminant Analysis R-CNN Regional Convolutional Neural Network SRM Structural Risk Minimization SSD Single Shot Detectors SVM Support Vector Machine YOLO You Only Look Once DANH MỤC CÁC BẢNG Số hiệu Tên bảng Trang 2.1 Test liệu huấn luyện 33 3.1 Số liệu nhận dạng đếm xe 40 DANH MỤC CÁC HÌNH Số hiệu Tên hình Trang 1.1 Ví dụ chữ số viết tay làm liệu huấn luyện 1.2 AlphaGo ví dụ Reinforcement learning 1.3 Hình ảnh lấy từ CSDL Brad Phillip Paul Updike 13 1.4 Nhận diện phương tiện qua phương pháp OpenCV Kalman 14 1.5 Nhận diện phương tiện thuật toán YOLO 15 1.6 Nhận dạng xe qua cơng cụ OpenCV3, Python3.5, tensorflow 16 1.7 Hình ảnh lưu lại phương tiện tốc độ tính tốn 17 2.1 Sử dụng Deep Learning nhận dạng xe ô tơ 18 2.2 Ví dụ minh họa Tensor 20 2.3 Kiến trúc SSD 21 2.4 Kiến trúc VGG (đầu vào 224 x 224 x3) 22 2.5 Các biến thể hình ảnh đầu vào 23 2.6 Ví dụ minh họa R-CNN 25 2.7 Minh họa tốc độ nhận dạng Faster R-CNN SSD 28 2.8 Minh họa độ xác Faster R-CNN SSD 29 2.9 Các bước giải toán 32 39 3.1.2 Đếm số lượng xe Kết đếm số lượng ô tô xe máy từ camera giao thông nói tương đối xác liệu mẫu huấn luyện, số phương tiện khơng đếm khơng có tập liệu huấn luyện tác động khách quan bị vật cản che khuất, xe chạy sát nhau, Có trường hợp đếm nhầm vật thể có hình dạng giống tơ xe máy Số xe máy thực tế Số xe thực tế Số xe máy đếm Số xe đếm Độ lệch (Thực tế Đếm được) – 60 2 80,00% 61 – 200 77,78% 201 – 400 80,00% 401 – 600 55,56% 601 – 800 3 41,67% 801 – 1000 71,43% 1001 - 1200 85,71% 1200 - 1400 3 50,00% 1400 - 1600 11 42,86% STT [Bảng 3.1]Số liệu nhận dạng đếm xe 3.2 ĐÁNH GIÁ KẾT QUẢ 3.2.1 Nhận diện xe chuyển động Kết nhận dạng xe mơ hình cao mà xe lưu thơng đường phố có nhiều khác biệt màu sắc, kích thước, số lượng người ngồi xe hay loại hàng hóa chở xe, bị ảnh hưởng nhiều yếu tố khác bị che khuất, bóng cây, thời tiết,… Qua thực nghiệm nhận thấy mơ hình cho kết nhận dạng cao mà xe khơng bị che khuất, có kích thước vừa phải Đối với số trường hợp xe không nhận dạng chủ yếu bị che khuất phần, kích thước hình ảnh xe q nhỏ 40 3.2.2 Đếm số lượng phương tiện Độ xác hệ thống đếm phương tiện cao Kết triển khai toán ta thấy có nhiều khả quan ứng dụng vào tốn u cầu độ xác khơng q lớn, đưa số chấp nhận Từ hệ thống đơn giản này, ta cải tiến để nâng cao khả nhận dạng xe độ xác tốn Kết tốn phụ thuộc nhiều vào tình hình giao thơng, thời tiết, địa điểm thực nhiều yếu tố khác Mật độ lưu thông phương tiện giao thông lớn độ xác giảm dần Cũng tương tự thời tiết diễn biến xấu hay địa điểm đếm xe có nhiều vật cản che khuất hay có nhiều bóng Bên cạnh thuật tốn chưa ổn định yếu tố ảnh hưởng đến kết 41 TỔNG KẾT Kết luận Trong nghiên cứu này, đề cập đến nghiên cứu nhận dạng phát đối tượng video trước thử nghiệm, đánh giá, tìm điểm chung nghiên cứu Từ đề giải pháp tối ưu việc lựa chọn phương pháp Deep Learning để thực việc nhận dạng đếm xe ơtơ thơng qua video Sau q trình triển khai đề tài, hệ thống nhận dạng đếm xe với độ xác cao Tuy nhiên, có trường hợp chưa nhận dạng Sự thiếu xác xuất phát từ nhiều nguyên nhân khác thiếu liệu đào tạo nên mơ hình nhận dạng có hiệu suất khơng cao, thuật tốn tính vận tốc xe chưa tối ưu, hay nguyên nhân khách quan khác vật cản che khuất, thời tiết, Hệ thống đạt hiệu suất cao nhận diện xe đường chiều, đường rộng xe mật độ xe không cao Hướng phát triển Để cải thiện độ xác, ta tiến hành thu thập thêm nhiều liệu hơn, đa dạng Từ giúp mơ hình nhận dạng xe xác Ngồi để nhận diện tính tốn vận tốc xe hiệu quả, ta cần cải thiện thuật tốn nhận dạng tính tốn Sau có hệ thống nhận diện xe có hiệu suất ổn định, đếm xác lưu lượng xe tô tham gia giao thông đường ta ứng dụng vào tốn khác lớn thực tế để giải vấn đề tắc nghẽn giao thông 42 TÀI LIỆU THAM KHẢO [1] Nghiên cứu phát đường, ôtô người công nghệ ảnh hỗ trợ cho ôtô tự hành, Tạp chí Tự động hóa https://automation.net.vn/Cong-nghe-Ung-dung/Nghien-cuu-phat-hien-lan-duong-otova-nguoi-di-bo-bang-cong-nghe-anh-ho-tro-cho-oto-tu-hanh.html [2] Hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh, Báo Khoa học Phổ thông http://khoahocphothong.com.vn/he-thong-giam-sat-giao-thong-ung-dung-cong-nghexu-ly-anh-12271.html [3].Learn how to train your own OpenCV Haar classifier, GitHub https://github.com/mrnugget/opencv-haar-classifier-training http://coding-robin.de/2013/07/22/train-your-own-opencv-haar-classifier.html [4] Multiple object tracking using Kalman Filter and Hungarian Algorithm - OpenCV, GitHub https://github.com/srianant/kalman_filter_multi_object_tracking [5] Car detection using the very powerful YOLO model, GitHub https://github.com/tejaslodaya/car-detection-yolo https://github.com/JunshengFu/vehicledetection?fbclid=IwAR0ePleRt_yeJ3JnSZFG5hZUCN0Rg8CFTTYOkt60QJQNkQgiG kO1m2Lhhqk [6] - Car Speed Detector, Greg Tinkers https://gregtinkers.wordpress.com/2016/03/25/car-speeddetector/?fbclid=IwAR2yraw1KJHlFT7m1h6drYMzGD6DFCSkfKUERYdS76pYtnPYtkd9lG-4Tc - Vehicle Detection for Autonomous Driving, GitHub 43 https://github.com/JunshengFu/vehicledetection?fbclid=IwAR0ePleRt_yeJ3JnSZFG5hZUCN0Rg8CFTTYOkt60QJQNkQgiG kO1m2Lhhqk [7] - How to install OpenCV on Raspbian Jessie, PyImageSearch http://www.pyimagesearch.com/2015/10/26/how-to-install-opencv-3-on-raspbianjessie/ - Object detection với Faster R-CNN https://nttuan8.com/bai-11-object-detection-voi-faster-r-cnn/ [8] Marco Treiber (February, 2010), “An Introduction to Object Recognition – Selected Algorithms for a Wide Variety of Applications”, Siemens Electronics Assembly Systems GmbH & Co KG Rupert-Mayer-Str 44 81359 Munic, Germany [9] Subhashis Chaudhuri, Tom V Mathew, Gopal R Patil (July 13, 2012), “Real Time Traffic Counting System using video image processing”, National Conference on Urban Mobility - Challenges, Solutions, and Prospects - IIT Madras [10] K Vidhya, A.BazilaBanu (March, 2014), “Density Based Trafic Signal System”, International Journal of Innovative Research in Science, Engineering and Technology, 2014 International Conference on Innovations in Engineering and Technology (ICIET'14) [11] Ankita Panda, Ankit Naik, Purushottam Patel (April, 2015), “Application of Image Processing In Road Traffic Control”, International Journal of Advanced Research Trends in Engineering and Technology (IJARTET) [12] Sander Soo, “Object detection using Haar-cascade Classifier”, Institute of Computer Science, University of Tartu [13] Martin Hofmann, Philipp Tiefenbacher, Gerhard Rigoll, “The Pixel-Based Adaptive Segmenter”, Institute for Human-Machine Communication ...ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẶNG THỊ MỸ NHÀN ỨNG DỤNG DEEP LEARNING ĐỂ ĐẾM SỐ LƯỢNG XE ÔTÔ TRONG NỘI THÀNH ĐÀ NẴNG Chuyên ngành: Khoa Học Máy Tính Mã số: 60480101 LUẬN... .42 TÓM TẮT LUẬN VĂN ỨNG DỤNG DEEP LEARNING ĐỂ ĐẾM SỐ LƯỢNG XE ÔTÔ TRONG NỘI THÀNH ĐÀ NẴNG Học viên: Đặng Thị Mỹ Nhàn Chuyên ngành: Khoa học máy tính Mã số: 60480101 - Khóa: 35 Trường... tình trạng kẹt xe xảy thường xuyên trục đường giao thông, đặc biệt khu đô thị Xuất phát từ yêu cầu thực tiễn chọn đề tài ? ?Ứng dụng Deep Learning để đếm số lượng xe ô tô nội thành Đà Nẵng? ?? Xử lý