(Luận văn) phát hiện điểm ùn tắc giao thông bằng video

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN TẤN HẢI PHÁT HIỆN ĐIỂM ÙN TẮC GIAO THÔNG an lu BẰNG VIDEO n va LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – NĂM 2020 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN TẤN HẢI PHÁT HIỆN ĐIỂM ÙN TẮC GIAO THÔNG BẰNG VIDEO an lu n va Chuyên ngành: Hệ thống thông tin Mã số: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN VĂN THỦY HÀ NỘI - NĂM 2020 i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn hồn tồn trung thực chưa cơng bố cơng trình khác Học viên Nguyễn Tấn Hải an lu n va ii LỜI CÁM ƠN Trước tiên, xin gửi lời cảm ơn sâu sắc đến thầy giáo TS Nguyễn Văn Thủy - Khoa Công nghệ thông tin - Học viện Công nghệ Bưu Chính Viễn thơng Người tận tình hướng dẫn bảo tơi suốt q trình thực khóa luận đồng thời cảm ơn thầy Khoa Công nghệ Thông tin I, Khoa Đào tạo Sau Đại học – Học viện Cơng nghệ Bưu Viễn thông, đặc biệt quan tâm giúp đỡ thầy Phạm Văn Cường truyền đạt kiến thức bổ ích cho tơi suốt q trình tơi làm luận văn Tơi xin chân thành cảm ơn gia đình tơi giúp đỡ để tơi có thời gian hồn thành khóa luận Cuối cùng, tơi xin chân thành cảm ơn anh chị, bạn bè bạn sinh viên giúp đỡ tơi q trình thu thập xử lý liệu Hà Nội, ngày 15 tháng 04 năm 2020 an lu Học viên n va Nguyễn Tấn Hải iii MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii MỤC LỤC iii DANH MỤC CÁC CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH vii MỞ ĐẦU .1 Tổng quan phát điểm ùn tắc giao thông .3 1.1 Ý nghĩa việc phát điểm ùn tắc giao thông lu an 1.2 Các nghiên cứu liên quan va n 1.2.1 Sử dụng video từ camera giám sát giao thông 1.2.2 Sử dụng phương pháp học sâu: .11 1.3 Phạm vi nghiên cứu 14 1.4 Kết luận chương 14 Phương pháp phát điểm ùn tắc giao thông 15 2.1 Mơ hình mạng nơron tích chập (CNN) 15 2.1.1 Khái niệm mạng nơron tích chập .15 2.1.2 Kiến trúc mạng nơron tích chập 15 2.2 Mơ hình mạng SSD (Single Shot Multibox Detector) 20 2.2.1 Ưu điểm mơ hình SSD 20 2.2.2 Kiến trúc mơ hình SSD 21 2.3 Mơ hình MobileNet 25 iv 2.3.1 Giới thiệu mơ hình MobileNet [16] 25 2.3.2 Kiến trúc mơ hình MobileNet 25 2.4 Phương pháp đếm phương tiện giao thông 30 2.4.1 Dữ liệu video số 30 2.4.2 Phát phân loại phương tiện video .32 2.4.3 Đếm mật độ phương tiện giao thông khu vực 37 2.5 Phát điểm ùn tắc giao thông 38 2.6 Kết luận chương 39 Thử nghiệm phát điểm ùn tắc giao thông 40 3.1 Dữ liệu 40 3.2 Thử nghiệm 43 lu an 3.2.1 Cài đặt môi trường thử nghiệm .43 n va 3.2.2 Mô tả hoạt động ứng dụng 43 3.2.3 Kết thử nghiệm tập liệu thu thập 44 3.3 Kết luận chương 46 Kết luận .48 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 49 v DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt CNNs Convolutional Neural Network Mạng nơron tích chập DCNN Deep Convolution Neural Mạng nơron tích chập sâu Networks MB Model background Mơ hình MOD Moving Object Detector Xác định đối tượng di chuyển MOD Moving Object Detector Xác định đối tượng di chuyển NNs Neural NetWork Mạng nơron ReLU Rectified Linear Unit Tinh chỉnh đơn vị tuyến tính TDC Traffic density calculator Tính tốn mật độ giao thông VI Vehicle identifier Mật độ phương tiện an lu n va vi DANH MỤC CÁC BẢNG Bảng 1.1 – Bảng kết thực phân lớp [13] 11 Bảng 1.2 Phân lớp FHWA theo mơ hình DCNNs [8] 12 Bảng 2.1 Mơ hình kiến trúc mạng MobileNet 26 Bảng 2.2 Bảng so sánh kết thực tích chập phân tách tích chập tiêu chuẩn mơ hình MobileNet [16] 29 Bảng 3.1: Các thư viện cần cài đặt cho ứng dụng .43 Bảng 3.2 Bảng kết thử nghiệm tuyến đường nguyễn trãi .45 Bảng 3.3 Bảng kết thử nghiệm tuyến đường Khuất Duy Tiến .46 an lu n va vii DANH MỤC CÁC HÌNH Hình 1.1 Mơ hình phân lớp phương tiện giao thơng tổng quát .6 Hình 1.2 Sơ đồ xác định đối tượng giao thông .7 Hình 1.3 Tách màu để nhận diện phương tiện tham gia giao thông [13] Hình 1.4 Mơ hình mạng nơron [13] Hình 1.5 Frame trích xuất từ video thành phố Istanbul, Thổ Nhĩ Kỳ [13] .10 Hình 1.6 Frame xử lý tách để nhận đối tượng [13] 10 Hình 1.7 Phương pháp xác định phân lớp phương tiện giao thông 11 Hình 1.8 Sử dụng Selective Search tìm kiếm đối tượng ảnh 12 Hình 1.9 Thực mơ hình DCNNs điều kiện thực tế [8] 13 Hình 2.1 Kiến trúc mơ hình mạng nơron tích chập 16 lu an Hình 2.2 Ví dụ lọc tích chập sử dụng ma trận điểm ảnh 17 va n Hình 2.3 Trường hợp thêm/khơng thêm viền trắng vào ảnh tích chập 18 Hình 2.4 Phương thức lấy giá trị trung bình giá trị lớn 19 Hình 2.5 Mơ hình mạng SSD trích xuất feature map 22 Hình 2.6 Ơ vng dự đốn đối tượng 22 Hình 2.7 Kiến trúc multibox .23 Hình 2.8 Áp dụng lọc tích chập để tạo dự đoán 24 Hình 2.9 Mơ hình MobileNet 25 Hình 2.10 Cấu trúc tích chập phân tách [5] 27 Hình 2.11 Tích chập tiêu chuẩn tích chập sâu phân tách kết hợp BN ReLU[16] .29 Hình 2.12 Cấu trúc phân đoạn video [2] 30 Hình 2.13 Cấu trúc tổng quát tốn phát ùn tắc giao thơng 32 viii Hình 2.14 Hình ảnh kết xử lý sương mù 33 Hình 2.15 Ảnh trước sau cân histogram 35 Hình 2.16 Cấu trúc mạng SSD (Single Shot Multibox Detector ) 36 Hình 2.17 Cấu trúc kết hợp SSD – MobileNet 37 Hình 2.18 Phát phân loại phương tiện giao thông sử dụng mạng SSD – MobileNet 37 Hình 2.19 Đếm mật độ phương tiện điểm giao thơng đường .38 Hình 2.20 Phát điểm ùn tắc giao thông .39 Hình 3.1 Sơ đồ tuyến đường thu thập liệu .40 Hình 3.2 Dữ liệu giao thơng thu thập tuyến đường Trần Duy Hưng 41 Hình 3.3 Dữ liệu giao thông thu thập tuyến đường Lê Văn Lương 41 an lu Hình 3.4 Dữ liệu giao thông thu thập tuyến đường Khuất Duy Tiến 42 n va Hình 3.4 Dữ liệu giao thông thu thập tuyến đường Nguyễn Trãi 42 Hình 3.5 Kiến trúc tổng quát ứng dụng phát điểm ùn tắc giao thông 44 Hình 3.6 Kết chạy thử nghiệm video tuyến đường Nguyễn Trãi .45 Hình 3.7 Kết chạy thử nghiệm tuyến đường Khuất Duy Tiến 46 36 di động điện thoại, máy tính bảng thiết bị nhúng thực tính tốn thời gian thực (realtime) nhằm cải tiến tốc độ độ xác Hình 2.13 cấu trúc tổng quát mạng SSD an lu va n Hình 2.16 Cấu trúc mạng SSD (Single Shot Multibox Detector) Trong hình 2.16 ảnh đầu thơng qua lớp tích chập xác định đặc trưng sau thực phát phân lớp phương tiện theo nhiều bước Rồi từ dựa vào xác suất có tỉ lệ cao để dự đốn phương tiện giao thơng Trong cấu trúc MobileNet chứa lớp tích chập hồn tồn ban đầu với 32 lọc, sau 19 lớp bottleneck Ngồi ra, để tăng độ xác mơ hình cá nhận học viện cịn thực kết hợp mạng SSD MobileNet để thay lớp tích chập thơng thường (regular convolutions) lớp tích chập phân tách (separable convolutions) lớp dự đốn mạng SSD nhằm giúp mơ hình giảm số lượng tham số so với mạng tích chập thơng thường, ngồi giúp mơ hình giảm số bước tính tốn Cấu trúc kết hợp SSD – MobileNet biểu diễn hình 2.14 37 Hình 2.17 Cấu trúc kết hợp SSD – MobileNet Các thử nghiệm tác giả M Sandler [15] chứng minh kết kết hợp mạng SSD – MobileNet cách thay tích chập phân tách cho tích chập tiêu chuẩn mạng SSD mang lại hiệu cao 20 lần dụng lượng nhỏ 10 lần so với phương pháp sử dụng YOLO tập liệu COCO an lu n va Hình 2.18 Phát phân loại phương tiện giao thông sử dụng mạng SSD – MobileNet 2.4.3 Đếm mật độ phương tiện giao thông khu vực giao thông Sau thực phát phân lớp phương tiện giao thông tiến hành đếm mật độ phương tiện giao thông Để đếm mật độ giao thông lưu thông 38 đường tiến hành theo bước sau: Bước đầu tiên, tạo đường thẳng kẻ ngang (Roi line) qua hai điểm đường nơi mà cần phải đếm phương tiên giao thông, đường kẻ phải đáp ứng yêu cầu nằm nơi có lượng phương tiện giao thơng qua lại nhiều đường Bước bước đếm số lượng phương tiện giao thông tiến hành sau phương tiện qua đường kẻ ngang số lượng phương tiện đếm tăng lên đơn vị an lu n va Hình 2.19 Đếm mật độ phương tiện điểm giao thông đường 2.5 Phát điểm ùn tắc giao thông Phát điểm, nút giao thơng có nguy ùn tắc cơng việc có ý nghĩa vơ quan trọng Trong luận văn sử dụng phương pháp đếm mật độ giao thông nút, điểm giao thông theo phương pháp sau đây: + Nếu số lượng phương tiện đếm điểm nút giao thơng có giá trị > 50 đưa dự đốn điểm giao thơng có nguy xãy ùn tắc áp dụng đường nhỏ, nhận thấy với ngưỡng phương tiện thích hợp điểm giao thơng có mật độ phương tiện đông đúc 39 + Nếu số lượng phương tiện điểm, nút giao thơng < 50, đưa dự đốn khơng xãy tượng ùn tắc đường Hình 2.20 Phát điểm ùn tắc giao thơng an lu 2.6 Kết luận chương n va Trong chương này, luận văn trình bày phương pháp phát phân lớp phương tiện giao thông cách sử dụng mạng SSD – MobileNet sở mạng nơron tích chập, nhờ cách tính tích chập sâu phân tách nên giảm số lượng cơng việc tính toán đáng kể giúp cho tăng tốc độ xử lý thuật tốn Ngồi ra, đề xuất phương pháp đếm mật độ phương tiện giao thông từ dự đốn ùn tắc giao thơng điểm, nút giao thông tuyến đường Ở chương kế tiếp, áp dụng phương pháp vào thực tế tập liệu thu thập đường từ phương tiện không người lái UAV tuyến đường Nguyễn Trãi, Khuất Duy Tiến, Trần Duy Hưng Lê Văn Lương thành phố Hà Nội 40 THỬ NGHIỆM PHÁT HIỆN ĐIỂM ÙN TẮC GIAO THÔNG DỰA TRÊN TẬP DỮ LIỆU 3.1 Dữ liệu Tập liệu video thu thập quay phương tiện không người lái UAV thành phố Hà Nội tuyến đường Trần Duy Hưng, Lê Văn Lương, Khuất Duy Tiến Nguyễn Trãi an lu n va Hình 3.1 Sơ đồ tuyến đường thu thập liệu - Dữ liệu thu thập vào ngày 28/03/2020 - Vị trí khơng gian: tuyến đường khảo sát Lê Văn Lương, Nguyễn Trãi, Khuất Duy Tiến Trần Duy Hưng - Thời gian: ban ngày, ban đêm - Độ cao: 10m trở lên - Dạng video: video (.mp4) 41 Ở hình 3.2 hình 3.3 cảnh quay từ UAV bay độ cao 25m điều kiện thời tiết bình thường tuyến đường Trần Duy Hưng Lê Văn Lương vào buổi sáng lúc 7h00’ trở Tuyến đường Trần Duy Hưng có phần đường chia thành 12 đường theo hướng vào trung tâm thành phố với mật độ giao thơng đơng đúc Cịn tuyến đường Lê Văn Lương mật độ giao thông thưa thớt hơn, phương tiện dễ dàng di chuyển phần đường an lu n va Hình 3.2 Dữ liệu giao thông thu thập tuyến đường Trần Duy Hưng Hình 3.3 Dữ liệu giao thơng thu thập tuyến đường Lê Văn Lương 42 Hình 3.4 Hình 3.5 video thu thập tuyến đường Khuất Duy Tiến Nguyễn Trãi Tuyến đường Khuất Duy Tiến tuyến đường thường xuyên ùn tắc giao thông mật độ giao thông dày đặc số lượng đường Cịn tuyến đường nguyễn trãi với đường rộng phân chia nên mật độ giao thơng có phần an lu n va Hình 3.4 Dữ liệu giao thơng thu thập tuyến đường Khuất Duy Tiến Hình 3.4 Dữ liệu giao thông thu thập tuyến đường Nguyễn Trãi 43 3.2 Thử nghiệm 3.2.1 Cài đặt môi trường thử nghiệm Ứng dụng xác định điểm ùn tắc giao thông tiến hành cài đặt chạy thử nghiệm môi trường Window 10 với yêu cầu cấu hình sau: - Khuyến nghị: hệ điều hành từ Window trở lên - Chip: Intel core i3 3120U trở lên - Ổ cứng trống 6Gb trở lên - Card đồ họa (GPU) 2Gb trở lên Đồng thời cài đặt kèm theo thư viện sau: Bảng 3.1: Các thư viện cần cài đặt cho ứng dụng Tên thư viện Tensorflow object counting API Protobuf 3.0 Python - tk Pillow 1.0 Lxml Tf Slim Jypiter notebook Matplotlib Tensorflow 10 Cython 11 Contexlib2 12 cocoapi an lu STT n va 3.2.2 Mô tả hoạt động ứng dụng Ứng dụng phát điểm ùn tắc giao thông thực chức sau đây: 1) Chức phát phương tiện giao thông 44 2) Chức phân loại đếm số lượng phương tiện từ đưa dự đốn tắc đường Mơ tả hoạt động ứng dụng: theo sơ đồ hình 3.5 video đầu vào phân tách thành khung hình Sau tiến hành tiền xử lý ảnh để làm giảm kích thước ảnh Tiếp theo thực phát phân lớp phương tiện ảnh mơ hình MobileNet với tập liệu huấn luyện Sau thực xong bước phân lớp phương tiện xong tiếp đến thực đếm mật độ phương tiện giao thơng đường đưa dự đốn điểm, nút giao thơng có ùn tắc hay khơng an lu n va Hình 3.5 Kiến trúc tổng quát ứng dụng phát điểm ùn tắc giao thông 3.2.3 Kết thử nghiệm tập liệu thu thập Kết thu thử nghiệm ứng dụng phát ùn tắc giao thông video tuyến đường Nguyễn Trãi thu kết không phát tắc đường điểm giao thông này: 45 Bảng 3.2 Bảng kết thử nghiệm tuyến đường nguyễn trãi Thực tế Kết phát Phần trăm Tổng phương tiện 120 Ơtơ Xe máy 50 70 114 46 68 95% 92% 97% Phân lớp an lu n va Hình 3.6 Kết chạy thử nghiệm video tuyến đường Nguyễn Trãi Trên tuyến đường với số lượng phương tiện đếm ứng dụng 114 không dự đốn ùn tắc tuyến đường có xe mật độ giao thơng thưa thớt Và tỉ lệ xác thực thuật toán lên tới 92% 46 Bảng 3.3 Bảng kết thử nghiệm tuyến đường Khuất Duy Tiến Thực tế Kết phát Phần trăm Tổng phương tiện 124 Ơtơ Xe máy 55 69 50 68 90.9% 98.5% 118 95.1% Phân lớp an lu n va Hình 3.7 Kết chạy thử nghiệm tuyến đường Khuất Duy Tiến Ở hình 3.7 khung hình trích xuất từ video sau xử lý qua ứng dụng tuyến đường Khuất Duy Tiến Thực tế điểm giao thơng hình có tổng 124 phương tiện tiến hành phân lớp với độ xác 91% xe máy 98% ôto Do tuyến đường có đường lúc mật độ lưu thông đường tương đối đông nên số lượng vượt 50 phương tiện hệ thống dự báo tắc đường 3.3 Kết luận chương Ở chương này, luận văn tiến hành thực chạy thử nghiệm tập liệu thu thập tuyến đường có mật độ giao thơng đơng đúc Thành phố Hà Nội Qua đó, thu kết với độ xác mong muốn thực thời 47 gian ngắn so với số mơ hình khác Tuy nhiên, q trình phát điểm ùn tắc giao thơng cịn có số hạn chế là: Thứ nhất, tầm bay UAV từ đến 10 mét việc thu thập video để xử lý cho kết nhận diện phát phương tiện cho độ xác tương đối cao Tuy nhiên, tầm bay UAV 25m trở lên việc xác định phương tiện giao thơng trở nên khó khăn khơng đảm bảo tính xác Thứ hai, chủ yếu video thu thập điều kiện thời tiết bình thường quay vào ban ngày Nhưng với điều kiện thời tiết xấu, cảnh quay vào ban đêm độ xác việc thực mơ hình SSD - MobileNet chưa đạt mong muốn Thứ ba, chưa xác định vận tốc phương tiện giao thông Trong tương lai, cố gắng thực sử dụng phương pháp đếm với xác định vận tốc an lu phương tiện nâng cao dự đốn phát điểm ùn tắc giao thơng n va 48 KẾT LUẬN Luận văn khảo sát tốn phát hiện, phân lớp phương tiện giao thơng từ trước đến nay, từ đưa tốn riêng cho luận văn phát điểm ùn tắc giao thông Dữ liệu luận văn thực thực tế thu thập thiết bị bay không người lái Từ liệu có này, cá nhân tìm hiểu nghiên cứu phương pháp điểm ùn tắc giao thông Trong luận văn, phương pháp phát điểm ùn tắc giao thông trải qua giai đoạn từ tiền xử lý ảnh Tiếp đến phát hiện, phân lớp đếm mật độ phương tiện giao thơng sử dụng mơ hình SSD - MobileNet để từ phát điểm ùn tắc giao thơng tuyến đường khảo sát thành phố Hà Nội với kết đạt độ xác 90% Những cơng việc địi hỏi phải có nghiên cứu chun sâu lĩnh an lu vực xử lý hình ảnh, phân tích, thiết kế xây dựng hệ thống Tuy nhiên hạn chế định mặt thời gian nên luận văn thực số va n tuyến đường thành phố Hà Nội Trong tương lai, mở rộng thêm tuyến đường khác thành phố Hà Nội, xác định tốc độ phương tiện giao thông, thực quay vào ban đêm IR camera tiến hành cải thiện mơ hình SSD - MobileNet để đạt thêm độ xác 49 DANH MỤC CÁC TÀI LIỆU THAM KHẢO Tài liệu tiếng việt [1] Nguyễn Văn Căn (2015), Nghiên cứu phát triển số thuật toán phát phân loại phương tiện từ liệu video giao thông, pp 8–10 [2] Nguyễn Đắc Thành (2017), Luận văn nhận dạng phân loại hoa ảnh màu, pp 19-22 Tài liệu tiếng anh [3] Adlin S T, Kumudha R (2013), “A Survey on Color Image Enhancement Techniques”, IOSR Journal of Enginneering (IOSRJEN), Vol 3, Issue 2, pp 2022 [4] Adu-Gyamfi, Y., Asare, S., Sharma and Titus (2017), “Automated vehicle recognition with deep convolutinal neural networks”, Transfortation research record journay of the transportation research board lu Andrew G.Howard, Menglong Zhu (2011), “Efficient Convolutional Neural an [5] va Networks for Mobile Vision Applications” Assmaa, O., Mokhtar, K and Abdelaziz (2013), “Road traffic density estimation n [6] using microscopic and macroscopic parameters”, Image and vision Computing, Volume 13, No 11, pp 887-894 [7] Dumoulin, Visin (2016), A guide to convolution arithmetic for deep learning [8] Goncalves, W.N., Machado, B.B and Bruno (2012), “A new method for dynamic texture recognition”, arXiv preprint arXiv [9] Huew Enginneering (2015) Introduce to Convolution Neurals Networks – Huew enginneering [10] Joseph Redmon and Ali Farhadi (2016), “Yolo9000: better, faster, stronger”, arXiv: 1612.08242 [11] Lempitsky, V and Zisserman (2010), “Learning to count object in images”, Advances in neural information processing systems [12] Mark Sandler, Andrew Howard, Menglong Zhu (2016), “MobileNetV2: Inverted Residuals and Linear Bottlenecks”, arXiv: 1801.04381 [13] Ozkurt, C and Camci (2009), “Automatic traffic density estimation and vehicle 50 classification for traffic surveillance systems using neural networks”, Mathematical and Computational Applications, Volume 14, No.3, pp 187 – 196 [14] Sagar Deb (2005), “Video data management and information retrieval”, University Southem Queensland, pp 20-24 [15] Samer, Rishi, Rowen (2015), “Image Recognition Using Convolutional Neural Networks”, Cadence Whitepaper, pp 1-12 [16] Uijlings, J.R.R, K.E Van de Sande (2013), “Selective Search for Object Recognition”, International Journal of Computer Vision, Vol 104, No 2, pp 154-171 [17] Ren, S., He, K., Girshick, R and Sun (2017), “Towards real-time object detection with region proposal networks”, IEEE transactions on pattern analysis and machine intelligence, Volume 39, No 6, pp 1137-1149 Các trang Web https://anninhthudo.vn , truy cập ngày 20/03/2020 [19] https://ladweb.nascom.nasa.gov/ truy cập ngày 12/05/2020 [20] https://doisongphapluat.com truy cập ngày 07/05/2020 [21] https://wikipedia.org/wiki/video truy cập ngày 05/05/2020 an lu [18] n va