Đang tải... (xem toàn văn)
Mục đích nghiên cứu của Luận văn này nhằm sử dụng video thu thập được quay từ các tuyến đường ở thành phố Hà Nội từ đó tiến hành thực hiện phát hiện, phân lớp và xác định ùn tắc giao thông. Mời các bạn cùng tham khảo!
HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN TẤN HẢI PHÁT HIỆN ĐIỂM ÙN TẮC GIAO THÔNG BẰNG VIDEO Chun ngành: Hệ thống thơng tin Mã số: 8.48.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2020 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS NGUYỄN VĂN THỦY Phản biện 1: Phản biện 2: Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: Thư viện Trường Học viện Cơng nghệ Bưu Viễn thông MỞ ĐẦU Ùn tắc giao thông vấn nạn chung đô thị giới, kể thị có hệ thống giao thông đại bậc Theo số liệu thống kê [18], ùn tắc giao thông gây thiệt hại to lớn cho quốc qia giới, Ở nước Mỹ năm tổn thất kinh tế ùn tắt giao thông gây 160 tỷ USD tương đương với tỷ làm hàng triệu lít nhiên liệu; Ở Trung Quốc, đất nước đông dân giới tình trạng ùn tắc giao thơng cịn diễn biến phức tạp, điển hình quốc gia vụ việc ùn tắc giao thông diễn vào tháng 8/2010 cao tốc Bắc Kinh – Tây Tạng, hướng phía thủ Bắc Kinh, Trung Quốc với tổng cộng 100km đường cao tốc ùn tắc xãy vòng 21 ngày với số lượng phương tiện tham gia giao thông lên đến 30.000 phương tiện gây thiệt hại to lớn kinh tế quốc gia Còn Việt Nam nay, theo đánh giá từ Viện chiến lược phát triển giao thông vận tải thành phố lớn Hà Nội thành phố Hồ Chí Minh, ùn tắt giao thơng ngày gây thiệt hại nghiêm trọng gây thất kinh tế vấn đề môi trường cho thành phố Hà Nội ước tính năm khoảng 1-1,2 tỷ USD, cịn thành phố Hồ Chí Minh gần 1,3 tỷ USD [18] Vấn đề ùn tắc giao thông vấn đề lớn gây ảnh hưởng lớn đến kinh tế xã hội nước ta Với mục đích đưa công nghệ thông tin ứng dụng vào thực tế sống, cá nhân học viên xin chọn đề tài “Phát điểm ùn tắc giao thông video” để làm luận văn, hy vọng đóng góp tích cực mặt lý luận thực tiễn công tác điều tiết phân luồng giao thông Việt Nam 2 TỔNG QUAN VỀ PHÁT HIỆN ĐIỂM ÙN TẮC GIAO THÔNG 1.1 Ý nghĩa việc phát điểm ùn tắc giao thông Như biết, mạng lưới giao thơng mang lại cho lồi người kết nối kinh tế xã hội vùng lãnh thổ quốc gia quốc gia với xây dựng với mật độ dày đặc đồ sộ giúp cho quốc gia vùng lãnh thổ phát triển kinh tế xã hội Các quốc gia tồn giới nói chung, theo số liệu thống kê năm tổng thiệt hại năm ùn tắc giao thông gây cho kinh tế quốc gia to lớn Còn Việt Nam, thành phố lớn ùn tắc giao thông làm cho đất nước thiệt hại hàng tỷ USD năm theo báo cáo thống kê Viện Chiến Lược phát triển giao thông vận tải [18], hai thành phố lớn TP Hà Nội TP Hồ Chính Minh thiệt hai ước tính năm lên tới 1.2 tỷ USD với vấn đề mơi trường lượng khí thải phương tiện giao thông gây Theo nghiên cứu Trung tâm giao thông đô thị nông thôn cho thấy, Hà Nội năm tốc độ tăng trưởng phương tiện giao thông so với tốc độ tăng trưởng hạ tầng sở có nhiều bất cập làm gia tăng gánh nặng lên sở hạ tầng giao thông Mặt khác, ý thức người tham gia giao thơng cịn tạo áp lực lớn đến giao thông thủ đô làm cho giao thông TP Hà Nội ngày ùn tắc [20] Do việc phát sớm điểm ùn tắc giao thông để lực lượng chức nhanh chóng điều tiết phân luồng giao thông làm giảm ùn tắc, giảm thiệt hại kinh tế ùn tắc giao thông gây nhiệm vụ quan trọng cần thiết Ngày nay, với tiến lĩnh vực công nghệ thơng tin, điểm hình phát triển trí tuệ nhân tạo; phương pháp học máy học sâu áp dụng để giải tốn giao thơng Các tốn giao thơng thường trải qua bước sau phát hiện, phân loại đếm mật độ phương tiện giao thơng từ đưa dự đoán khả phát điểm ùn tắc giao thông dựa video xem xét thời điểm, vùng quan tâm, có loại phương tiện gì, số lượng tương ứng Về ứng dụng, tốn thuộc nhóm ứng dụng liên quan đến lĩnh vực giao thông thông minh Yêu cầu toán với liệu đầu vào video giao thông, yêu cầu đầu phân lớp phương tiện giao thông vùng quan sát (oto, xe gắn máy phương tiện thô sơ khác) dự báo thời điểm có xảy ùn tắc giao thông hay không 3 Như vậy, việc phát sớm điểm ùn tắc giao thông có ý nghĩa quan trọng, từ thơng tin báo điểm ùn tắc giao thông giúp cho lực lượng quản lý giao thông để lực lượng nhanh chóng thực điều tiết phân luồng giao thông làm giảm bớt thiệt hại mà ùn tắc giao thông gây cho kinh tế nước ta 1.2 Các nghiên cứu liên quan Những năm gần đây, với tiến khoa hoc cơng nghệ có nhiều phương pháp để giải tốn giao thơng, chủ yếu chia thành nhóm phương pháp chính: nhóm phương pháp xác định (detection based methods), nhóm phương pháp phát chuyển động (motion based methods) nhóm phương pháp kết hợp (holistic methods) - Nhóm phương pháp phát (detection base methods) thường sử dụng video để xác định mật độ vị trí phương tiện giao thơng sau thực nhiệm vụ đếm số lượng phương tiện Nổi bật lên nhóm có nghiên cứu sau: nhóm nghiên cứu Ozkurt Camci sử dụng phương pháp mạng nơron (neural network methods) để thực toán đếm phân lớp phương tiện giao thông từ video thu [13] Bộ lọc Kalman (Kalman filter) sử dụng để đánh giá mật độ phương tiện giao thơng Ngồi nhóm nghiên cứu cịn sử dụng mạng nơron tích chập faster (Faster RCNNs) để tính tốn đánh giá mật độ giao thơng [17] Tuy nhiên, kết thu cịn chưa mong muốn video có chất lượng thấp Tiến xa nhóm nghiên cứu Adu-Gyamfi et al sử dụng phương pháp học sâu mạng nơron tích chập sâu (DCNNs) để phân lớp đếm số lượng phương tiện giao thông [4] Gần đây, Zhang Wu sử dụng kết hợp hai phương pháp học sâu tối ưu hóa để thực đếm lưu lượng giao thông từ video chất lượng thấp - Nhóm phương pháp phát chuyển động (motion based methods) dùng để đánh giá lưu lượng giao thơng Các nhóm nghiên cứu Asmaa et al sử dụng tham số microscopic trích xuất từ phát chuyển động video [6] Ngoai họ sử dụng tồn chuyển động video để trích xuất tham số macroscopic Tuy nhiên phương pháp phát chuyển động cho kết với độ xác khơng cao - Nhóm phương pháp kết hợp (holistic methods) dùng để đánh giá trạng thái giao thông tồn ảnh ảnh thu Nhóm nghiên cứu Gonclaves et al phân lớp video ùn tắt giao thông sử dụng lọc Gabor (Gabor Filters) [8] Lempitsky vaf Zisserman thực phép chuyển đổi tuyến tính (linear transformation) pixel đăc trưng để đánh giá mật độ giao thông dựa khung ảnh video [11] Tuy nhiên, phương pháp mang lại độ xác thấp với video có góc rộng Để hiểu rõ cách thức mà nhà nghiên cứu sử dụng liên quan đến nhóm nghiên cứu kể Chúng ta điểm qua nghiên cứu bật liên quan đến việc phát xử lý ùn tắc giao thơng điển sau: 1.2.1 Sử dụng video từ camera giám sát giao thơng Nhóm nghiên cứu Ozkurt Camci [13] tiến hành nghiên cứu “Tự động đánh giá mật độ giao thông phân lớp phương tiện sử dụng mạng nơron (NNs)” thực thành phố Istanbul, Thổ Nhĩ Kỳ Công ty quản lý giao thông đô thị thành phố Istanbul, Thổ Nhĩ Kỳ lắp đặt sử dụng 500 camera giám sát giao thông trụ đèn giao thông với độ cao mét để tăng cường giám sát điều tiết giao thơng nhằm trích xuất thơng tin hữu ích từ video thu thập loại phương tiện mật độ phương tiện tham gia giao thơng nhằm phục phụ mục đích điều tiết phân luồng giao thơng Trước đây, có số nghiên cứu áp dụng thành phố Istanbul cách sử dụng cảm biến sóng, radar, hồng ngoại, Tuy nhiên việc thực triển khai phương pháp tương đối phức tạp, phát sinh nhiều chi phí khó khăn khu vực rộng lớn Trong nghiên cứu nhà khoa học thực phân lớp phương tiện tính tốn mật độ phương tiện giao thơng sử dụng mơ hình (Model Background) Trong mơ hình này, nhóm nghiên cứu thực theo bước sau đây: Đầu tiên xác định đối tượng di chuyển (Moving Object Detector - MOD) sử dụng phương pháp tách (background) Tiếp theo là, xác định mật độ phương tiện (Vehicle identifier – VI) thực đánh giá mật độ phương tiện tham gia giao thông sử dụng model mạng nơron Cuối tính tốn mật độ giao thơng (Traffic density calculator - TDC) tính tốn sử dụng từ thơng tin mật độ phương tiện Nhóm nghiên cứu áp dụng phương pháp vào video thực tế thu từ camera giám sát sử dụng thành phố Istanbul, Thổ Nhĩ Kỳ Trong video thu hình ảnh giao thông từ phần đường chia thành làn, chủ yếu nhóm nghiên cứu tiến hành thực phần đường nằm ngồi nơi có phương tiện giao thông di chuyển với mật độ đông để thực áp dụng phương pháp Thuật tốn áp dụng với 1000 khung hình khoảng thời gian 100 giây tức khoảng 10 frame/s Mạng nơron xác định phương tiện giao thông thời tiết bình thường tức trời nắng đẹp với độ xác 94%, phân lớp phương tiện giao thơng đạt độ xác 91% Sau xác định phân lớp phương tiện giao thơng nhóm nghiên cứu tiến hành tính tốn mật độ giao thơng Trong 100 giây, họ đếm có 68 phương tiện giao thông qua phần đường áp dụng phương pháp thu kết với độ xác 90% 1.2.2 Sử dụng phương pháp học sâu Nhóm nghiên cứu Adu-Gyamfi Sampson Kwasi thực nghiên cứu “ Tự động nhận diện phương tiện giao thông với mạng nơron tích chập sâu (DCNNs) ” [16] Trong nghiên cứu này, nhóm phát triển hệ thống camera giám sát để thực hai nhiệm vụ xác định vị trí phân lớp phương tiện Đầu tiên, nhóm nghiên cứu thực xác định vị trí phương tiện thuật tốn tìm kiếm (Selective Search) Sau đó, sử dụng mạng DCNNs để trích xuất đặc trưng phương tiện tiến hành phân lớp Đầu tiên xác định vị trí phương tiện giao thơng phương pháp tìm kiếm (Selective Search) Theo phương pháp truyền thống có hai cách tìm kiếm đối tượng ảnh tìm kiếm phân đoạn (segmentation search) tìm kiếm tồn phần (exhaustive search) Tìm kiếm phân đoạn chia ảnh thành phần sau thực tìm kiếm đối tượng trước thực nhận diện đối tượng Bước tiếp theo, tiến hành phân lớp đối tượng sử dụng mạng DCNNs Nhóm nghiên cứu tiến hành huấn luyện mơ hình DCNNs phân lớp phương tiện theo phương pháp FHWA Theo phương pháp phân lớp này, họ chia thành 13 lớp gồm có phương tiện sau: xe máy (motocycle), xe oto (car), xe khách (passenger car), xe bán tải xe du lịch (pickup and van), xe tải, xe tải đầu kéo (single truck, multi truck) 1.3 Phạm vi nghiên cứu Trong phạm vi luận văn sử dụng video thu thập quay từ tuyến đường thành phố Hà Nội từ tiến hành thực phát hiện, phân lớp xác định ùn tắc giao thông 6 PHƯƠNG PHÁP PHÁT HIỆN ĐIỂM ÙN TẮC GIAO THƠNG Chương trình bày mơ hình mạng nơron tích chập, mạng SSD mơ hình MobileNet áp dụng để giải toán phát hiện, phân lớp giao thơng từ đếm mật độ giao thơng để đưa dự đốn khả ùn tắc giao thông tuyến đường khảo sát 2.1 Mô hình mạng nơron tích chập (CNN) 2.1.1 Khái niệm mạng nơron tích chập Mạng nơron tích chập (CNN – Convolutional Neural Network) mơ hình mạng học sâu phổ biến nay, có khả nhận dạng phân loại hình ảnh với độ xác cao Hiện nay, công ty công nghệ lớn Google, Facebook hay Amazon ứng dụng mạng vào sản phẩm họ chức thông minh nhận diện khuôn mặt người dùng, phát triển xe tự hành phân loại hàng hóa Mạng CNN sử dụng nhiều toán nhận dạng đối tượng ảnh Ý tưởng mạng CNN dựa cải tiến mạng truyền thống Trong mạng truyền thống sử dụng liên kết đầy đủ điểm ảnh, gây hạn chế lớn với phát triển cơng nghệ ngày ảnh có kích thước lớn làm cho liên kết tăng nhanh sau thực tính tốn ngày khó khăn Sự đời mạng CNN với thay đổi lớn kiến trúc có khả xây dựng liên kết sử dụng phần cục ảnh thay tồn ảnh mạng nơron truyền thống [1] 2.1.2 Kiến trúc mạng nơron tích chập Mạng CNN tập hợp lớp tích chập chồng lên sử dụng hàm phi tuyến tuyến tính để kích hoạt trọng số Mỗi lớp thông qua hàm kích hoạt tạo thơng tin hữu ích cho lớp Về bản, mạng nơron tích chập mạng nơron truyền thống có lớp sau đây: - Lớp tích chập (Convolutional layer); - Lớp kích hoạt phi tuyến ReLU (Rectified Linear Unit); - Lớp lấy mẫu (Pooling layer); - Lớp kết nối đầy đủ (Fully connected layer); a) Lớp tích chập (Convolutional layer): Đây thành phần quan trọng mạng CNN, nơi thể tư tưởng xây dựng liên kết cục thay kết nối tồn điểm ảnh Lớp có chức phát đặc trưng Lớp chứa thành phần sau: ma trận đầu vào, lọc tích chập đặc trưng (feature map) b) Lớp kích hoạt phi tuyến (Rectified Linear Unit Layer – ReLU) Vào năm 2010, nhà khoa học Geoffrey E Hinton giới thiệu hàm ReLU (Rectified Linear Units) hàm kích hoạt phổ biến cho mạng CNN Hàm ReLU phổ biến tính tốn, cài đặt đơn giản cho kết tốt Hàm thường đặt sau lớp tích chập, hàm ReLU gán giá trị âm thành nguyên giá trị đầu vào giá trị có giá trị lớn f ( x ) max(0, x ) (2.1) c) Lớp lấy mẫu (Pooling Layer): Sau thực lớp tích chập lớp kích hoạt phi tuyến Tiếp đến mạng CNN thực thành phần tính tốn xác lấy mẫu (Pooling) với mục đích làm giảm kích thước ảnh đầu thông tin quan trọng ảnh đầu vào Tư tưởng lớp lấy mẫu giảm số chiều thông tin đầu vào, hạn chế tràn nhớ giảm thời gian huấn luyện Do vậy, lớp lấy mẫu hoạt động phương pháp sử dụng cửa sổ trượt với lọc 2x2 để quét toàn vùng ảnh tương tự lớp tích chập thực lấy mẫu theo giá trị lớn trung bình thay phép tích chập tức chọn lưu lại giá trị đại diện cho tồn thơng tin vùng ảnh Như vậy, với ảnh đầu vào đưa qua lấy mẫu thu ảnh đầu tương ứng, có kích thước giảm xuống đáng kể giữ đặc trưng cần thiết cho trình tính tốn sau d) Lớp kết nối đầy đủ (fully connected layer): Lớp cuối mơ hình CNN lớp kết nối đầy đủ Lớp kết nối đầy đủ thiết kế hoàn toàn tương tự mạng nơron truyền thống, tức tất điểm ảnh kết nối đầy đủ với node lớp tiếp theo; lớp có chức chuyển ma trận đặc trưng lớp lấy mẫu thành vector chứa sắc xuất đối tượng cần phải dự dốn Ví dụ: nhận diện phương tiện giao thơng chuyển thành vector có chiều thể xác suất lớp phương tiện 2.2 Mơ hình mạng SSD (Single Shot Multibox Detector) 2.2.1 Ưu điểm mơ hình SSD Ngày nay, với phát triển vượt bậc cơng nghệ thơng tin, mơ hình mạng CNNs ngày trở nên phổ biến để giải tốn thị giác máy tính, với đời mơ hình RCNNs (Region Convolutional Neural Network) phát triển dựa mạng CNNs nhằm giải toán nhận diện phân lớp đối tượng Mơ hình RCNNs hoạt động theo phương pháp sau: đầu vào (input) ảnh, đầu (output) tập ô vuông (bounding box) gán nhãn phân lớp đối tượng Sau mơ hình RCNNs, vài mơ hình mạng khác phát triển như: Fast RCNN, Faster RCNN nhằm cải thiện thời gian huấn luyện độ xác mơ hình Tuy nhiên mơ hình kể cịn tồn vài nhược điểm lớn như: - Việc huấn luyện mơ hình q cồng kềnh tốn nhiều thời gian - Quá trình huấn luyện xảy nhiều pha - Mơ hình mạng làm việc với tốc độ xử lý thấp, không đáp ứng việc xác định đối tượng thời gian thực Những năm gần đây, kiến trúc mạng phát triển để giải nhược điểm mà mơ hình trước gặp phải Nổi bật lên mơ hình mạng SSD (Single Shot Detector) Trong mơ hình việc định vị phân loại đối tượng thực pha nhất, có khả nhận biết phân loại đối tượng 2.2.2 Kiến trúc mơ hình SSD Mơ hình SSD thực sau: - Trích xuất Feature Map (dựa vào mạng sở VGG16) để tăng hiệu việc phát thường sử dụng kết hợp sử dụng với ResNet, InceptionNet MobileNet - Áp dụng lọc tích chập để phát đối tượng 9 2.3 Mơ hình MobileNet 2.3.1 Giới thiệu mơ hình MobileNet [5] Mơ hình MobileNet mơ hình học sâu nhóm tác giả đến từ Google tạo Mơ hình MobileNet thiết kế với mục tiêu xây dựng mô hình mạnh mẽ nhỏ gọn, thực ứng dụng thiết bị di động điện thoại, máy tính bảng thiết bị nhúng 2.3.2 Kiến trúc mơ hình MobileNet Mơ hình MobileNet mơ hình sử dụng cách tích tích chập đặc biệt có tên tích chập sâu phân tách (Depwise Separable Convolution) để giảm kích thước mơ hình giảm độ phức tạp tính tốn Do đó, mơ hình nhẹ hoạt động ổn định ứng dụng di động thiết bị nhúng Nhờ có cách tính tích chập sâu phân tách (Depthwise Separable Convolution) nên mơ hình MobileNet có nhiều ưu điểm là: - Mơ hình có tham số mơ hình nhỏ gọn chạy nhanh - Số lượng phép tính mơ hình giảm độ phức tạp Kiến trúc mơ hình MobileNet thực đến 30 lớp mơ hình tiến hành theo lớp chủ yếu sau: lớp tích chập (Convolution Layer), lớp tích chập sâu (Depthwise layer), lớp tích chập điểm (Pointwise layer), lớp softmax dùng để phân lớp phương tiện giao thơng Và quan trọng mơ hình kiến trúc MobileNet cách tính tích chập sâu phân tách (Depthwise Separable Convolution) Tích chập sâu phân tách tích chập sâu theo sau tích chập điểm Chúng ta làm rõ khái niệm về: tích chập sâu, tích chập điểm: tích chập sâu (Depthwise convolution) lọc áp dụng vào kênh đầu vào Cịn Tích chập điểm (Pointwise convolution) sử dụng tích chập 1x1 để kết hợp đầu tích chập sâu Như vậy, với M số lượng kênh đầu vào, N số lượng kênh đầu ra, Dk kernel size, Df kích thước feature map Khi tính tốn tích chập điểm tích chập sâu dựa vào cơng thức đây: Tích chập sâu tính theo cơng thức sau: D K D K M D f D f ( 2 ) 10 Cơng thức tính tích chập điểm là: M N D f D f ( 3) => Từ có cơng thức tính tổng tích chập sâu phân tách sau: D k D k M D f D f M N D f D f ( ) Nếu khơng sử dụng tích chập sâu phân tách mà sử dụng tích chập tiêu chuẩn (standard convolution) tính sau: D k D k M N D f D f ( 5) Khi thực tính tốn tích chập phân tách giảm nhiều so với cách tính tích chập tiêu chuẩn: D k D k M D f D f M N D f D f D k D k M N D f D f N ( ) Dk Ví dụ với kernel sike Dk = cách tích chập phân tách giảm tới lần phép tính nhân Chính vậy, giảm số lượng tính tốn nhiều ưu điểm lớn mơ hình MobileNet 2.4 Phương pháp đếm phương tiện giao thông Công nghệ video xuất lần phát triển cho hệ thống truyền hình học, sau thay hệ thống truyền hình ống tia âm cực (CRT) Đến năm 1951, máy ghi băng video ghi lại hình ảnh trực tiếp từ máy quay truyền hình cách chuyển đổi xung điện máy ảnh lưu thông tin vào băng video từ tính Sau năm 1971, hãng cơng nghệ Sony bắt đầu đưa thị trường máy ghi âm băng ghi hình video Việc sử dụng kỹ thuật số video tạo video kỹ thuật số, cho phép chất lượng video cao cuối cùng, chi phí thấp nhều so với cơng nghệ analog trước Cho đến ngày nay, video kỹ thuât số ngày có độ phân giải cao độ sâu màu ngày cải thiện [21] 2.4.1 Dữ liệu video kỹ thuật số a) Định nghĩa video kỹ thuật số: 11 Video kỹ thuật số video gồm dãy khung hình (frame) liên tiếp, khung hình tương ứng với hình ảnh Khi video thực hiện, hình ảnh chạy thời gian định, thông thường tốc độ đặt khoảng 24,25 30 khung hình giây [2] b) Đặc trưng video số Đặc trưng video bao gồm: màu, kết cấu, hình dạng chuyển động Đặc trưng video kỹ thuật số bao gồm: màu sắc, độ phân giải, cấu trúc, hình dạng - Màu sắc (color): màu sắc đặc trưng ảnh Biểu đồ màu không phụ thuộc vào việc quay ảnh, dịch chuyển ảnh, hướng ảnh mà phụ thuộc vào hệ màu Trong video kỹ thuật số chủ yếu sử dụng hệ màu RGB (Red – Blue - Green), màu sắc chuẩn màu tạo từ màu đỏ - xanh da trời – xanh Máy ảnh loại hình sử dụng chế hịa trộn màu RGB để ghi nhận tái tạo màu sắc Màu RGB thực vật có khả phát ánh sáng - Độ phân giải video số lượng điểm ảnh hiển thị thiết bị kỹ thuật số thường thể dạng chiều dài x chiều rộng (pixel) Độ phân giải video chia thành loại sau: dạng chuẩn SD, HD, FHD, …Độ phân giải SD (Standard Denfinition) có nghĩa hình ảnh có độ nét chuẩn Chuẩn SD thường sử dụng độ phân giải 640x360, 640x480, độ phân giải thấp nên video SD thường có dung lượng nhỏ Video HD thường có độ phân giải 1280x720 với độ phân giải mật độ điểm ảnh lớn nhiều nên video có độ sắc nét chi tiết cao - Cấu trúc (Texture) video biểu diễn hai dạng phổ biến là: ma trận đồng thời tamura Ma trận đồng thời mô tả hướng khoảng cách điểm ảnh, ta chọn thống kê có ý nghĩa Biểu diễn Tamura bao gồm thuộc tính đo tính thơ, độ tương phản, hướng, tính trơn, tính cân đối độ thơ ráp Các đặc tính quan trọng viêc tìm hiểu nội dung ảnh biểu diễn trực quan [2] - Hình dạng (Shape) đặc trưng hình dạng phân chia thành đặc trưng toàn cục đặc trưng cục Đặc trưng toàn cục đặc trưng thu từ tồn hình dáng đối tượng ảnh (ví dụ: chu vi, tính trịn, hướng trục chính) Đặc trưng cục đặc trưng thu từ việc thao tác với phần ảnh, không phụ thuộc vào toàn ảnh [2] 12 2.4.2 Phát phân loại phương tiện giao thơng Bài tốn phát đối tượng chuyển động nhà khoa học giới nghiên cứu từ sớm Cho tới nay, có nhiều thuật tốn phát chuyển động cơng bố Một số thuật tốn cơng bố năm qua chứng minh có độ xác tương đối cao, thời gian tính tốn thấp Bài toán phân loại phát đối tượng thực theo cấu trúc sau: a) Trích chọn khung hình (frame): Đặc trưng video cấu thành kết hợp khung hình liên tiếp Do vậy, từ liệu video (trực tiếp từ máy quay camera IP từ file video), để lấy ảnh vào phân tích, hệ thống phải tách thành khung hình (chứa ảnh đối tượng) để tiến hành trừ nền, phát đối tượng,… b) Tiền xử lý ảnh Trong trình thu thập video sử dụng thiết bị camera, điện thoại, UAV, Các thiết bị độ phân giải tương đối tốt nhiều nguyên nhân điều kiện sáng, thời tiết không tốt gây cho video thu thập bị chất lượng Vì vậy, để tăng hiệu cho trình phát phân loại phương tiện giao thông cần phải tiền xử lý ảnh để đạt hiệu cao Trong bước này, thực khôi phục tăng cường ảnh Đầu tiên thực khử sương mù: Trong điều kiện thời tiết không tốt nắng, mưa, sương mù,…video sau thu thập bị nhiễu vấn lớn tốn giao thơng gây nhiễu cho ảnh sương mù, việc khử sương mù công việc đặt lên hàng đầu Một phương pháp khử sương mù đơn giản dị tìm điểm tối, phương pháp hiệu để loại bỏ sương mù ảnh có sương mù Điểm tối điểm ảnh ảnh không bị ảnh hưởng sương mù với giá trị tất kênh màu RGB gần với giá trị khơng Với phương pháp này, thuật tốn đề xuất ước lượng cách có hiệu độ dày sương mù, lọc tìm lại cảnh khơng bị ảnh hưởng sương mù, thuật tốn chí cịn làm việc hiệu với khung cảnh rộng Ngoài ra, chất lượng ảnh sau khử sương mù tốt 13 Tiếp theo thực phương pháp tăng cường ảnh Sau khử sương mù, vấn đề cần thực nâng cao chất lượng ảnh Trong phạm vi luận văn, sử dụng phương pháp tăng cường ảnh dựa cân histogram Tăng cường ảnh phương pháp làm bật đặc trưng ảnh làm gia tăng thêm thơng tin có ảnh Phương pháp cân Histogram điều hỉnh histogram trạng thái cân bằng, giá trị điểm ảnh không bị co cụm khoảng nhỏ mà “kéo dãn” tức tìm phép biến đổi phi tuyến g = T(f) áp dụng cho pixel ảnh f(x,y), g(x,y) phân bố [2] Phương pháp cân histogram thực qua bước sau: Bước 1: Thống kê số lượng pixel i hình ảnh p x ( i ) ni 0i L (2.7) Trong L số mức xám hình ảnh (thường 256) Bước 2: Tính hàm phân phối tích lũy cdf(i) cdf x i j0 ( 8) px ( j) Bước 3: Tính lại mức xám ảnh y sau cân histogram từ ảnh x y ( i ) round ( cdf ( i ) cdf m in M * N 1 * ( L 1)) ( ) Trong M*N số điểm ảnh ảnh c) Phát phân loại phương tiện giao thông Phát đối tượng nói chung phương tiện giao thơng nói riêng thách thức thuật tốn thị giác máy tính, liên quan nhiều đến kết hợp phân loại đối tượng định vị đối tượng khung hình Với tiến vượt bậc ngành học sâu, với phần lớn nghiên cứu tập trung vào việc thiết kế mạng phát đối tượng ngày phức tạp để cải thiện độ xác SSD, Faster RCNN, CNNs, YOLO Hiệu suất phát đối tượng ImageNet PASCAL VOC cải thiện đáng kể với phát triển giải thuật xư lý ảnh dựa mạng nơron 14 tích chập (CNNs) Tuy giải thuật đòi hỏi lượng tài nguyên hệ thống lớn thời gian xử lý cịn chưa nhanh Từ u cầu luận văn cá nhân áp dụng cấu trúc mơ hình MobileNet để thực phát phân lớp phương tiện giao thơng mơ hình thiết kế nhỏ gọn, thực ứng dụng thiết bị di động điện thoại, máy tính bảng thiết bị nhúng thực tính tốn thời gian thực (realtime) nhằm cải tiến tốc độ độ xác Các thử nghiệm tác giả M Sandler [15] chứng minh kết kết hợp mạng SSD – MobileNet cách thay tích chập phân tách cho tích chập tiêu chuẩn mạng SSD mang lại hiệu cao 20 lần dụng lượng nhỏ 10 lần so với phương pháp sử dụng YOLO tập liệu COCO 15 2.4.3 Đếm mật độ phương tiện giao thông khu vực giao thông Sau thực phát phân lớp phương tiện giao thông tiến hành đếm mật độ phương tiện giao thông Để đếm mật độ giao thông lưu thông đường tiến hành theo bước sau: Bước đầu tiên, tạo đường thẳng kẻ ngang (Roi line) qua hai điểm đường nơi mà cần phải đếm phương tiên giao thông, đường kẻ phải đáp ứng yêu cầu nằm nơi có lượng phương tiện giao thông qua lại nhiều đường Bước bước đếm số lượng phương tiện giao thông tiến hành sau phương tiện qua đường kẻ ngang số lượng phương tiện đếm tăng lên đơn vị 2.5 Phát điểm ùn tắc giao thông Phát điểm, nút giao thông có nguy ùn tắc cơng việc có ý nghĩa vô quan trọng Trong luận văn sử dụng phương pháp đếm mật độ giao thông nút, điểm giao thông theo phương pháp sau đây: + Nếu số lượng phương tiện đếm điểm nút giao thơng có giá trị > 50 đưa dự đốn điểm giao thơng có nguy xãy tắc đường áp dụng đường, nhận thấy với ngưỡng phương tiện mật độ phương tiện đông dày đặc + Nếu số lượng phương tiện điểm, nút giao thơng < 50, đưa dư đốn khơng xãy tượng tắc đường 16 THỬ NGHIỆM PHÁT HIỆN ĐIỂM ÙN TẮC GIAO THÔNG DỰA TRÊN TẬP DỮ LIỆU 3.1 Tập liệu Tập liệu video thu thập quay phương tiện không người lái UAV thành phố Hà Nội tuyến đường Trần Duy Hưng, Lê Văn Lương, Khuất Duy Tiến Nguyễn Trãi - Dữ liệu thu thập vào ngày 28/03/2020 - Vị trí khơng gian: tuyến đường khảo sát Lê Văn Lương, Nguyễn Trãi, Khuất Duy Tiến Trần Duy Hưng - Thời gian: ban ngày, ban đêm - Độ cao: 10m trở lên - Dạng video: video (.mp4) 3.2 Thử nghiệm 3.2.1 Cài đặt môi trường thử nghiệm Ứng dụng xác định điểm ùn tắc giao thông tiến hành cài đặt chạy thử nghiệm môi trường Window 10 với yêu cầu cấu hình sau: - Khuyến nghị: hệ điều hành từ Window trở lên - Chip: Intel core i3 3120U trở lên - Ổ cứng trống 6Gb trở lên - Card đồ họa (GPU) 2Gb trở lên 3.2.2 Mô tả cách hoạt động ứng dụng Ứng dụng phát điểm ùn tắc giao thông thực chức sau đây: 1) Chức phát phương tiện giao thông 2) Chức phân loại đếm số lượng phương tiện từ đưa dự đốn tắc đường 17 Video đầu vào phân tách thành khung hình Sau tiến hành tiền xử lý ảnh để làm giảm kích thước ảnh Tiếp theo thực phát phân lớp phương tiện ảnh mô hình MobileNet với tập liệu huấn luyện Sau thực xong bước phân lớp phương tiện xong tiếp đến thực đếm mật độ phương tiện giao thông đường đưa dự đốn điểm, nút giao thơng có ùn tắc hay không 3.2.3 Kết thử nghiệm - Kết thu thử nghiệm ứng dụng phát ùn tắc giao thông video tuyến đường Nguyễn Trãi thu kết phát phân lớp phương tiện giao thơng với độ xác 90% không phát tắc đường điểm giao thông - Còn tuyến đường Khuất Duy Tiến Thực tế điểm giao thơng thử nghiệm có tổng 124 phương tiện tham gia giao thông tiến hành phân lớp với độ xác 91% xe máy 98% ơto Do tuyến đường có đường lúc mật độ lưu thông đường tương đối đông nên số lượng vượt 50 phương tiện hệ thống dự báo tắc đường 18 KẾT LUẬN Luận văn khảo sát tốn phát hiện, phân lớp phương tiện giao thơng từ trước đến nay, từ đưa tốn riêng cho luận văn phát điểm ùn tắc giao thông Dữ liệu luận văn thực thực tế thu thập thiết bị bay không người lái Từ liệu có này, cá nhân tìm hiểu nghiên cứu phương pháp điểm ùn tắc giao thông Trong luận văn, phương pháp phát điểm ùn tắc giao thông trải qua giai đoạn từ tiền xử lý ảnh Tiếp đến phát hiện, phân lớp đếm mật độ phương tiện giao thơng sử dụng mơ hình SSD - MobileNet để từ phát điểm ùn tắc giao thơng tuyến đường khảo sát thành phố Hà Nội với kết đạt độ xác 90% Những cơng việc địi hỏi phải có nghiên cứu chun sâu lĩnh vực xử lý hình ảnh, phân tích, thiết kế xây dựng hệ thống Tuy nhiên hạn chế định mặt thời gian nên luận văn thực số tuyến đường thành phố Hà Nội Trong tương lai, mở rộng thêm tuyến đường khác thành phố Hà Nội, xác định tốc độ phương tiện giao thông, thực quay vào ban đêm IR camera tiến hành cải thiện mơ hình SSD - MobileNet để đạt thêm độ xác ... vị 2.5 Phát điểm ùn tắc giao thông Phát điểm, nút giao thơng có nguy ùn tắc cơng việc có ý nghĩa vơ quan trọng Trong luận văn sử dụng phương pháp đếm mật độ giao thông nút, điểm giao thông theo... điểm có xảy ùn tắc giao thông hay không 3 Như vậy, việc phát sớm điểm ùn tắc giao thơng có ý nghĩa quan trọng, từ thông tin báo điểm ùn tắc giao thông giúp cho lực lượng quản lý giao thông để lực... luận văn phát điểm ùn tắc giao thông Dữ liệu luận văn thực thực tế thu thập thiết bị bay không người lái Từ liệu có này, cá nhân tìm hiểu nghiên cứu phương pháp điểm ùn tắc giao thông Trong luận