Traffic analysis in transportation system using image processing

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN CƠNG VINH PHÂN TÍCH TÌNH TRẠNG GIAO THƠNG SỬ DỤNG XỬ LÝ ẢNH CHUYÊN NGÀNH: KỸ THUẬT VIỄN THÔNG Mã số: 60 52 02 08 LUẬN VĂN THẠC SĨ TP Hồ Chí Minh, Tháng 01/2019 HD: PGS.TS Đỗ Hồng Tuấn PHÂN TÍCH TÌNH TRẠNG GIAO THƠNG SỬ DỤNG XỬ LÝ ẢNH CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG –HCM Cán hướng dẫn khoa học : PSG.TS Đỗ Hồng Tuấn Cán chấm nhận xét : Cán chấm nhận xét : Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG TP.HCM Ngày 11 tháng 01 năm 2019 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm : Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG HV: Trần Công Vinh TRƯỞNG KHOA Page ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ HỌ VÀ TÊN : Trần Công Vinh Ngày, tháng, năm sinh: 24/11/1982 NGÀNH : Kỹ Thuật Viễn Thông MSHV : 1570415 Nơi sinh: Lâm Đồng Mã số: 60 52 02 08 Tên đề tài luận văn (Tiếng Việt Tiếng Anh) : Tên Tiếng Việt : Phân tích tình trạng giao thông sử dụng xử lý ảnh Tên Tiếng Anh : Traffic analysis in transportation system using image processing Nhiệm vụ (yêu cầu nội dung số liệu ban đầu) Sử dụng kỹ thuật xử lý ảnh tính tốn cần thiết thực phân tích tình trạng giao thơng từ nguồn liệu ban đầu file video/ file hình ảnh ghi nhận camera đặt trục lộ Các kết dự kiến Phân tích tình trạng giao thơng sử dụng hình ảnh thực tế ghi nhận trục lộ phân loại thành ba nhóm : Thơng thống (Free); Đơng xe (Crowded); Kẹt xe (Congested) dựa theo mức ngưỡng liệu đề xuất nhằm đưa cảnh báo tình trạng giao thơng Ngày giao nhiệm vụ luận văn : 20/7/2018 Ngày hoàn thành nhiệm vụ : 20/12/2018 Họ tên người hướng dẫn : PGS TS Đỗ Hồng Tuấn 100% , ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN (Ký ghi rõ họ tên) CHỦ NHIỆM BỘ MÔN (Ký ghi rõ họ tên) TRƯỞNG KHOA (Ký ghi rõ họ tên) HV: Trần Cơng Vinh Page PHÂN TÍCH TÌNH TRẠNG GIAO THÔNG SỬ DỤNG XỬ LÝ ẢNH HD: PGS.TS Đỗ Hồng Tuấn LỜI CẢM ƠN Tôi xin bày tỏ lòng biết ơn sâu sắc đến Thầy PGS Tiến sĩ Đỗ Hồng Tuấn, Thầy có định hướng giúp tơi thành cơng cơng việc nghiên cứu Thầy động viên bảo cho vượt qua khó khăn cho tơi nhiều kiến thức q báu nghiên cứu khoa học Nhờ bảo Thầy, tơi hồn thành đề tài luận văn Tôi xin chân thành cảm ơn thầy cô Khoa, Trường Đại học Bách khoa TPHCM tận tình giảng dạy, truyền đạt kiến thức kinh nghiệm vô quý báu năm học vừa qua Sau lòng biết ơn sâu sắc đến bố mẹ, anh, chị, bạn bè động viên, giúp đỡ, ủng hộ suốt trình tơi tham gia học tập Trường HV: Trần Cơng Vinh Page PHÂN TÍCH TÌNH TRẠNG GIAO THƠNG SỬ DỤNG XỬ LÝ ẢNH HD: PGS.TS Đỗ Hồng Tuấn ABSTRACT Currently, the problem of traffic congestion is becoming a national focus issue Serious traffic congestions affect people’s normal travel, restrict the economical development of society, so this is a problem that need to be solved as soon as possible With the wide use of traffic monitoring system, using video and image processing technologies to detect traffic congestion is attracting more and more interests In this thesis, a real-time algorithm for analysing traffic conditions based on texture analysis is proposed The algorithm is based on image/video data obtained from traffic surveillance systems to analyse the traffic conditions in different scenarios It is considered to successfully provide quick and reliable traffic information to the traffic administrative departments In this thesis, by applying digital image description techniques, parameters of the Gray Level Co-occurrence Matrix (GLCM), algorithms of analyzing image texture, the nanalysis of traffic conditions uses actual images recored on roads has been completed The traffic status is classified into three main groups : “Free”, “Crowded”, and “Congested” based on the input threshold level The above analysis results can be used to give warnings about traffic status The proposed algorithm in the thesis can be integrated in the future traffic video surveillance system, providing reliable and fast traffice information for traffic management units HV: Trần Cơng Vinh Page PHÂN TÍCH TÌNH TRẠNG GIAO THÔNG SỬ DỤNG XỬ LÝ ẢNH HD: PGS.TS Đỗ Hồng Tuấn TÓM TẮT Hiện nay, vấn đề tắc nghẽn giao thông trở thành vấn đề trọng tâm quốc gia Sự tắc nghẽn giao thông nghiêm trọng ảnh hưởng đến trình di chuyển nhiều người, hạn chế phát triển kinh tế xã hội, vấn đề cần giải sớm tốt Với việc sử dụng rộng rãi hệ thống giám sát giao thông, sử dụng công nghệ xử lý hình ảnh video để phát tình trạng tắc nghẽn giao thơng thu hút nhiều nhiều quan tâm Trong luận văn này, thuật toán phân tích tình trạng giao thơng theo thời gian thực dựa phân tích kết cấu hình ảnh đề xuất Giải thuật dựa vào nguồn liệu hình ảnh/ video đầu vào trích xuất từ hệ thống giám sát giao thơng thực phân tích mật độ phương tiện giao thông ngữ cảnh khác Thuật tốn cung cấp thơng tin giao thơng cách nhanh chóng đáng tin cậy cho đơn vị quản lý hành giao thông Trong luận văn, cách áp dụng kỹ thuật trình xử lý ảnh, tham số ma trận Gray level coocurence (GLCM), thuật toán phân tích kết cấu (texture) hình ảnh, việc phân tích tình trạng giao thơng sử dụng hình ảnh thực tế ghi nhận trục lộ hoàn tất Tình trạng giao thơng phân loại thành ba nhóm chính: Thơng thống (Free), Đơng xe (Crowded), Kẹt xe (Congested) dựa theo mức ngưỡng liệu video đầu vào Các kết phân tích dùng để đưa cảnh báo tình trạng giao thơng Giải thuật đề xuất luận văn tích hợp hệ thống giám sát giao thơng tương lai cung cấp thông tin giao thông đáng tin cậy nhanh chóng cho đơn vị quản lý giao thông HV: Trần Công Vinh Page HD: PGS.TS Đỗ Hồng Tuấn PHÂN TÍCH TÌNH TRẠNG GIAO THƠNG SỬ DỤNG XỬ LÝ ẢNH LỜI CAM ĐOAN Tơi xin cam đoan kết đề tài: “Phân tích tình trạng giao thơng sử dụng xử lý ảnh” cơng trình nghiên cứu cá nhân tơi chưa cơng bố cơng trình khoa học khác thời điểm ……… , Ngày tháng 12 năm 2018 Tác giả luận văn Trần Công Vinh HV: Trần Công Vinh Page PHÂN TÍCH TÌNH TRẠNG GIAO THƠNG SỬ DỤNG XỬ LÝ ẢNH HD: PGS.TS Đỗ Hồng Tuấn DANH MỤC HÌNH ẢNH, ĐỒ THỊ Hình 2.1 Các bước trình xử lý hình ảnh Hình 2.2 Các thành phần q trình xử lý hình ảnh Hình 3.1 Mơ hình phân tích hình ảnh Hình 3.2 Lược đồ mức xám hình ảnh xuất từ phần mềm Matlab Hình 3.3 Lược đồ mức xám hình ảnh Hình 3.4 Giải thích lược đồ mức xám Hình 3.5 Lưu đồ so sánh hình ảnh sử dụng biểu đồ giá trị đặc điểm kết cấu Hình 3.6 Ma trận GLCM (5 x 5) Hình 3.7 Ma trận GLCM 4x4 góc θ tương ứng Hình 3.8 Cách tính ma trận GLCM từ ma trận biểu diễn hình ảnh Hình 4.1 Lưu đồ giải thuật PCM Hình 5.1 Lưu đồ phân tích tình trạng giao thơng Hình 5.2 Giao thông trạng thái “Free” ảnh màu (Frame đầu tiên) Hình 5.3 Giao thơng trạng thái “Free” ảnh thang xám (Frame đầu tiên) Hình 5.4 Biểu đồ ma trận GLCM với d=1 góc theta=00 (Frame đầu tiên) Hình 5.5 Giao thông trạng thái “Free” ảnh màu (Frame cuối) Hình 5.6 Giao thơng trạng thái “Free” ảnh thang xám (Frame cuối) Hình 5.7 Biểu đồ ma trận GLCM với d=1 góc theta=00 (Frame cuối) Hình 5.8 Giao thông trạng thái “Crowded” ảnh màu (Frame đầu tiên) Hình 5.9 Giao thơng trạng thái “Crowded” ảnh thang xám (gray scale image) (Frame đầu tiên) Hình 5.10 Biểu đồ ma trận GLCM với d=1 góc theta=00 (Frame đầu tiên) Hình 5.11 Giao thơng trạng thái “Crowded” ảnh màu (Frame cuối) Hình 5.12 Giao thơng trạng thái “Crowded” ảnh thang xám (Frame cuối) Hình 5.13 Biểu đồ ma trận GLCM với d=1 góc theta=00 (Frame cuối) Hình 5.14 Biểu đồ mức xám (gray level) Frame Hình 5.15 Biểu đồ mức xám (gray level) Frame cuối Hình 5.16 Giao thơng trạng thái “Congested” ảnh màu (Frame đầu tiên) Hình 5.17 Giao thông trạng thái “Congested” ảnh thang xám (Frame đầu tiên) HV: Trần Cơng Vinh Page PHÂN TÍCH TÌNH TRẠNG GIAO THƠNG SỬ DỤNG XỬ LÝ ẢNH HD: PGS.TS Đỗ Hồng Tuấn Hình 5.18 Biểu đồ ma trận GLCM với d=1 góc theta=00 (Frame đầu tiên) Hình 5.19 Giao thông trạng thái “Congested” ảnh màu (Frame cuối) Hình 5.20 Giao thơng trạng thái “Congested” ảnh thang xám (Frame cuối) Hình 5.21 Biểu đồ ma trận GLCM với d=1 góc theta=00 (Frame cuối) Hình 5.22 Biểu đồ mức xám (gray level) Frame Hình 5.23 Biểu đồ mức xám (gray level) Frame cuối Hình 5.24 Biểu đồ minh hoạ giá trị contrast average theo bảng tổng hợp Hình 5.25 Biểu đồ xác định giá trị ngưỡng T1 Hình 5.26 Biểu đồ minh hoạ giá trị gray level theo bảng tổng hợp Hình 5.27 Biểu đồ xác định giá trị ngưỡng T2 HV: Trần Cơng Vinh Page PHÂN TÍCH TÌNH TRẠNG GIAO THÔNG SỬ DỤNG XỬ LÝ ẢNH HD: PGS.TS Đỗ Hồng Tuấn DANH MỤC BẢNG BIỂU Bảng 3.1 Các bước thực tính tham số texture so sánh hình ảnh Bảng 5.1 Giải thuật mơ đề tài Bảng 5.2 Tổng hợp giá trị contrast theo mẫu file video Bảng 5.3 Tổng hợp giá trị gray level theo mẫu file video HV: Trần Công Vinh Page 10 PHÂN TÍCH TÌNH TRẠNG GIAO THƠNG SỬ DỤNG XỬ LÝ ẢNH HD: PGS.TS Đỗ Hồng Tuấn Hình 5.19 Giao thông trạng thái “Congested” ảnh màu (Frame cuối) - Bước 02: Chuyển Frame sang dạng ảnh thang xám (gray scale image) Hình 5.20 Giao thơng trạng thái “Congested” ảnh thang xám (gray scale image) (Frame cuối) - Bước 03: Tính ma trận GLCM với góc theta=00 HV: Trần Cơng Vinh Page 60 PHÂN TÍCH TÌNH TRẠNG GIAO THÔNG SỬ DỤNG XỬ LÝ ẢNH HD: PGS.TS Đỗ Hồng Tuấn Hình 5.21 Biểu đồ ma trận GLCM với d=1 góc theta=00 (Frame cuối) - Bước 04: Chạy giải thuật graycoprops.m tổng hợp tham số cần phân tích Contrast: 507.8367 Correlation: 0.9847 Energy: 0.0022 Homogeneity: 0.3792 c Đánh giá tình trạng giao thơng: - Dựa vào giá trị contrast Frame Frame cuối đoạn video phân tích, tính giá trị contrast trung bình: avg_contrast = (454.8252 + 507.8367) /2 = 481.33095>T1 = 365.0453 HV: Trần Công Vinh Page 61 PHÂN TÍCH TÌNH TRẠNG GIAO THƠNG SỬ DỤNG XỬ LÝ ẢNH HD: PGS.TS Đỗ Hồng Tuấn - Như kết luận giao thơng trạng thái “Crowded” “Congested” - Bước 4.1 Vẽ biểu đồ mức xám Frame chuyển sang dạng ảnh thang xám (gray scale image) Hình 5.22 Biểu đồ mức xám (gray level) Frame Và giá trị gray level Frame = 104.0605; - Bước 4.2 Vẽ biểu đồ mức xám Frame cuối chuyển sang dạng ảnh thang xám (gray scale image) HV: Trần Cơng Vinh Page 62 PHÂN TÍCH TÌNH TRẠNG GIAO THƠNG SỬ DỤNG XỬ LÝ ẢNH HD: PGS.TS Đỗ Hồng Tuấn Hình 5.23 Biểu đồ mức xám (gray level) Frame cuối Và giá trị gray level Frame cuối = 101.9188; - Bước 4.3 Từ giá trị gray level Frame Frame cuối bước trên, thực tính khoảng chênh lệch (giá trị tuyệt đối) hai giá trị gray level ký hiệu Delta: Delta = |104.0605- 101.9188| = 2.1417