Tự động nhận dạng và định vị hư hỏng mặt đường dựa trên camera hành trình tích hợp GPS

Bài báo này đưa ra một giải pháp mới và hiệu quả để giải quyết bài toán phát hiện và định vị ổ gà tự động qua camera hành trình gắn trên phương tiện giao thông. So với các phương pháp hiện có, những ưu điểm đáng kể của tiếp cận này là: (1) chi phí thực hiện thấp, (2) qui trình thực hiện tương đối đơn giản, và (3) độ chính xác cao. Chúng tôi đưa ra một quy trình hoàn chỉnh từ bước đầu tiên là tiền xử lý hình ảnh video đến bước cuối cùng là trực quan hoá các ổ gà trên bản đồ. Kết quả thực nghiệm cho thấy giải pháp được đề xuất trong bài báo này có thể áp dụng được ngay trên các tuyến đường ở Thành phố Hồ Chí Minh cùng các tỉnh lân cận nói riêng và Việt Nam nói chung.

TẠP CHÍ KHOA HỌC CƠNG NGHỆ GIAO THƠNG VẬN TẢI, SỐ 19 - 05/2016 31 TỰ ĐỘNG NHẬN DẠNG VÀ ĐỊNH VỊ HƯ HỎNG MẶT ĐƯỜNG DỰA TRÊN CAMERA HÀNH TRÌNH TÍCH HỢP GPS AUTOMATIC ROAD DAMAGE DETECTION AND LOCATING BASED ON BUILD-IN GPS CAMERA MOUNTED ON VEHICLES Trần Trung Nguyên1, Nguyễn Công Hà2, Bùi Trọng Hiếu3, Lê Văn Quốc Anh4 Học viên Cao học, ĐH GTVT TP.HCM 2,3,4 Khoa Cơng nghệ thơng tin, ĐH GTVT TP.HCM Tóm tắt: Thu thập thông tin ổ gà mặt đường đô thị nhiệm vụ quan trọng có ý nghĩa lớn khơng cho mục đích bảo trì, sửa chữa quản lý đường mà cho mục đích cung cấp dịch vụ hệ thống giao thơng thơng minh (HTGTTM) (ví dụ: tự động đưa thông tin cảnh báo ổ gà đến người điều kiển phương tiện giao thông hay cung cấp liệu tình trạng đường sá cho đơn vị cung cấp dịch vụ bảo trì) Bài báo đưa giải pháp hiệu để giải toán phát định vị ổ gà tự động qua camera hành trình gắn phương tiện giao thơng So với phương pháp có, ưu điểm đáng kể tiếp cận là: (1) chi phí thực thấp, (2) qui trình thực tương đối đơn giản, (3) độ xác cao Chúng tơi đưa quy trình hồn chỉnh từ bước tiền xử lý hình ảnh video đến bước cuối trực quan hoá ổ gà đồ Kết thực nghiệm cho thấy giải pháp đề xuất báo áp dụng tuyến đường Thành phố Hồ Chí Minh tỉnh lân cận nói riêng Việt Nam nói chung Từ khóa: Kỹ thuật trừ nền, ổ gà, phát ổ gà, nhận dạng ổ gà, định vị ổ gà Abstract: Collecting information about potholes in city roadways is a very important and meaningful task not only for the purpose of road maintenance but also for providing intelligent transportation systems (ITS) services (e.g., to warn drivers of potholes on their ways or to provide road condition data for maintenance services) In this paper, we propose a novel approach to the problem of automatically detecting and locating potholes by using video camera mounted on vehicles Comparison to existing methods, our approach has the following advantages: (1) low cost, (2) simple in deployment and (3) high accuracy We provide a comprehensive framework consiting of several stages, from the first stage of video image pre-processing to the final stage of pothole visualization on the map Experiments on real data show that our approach can be applied to roadways in Ho Chi Minh City as well as other cities in Vietnam Keywords: Background subtraction, potholes, potholes detecting, potholes locating Giới thiệu Tình trạng xuống cấp, hư hỏng mặt đường ổ gà, lún, lồi, nứt, gãy (hình 1) xuất nhiều tuyến đường Viêt Nam nói chung Thành phố Hồ Chí Minh nói riêng trở thành mối quan tâm lớn người điều khiển phương tiện giao thông đơn vị bảo trì, sửa chữa quản lý đường Các ổ gà nguyên nhân xảy vụ tai nạn giao thông gây thiệt hại người tài sản Các hư hỏng mặt đường ổ gà cần sửa chữa cách kịp thời Tuy nhiên, nay, việc phát ổ gà tiến hành cách thủ công tốn nhiều nhân lực [1] Các nhân viên phân công phụ trách theo đường Họ theo dõi, phát báo cáo hư hỏng mặt đường theo định kỳ Lún, lồi Nứt, gãy Ổ gà Hình Một số dạng hư hỏng mặt đường dạng lún nứt, ổ gà Một số phương pháp cơng nghệ hỗ trợ đơn vị quản lý giao thông để giảm thiệt hại liên quan đến ổ gà công bố triên giới, ví dụ [2], [3], [4] Trong đó, sử dụng laser để quét bề mặt đường phương pháp đặc biệt sử dụng Thành phố New York Tuy nhiên, phương pháp tốn đòi hỏi xe chuyên dụng, với thiết bị trị giá hàng trăm ngàn đô la [2] 32 Journal of Transportation Science and Technology, Vol 19, May 2016 Chúng đưa giải pháp với chi phí thấp để giúp đơn vị bảo trì, sửa chữa quản lý định nhanh chóng kịp thời cho việc sửa chữa hư hỏng mặt đường dạng ổ gà, gãy, lún Ý tưởng giải pháp dựa vào phương tiện giao thông xe buýt, xe taxi, gắn camera hành trình tích hợp GPS kết nối Wifi, 3G GPRS, phương tiện này, lưu thơng đường gặp vị trí mặt đường có hư hỏng, hệ thống nhận dạng định vị tọa độ ổ gà từ hiển thị đánh dấu đồ giám sát Đồng thời việc phát ổ gà hệ thống tự động đưa thông tin để cảnh báo ổ gà tức thời cho tài xế điều khiển phương tiện Như nêu trên, giải toán tự động nhận dạng định vị ổ gà đóng góp có ý nghĩa quan trọng khơng cho mục đích bảo trì, sửa chữa quản lý đường mà cho mục đích cung cấp dịch vụ hệ thống giao thông thơng minh (HTGTTM) Đóng góp cải thiện an toàn nâng cao hiệu hoạt động xã hội lĩnh vực giao thông vận tải Trong nghiên cứu này, đề xuất sử dụng giải pháp tự động nhận dạng định vị ổ gà mặt đường dựa camera hành trình tích hợp GPS phương tiện giao thơng Phần lại báo tổ chức sau: phần tiếp theo, chúng tơi trình bày sở lý thuyết áp dụng nghiên cứu Phần ba mơ tả quy trình tự động nhận dạng định vị ổ gà Phần bốn báo cáo kết thực nghiệm giải pháp đề xuất Phần cuối trình bày kết luận hướng phát triển tương lai liên quan đến nghiên cứu Cơ sở lý thuyết Hướng tiếp cận đề xuất báo cốt lõi dựa kỹ thuật xử lý ảnh, phương pháp trừ lọc nhiễu sử dụng bước tiền xử lý Điểm độc đáo giải pháp đề xuất nghiên cứu kết hợp với kỹ thuật co giãn điểm ảnh để nâng cao độ xác q trình phát ổ gà 2.1 Phương pháp trừ ảnh Hình ảnh video chuỗi khung hình liên tiếp thể khoảng thời gian Ảnh hay tiền cảnh (foreground) tốn xử lý hình ảnh video xem đối tượng cần tách khỏi cảnh (background) Với báo, ảnh ổ gà cảnh mặt đường Đối với trường hợp ảnh đối tượng chuyển động, việc tách ảnh khỏi cảnh thực thao tác đơn giản so sánh khung hình liên tiếp liệu video, từ bắt vết đối tượng chuyển động Phương pháp tách cảnh (trừ ảnh nền) sử dụng để bước đầu phát ổ gà mặt đường từ hình ảnh video Ý tưởng chung phương pháp trừ ảnh có so sánh cường độ sáng (màu) điểm ảnh với cường độ sáng điểm mơ hình (background model) Mơ hình tính tốn từ chuỗi khung hình trước Có thể tóm gọn điều kiện để phân biệt điểm công thức sau [4]: |In(x) – Bn(x)| >  (1) Trong đó: I n (x) : Cường độ sáng điểm ảnh vị trí x thời điểm khung hình thứ n; Bn (x) : Giá trị cường độ sáng ảnh tương ứng cho vị trí x ước lượng qua chuỗi hình ảnh từ I đến I n1 ; : Ngưỡng, cho trước ước lượng từ khung hình trước Ban đầu mơ hình khởi tạo khung hình B0  I Ở khung hình tiếp theo, mơ hình cập nhật đơn giản sau: Bn+1(x) =  Bn(x) + (1-  )In(x) (2) Trong đó, tham số  gán trước nằm khoảng [0,1] Công thức (1) (2) sử dụng để tạo tập điểm cấu thành vùng ảnh đại diện cho đối tượng chuyển động Đầu quy trình ma trận điểm ảnh có giá trị điểm ảnh có giá trị Đối với video TẠP CHÍ KHOA HỌC CƠNG NGHỆ GIAO THÔNG VẬN TẢI, SỐ 19 - 05/2016 quay ổ gà mặt đường q trình trừ hồn tất sau khoảng khung hình (  = 0.9) Hình minh hoạ kết việc trừ ảnh video quay ổ gà thực Mặt đường Ổ gà Sau trừ Hình Minh họa mơ tả cho kết thuật tốn trừ ảnh 2.2 Lọc nhiễu Như minh hoạ hình 2, sau trừ nền, vùng ảnh sau phát nhiều nhiễu điều gây khó khăn cho việc nhận dạng đối tượng ổ gà Do kỹ thuật lọc nhiễu cần áp dụng để thuận lợi cho việc xác định đối tượng với thuộc tính chúng Trong báo này, sử dụng lọc trung vị (median filter) [6] tính hiệu hiệu cho giải pháp thời gian thực Lọc trung vị kĩ thuật lọc phi tuyến Bộ lọc thực hiệu hai loại nhiễu: nhiễu đốm (speckle noise) nhiễu muối tiêu (salt-pepper noise), thường xuất nhiều sau tách cho ổ gà từ hình ảnh video Kĩ thuật lọc kết hợp với kỹ thuật co-giãn ảnh, trình bày phần sau, cho kết tốt toán nhận dạng ổ gà Ý tưởng thuật tốn lọc trung vị áp dụng để xử lý ảnh cho lọc quét qua điểm ảnh Bộ lọc định nghĩa từ trước dạng pattern (ví dụ dạng hộp hay chữ thập) Thông thường ma trận 3x3 sử dụng Bộ lọc quét qua điểm ảnh, vị trí điểm ảnh, điểm ảnh lân cận che phủ lọc sử dụng để tính tốn giá trị điểm ảnh Cách tính sau: xếp điểm ảnh cửa sổ theo thứ tự (tăng dần giảm dần), gán điểm ảnh nằm (trung vị) dãy giá trị điểm ảnh xếp cho giá trị điểm ảnh xét ảnh đầu Qua thực nghiệm, phát lọc trung vị phát huy hiệu 33 loại nhiễu muối tiêu đốm Tuy nhiên, trình lọc làm đứt đoạn đường biên bao quanh ổ gà Một số trường hợp ổ gà bị tách thành cụm điểm nhỏ, rời rạc Đối với toán phát cảnh báo ổ gà điều khơng trở thành vấn đề lớn Tuy nhiên, với mục đích thu thập đầy đủ thuộc tính, kích thước, hình dáng, với toạ độ tâm ổ gà trình tiền xử lý phải có kết tốt hơn, có nghĩa đường bao ổ gà liền mạch sau giai đoạn lọc nhiễu Để giải điều này, kết hợp lọc trung vị kỹ thuật co-giãn ảnh, trình bày phần sau 2.3 Phép mở ảnh Với mục đích loại bỏ cầu nối loại bỏ phần nhô, phần thừa đồng thời giữ nguyên cấu trúc kích thước vùng ảnh, sử dụng phép mở ảnh Về bản, phép mở ảnh thực hai bước sau: Thứ tiến hành co ảnh (erosion) thứ hai giãn ảnh (dilation) Đối với ảnh biểu diễn ma trận nhị phân, phép co hay giãn ảnh sử dụng phép toán erosion ⊖ dilation ⊕ điểm ảnh, qua phần tử cấu trúc (thường sử dụng ma trận 3x3) Độc giả quan tâm đến chi tiết hai phép toán tham khảo [7] Minh hoạ hai bước co-giãn ảnh qua ví dụ hình Bước 1: Co ảnh Bước 2: Giãn ảnh Hình Ví dụ minh hoạ phép co giãn ảnh Ví dụ minh hoạ cho thấy qua hai bước co giãn ảnh phần nhỏ nhơ loại bỏ, phần cấu trúc kích 34 Journal of Transportation Science and Technology, Vol 19, May 2016 thước vùng ảnh (các điểm ảnh 1) giữ nguyên Lần lượt thử nghiệm hai ảnh nhị phân ổ gà, so sánh hai ảnh thấy điểm không liền nối liền khoảng trống lấp đầy nhờ co giãn ảnh (hình 4) Khơng sử dụng phép co giãn ảnh đường bao vào vector điểm nằm đường bao Hàm boundingRect tìm hình chữ nhật bao tập điểm đường bao tìm từ hàm findContours Kết hợp hai hàm trên, cài đặt hàm xử lý hiển thị hình ứng dụng thuộc tính ổ gà như: đường bao quanh ổ gà, hình chữ nhật bao quanh ổ gà, kích thước, vị trí tâm ổ gà với màu sắc khác để dễ dàng nhận biết (hình 6) Sử dụng phép co giãn ảnh Hình So sánh chất lượng ảnh sử dụng không sử dụng phép co giãn ảnh Quy trình phát ổ gà Hình trình bày quy trình chúng tơi đề xuất để tự động nhận dạng định vị ổ gà qua video giao thơng Quy trình chia thành ba giai đoạn: Một tiền xử lý, hai phát theo vết đối tượng ba trực quan hóa đối tượng Giai đoạn tiền xử lý Phát theo vết Trực quan hóa Tiền xử lý Video - Tách âm - Chuyển đổi định dạng - Điều chỉnh độ phân Tìm đường bao ổ gà Vẽ đường bao hiển thị kích thước, vị trí ổ gà Phương pháp trừ (Background Subtraction) Lọc nhiễu - Bộ lọc trung vị - Các phép co, giãn ảnh Nhận dạng ổ gà Xác định thuộc tính ổ gà Cảnh báo có ổ gà âm Hình Ổ gà phát Ngồi ra, ứng dụng chúng tơi đưa tín hiệu âm (tiếng bíp) tức thời để cảnh báo người điều khiển phương tiện giao thông thời điểm phát ổ gà Sau ghi nhận dạng ổ gà liệu vị trí, kích thước, diện tích, hình ảnh ổ gà, gửi máy chủ thơng qua tín hiệu GPRS 3G Máy chủ xử lý liệu hiển thị lên đồ số (hình 7) Ghi nhận lên đồ Ghi liệu lên server Hình Framework phát ổ gà Giai đoạn tiền xử lý gồm bước: tiền xử lý video, thực phương pháp trừ nền, xử lý lọc nhiễu Giai đoạn phát theo vết đối tượng gồm bước: tìm đường bao ổ gà, nhận dạng ổ gà, xác định thuộc tính ổ gà Chúng tơi sử dụng thư viện OpenCV để cài đặt giải thuật xử lý ảnh áp dụng báo Hàm findContours tìm đường bao quanh đối tượng nhị phân hóa lưu Hình Hiển thị ổ gà lên đồ số Trong phần tiếp theo, chúng tơi trình bày số kết thực nghiệm giải pháp Một số kết thực nghiệm Để thực việc kiểm nghiệm giải pháp đề xuất, thu thập liệu thực đường phố khu vực Quận Bình Thạnh, Thành phố Hồ Chí Minh Các video mà chúng tơi thu thập có chứa số đoạn (gồm khung hình liên tiếp) có ổ gà, nhiệm TẠP CHÍ KHOA HỌC CÔNG NGHỆ GIAO THÔNG VẬN TẢI, SỐ 19 - 05/2016 vụ chương trình mà chúng tơi xây dựng phải phát tự động lọc khung hình có ổ gà Bảng Kết thực nghiệm số video TT Mô tả Phát ổ gà có kích thước nhỏ (12 cm x 13 cm) Phát ổ gà có kích thước lớn (42 cm x 26 cm) Phát hai ổ gà có kích thước nhỏ gần Kết nhận dạng Trước đưa vào chương trình xử lý, liệu mẫu tách âm thanh, chuyển đổi sang định dạng MJPG (Motion JPEG), điều chỉnh độ phân giải với kích thước 640x360 nhằm thống kích thước khung hình Với độ phân giải tốc độ xử lý khung hình fps, sử dụng máy tính có cấu hình vừa phải (CPU Core i5, 8GB RAM, Card hình tích hợp Intel) Đối với tốn phát ổ gà tốc độ chấp nhận ổ gà xuất nhiều khung hình liên tục (10-30 frames, tuỳ tốc độ di chuyển xe), cần xử lý vài khung hình để phát ổ gà Để đánh giá độ xác phương pháp, thu thập video đa dạng chủng loại (ổ gà kích thước lớn, ổ gà kích thước bé, hai ổ gà gần nhau) điều kiện ngoại cảnh Bảng trình bày số kết thực nghiệm với loại ổ gà điều kiện ngoại cảnh khác Kết thực nghiệm cho thấy mức độ nhận dạng ổ gà phương pháp đề xuất tốt Với liệu mà chúng tơi thu thập độ xác giải thuật 85% Kết luận Bài báo đưa giải pháp tự động nhận dạng định vị ổ gà mặt đường dựa vào camera hành trình tích hợp GPS Dựa nguồn liệu video 35 thu thập được, giải pháp kiểm nghiệm Kết thực nghiệm cho thấy mức độ nhận dạng tốt hiệu Những thơng tin giao thơng thu thập có giá trị cho nhiều ứng dụng, có ứng dụng liên quan đến HTGTTM Trong nghiên cứu tới, sử dụng sở liệu ổ gà thu thập để xây dựng ứng dụng hữu ích, chẳng hạn, ứng dụng cảnh báo ổ gà thiết bị di động hay tìm đường thông minh Lời cám ơn Nghiên cứu hỗ trợ từ nguồn kinh phí nghiên cứu khoa học Trường Đại học Giao thông vận tải TP HCM (MS KH1503)  Tài liệu tham khảo [1] Mashrur A Chowdhury & Adel W Sadek (2003) Fundamentals of Intelligent Transportation Systems Planning, Artech House Publishers [2] Christoph Mertz, Continuous road damage detection using regular service vehicles, Technical Report, Carnegie Mellon University [3] J.Eriksson, L Girod, B Hull, R Newton, S Madden, and H Balakrishnan (2008), Pothole Patrol: Using a Mobile Sensor Network for Road Surface Monitoring, Proc of The 6th International Conference on Mobile Systems, Applications, and Services [4] Hsiu-Wen Wang, Chi-Hua Chen, Ding-Yuan Cheng, Chun-Hao Lin, and Chi-Chun Lo (2015), A Real-Time Pothole Detection Approach for Intelligent Transportation System, Mathematical Problems in Engineering [5] Sen-Ching S Cheung and Chandrika Kamath (2004) Robust techniques for background subtraction in urbantraffic video Applied Scientific Computing [6] Yannick Benezeth, Pierre-Marc Jodoin, Bruno Emile, Helene Laurent, Christophe Rosenberger (2010) Comparative study of background subtraction algorithms Journal of Electronic Imaging, Society of Photo-optical Instrumentation Engineers [7] G.R Arce (2005), Nonlinear Signal Processing: A Statistical Approach, Wiley:New Jersey, USA [8] Pierre Soille (2003), Morphological Image Analysis: Principles and Applications, Signals & Communication, ISBN 3-540-65671-5 Ngày nhận bài: 01/03/2016 Ngày hoàn thành sửa bài: 22/03/2016 Ngày chấp nhận đăng: 30/03/2016 ... giải pháp tự động nhận dạng định vị ổ gà mặt đường dựa vào camera hành trình tích hợp GPS Dựa nguồn liệu video 35 thu thập được, giải pháp kiểm nghiệm Kết thực nghiệm cho thấy mức độ nhận dạng tốt... xuất sử dụng giải pháp tự động nhận dạng định vị ổ gà mặt đường dựa camera hành trình tích hợp GPS phương tiện giao thơng Phần lại báo tổ chức sau: phần tiếp theo, chúng tơi trình bày sở lý thuyết... buýt, xe taxi, gắn camera hành trình tích hợp GPS kết nối Wifi, 3G GPRS, phương tiện này, lưu thơng đường gặp vị trí mặt đường có hư hỏng, hệ thống nhận dạng định vị tọa độ ổ gà từ hiển thị đánh