TNU Journal of Science and Technology 227(11) 50 60 http //jst tnu edu vn 50 Email jst@tnu edu vn MATHEMATICAL MODEL FOR THE PROBLEM OF CLASSIFICATION OF PAVEMENT DEFECTS Pham Thi Lien 1* , Tran Thi T[.]
TNU Journal of Science and Technology 227(11): 50 - 60 MATHEMATICAL MODEL FOR THE PROBLEM OF CLASSIFICATION OF PAVEMENT DEFECTS Pham Thi Lien1*, Tran Thi Tuyet1, Nguyen Quang Hiep1, Nguyen Thi Dung1, Kieu Tuan Dung2, Nguyen Thi Phuong Dung2 TNU - University of Information and Communication Technology, 2Thuy Loi University ARTICLE INFO Received: 19/3/2022 Revised: 24/6/2022 Published: 04/7/2022 KEYWORDS Machine learning Deep learning Pavement defect classification VGG16 Features extraction Convolutional Neural Network ABSTRACT The road surface defect detection and classification system based on machine learning algorithms is already very advanced and is increasingly proving its outstanding advantages In this paper, some image segmentation algorithms used in practice are presented, compared and evaluated In this study, we present the convolution neural network—VGG16 structure to classify pavement defects, with a graph-based method to optimize the image segmentation on the pavement defect image This proposed method is intended to overcome limitations caused by objective factors, such as high sensitivity to data of certain types of light and noise dependence, such as defect data of the road surface Three different datasets were collected from the Center for Telecommunication and Multimedia, INESC TEC - Portugal (1200 images), Irkutsk city - Russian Federation (800 images) and Thai Nguyen city - Vietnam (550 images) The classification results based on the VGG-16 methods of the datasets in turn are good because the curves have a state closer to than 0.5 MƠ HÌNH TỐN HỌC CHO BÀI TOÁN PHÂN LOẠI CÁC KHUYẾT TẬT MẶT ĐƯỜNG Phạm Thị Liên1*, Trần Thị Tuyết1, Nguyễn Quang Hiệp1, Nguyễn Thị Dung1, Kiều Tuấn Dũng2, Nguyễn Thị Phương Dung2 Trường Đại học Công nghệ thông tin Truyền thông – ĐH Thái Nguyên, 2Trường Đại học Thủy lợi THÔNG TIN BÀI BÁO Ngày nhận bài: 19/3/2022 Ngày hoàn thiện: 24/6/2022 Ngày đăng: 04/7/2022 TỪ KHÓA Học máy Học sâu Phân loại khuyết tật mặt đường VGG16 Trích chọn đặc trưng Mạng nơ-ron tích chập TĨM TẮT Hệ thống phân loại phát khuyết tật mặt đường dựa thuật toán máy học vốn tiên tiến ngày chứng tỏ ưu điểm vượt trội Trong báo này, số thuật tốn phân đoạn hình ảnh sử dụng thực tế trình bày, so sánh đánh giá Trong nghiên cứu này, chúng tơi trình bày mạng nơ-ron tích chập cấu trúc VGG16 để phân loại khuyết tật mặt đường, với phương pháp dựa đồ thị để tối ưu hóa việc phân đoạn hình ảnh hình ảnh khuyết tật mặt đường Phương pháp đề xuất nhằm khắc phục hạn chế yếu tố khách quan gây ra, chẳng hạn độ nhạy cao liệu số loại phụ thuộc vào ánh sáng tiếng ồn, chẳng hạn liệu khuyết tật mặt đường Ba liệu khác thu thập từ Trung tâm Viễn thông Đa phương tiện, INESC TEC - Bồ Đào Nha (1200 hình ảnh), thành phố Irkutsk - Liên bang Nga (800 hình ảnh) thành phố Thái Nguyên - Việt Nam (550 hình ảnh) Kết phân lớp dựa phương pháp VGG-16 liệu cho thấy kết phân loại tốt đường cong có trạng thái gần giá trị giá trị 0,5 DOI: https://doi.org/10.34238/tnu-jst.5722 * Corresponding author Email: ptlien@ictu.edu.vn http://jst.tnu.edu.vn 50 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(11): 50 - 60 Giới thiệu Trong việc phát triển hệ thống phân loại khuyết tật mặt đường, hình ảnh thu từ nơi quan sát xử lý để tạo thành liệu đầu vào đặc trưng đối tượng cho hệ thống phân tích xử lý Tuy nhiên, hệ thống gặp phải số tồn hiệu việc quan sát phụ thuộc vào điều kiện môi trường quan sát (ánh sáng, tính chất đường giao thơng…), kiểu khuyết tật mặt đường (các kiểu khuyết tật nứt, ổ gà, lún…), phương pháp tiếp cận để giải vấn đề lựa chọn thuật toán, lựa chọn đặc trưng, kết hợp phương pháp xử lý Vì vậy, hệ thống nhiều nhà khoa học, trung tâm nghiên cứu giới quan tâm phát triển Các khuyết tật mặt đường coi đối tượng ảnh Trích chọn đặc trưng đối tượng bước quan trọng tốn phân tích hình ảnh, video, cơng việc khái quát lại việc sử dụng kỹ thuật xử lý ảnh để phân tích, biến đổi thơng tin ảnh thành số có ý nghĩa phục vụ cho việc phát phân loại khuyết tật Các phương pháp sử dụng biến đổi wavelet [1], phương pháp lấy mẫu [2], phương pháp đo đẳng vị (anisotropy measure) [3], phương pháp lý thuyết Fuzzy [4], phương pháp trích chọn đặc trưng dựa vào kết cấu [5] hoạt động hiệu giải vấn đề trích chọn đặc trưng khuyết tật mặt đường ảnh video Trong [6] trình bày phương pháp trích chọn đặc trưng sử dụng biến đổi Wavelet Sử dụng biến đổi Wavelet cung cấp công cụ tốt cho q trình phân tích đa phân giải (Multiresolution) khuyết tật nứt mặt đường Hình mơ tả q trình phân rã ảnh dựa vào biến đổi Wavelet, L H lọc Hình Mơ tả phương pháp trích chọn đặc trưng khuyết tật mặt đường Wavelet –Random transform [6] Phân tích hình dạng quan trọng việc phân biệt điểm ảnh khuyết tật với điểm ảnh lân cận Phương pháp trích chọn đặc trưng tuyến tính sử dụng nghiên cứu [7] Hình mơ tả việc sử dụng kết hợp biến đổi rời rạc 2D-Wavelet (discrete wavelet transform - DWT) http://jst.tnu.edu.vn 51 Email: jst@tnu.edu.vn 227(11): 50 - 60 TNU Journal of Science and Technology lọc biến đổi hình thái (successive morphologic transformation filtering – SMF) Sử dụng lọc thích ứng cho trích chọn đặc trưng hình thái liên tục khuyết tật nứt mặt đường Ảnh gốc Phân đoạn đường thẳng phát sử dụng đa biến đổi wavelet Phát trích xuất đặc trưng tuyến tính sử dụng kết hợp biến đổi rời rạc 2D-Wavelet lọc biến đổi hình thái Phát trích xuất khuyết tật nứt kiểu cá sấu tuyến tính với hệ số tương đồng 0,95 Trích xuất nứt khối tuyến tính với hệ số tương đồng 0,97 Phát biến dạng đường thẳng, kích thước hình dạng dựa vào đa biến đổi wavelet liên tục tính sóng (a) (b) (c) Hình Minh họa phương pháp trích chọn đặc trưng dựa vào DWT-SMF [7] Phương pháp fuzzy áp dụng [8] để trích chọn đặc trưng khuyết tật nứt mặt đường ảnh video Hình (3a) biểu diễn hình ảnh ban đầu, hình (3b) biểu diễn kết phân đoạn ảnh vùng ảnh khuyết tật, hình (3c, d) minh họa kết trích chọn đặc trưng cạnh cho khuyết tật phương pháp Fuzzy Các kỹ thuật xử lý hình ảnh để loại bỏ ảnh, kết thu tồn thành phần khuyết tật mặt đường Các phương pháp máy học thường dùng để tách khuyết tật mặt đường khỏi thành phần khuyết tật Các tính khác sử dụng nghiên cứu Các tính độ dày bề mặt, diện tích độ dẻo tính sử dụng rộng rãi để xác định vùng ảnh quan tâm [9] – [12] Tuy nhiên, thực tế việc lựa chọn đặc trưng để xử lý trực quan dựa quan sát người Để khắc phục vấn đề cần phải kết hợp sử dụng đặc trưng để mô tả http://jst.tnu.edu.vn 52 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(11): 50 - 60 tối ưu khuyết tật mặt đường Các thơng tin suy từ đặc trưng tầm quan trọng giá trị đặc trưng để đánh giá khuyết tật mặt đường Hình Hình ảnh minh họa kết áp dụng phương pháp fuzzy trích chọn đặc trưng diện tích khuyết tật mặt đường [8] Các phương pháp máy học học sâu ứng dụng để phát phân lớp khuyết tật mặt đường Các phương pháp máy học, học sâu ứng dụng phát triển mạnh mẽ để giải nhiệm vụ phát phân loại khuyết tật mặt đường ảnh tĩnh video Các phương pháp máy học, học sâu đánh giá dựa tiêu chí: hiệu suất dự đốn, thời gian thực hiện, tính ổn định hệ thống liệu cân đối (dữ liệu ảnh khơng có khuyết tật ảnh có khuyết tật mặt đường), tính ổn định hệ thống yếu tố bên (nhiễu, ánh sáng…), khả diễn giải kết tính rõ ràng thủ tục Nhiều nhà nghiên cứu chứng minh lợi học sâu để xây dựng ứng dụng Một ví dụ điều bao gồm việc chuyển đổi cảm biến giao thông đường thành tác nhân thông minh tự động phát tai nạn dự đoán điều kiện xe tương lai [13] Ngồi ra, có nhiều phương pháp Deep Learning sử dụng vận chuyển ANN ANN sử dụng để lập kế hoạch đường [14], giao thông công cộng [15], phát cố giao thơng [16] dự đốn điều kiện xe [17] Nó phân loại thành phương pháp học tập có giám sát không giám sát Các phương pháp giám sát bao gồm Máy Vector hỗ trợ (SVM), Mạng nơ-ron xác suất (PNN), Mạng sở xuyên tâm (RBN), Hàng xóm K-Gần Cây định,… mạng nơ-ron khơng giám sát bao gồm phân tích theo tầng phân tầng Để phát khuyết tật mặt đường thường dựa phương pháp, chẳng hạn ngưỡng cường độ, phát cạnh, lý thuyết đồ thị, phân tích kết cấu, thuật tốn học máy phương pháp dựa mạng thần kinh Các thuật toán ngưỡng dựa giả định vết nứt biểu thị cực tiểu cường độ cục Các tác giả [18] khám phá đánh giá phương pháp học chuyển đổi sâu, viz., sử dụng mơ hình học sâu đào tạo http://jst.tnu.edu.vn 53 Email: jst@tnu.edu.vn 227(11): 50 - 60 TNU Journal of Science and Technology liệu hình ảnh liệu lớn Image (ImageNet) chuyển giao khả học hỏi họ để phát vết nứt mặt đường tự động từ bề mặt số hóa hình ảnh thu từ sở liệu FHWA/LTPP Bản chất công việc [19] dựa khác biệt mức xám pixel nứt pixel nền, có giới hạn trực tiếp cho vết nứt mà khơng thay đổi cường độ rõ ràng với khu vực xung quanh Thông tin sâu sắc nhân vật bẩm sinh khác liên quan đến vết nứt thuận lợi việc phát đặc điểm mức độ màu xám không đủ bật Các kỹ thuật phát cạnh bao gồm việc sử dụng lọc Canny, lọc phát cạnh Sobel lọc hình thái khác [20], [21] Với phát triển trí tuệ nhân tạo năm gần đây, số hệ thống phân loại xây dựng dựa thuật toán học máy đưa vào lĩnh vực phát khuyết tật mặt đường tự động máy vectơ hỗ trợ [22], Rừng ngẫu nhiên [23] Với đời công nghệ học tập sâu, Mạng nơ-ron tích chập bắt đầu thống trị lĩnh vực phát nhận dạng đối tượng Hình Cấu trúc chung hệ thống phát phân loại khuyết tật mặt đường Một số phương pháp, thuật toán máy học ứng dụng phát triển thành công tự động phát phân loại khuyết tật mặt đường có cấu trúc chung minh họa hình Các thuật tốn thống kê bảng Bảng Phân tích thuật tốn máy học (****: Tốt nhất, *: Tồi nhất, liệu test) Loại máy học Độ xác Tốc độ học số lượng thuộc tính Tốc độ phân lớp Dung sai với tiếng ồn Xử lý thuộc tính: rời rạc/ nhị phân/ liên tục Xử lý vấn đề tràn nhớ Cải thiện q trình học Xử lý tham số mơ hình Decision Trees Unsupervised learning ** Neural Networks Supervised learning *** Naïve Bayes SVM Supervised learning * Supervised learning **** *** * **** * **** ** **** ** *** (không rời rạc) * *** * **** *** *** (không liên tục) *** **** **** **** ** *** (không rời rạc) ** ** * **** ** ** *** Trong báo [24], tác giả xây dựng hệ thống gồm phần chính: tiền xử lý nâng cao chất lượng ảnh số, trích chọn đặc trưng hình học vùng ảnh, phát nhận dạng khuyết tật dựa vào biến đổi wavelet cho ảnh có độ phân giải thấp, sử dụng lọc trung vị để lấy ngưỡng, sử dụng lọc hình thái đặc trưng hình dạng, sử dụng biến đổi Random để phân loại kiểu khuyết tật đường Nghiên cứu [25] sử dụng phương pháp máy học để phát phân loại khuyết tật ổ gà video Ảnh phân đoạn thành vùng, trích chọn đặc trưng hình dạng kết cấu phát khuyết tật ổ gà Các đặc trưng hình học ước lượng thơng qua phục hồi hình thái hồi quy logistic http://jst.tnu.edu.vn 54 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(11): 50 - 60 Nejad Zakeri [26] trình bày hệ thống tự động phát phân loại khuyết tật nứt mặt đường dựa kết hợp biến đổi Wavelet mạng thần kinh động Hệ thống gồm phần chính: phần thứ xử lý lưu trữ ảnh đầu vào, phần thứ trích chọn đặc trưng dựa vào biến đổi Fourier cân Histogram, phân loại khuyết tật mặt đường sử dụng mạng thần kinh, phần thứ hiển thị kết phân lớp Các chương trình tự động phân loại khuyết tật mặt đường phát triển 20 năm qua Ban đầu chương trình làm việc liệu ảnh thu thập lưu trữ [27], [28] Nhưng chương trình làm việc hiệu thấp, độ phân giải liệu khơng cao, khó khăn làm việc máy tính Từ đó, dẫn đến tăng chi phí tính phức tạp hệ thống Trong năm gần đây, hệ thống kỹ thuật số xuất hiện, trở thành phương pháp thông dụng Hầu hết họ sử dụng kỹ thuật xử lý hình ảnh video Chất lượng video tốt đủ ánh sáng để đáp ứng khả sử dụng thuật toán máy học Có nhiều hệ thống tự động phát vết nứt dựa đặc điểm giống sử dụng máy quét dòng Hệ thống phát vết nứt có độ rộng mm Việc phân loại chủ yếu dựa vào độ rộng vết khuyết tật Vào năm 1999, Australian Commonwealth Scientific and Industrial Research Organization (CSIRO) tổ chức phát triển hệ thống tự động phát khuyết tật nứt – RoadCrack Hệ thống phát vết nứt đường cao tốc với độ rộng mm Các thiết bị thu nhận liệu xử lý hình ảnh, phân tích gắn xe Nền tảng ARAN [29] áp dụng rộng rãi Mỹ để tự động phân tích đường Hệ thống sử dụng máy quét với cấu hình gồm hệ thống Độ phân giải mm với ánh sáng không ổn định độ phân giải mm với ánh sáng hồng ngoại để thu thập liệu Những hình ảnh đánh giá thông qua phần mềm tự động phát vết nứt – WiseCrax, bên cạnh chương trình tự động phát khuyết tật mặt đường WayLink’s Digital Highway Data Vehicle (DHDV) thông dụng Tại nước châu Âu, hệ thống PAVUE [30] triển khai nước Hà Lan Phần Lan Hệ thống trang bị máy quay video để tiến hành thu thập liệu cấu hình máy tính tích hợp thuật tốn máy học để làm việc Hình mơ tả thiết bị tổ hợp công nghệ với tốc độ cao để thu thập lưu trữ liệu Thiết bị bao gồm máy ảnh kỹ thuật số, công nghệ siêu âm laser để chụp đường ngang đường, thiết bị laser với tần số cao để thu thập kết cấu mặt đường Hình Thiết bị thu nhận hình ảnh mặt đường [30] Hình Hệ thống LRIS [16] Hình mơ tả hệ thống LRIS tạo hàng camera song song có độ phân giải cao nguồn laser cực lớn Các camera gắn vào đằng sau ô tô chuyên dụng để thu thập liệu phân loại khuyết tật mặt đường thực phân tích offline máy phát nứt tự động [31] Ưu điểm hệ thống thu hình ảnh nhanh chóng, an tồn chất lượng http://jst.tnu.edu.vn 55 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(11): 50 - 60 Hệ thống GIE LaserVISION [32] ví dụ điển hình sử dụng cơng nghệ laser để tự động phát phân loại khuyết tật mặt đường Hệ thống sử dụng cảm biến laser cung cấp khả tính tốn 3D để cải thiện việc tính tốn khuyết tật không gian 3D Tuy nhiên, độ phân giải hệ thống thấp làm việc với vết nứt ngang Vấn đề việc xử lý liệu video ánh sáng, góc thiết bị, vật xung quanh… ảnh hưởng kết phát phân loại khuyết tật Để giảm bớt ảnh hưởng yếu tố hệ thống StereoVision [33], [34] sử dụng công nghệ 3D để nâng cao hiệu làm việc hệ thống Mơ hình kiến trúc CNN - VGG16 đề xuất hệ thống Với ưu thiết kế cách đặc biệt để phân tích hình ảnh trực quan, VGG 16 (hình 7) khơng địi hỏi q trình xử lý cách tối ưu thuật toán máy học, thị giác máy tính Kiến trúc VGG 16 gồm lớp chính: convolutional layers, pooling layers, fully connected layer, lớp chập lớp Trong số đó, hoạt động tích chập gộp lặp lặp lại nhiều lần để tối ưu hóa hiệu ứng lọc CNN thường sử dụng lọc cách song song từ 32 đến 512 lọc cho liệu đầu vào Một yêu cầu bắt buộc lọc CNN phải kênh (tức độ sâu) với đầu vào Và tốt ta cung cấp cho CNN giá trị cụ thể cho kênh đầu vào Cuối cùng, kênh tổng hợp lại để tạo thành kênh (mỗi lọc tạo kết cuối đồ tính 2D) Hình Kiến trúc VGG 16 đề xuất hệ thống (kết nghiên cứu đề tài) Mỗi lớp tích chập CNN tạo đồ đối tượng từ hình ảnh đầu vào, biểu thị cường độ đối tượng Nghiên cứu nhằm phát phân loại đối tượng cách so sánh đồ đặc trưng với đồ đặc trưng ảnh đầu vào trước Để đạt điều này, vectơ đặc trưng trích xuất từ đồ đặc trưng tạo từ lớp tích chập Mơ hình CNN (hình 8) đào tạo với tỉ lệ học 0,01 cách sử dụng chức kích hoạt softmax lớp tổng hợp Hàm kích hoạt ReRU sử dụng tất lớp ẩn lớp chập, số lần học nhiều mạng 100 lần Kiến trúc mạng bao gồm: Lớp đầu vào [Lớp Convolution - Lớp MaxPooling - Lớp Kích hoạt] => Lớp đầu Khi huấn luyện mạng, tham số Batch size = 32 chọn để chọn kích thước mẫu cần học điều chỉnh thơng số lớp mạng để có độ xác tốt Số lần huấn luyện mạng tối đa 100 lần Mơ hình có kết phân loại tốt tập huấn luyện lựa chọn thử nghiệm tập kiểm tra để đánh giá Nó lưu trữ đồ đặc trưng hình ảnh CNN phân loại hình ảnh nhập cách so sánh chúng với đồ đặc trưng lưu nhớ cache Bởi mơ hình VGG-16 đào tạo trước tinh chỉnh, hình ảnh liệu đầu vào thay đổi kích thước thành 224x224 pixel thơng qua nội suy song tuyến Kích thước đồ đối tượng thu từ lớp tích tụ 224x224x6 Bản đồ đối tượng đầu (OFk,l,n) cho tích chập chuẩn, dựa sải (stride) khoảng đệm (padding), thường thu đồ đối tượng đầu vào (IFk+I,l+j,m) nhân chập (Ki,j,m,n) http://jst.tnu.edu.vn 56 Email: jst@tnu.edu.vn ... tồn thành phần khuyết tật mặt đường Các phương pháp máy học thường dùng để tách khuyết tật mặt đường khỏi thành phần khuyết tật Các tính khác sử dụng nghiên cứu Các tính độ dày bề mặt, diện tích... giá khuyết tật mặt đường Hình Hình ảnh minh họa kết áp dụng phương pháp fuzzy trích chọn đặc trưng diện tích khuyết tật mặt đường [8] Các phương pháp máy học học sâu ứng dụng để phát phân lớp khuyết. .. lớp khuyết tật mặt đường Các phương pháp máy học, học sâu ứng dụng phát triển mạnh mẽ để giải nhiệm vụ phát phân loại khuyết tật mặt đường ảnh tĩnh video Các phương pháp máy học, học sâu đánh