ỨNG DỤNG MẠNG EFFICIENTDET PHÁT HIỆN một số hư HỎNG TRÊN ĐƯỜNG NHỰA

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN ĐIỆN TỬ BỘ MÔN KỸ THUẬT MÁY TÍNH - VIỄN THƠNG ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG MẠNG EFFICIENTDET PHÁT HIỆN MỘT SỐ HƯ HỎNG TRÊN ĐƯỜNG NHỰA NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - TRUYỀN THÔNG Sinh viên: LÊ THỊ THU BA MSSV: 16141110 NGUYỄN THỊ MINH TRANG MSSV: 16141308 TP HỒ CHÍ MINH – 01/2021 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐIỆN ĐIỆN TỬ BỘ MƠN KỸ THUẬT MÁY TÍNH - VIỄN THƠNG ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG MẠNG EFFICIENTDET PHÁT HIỆN MỘT SỐ HƯ HỎNG TRÊN ĐƯỜNG NHỰA NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG Sinh viên: LÊ THỊ THU BA MSSV: 16141110 NGUYỄN THỊ MINH TRANG MSSV: 16141308 Hướng dẫn: PGS.TS PHAN VĂN CA TP HỒ CHÍ MINH – 01/2021 LỜI NĨI ĐẦU Trong năm gần đây, đời cách mạng công nghiệp lần thứ tư đột phá công nghệ số mang đến phát triển mạnh mẽ khoa học công nghệ có Trí tuệ nhân tạo (AI) cụ thể Máy học (Machine Learning) Máy học xuất khắp nơi đời sống người từ nhà cửa, y học, giáo dục đến trị chơi giải trí hay chí quân sự, đặc biệt lĩnh vực giao thông Khi mà mật độ xe cộ ngày tăng, đường xá xuống cấp, việc thu thập phát tình hình hư hỏng mặt đường nhựa quan trọng giúp đưa biện pháp sửa chữa kịp thời Khi tuyến đường đưa vào khai thác sử dụng sau thời gian bắt đầu xuất hư hỏng mặt đường vết nứt, vết rạn, vết lún, ổ gà… Nguyên nhân di chuyển phương tiện giao thông ảnh hưởng trực tiếp thiên nhiên, thời tiết mưa, nắng, sụt lún, ngập mặn, Các hư hỏng ngày nhiều nghiêm trọng làm ảnh hưởng xấu đến lưu thông xe, dễ gây tai nạn giao thông, làm mỹ quan, ô nhiễm môi trường Trong đó, quan chức đưa nhiều biện pháp khắc phục chưa mang lại hiệu cao, sau thời gian sửa chữa lại hư hỏng trở lại nghiêm trọng Để việc sửa chữa mặt đường thuận lợi, giảm bớt phí tổn cho kinh phí bảo trì đường bộ, việc phát vết nứt mặt đường nhựa cách nhanh chóng ứng dụng rộng rãi giúp quan chức có nhìn tổng quát khu vực có hư hỏng để lên kế hoạch sửa chữa hợp lí Mục tiêu nghiên cứu đề tài thực hệ thống phát vết nứt mặt đường nhựa ứng dụng mạng EfficientDet Dữ liệu hình ảnh đường xử lí mạng học sâu cuối trả vị trí có vết nứt kèm theo tên loại vết nứt đào tạo i LỜI CẢM ƠN Để hoàn thành đề tài nghiên cứu này, lời xin gửi lời cảm ơn chân thành đến PGS.TS PHAN VĂN CA, giảng viên Bộ môn Kỹ thuật Máy tính – Viễn thơng trường Đại học Sư Phạm Kỹ thuật Thành phố Hồ Chí Minh, người theo sát tận tình hướng dẫn giúp đỡ chúng tơi suốt trình thực đồ án Đồng thời, xin chân thành cảm ơn quý thầy cô giáo Trường Đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh nói chung thầy/cơ Bộ mơn Kỹ thuật Máy tính – Viễn Thơng nói riêng cung cấp cho kiến thức đại cương, chuyên ngành cần thiết giúp vận dụng sở lý thuyết vào thực tiễn, dễ dàng thực đồ án Tuy nhiên trình nghiên cứu đề tài, kiến thức chun ngành cịn hạn chế nên chúng tơi cịn nhiều thiết sót tìm hiểu, đánh giá trình bày đồ án Chúng tơi mong thơng cảm quan tâm, góp ý từ Thầy để đề tài đầy đủ hoàn chỉnh Cuối cùng, xin gửi lời cảm ơn chân thành tới gia đình, bạn bè đặc biệt tập thể lớp 169410 động viên, quan tâm, giúp đỡ, góp ý cỗ vũ nhiệt tình chúng tơi q trình hồn thành đề tài tốt nghiệp Xin chân thành cảm ơn! Tp Hồ Chí Minh, ngày 26 tháng 01 năm 2021 Sinh viên thực đề tài Lê Thị Thu Ba Nguyễn Thị Minh Trang ii TÓM TẮT Kiểm tra đánh giá tình trạng bề mặt đường nhựa điều cần thiết để kiểm soát sửa chữa phục hồi hư hỏng đường Không tiến hành đánh giá kịp thời dẫn đến thiệt hại nghiêm trọng cấu trúc tài sở hạ tầng, bên cạnh gây ảnh hưởng xấu đến người tai nạn giao thông Khảo sát tự động có hỗ trợ máy tính biện pháp cung cấp sở liệu dạng hư hỏng đường vị trí họ, sử dụng kịp thời sữa chữa đường để đạt chi phí tối thiểu độ bền tối đa nhựa đường Bài báo cáo giới thiệu chương trình khảo sát dựa học tập sâu để phân tích liệu dựa hình ảnh thu thập từ điện thoại thông minh Một sở liệu bao gồm đa dạng loại vết nứt dọc, vết nứt ngang, vết nứt cá sấu ổ gà Hướng tiếp cận đề cập đến mơ hình mạng EfficientDet để ứng dụng vào phát hư hỏng bề mặt đường nhựa Mơ hình nhận dạng loại hư hỏng bề mặt đường nhựa gồm: nứt dọc, nứt ngang, nứt cá sấu ổ gà Mạng gồm nhiều lớp sử dụng mạng thần kinh dự đoán hộp lớp giới hạn xác suất xuất đối tượng từ hình ảnh trình hoạt động nên phát triển thời gian thực với tốc độ xử lý nhanh đáng kể so với mơ hình khác, độ tin cậy cao giúp hình ảnh hư hỏng mặt đường phát nhanh chóng Kết thúc tìm hiểu mơ hình ứng dụng mơ hình, nhóm đạt mục tiêu mà nhóm đề nhận dạng hư hỏng bề mặt đường nhựa với loại nứt dọc, nứt ngang, nứt cá sấu ổ gà iii MỤC LỤC DANH MỤC HÌNH VII DANH MỤC BẢNG X CÁC TỪ VIẾT TẮT XI CHƯƠNG TỔNG QUAN .1 1.1 ĐẶT VẤN ĐỀ .1 1.2 MỤC TIÊU ĐỀ TÀI .2 1.3 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU .2 1.3.1 Ngoài nước 1.3.2 Trong nước 1.4 NỘI DUNG NGHIÊN CỨU 1.5 GIỚI HẠN ĐỀ TÀI 1.6 BỐ CỤC CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 GIỚI THIỆU VỀ TRÍ TUỆ NHÂN TẠO .5 2.1.1 Khái niệm trí tuệ nhân tạo 2.1.2 Ứng dụng AI 2.2 GIỚI THIỆU MƠ HÌNH MẠNG NƠ-RON NHÂN TẠO - ARTIFICIAL NEURAL NETWORK (ANN) 2.2.1 Tìm hiểu mạng nơ-ron – Neural Network 2.2.2 Cấu trúc mạng nơ-ron nhân tạo 2.3 KIẾN TRÚC CƠ BẢN CỦA MỘT MẠNG NƠ-RON TÍCH CHẬP – CONVOLUTIONAL NEURAL NETWORK 10 2.3.1 Mô hình tổng quan .10 2.3.2 Các lớp mạng CNN 11 2.3.2.1 Lớp chập (Convolutional layer) .11 2.3.2.2 Lớp kích hoạt 14 2.3.2.3 Lớp Pooling 14 iv 2.3.2.4 Lớp kết nối đầy đủ (Fully connected layer) 16 2.4 CÁC THUẬT TOÁN OBJECT DETECTION 17 2.5 GIỚI THIỆU MẠNG EFFICIENTDET .19 2.5.1 Giới thiệu .19 2.5.2 Tổng quan kiến trúc mạng .20 2.5.2.1 Tổng quan mạng EfficientDet 20 2.5.2.2 Mạng EfficientNet 27 2.5.2.3 BiFPN - Bi-directional Feature Pyramid Network 29 2.5.2.4 Anchor box 32 2.5.2.5 Hộp giới hạn (Bounding box) 32 2.5.2.6 Average Precision (AP) 34 2.6 THƯ VIỆN SỬ DỤNG .34 2.6.1 Thư viện OpenCV (Open Computer Vision) .34 2.6.2 Thư viện PyTorch 34 2.7 GPU .36 2.8 TỔNG QUAN VỀ XỬ LÍ ẢNH 37 2.8.1 Khái niệm 37 2.8.2 Một số ứng dụng xử lý ảnh 40 CHƯƠNG THIẾT KẾ HỆ THỐNG .41 3.1 YÊU CẦU BÀI TOÁN .41 3.2 TỔNG QUAN HỆ THỐNG PHÁT HIỆN HƯ HỎNG BỀ MẶT ĐƯỜNG 41 3.2.1 Sơ đồ khối trình huấn luyện 41 3.2.2 Sơ đồ trình phát đối tượng .43 3.3 TẬP DỮ LIỆU 43 3.4 XÂY DỰNG MƠ HÌNH .45 3.4.1 Mô hình EfficienDet 45 3.4.2 Lựa chọn thông số 54 CHƯƠNG KẾT QUẢ 57 4.1 KẾT QUẢ HUẤN LUYỆN MƠ HÌNH CNN TRÊN TẬP DỮ LIỆU .57 v 4.2 PHƯƠNG PHÁP ĐÁNH GIÁ 62 4.3 ĐÁNH GIÁ HỆ THỐNG 64 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 68 5.1 KẾT LUẬN 68 5.2 HƯỚNG PHÁT TRIỂN ĐỀ TÀI 68 TÀI LIỆU THAM KHẢO 70 vi DANH MỤC HÌNH Hình 2.1: Trí tuệ nhân tạo Hình 2.2: Mơ hình sinh học nơ-ron .7 Hình 2.3: Xây dựng nơ-ron nhân tạo Hình 2.4: Mơ hình tổng qt mạng nơ-ron nhân tạo lớp ẩn Hình 2.5: Cấu tạo mạng nơ-ron nhân tạo .9 Hình 2.6: Mơ hình mạng nơ-ron tích chập 11 Hình 2.7: Hình ảnh minh họa .12 Hình 2.8: Padding = 0, Stride = 12 Hình 2.9: Padding = 0, Stride = 13 Hình 2.10: Padding = 1, Stride = 13 Hình 2.11: Ví dụ lớp ReLU 14 Hình 2.12: Hai loại Pooling layer phổ biến với lọc 2x2, bước trượt 15 Hình 2.13: Sơ đồ hệ thống CNN 15 Hình 2.14: Mơ hình Fully connected layer 16 Hình 2.15: Hình ảnh minh họa tác vụ 18 Hình 2.16: Sơ đồ mối liên hệ tác vụ Computer vision 18 Hình 2.17: Mơ hình kiến trúc mạng EfficientDet 20 Hình 2.18: Sự khác thay đổi chiều rộng, độ sâu độ phân giải đối tượng 22 Hình 2.19: Minh họa thu phóng chiều rộng độ sâu mức độ khác 24 Hình 2.20: Mơ hình mạng EfficientDet D1, mạng trục EfficientNet B1 với lớp BiFPN nối tiếp nhau, lớp BiFPN kênh đầu vào kênh đầu 88 25 Hình 2.21: Cấu hình tỷ lệ cho EfficientDet D0-D7 - φ hệ số kết hợp điểm kiểm sốt tất kích thước tỷ lệ khác; BiFPN, mạng box/ class kích thước đầu vào mở rộng theo phương trình 1,2,3 tương ứng .26 Hình 2.22: Tất số dành cho quy mô đơn mơ hình đơn lẻ EfficientDet chúng tơi đạt 55,1% COCO AP đại với tham số FLOP nhiều so với mơ hình phát trước 27 vii Hình 2.23: Kiến trúc mạng xương sống EfficientNet-B0 28 Hình 2.24: Kích thước mơ hình với độ xác ImageNet, EfficientNet-B7 đạt độ xác hàng đầu 84,3% đại nhỏ 8,4 lần nhanh 6,1 lần so với GPipe EfficientNet-B1 nhỏ 7,6 lần nhanh 5,7 lần so với ResNet-152 29 Hình 2.25: Future network design .31 Hình 2.26: Tính IoU 33 Hình 2.27: Thư viện OpenCV 34 Hình 2.28: Thư viện PyTorch 35 Hình 2.29: CPU Nvidia 37 Hình 3.1: Hình ảnh trình đào tạo - Training 42 Hình 3.2: Cấu trúc mạng EfficientNet .45 Hình 3.3: Global Average Pooling .53 Hình 3.4: So sánh SGD có momentum SGD khơng có momentum 55 Hình 4.1: Nhận diện D10 57 Hình 4.2: Nhận diện D00 57 Hình 4.3: Nhận diện D00 D40 57 Hình 4.4: Nhận diện D10 57 Hình 4.5: Nhận diện D20 58 Hình 4.6: Nhận diện D00, D10, D20 58 Hình 4.7: Nhận diện D10 D40 58 Hình 4.8: Nhận diện D40 58 Hình 4.9: Nhận diện D40 ảnh đường tự chụp 59 Hình 4.10: Nhận diện D40 ảnh đường tự chụp 59 Hình 4.11: Nhận diện D20 ảnh tự chụp 59 Hình 4.12: Nhận diện D40 ảnh tự chụp 59 Hình 4.13: Nhận diện D40 ảnh tự chụp 60 Hình 4.14: Nhận diện D40 ảnh tự chụp 60 Hình 4.15: Nhận diện D20 D40 ảnh tự chụp 60 viii ... muốn, EfficientDet đời Vì lý trên, nhóm định chọn mạng EfficientDet tìm hiểu đề tài “ Ứng dụng mạng EfficientDet phát số hư hỏng đường nhựa? ?? đời Tốc độ phát triển cầu đường ngày gia tăng, dẫn đến... ĐIỆN ĐIỆN TỬ BỘ MƠN KỸ THUẬT MÁY TÍNH - VIỄN THƠNG ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG MẠNG EFFICIENTDET PHÁT HIỆN MỘT SỐ HƯ HỎNG TRÊN ĐƯỜNG NHỰA NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG Sinh viên: LÊ... thiện nhiều để có độ xác cao thực tế 1.3.2 Trong nước Tại Việt Nam có bước tiến lớn khoa học công nghệ, công việc phát hư hỏng bề mặt đường nhựa sử dụng phương pháp thủ công, chưa ứng dụng phương