ứng dụng thuật toán yolov5 trong quản lý chi phí duy tu bảo dưỡng hạ tầng giao thông đường bộ

Các ứng dụng của công nghệ 4.0 đặc biệt là công nghệ AI hiện nay hầu hết chỉ được các hãng xe phát triển cho phương tiện giao thông, đặc biệt là ô tô như công nghệ Honda Sensing, Toyoto

TRƯỜNG ĐẠI HỌC BÁCH KHOA

TRẦN LÊ HOÀNG PHÚC

ỨNG DỤNG THUẬT TOÁN YOLOV5 TRONG QUẢN LÝ CHI PHÍ DUY TU BẢO DƯỠNG

HẠ TẦNG GIAO THÔNG ĐƯỜNG BỘ

Chuyên ngành: Quản lý Xây dựng Mã số: 8580302

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, THÁNG 1 NĂM 2024

Cán bộ hướng dẫn khoa học 1 : PGS.TS Phạm Vũ Hồng Sơn (Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Cán bộ hướng dẫn khoa học 2 : TS Chu Việt Cường (Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Cán bộ chấm nhận xét 1 : PGS.TS Trần Đức Học (Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Cán bộ chấm nhận xét 2 : TS Đặng Thị Trang (Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG TPHCM ngày 24 tháng 01 năm 2024

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1 Chủ tịch: TS Lê Hoài Long

2 Thư ký: PGS.TS Đỗ Tiến Sỹ

3 Phản biện 1: PGS.TS Trần Đức Học 4 Phản biện 2: TS Đặng Thị Trang 5 Ủy viên: TS Nguyễn Hoài Nghĩa

Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)

KHOA KỸ THUẬT XÂY DỰNG

PGS TS Lê Anh Tuấn

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: TRẦN LÊ HOÀNG PHÚC MSHV: 1970722

Ngày, tháng, năm sinh: 06/08/1992 Nơi sinh: TPHCM Chuyên ngành: Quản lý xây dựng Mã số : 8580302

II NHIỆM VỤ VÀ NỘI DUNG

1 Tìm hiểu và nắm vững các phương pháp nhận biết hình ảnh tự động và thuật toán Yolov5

2 Xây dựng mô hình thuật toán Yolov5 để nhận biết hư hỏng mặt đường tự động 3 Đánh giá tính hiệu quả của mô hình

4 Kết luận và kiến nghị

III NGÀY GIAO NHIỆM VỤ: 06/02/2023

IV NGÀY HOÀN THÀNH NHIỆM VỤ: 10/12/2023

V CÁN BỘ HƯỚNG DẪN: PGS TS Phạm Vũ Hồng Sơn và TS Chu Việt Cường

TP HCM, ngày 10 tháng 12 năm 2023

PGS TS Phạm Vũ Hồng Sơn TS Chu Việt Cường TS Lê Hoài Long

TRƯỞNG KHOA KỸ THUẬT XÂY DỰNG

PGS TS Lê Anh Tuấn

LỜI CẢM ƠN

Một chặng đường sắp khép lại, một cánh cửa mới tiếp tục được mở ra Xin chân thành cảm ơn quý thầy cô bộ môn Quản lý xây dựng nói riêng, quý thầy cô khoa Kỹ thuật xây dựng nói chung đã trang bị những kiến thức cần thiết để tôi có thể hoàn thành Luận văn này cũng như ứng dụng vào công việc hiện tại

Xin gửi lời cảm ơn đến PGS TS Phạm Vũ Hồng Sơn cùng TS Chu Việt Cường đã tận tình giúp đỡ tôi từ những ngày đầu làm đề cương cho đến khi hoàn thành công trình nghiên cứu này Một kỹ sư với nền tảng thuần về kỹ thuật xây dựng khi lựa chọn đề tài nghiên cứu về trí tuệ nhân tạo áp dụng vào quản lý xây dựng quả thật gặp rất nhiều khó khăn Thật may mắn với tôi khi nhận được những lời khuyên cùng sự hướng dẫn tận tình của thầy Luận văn này sẽ là nền tảng để tôi có thể áp dụng trí tuệ nhân tạo vào lĩnh vực xây dựng cũng như các lĩnh vực khác

Xin gửi lời cảm ơn đến Nguyễn Văn Tiến Khởi – nghiên cứu sinh Tiến sỹ, người cộng sự đã hỗ trợ các công cụ quan trọng và một phần kiến thức liên quan để có thể giúp tôi hoàn thành công trình nghiên cứu trong Luận văn này

Với sự cố gắng không ngừng nghỉ của bản thân, Luận văn Thạc sĩ này đã được hoàn thành trong thời gian quy định Tuy nhiên, do khối lượng công việc tương đối nhiều nhưng kiến thức bản thân lại còn nhiều hạn chế, do đó Luận văn này không thể tránh khỏi những thiếu sót Luận văn này là món quà gửi đến gia đình, giảng viên hướng dẫn, đồng nghiệp và bạn bè, những người luôn ủng hộ và hỗ trợ tôi

TP HCM, ngày 10 tháng 12 năm 2023 Tác giả luận văn

Trần Lê Hoàng Phúc

TÓM TẮT

Giao thông vận tải là yếu tố then chốt cho mọi thành tựu của con người vì nó là phương tiện kết nối nền kinh tế Trong đó đường giúp cho giao thông và vận tải diễn ra thuận lợi Đường bộ giúp các phương tiện di chuyển hàng hóa và người dân Do đó nếu được xây dựng và vận hành hiệu quả, đường bộ có thể giúp cho việc phát triển kinh tế Hầu hết các nghiên cứu trong xây dựng hiện nay chỉ tập trung vào các vấn đề tiết kiệm thời gian, chi phí xây dựng và chất lượng công trình khi thi công công trình mới Tuy nhiên, nghiên cứu về chi phí để vận hành và duy tu, bảo dưỡng vẫn còn ít được chú ý và vẫn còn nhiều hạn chế Các nghiên cứu để giảm chi phí và đảm bảo chất lượng đường bộ khi đưa vào vận hành luôn mang lại những ý nghĩa và sứ mệnh rất nhân văn và thiết thực

Cùng với sự phát triển của máy tính thì việc áp dụng cuộc cách mạng công nghệ 4.0 vào việc quản lý và sản xuất đang được ứng dụng rộng rãi Ở Việt Nam trong lĩnh vực hạ tầng giao thông thì việc nhận biết các hư hỏng mặt đường vẫn còn lạc hậu theo phương pháp thủ công Các ứng dụng của công nghệ 4.0 đặc biệt là công nghệ AI hiện nay hầu hết chỉ được các hãng xe phát triển cho phương tiện giao thông, đặc biệt là ô tô như công nghệ Honda Sensing, Toyoto Safety Sense… là chỉ nhằm cải thiện sự an toàn và trải nghiệm cho người lái chứ không cải thiện được khả năng phát hiện và xử lý các hư hỏng mặt đường cho các cơ quan quản lý Nghiên cứu này hướng đến việc ứng dụng nền tảng lập trình Yolov5 để thông qua các clip được quay bởi các camera hành trình gắn trên phương tiện tham gia giao thông có thể tự động nhận biết được các hư hỏng và dấu hiệu xuống cấp của các tuyến đường nhằm giúp cho các nhà quản lý tiết kiệm được nhân công, thơì gian và đặc biệt là chi phí để duy tu, bảo dưỡng các tuyến đường trong quá trình vận hành khai thác Nghiên cứu sẽ cung cấp một giải pháp trong việc ứng dụng công nghệ AI trong quản lý chi phí duy tu, bảo dưỡng hạ tầng giao thông đường bộ.

ABSTRACT

Transportation is a key factor for all human achievements because it is the means of connecting the economy Roads help traffic and transportation proceed smoothly Roads help vehicles move goods and people Therefore, if built and operated effectively, roads can help economic development Most current research in construction only focuses on issues of saving time, construction costs and construction quality when constructing new projects However, research on operating and maintenance costs still receives little attention and still has many limitations Research to reduce costs and ensure road quality when put into operation always brings very humane and practical meanings and missions

Along with the development of computers, the application of the 4.0 technology revolution in management and production is being widely applied In Vietnam, in the field of transportation infrastructure, identifying road surface damage is still outdated using manual methods Applications of 4.0 technology, especially AI technology, are currently mostly developed by car manufacturers for vehicles, especially cars such as Honda Sensing technology, Toyoto Safety Sense just to improve safety and experience for drivers, but does not improve the ability of management agencies to detect and handle road surface damage This research aims to apply the Yolov5 programming platform so that through clips recorded by dashcams mounted on vehicles participating in traffic, it is possible to automatically identify damages and signs of deterioration of vehicles The route is intended to help managers save labor, time and especially costs for maintaining the routes during operation The research will provide a solution in applying AI technology in managing costs of maintenance and repair of road traffic infrastructure

LỜI CAM ĐOAN

Tôi xin cam đoan đề tài “ỨNG DỤNG THUẬT TOÁN YOLOV5 TRONG QUẢN

tôi thực hiện dưới sự hướng dẫn của PGS.TS Phạm Vũ Hồng Sơn và TS Chu Việt Cường

Tất cả các thông tin trong Luận văn này đã được thu thập và trình bày theo các quy tắc học thuật và hành vi đạo đức Các kết quả của Luận văn là đúng sự thật và chưa được công bố ở các nghiên cứu khác

Tôi xin chịu trách nhiệm về công việc thực hiện của mình

Tp Hồ Chí Minh, ngày 10 tháng 12 năm 2023

Trần Lê Hoàng Phúc

MỤC LỤC

DANH SÁCH HÌNH ẢNH viii

DANH MỤC TỪ VIẾT TẮT VÀ KÝ HIỆU xi

CHƯƠNG 1: GIỚI THIỆU CHUNG 1

1.6 Đối tượng và phạm vi nghiên cứu 7

1.7 Quy trình nghiên cứu – Phương pháp nghiên cứu 7

1.8 Công cụ nghiên cứu 9

1.9 Cấu trúc luận văn 10

CHƯƠNG 2: TỔNG QUAN CÁC NGHIÊN CƯÚ VỀ NHẬN DIỆN HƯ HỎNG MẶT ĐƯỜNG TRONG QUẢN LÝ HẠ TẦNG GIAO THÔNG 11

2.1 Tổng quan tình hình nghiên cứu công nghệ nhận biết hư hỏng mặt đường ở Việt Nam và thế giới 11 2.2 Tổng quan tình hình nghiên cứu công nghệ Yolov5 ở Việt Nam và thế giới 13

2.3 Các nghiên cứu trong và ngoài nước về phương pháp nhận biết hư hỏng mặt đường 14

2.4 Các nghiên cứu trong và ngoài nước ứng dụng Yolov5 15

2.5 Phân tích các nghiên cứu và ưu nhược điểm của các nghiên cứu về nhận biết hư hỏng mặt đường 16 2.6 Phân tích các nghiên cứu và ưu nhược điểm của các nghiên cứu ứng dụng Yolov5 20

CHƯƠNG 3: CƠ SỞ LÝ THUYẾT VÀ PHƯƠNG PHÁP NGHIÊN CỨU NHẬN DIỆN ĐỐI TƯỢNG 26 3.1 Giới thiệu về Deep Learning 26

3.2 Mạng neural nhân tạo (ANN) 27

3.3 Mô hình mạng neural nhân tạo (ANN) 28

3.4 Các hàm kích hoạt trong mạng Neutral 29

3.5 Convolution Neutral Network (CNN) 30

3.5.5 Mô hình mạng neural tích chập 2 chiều 35

3.6 Các mô hình phát hiện đối tượng 36

3.6.1 Tổng quan các mô hình nhận diện hư hỏng mặt đường hiện nay 37

3.6.2 Mô hình hai giai đoạn (mô hình phổ biến và tiến tiến Faster R-CNN) 38

3.6.3 Mô hình một giai đoạn (SSD - Single Shot Multi-Box Detection) 41

3.6.4 Các kiến trúc cơ bản của Deep learning 42

CHƯƠNG 4: MÔ HÌNH NHẬN DIỆN YOLOV5 46

4.1 Giới thiệu mô hình kiến trúc mạng Yolov5 46

4.2 Cách hoạt động của mô hình Yolo 49

4.2.1 Input 49

4.2.2 Feature map 50

4.2.3 Anchor box 51

4.2.4 Dự đoán bounding box 52

4.2.5 Non-max suppresion (lại bỏ bounding box thừa) 53

4.2.6 Hàm mất mác 55

4.3 Những cải tiến của mô hình phát hiện Yolov5 56

4.3.1 Đầu vào (Input) 57

4.3.2 Phương pháp Mosaic 57

4.3.3 Backbone 58

4.3.4 Neck 61

4.3.5 Bag of Freebies 61

4.4 Tiêu chí đánh giá hiệu suất của mô hình 62

CHƯƠNG 5: ỨNG DỤNG MÔ HÌNH YOLOV5 ĐỂ NHẬN DIỆN HƯ HỎNG MẶT ĐƯỜNG 64

5.1 Thuật toán huấn luyện đối tượng của Yolov5 64

5.2 Quy trình huấn luyện đối tượng của YOLO V5 65

5.2.1 Chuẩn bị dữ liệu 65

5.2.2 Huấn luyện dữ liệu 67

5.2.3 Kết quả huấn luyện và phát hiện đối tượng hư hỏng mặt đường 72

5.3 Hiệu suất của mô hình Yolov5 nghiên cứu 75

CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TRONG TƯƠNG LAI 78

6.1 Kết luận 78

6.2 Hướng nghiên cứu trong tương lai 78

DANH MỤC CÔNG TRÌNH KHOA HỌC……… 80 TÀI LIỆU THAM KHẢO……… 81

DANH SÁCH HÌNH ẢNH

Hình 1.1 Các phương tiện giao thông vận tải……… 1

Hình 1.2 Quy trình xây dựng - khai thác – bảo trì một tuyến đường……….3

Hình 1.3 Đặt vấn đề nghiên cứu nhận diện hư hỏng mặt đường……… 5

Hình 1.4 Quy trình nghiên cứu của đề tài……… 8

Hình 3.1 Mối quan hệ giữa AI, Machine Learning và Deep Learning……… 26

Hình 3.2 Tế bào thần kinh……… 28

Hình 3.3 Mô hình mạng neutral nhân tạo……… 28

Hình 3.4 Mô tả các hàm trong mạng neutral nhân tạo………29

Hình 3.5 Phép nhân tích chập……… 32

Hình 3.6 Max pooling và average pooling……….33

Hình 3.7 Mô tả max pooling từ lớp convolution……… 34

Hình 3.8 Fully connected layer……….35

Hình 3.9 Cấu trúc mạng neutral tích chập 2 chiều………36

Hình 3.10 Ví dụ cho bài toán phân loại ảnh……… 37

Hình 3.11 Các phương pháp hình thành 8 mô hình phát hiện………37

Hình 3.12 Quy trình hoạt động của Faster RCNN………39

Hình 3.13 Minh họa việc thêm mạng CNN là RPN mới để tạo ra mô hình Faster RCNN………39

Hình 3.14 Mô hình phát hiện một giai đoạn……….41

Hình 3.15 Quy trình kiến trúc của MobileNet……… 43

Hình 3.16 Quy trình kiến trúc của Inception……….44

Hình 3.17 Quy trình kiến trúc của Residual Network (Resnet)……… 45

Hình 3.18 Quy trình kiến trúc của Inception Resnet……… 45

Hình 4.1 Sơ đồ kiến trúc mạng Yolo……….47

Hình 4.2 Darknet53 của Yolov3 và CSPDarknet53 của Yolov5……… 48

Hình 4.3 Công thức output của Yolo……… 49

Hình 4.4 Minh họa cho việc nạp dữ liệu đầu vào truth bounding box cho đối tượng là loại hư hỏng mặt đường……….49

Hình 4.5 Các feature map cho các đối tượng hình ảnh về các hư hỏng mặt đường…… 51

Hình 4.6 Các kích thước anchor box của Yolov5……….51

Hình 4.7 Minh họa tìm Anchor box cho học đặc điểm của đối tượng……… 52

Hình 4.8 Dự đoán bounding box………52

Hình 4.9 Công thức tính IOU……… 53

Hình 4.10 Đánh giá chỉ số IOU……… 54

Hình 4.11 Công thức tính hàm mất mác……… 55

Hình 4.12 Sơ đồ cấu trúc của Yolov5……… 56

Hình 4.13 Bước 1 phương pháp Mosaic……… 58

Hình 4.14 Bước 2 phương pháp Mosaic……… 58

Hình 4.15 Backbone……… 59

Hình 4.16 Cấu trúc của Backbone……….59

Hình 4.17 Cải tiến CSPResBlock thành C3 module……… 60

Hình 4.18 SPPF Yolov5………60

Hình 4.19 Neck……… 61

Hình 4.20 Cosine annealing scheduler……… 61

Hình 5.1 Sơ đố huấn luyện của Yolov5 để phát hiện các đối tượng là hư hỏng đường bộ……… 65

Hình 5.2 Minh họa cho hình ảnh đầu vào……….66

Hình 5.3 Hình ảnh thu được sau khi mosaic……….66

Hình 5.4 Chỉnh sửa data……… 67

Hình 5.5 Clone model……… 67

Hình 5.6 Tải thư viện……….68

Hình 5.7 Tải dữ liệu lên Google Colab……….68

Hình 5.8 Giải nén file……… 68

Hình 5.9 Đọc file data.yaml……… 68

Hình 5.10 Xem model gốc………70

Hình 5.11 Chỉnh sửa model cho phù hợp với dữ liệu……… 71

Hình 5.12 Huấn luyện dữ liệu……… 72

Hình 5.13 Kết quả sau khi huấn luyện……… 72

Hình 5.14 Phát hiện đối tượng ở file test bằng best.pt……… 72

Hình 5.15 Kết quả thu được ở file test……… 73

Hình 5.16 Phát hiện đối tượng qua video……… 74

Hình 5.17 Điều chỉnh file detect……… 74

Hình 5.18 Chạy Yolov5………75

Hình 5.19 Giải thích Source……… 75

Hình 5.20 Phát hiện đối tượng qua webcam……… 75

Hình 5.21 Hiệu suất mAP_0.5……… 76

Hình 5.22 Hiệu suất mAP_0.5:0.95……… 77

Hình 5.23 Hiệu suất Precision……… 77

DANH MỤC TỪ VIẾT TẮT VÀ KÝ HIỆU

Chữ viết tắt

ML Phương pháp học máy (Machine Learning) DL Phương pháp học sâu (Deep Learning)

Yolov5 Ngôn ngũ lập trình để phát hiện vật thê (You only look version 5)

SSD Mô hình sứ dụng thuật toán 1 lần phát hiện đối tượng (Single Shot Detection)

RPN Các mô hình sứ dụng thuật toán 2 lần phát hiện ra đối tượng (Region Proposal Network)

R-CNN Mô hình sẽ thực hiện tiếp việc phân loại đối tượng và xác định vị trí nhờ vào việc chia làm 2 nhánh tại phần cuối của mô hình

Ký hiệu

K là số hộp mặc định phù hợp (L(x,c,l,g) = 0 nếu K = 0) l là ô dự đoán.

g là hộp tròn đúng c là tâm hộp.

i là chỉ số của một mỏ neo trong một lô nhỏ

lreg(ti, ti*) là tổn thất hồi quy λ là tham số cân bằng.

Api là giá trị độ chụm trung bình của lớp thứ i r độ chính xác tại mỗi mức thu hồi.

p(˜r) là độ chính xác đo được khi thu hồi ˜r.m là số mức cách đều nhau trong phạm vi [0, 1].

CHƯƠNG 1: GIỚI THIỆU CHUNG TỔNG QUAN ĐỀ TÀI NGHIÊN CỨU

1.1 Đặt vấn đề

Đường bộ là tài sản công quan trọng mang lại lợi ích hữu hình, lâu dài cho xã hội vì chúng là công cụ để kết nối hàng hóa và con người Trên đường bộ có hai hình thức vận chuyển chính là xe cơ giới và tàu hỏa nhưng xe cơ giới trở nên phổ biến hơn do tính tiện lợi của nó

Hình 1.1: Các phương tiện giao thông vận tải

Vì thế giao thông vận tải có vai trò quan trọng vì nó là cách để kết nối việc sản suất, kinh doanh, trao đổi Do đó sẽ giúp tăng trưởng kinh tế và phát triển xã hội Ngoài ra giao thông vận tải còn đóng góp thuế cho nhà nước và tạo ra nhiều việc làm cho người lao động

Sau hơn 37 năm đất nước mở cửa, hệ thống hạ tầng giao thông đã phát triển vược bậc Nhiều tuyến đường cao tốc đã được xây dựng và đưa vào khai thác, kết nối các thành phố lớn và vùng kinh tế trọng điểm Điều này đã giúp cắt giảm thời gian di chuyển giữa các thành phố Đất nước ngày nay đã tích lũy đủ tiềm lực để phát triển kinh tế một cách mạnh mẽ

Kinh tế tăng trưởng thì nhu cầu di chuyển càng nhiều, do đó số lượng phương tiện cơ giới lưu thông trên đường cũng nhiều dẫn đến việc hư hỏng mặt đường là điều khó tránh khỏi Điều kiện đường kém gây ra nhiều vấn đề, bao gồm tạo vấn đề điều hướng đường bộ và gây nguy hiểm cho người giao thông, tăng chi phí sửa chữa xe cộ, và cuối cùng là chi phí sửa chữa đường cao hơn do khi phát hiện trễ thì đường xuống cấp nghiêm trọng không thể phục hồi bề mặt

Do đó ngoài việc phát triển nhanh chóng mạng lưới đường, việc khai thác vận hành và bảo trì để giữ cho hầu hết các tuyến đường luôn trong trạng thái tốt cũng là việc rất cần thiết Việc vận hành duy tu bảo dưỡng đường bộ là một thách thức Cần thiết phải có kế hoạch rõ ràng, phân công nhiệm vụ, và tính toán ngân sách hợp lý để tiết kiệm được chi phí

Tuy nhiên tại Việt Nam hiện nay thì phương pháp nhận biết hư hỏng để bảo trì đường bộ vẫn còn chưa hiệu quả Việc tiến hành phát hiện hư hỏng mặt đường vẫn còn phải sử dụng nhân công để kiểm tra bằng mắt và chụp ảnh thủ công Do đó việc nhận định mức độ hư hỏng mắt đường còn mang yếu tố cảm quan của con người và việc phát hiện hư hỏng khi nó vừa mới xuất hiện tùy thuộc vào tần suất của người đi quan sát Do đó dẫn tới hai bất cập Một là có những đoạn đường mới bắt đầu hư nhưng không phát hiện được, tới lúc người đi quan sát phát hiện thì đã hư hỏng nặng hơn Hai là những tuyến đường đã hư hỏng nặng nhưng chưa tới lượt đi kiểm tra của người quan sát, trong khi những tuyến đường chưa hư hoặc mới hư hỏng nhẹ tới lượt đi kiểm tra của người quan sát thì được sửa trước Do đó dẫn đến việc tăng chi phí nhưng không hiệu quả khi duy tu bảo dưỡng các con đường

Do đó để thay đổi các phương pháp kiểm tra thủ công thì việc áp dụng công nghệ để nhận diện tự động hư hỏng mặt đường là cần thiết, dự đoán các vấn đề tiềm ẩn và quyết định thứ tự bảo trì định kỳ là hết sức cần thiết

Hình 1.2 Quy trình xây dựng – khai thác – bảo trì một tuyến đường

1.2 Lựa chọn đề tài

Việt Nam hiện có hơn mười bảy ngàn km đường bộ Do đó ngân sách hằng năm để duy tu bảo dưỡng là rất lớn Việc tiết kiệm được tối đa ngân sách này là mong muốn tác

Llorca, Sotelo, Parra, Ocana, Aliseda, Yarza và Amírola [2] đã chỉ ra rằng việc bảo trì đường bộ được thực hiện kịp thời và đúng cách có thể cắt giảm 20% chi phí hoặc thấp hơn chi phí bảo trì được thực hiện sau khi xuống cấp nghiêm trọng Điều này giúp cho cho các cơ quan quản lý tiết kiệm lớn chi phí Việc xây dựng là điều kiện cần, trong khi duy tu bảo trì mới điều kiện đủ, đối với bất kỳ một tuyến đường nào, để mang lại sự an toàn khi tham gia giao thông Duy trì đường tối ưu điều kiện là sự khó khăn với các cơ quan

chuyển trên đường, công tác tuần tra, quản lý và bảo trì rất quan trọng Đặt biệt, bất kì một vết nứt hay hư hỏng mặt đường đều có thể gây các nguy cơ nguy hiểm cho người tham gia giao thông Koch, Jog và Brilakis [3] và Radopoulou và Brilakis [4] lưu ý rằng phương pháp này rất kém hiệu quả do các quy trình tốn nhiều thời gian để tiến hành đo lường, ghi lại thông tin, xử lý dữ liệu và yêu cầu nguồn lao động cao cần thiết để thực hiện kiểm tra hiện trường theo cách thủ công Hơn nữa, cách tiếp cận này dễ bị ảnh hưởng bởi tính chủ quan, thiên vị của các kỹ thuật viên khi làm việc Do đó, các kỹ thuật phát hiện hư hỏng đường bộ tự động đã được các cơ quan quản lý chú ý tới Việc

phát hiện mục tiêu các hư hỏng trên các tuyến đường một cách tự động là rất quan trọng để quản lý giao thông thông minh và giám sát an toàn

Hiện nay công nghệ thông tin phát triển rất nhanh và đóng góp to lớn Các đề tài ứng dụng công nghệ thông tin Tiềm năng của công nghệ thông tin là lớn nhưng việc ứng dụng trong quản lý bảo trì đường bộ còn khá ít Trong đó các ứng dụng để nhận hiện đối tượng nhanh đã và đang đóng góp khá nhiều cho xã hội Việc có một phần mềm phát hiện nhanh chóng hư hỏng mặt đường sẽ giúp cho các nhà quản lý sửa chữa kịp thời qua đó tiết kiệm được chi phí

Dữ liệu camera hành trình chưa phát huy hết những vai trò và tiền năng khai thác mà nó đang có Dữ liệu của camera hành trình hiện nay nhằm mục đích an ninh và để cung cấp cho công an khi có tai nạn xảy ra Tuy nhiện việc tận dụng đươc dữ liệu từ camera hành trình giúp cung cấp các hình ảnh để máy học cũng như nhận diện được các đối tượng mà ta mong muốn

Hiện nay có rất nhiều mô hình có thể giúp phát hiện hư hỏng nhưng chưa được lập trình để ứng dụng vào cuộc sống Từ việc xử lý hình ảnh đơn thuần như Deformable Part-based Model (DPM), Histogram of Oriented Gradients (HOG) đến sử dụng các mạng neural tính chập như: You look only one (YOLO), Single shot multibox detector (SSD), RetinaNet, RCNN, SPPNet, Fast RCNN, Pyramid Networks

Trong các mô hình trên thì YOLOv5 có thể được sử dụng vì tốc độ nhận diện và hiệu quả Cộng đồng sử dụng YOLO rất nhiều, thêm vào đó nhà phát triển nhiệt tình hỗ trợ trên toàn thế giới Vì vậy nếu gặp các vấn đề thì có thể nhận hỗ trợ nhanh chóng từ cộng đồng hoặc nhà phát triển.Nghiên cứu này hướng tới việc sử dụng thuật tioán YOLOv5 để xây dựng mô hình “Nhận diện tự động các hư hỏng mặt đường thông qua hình ảnh từ các camera hành trình được gắn trên các phương tiện giao thông để quản lý cơ sở hạ tầng giao thông ” Nghiên cứu sẽ đóng góp cho các nhà quản lý một phương thức đáng xem xét để nhanh chóng phát hiện hư hỏng mặt đường, giảm thiểu tối đa chi

phí vận hành, duy tu bảo dưỡng

Hình 1.3 – Đặt vấn đề nghiên cứu nhận diện tự động hư hỏng mặt đường

1.3 Mục tiêu nghiên cứu

Mục tiêu là có thể tạo ra một công cụ nhận diện tự động hư hỏng nhanh chóng Một hư hỏng nhỏ trên đường nếu không được phát hiện sớm thì khi bảo trì có thể tăng chi phí do hư hỏng đã lan rộng chưa kể vấn đề an toàn của phương tiện giao thông Kể từ năm 2006, sự trỗi dậy của Deap Learning đã cho phép công nghệ Camera thông minh phát triển các tính năng nhận diện đối tượng đạt đến độ chính xác và thông minh cao Phát hiện các hư hỏng mặt đường bằng cách giám sát các video có thể cải thiện hiệu quả trong việc vận hành và bảo trì các tuyến đường bộ Nghiên cứu này hướng đến việc sử dụng mô hình YOLOv5 để nhận diện tự động các hư hỏng mặt đường thông qua hình ảnh trên các camera hành trình gắn lên các phương tiện giao thông

Hiện tại mô hình YOLOv5 có thể nhận diện với tốc độ suy luận cao, đặc biệt là các các đối tượng nhỏ và ở xa Vì vậy, cộng đồng sử dụng YOLO rất nhiều nên việc hỗ trợ từ các người dùng cũng hiệu quả hôn Đây cũng chính là mô hình mà nghiên cứu này hướng đến để tận dụng và phát huy sự hiệu quả của YOLOv5 để tiết kiệm chi phí duy tu bảo dưỡng hạ tầng giao thông đường bộ

Mục tiêu của nghiên cứu này là xây dựng ứng dụng mô hình YOLOv5 để nhận diện hư hỏng trên mặt đường ở thời gian thực qua camera hành trình của các phương tiện tham gia giao thông Với việc phát hiện kịp thời các hư hỏng thì việc bảo trì đường bộ sẽ đơn giản hơn qua đó giảm tối đa được chi phí phát sinh

1.4 Đóng góp học thuật

Việc sáng tạo phần mềm sẽ góp thêm một phương thức nghiên cứu mới khi quản lý xây dựng Sau khi thực hiện thành công và đem vào ứng dụng thực tế thì nghiên cứu sẽ đóng góp học thuật:

- Sáng tạo và áp dụng công nghệ vào quản lý hạ tầng giao thông để tiết kiệm chi phí;

- Phát triển được phần mềm tin học ứng dụng trong quản lý cở sở hạ tầng giao thông;

- Tạo cơ sở để phát triển mô hình YOLOv5 trong quản lý cơ sở hạ tầng;

- Ứng dụng công nghệ 4.0 để xây dựng nên ứng dụng nhận biết hư hỏng mặt đường qua camera qua đó giúp giảm chi phí trong quản lý cơ sở hạ tầng; - Phát huy ứng dụng công nghệ thông tin, công nghệ viễn thông để quản lý công

việc của nhiều lĩnh vực trong cuộc sống

1.5 Đóng góp thực tiễn

Khi vận hành các tuyến đường thì các cơ quan quản lý tốn khá nhiều chi phí do phương pháp quản lý còn thủ công, thô sơ Việc xây dựng hệ thống nhận diện hư hỏng mặt đường tự động trong quản lý đường bộ giúp làm giảm nguy cơ tai nạn, tiết kiệm chi phí khi nhận biết nhanh hư hỏng và mang đến cho người tham gia giao thông những ý nghĩa nhân văn và thiết thực:

- Giúp người quản lý kiểm soát được hư hỏng mặt đường và biện pháp sửa chữa ngay lập tức;

- Tăng tính hiệu quả trong việc kiểm soát thiệt hại ở các tuyến đường;

- Từ đó giảm rủi ro tai nạn giao thông

1.6 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu chính của đề tài này gồm 5 nhiệm vụ nghiên cứu chính: - Nghiên cứu tổng quan các công nghệ hiện có trong quản lý hạ tầng giao thông

- Nghiên cứu về deep learning để nắm rõ các thuật toán cũng như cách phát triển của các mô hình nhận diện đối tượng hiện nay

- Nghiên cứu các đề tài sử dụng mô hình nhận diện đã và đang được phát triển cũng như những nghiên cứu đang được sử dụng trong cuộc sống hàng ngày - Nghiên cứu các mô hình có tiềm năng như: RCNN, YOLO, SSD, SPPNet, Fast

RCNN, Pyramid Networks để hiểu rõ từng mô hình và chọn ra mô hình phù hợp

- Nghiên cứu mô hình YOLOv5 là nghiên cứu quá trình suy luận của YOLO, các thuật toán để phát hiện đối tượng trong ảnh, tăng độ suy luận chính xác của mạng neural mà không làm ảnh hướng đến tốc độ suy luận

1.7 Quy trình nghiên cứu – Phương pháp nghiên cứu

Quy trình nghiên cứu là toàn bộ quá trình lựa chọn phương hướng, thực hiện ý tưởng thông qua việc áp dựng những công nghệ hiện có để phục vụ cho việc nghiên cứu Lưu đồ cụ thể được trình bày dưới bảng sau:

Hình 1.4 - Quy trình nghiên cứu của đề tài

Với việc nghiên cứu các đề tài trong việc quản lý vận hành và duy tu bảo dưỡng hạ tầng giao thông hiện nay tại Việt Nam cũng như trên thế giới, thông qua sự hỗ trợ tài liệu từ các nghiên cứu trước đó hay các tạp chí khoa học công nghệ, cập nhật các xu hướng giúp các nhà quản lý các tuyến đường để làm nền tảng để phát triển hệ thống quản lý vừa phát triển những ưu điểm hiện có và cải thiện được những hạn chế còn tồn đọng

Cập nhật các nền tảng công nghệ thông tin giúp chúng ta có những giải pháp để giải quyết các vấn đề một cách hiệu quả trong mọi công việc Từ đó giúp nghiên cứu tìm ra được giải pháp tối ưu để tạo nên một hệ thống quản lý hiệu quả

1.8 Công cụ nghiên cứu

Từ quy trình đã đề cập ở 1.7, các công cụ dưới đây sẽ hổ trợ cho việc nghiên cứu

Nghiên cứu cơ sở lý thuyết Các bài báo nghiên cứu về nhận diện trong lĩnh vực phát hiện hư hỏng mặt đường

Các báo cáo, nghiên cứu về hạ tầng giao thông thuộc lĩnh vực quản lý xây dựng trong và ngoài nước

Nghiên cứu các mô hình nhận diện hiện nay

Deformable Part-based Model (DPM), Histogram of Oriented Gradients (HOG), You look only one (YOLO), Single shot multibox detector (SSD), RetinaNet, RCNN, SPPNet, Fast RCNN, Pyramid Networks

Nghiên cứu mô hình YOLOv5 Deep learning, mạng neural, CNN, convolution layer (tính chập), Kiến trúc mạng YOLO, chuyển dữ liệu đầu vào về dạng vector, feature map, anchor box, bounding box, công thức IOU, Non-max suppresion, các phương pháp giúp tăng suy luận nhưng không làm giảm tốc độ suy luận, những nâng cấp của YOLOv5 so với các phiên bản tiền nhiệm

1.9 Cấu trúc luận văn

Bố cục khóa luận gồm 6 chương như sau:

- Chương 1: Giới thiệu chung về vấn đề nghiên cứu, động lực, lý do chọn hướng nghiên cứu của đề tài, mục tiêu, phạm vi nghiên cứu và bố cục của khóa luận

- Chương 2: Tổng quan về một số nghiên cứu liên quan đến việc nhận diện hư hỏng mặt đường và các nghiên cứu ứng dụng thuật toán Yolov5

- Chương 3: Trình bày về cơ sở lý thuyết và phương pháp nghiên cứu nhận diện đối tượng

- Chương 4: Trình bày về mô hình nhận diện Yolov5

- Chương 5: Trình bày về ứng dụng thuật toán Yolov5 để nhận biết hư hỏng mặt đường

- Chương 6: Trình bày về kết luận và hướng nghiên cứu trong tương lai

CHƯƠNG 2: TỔNG QUAN CÁC NGHIÊN CƯÚ VỀ NHẬN DIỆN HƯ HỎNG MẶT ĐƯỜNG TRONG QUẢN LÝ HẠ

2 Mạng cảm biến không dây: Các cảm biến không dây có thể được đặt trên mặt đường để thu thập dữ liệu về tình trạng của nó Những cảm biến này có thể đo những biến đổi như độ phẳng, biến dạng, hay thậm chí là đo lường tải trọng của xe cộ di chuyển trên mặt đường Dữ liệu này sau đó có thể được phân tích để nhận biết các dấu hiệu của hư hỏng

3 Phân tích dữ liệu từ GPS và hệ thống định vị: Thông qua việc phân tích dữ liệu từ hệ thống định vị như GPS của các phương tiện di chuyển, có thể theo dõi và ghi nhận các chấn thương, xói mòn, hay biến dạng của mặt đường Các dấu hiệu như tốc độ giảm sút đột ngột hoặc lệch hướng di chuyển có thể cho thấy mặt đường có vấn đề

4 Kỹ thuật điện trở: Phương pháp này dựa trên việc sử dụng điện trở để đo độ dẫn điện của mặt đường Nếu có vết nứt hay hư hỏng, khả năng dẫn điện sẽ thay đổi Các cảm biến điện trở có thể được sử dụng để ghi nhận sự thay đổi này và từ đó nhận biết hư hỏng

Trong các công nghệ trên thì các công nghệ thứ hai, ba bốn đòi hỏi thiết bị và công nghệ cao nên chi phí khá tốn kém Hiện này nguồn tài nguyên dữ liệu là các clip được

quay bởi camera hành trình của các phương tiện giao thông khi di chuyển trên đường hầu hết sẽ bị xóa bỏ trước khi được khai thác hết công năng do dung lượng lưu trữ lớn Dữ liệu hình ảnh từ các camera hành trình chưa phát huy được hết các vai trò và tiềm năng mà nó đang có Do dữ liệu từ các clip hành trình này lại có thể ghi nhận chính xác các hư hỏng mặt đường giao thông mà các phương tiện giao thông này đi qua và hều hết

các ôtô trên đường hiện nay đều có gắng Camera hành trình nên phương pháp Sử dụng dữ liệu từ video thu thập từ Camera hành trình trên các phương tiện giao thông để qua đó phát hiện sớm các hư hỏng mặt đường giúp chi phí sửa chữa, bảo dưỡng ít hơn

Để tiến hành phương pháp nhận biết hư hỏng mặt đường thông qua dữ liệu hình ảnh và video từ xe cộ di chuyển thì các nghiên cứu hầu hết tiến hành theo các bước như sau :

1 Thu thập dữ liệu: Phương tiện giao thông được trang bị với các thiết bị ghi hình ảnh hoặc video

2 Ghi lại hình ảnh và video: Trong quá trình di chuyển, các camera ghi lại hình ảnh hoặc video của mặt đường và xung quanh Dữ liệu này có thể được lưu trữ lâu dài

3 Xử lý hình ảnh và video: Tại trung tâm xử lý, dữ liệu hình ảnh và video được xử lý bằng các thuật toán phân tích hình ảnh và máy học Những thuật toán này có thể nhận biết các đặc điểm của hư hỏng như vết nứt, lún, hay lỗ trên mặt đường

4 Phát hiện hư hỏng: Sau khi xử lý, hệ thống sẽ nhận diện các dấu hiệu của hư hỏng mặt đường Điều này có thể dựa trên sự thay đổi trong màu sắc, hình dạng hoặc cấu trúc của mặt đường so với trạng thái bình thường

5 Báo cáo và quản lý: Khi phát hiện hư hỏng, hệ thống sẽ tự động tạo báo cáo hoặc thông báo cho các nhà quản lý đường bộ để sửa chữa

Các nghiên cứu này phải kết hợp giữa kỹ thuật công nghệ để tạo ra hiệu quả cho cơ quan quản lý hạ tầng đường bộ

giới

2.2 Tổng quan tình hình nghiên cứu công nghệ Yolov5 ở Việt Nam và thế

YOLOv5 là một phiên bản nâng cấp của mạng nơ-ron chập (CNN) YOLO (You Only Look Once), được phát triển để thực hiện nhận dạng đối tượng hình ảnh nhanh chóng và hiệu quả YOLOv5 là phiên bản thứ 5 của nhóm YOLO Nó sử dụng một kiến trúc mạng nơ-ron CNN hiện đại để thực hiện việc nhận dạng và phân loại đối tượng trong thời gian thực

Các ứng dụng của YOLOv5 rất nhiều

1 Nhận dạng đối tượng giao thông: YOLOv5 dùng để nhận dạng và phân loại các loại đối tượng trong hình ảnh hoặc video từ camera giao thông Điều này có thể giúp trong việc theo dõi giao thông và cải thiện an ninh đường bộ

2 Giám sát môi trường và thiên tai: YOLOv5 được dùng để nhận dạng các sự kiện tự nhiên như lũ lụt, cháy rừng, và các biểu hiện môi trường khác bằng việc sử dụng hình ảnh và video từ các nguồn như camera quan sát

3 Nhận dạng y tế: YOLOv5 được dùng để nhận diện bệnh lý và biểu hiện y tế trên hình ảnh khi chụp X-quang, nội soi hoặc siêu âm

4 Quản lý tài sản: YOLOv5 được dùng để theo dõi và quản lý tài sản trong môi trường công nghiệp hoặc kho lưu trữ giúp tối ưu hóa quá trình kiểm tra và quản lý hàng tồn kho

5 Phân loại sản phẩm: YOLOv5 được dùng để phân loại sản phẩm trên kệ hàng Điều này có thể giúp cải thiện trải nghiệm mua sắm

6 An ninh và giám sát: YOLOv5 dùng để phát hiện và nhận dạng các hành vi nghi ngờ hoặc nguy hiểm ở nơi công cộng

7 Phát hiện đối tượng trong video giải trí: YOLOv5 được dùng để phát hiện người trong video âm nhạc đám đông đến phân loại vật phẩm trong trò chơi video

2.3 Các nghiên cứu trong và ngoài nước về phương pháp nhận biết hư hỏng mặt đường

1 P.M Harikrishnan, V.P Gopi

2017 Xử lý tín hiệu rung xe để giám sát mặt đường

2 X Yu, E Salari 2011 Phát hiện ổ gà trên mặt đường và đo lường mức độ nghiêm trọng bằng hình ảnh laser

3 M Kamaliardakani, I Sun, M.K Ardakani

2014 Thuật toán phát hiện vết nứt kín sử dụng phương pháp phân ngưỡng heuristic 4 A Zhang, K.C.P

Wang, B Li, E Yang, X Dai, Y Peng, Y Fei, Y Liu,

J.Q Li, C Chen

2017 Tự động phát hiện vết nứt mặt đường ở cấp pixel trên bề mặt nhựa đường 3D bằng mạng học sâu

5 Y.-J Cha, W Choi, O Büyükoztürk

2017 Phát hiện thiệt hại vết nứt dựa trên phương pháp học sâu

6 S Ren, K He, R Girshick, J Sun

2017 R-CNN nhanh hơn: hướng tới phát hiện đối tượng theo thời gian thực với các mạng đề xuất khu vực

7 A.G Howard, M Zhu, B Chen, D Kalenichenko, W Wang, T Weyand,

2017 MobileNets, mạng thần kinh tích chập hiệu quả cho ứng dụng tầm nhìn di động

M Andreetto, H Adam

8 H Maeda, Y Sekimoto, T Seto, T Kashiyama, H Omata

2018 Nhận diện, phân loại hư hỏng đường bằng việc sử dụng mạng lưới thần kinh sâu với hình ảnh điện thoại thông minh

2.4 Các nghiên cứu trong và ngoài nước ứng dụng Yolov5

1 Jia Yao, Jiaming Qi, Jie Zhang, Hongmin Shao, Jia Yang and Xin Li

2021 Thuật toán phát hiện thời gian thực cho các khuyết tật của quả Kiwi dựa trên YOLOv5

2 Xingkui Zhu, Shuchang Lyu, Xu Wang, Qi Zhao

2021 YOLOv5 được cải tiến dựa trên Đầu dự đoán biến áp để phát hiện đối tượng trên các tình huống được chụp bằng máy bay không người lái An toàn cho người đi bộ bị khiếm thị tại Giao lộ Zebra

3 Zhaoyi Chen, Ruhui Wu, Yiyan Lin, Chuyu Li, Siyu Chen, Zhineng Yuan, Shiwei Chen and Xiangjun Zou

2022 Mô hình nhận dạng bệnh cây dựa trên YOLOv5 cải tiến

4 Fangbo Zhou, Huailin Zhao, Zhen Nie

2021 Phát hiện mũ bảo hiểm dựa trên YOLOv5

5 Bin Yan, Pan Fan, Xiaoyan, Zhijie Liu and Fuzeng Yang

2021 Phương pháp phát hiện mục tiêu theo thời gian thực của Apple dành cho rô- bốt chọn dựa trên YOLOv5 được cải tiến

6 Guanhao Yang; Wei Feng; Jintao Jin; Qujiang Lei; Xiuhao Li; Guangchao Gui; Weijun Wang

2020 Hệ thống nhận dạng khẩu trang với YOLOV5 dựa trên nhận dạng hình ảnh

7 Tasnim Ferdous Dima; Md Eleas Ahmed

2021 Sử dụng YOLOv5 để nhận dạng ngôn ngữ ký hiệu của Mỹ

2.5 Phân tích các nghiên cứu và ưu nhược điểm của các nghiên cứu về nhận biết hư hỏng mặt đường

STT Tên đề tài Tác giả, năm

Ưu điểm Hạn chế Ghi chú 1 Vehicle

vibration signal

P.M Harikrishn an, V.P

Thay thế phương pháp thủ công

Thay thế con người để kiểm tra nhưng Kết

processing for road surface monitoring

Gopi (2017)

quả không ổ định với độ chính xác thấp

2 Pavement pothole detection and severity measureme nt using laser

X Yu, E Salari (2011)

Thiết bị cồng kềnh, chi phí cao, gây tắc nghẽn

giao thông khi vận hành

3 Sealed- crack detection algorithm using heuristic thresholdin g approach

M

Kamaliard akani, I Sun, M.K Ardakani (2014)

Khả năng phát hiện vết nứt vẫn sai do nhiều thứ, bao gồm cả việc thiếu ánh sáng và kết cấu không đồng nhất của cốt liệu mặt

đường 4 Automated

pixel-level pavement crack detection on 3D

A Zhang, K.C.P Wang, B Li, E Yang, X Dai, Y

Cải thiện độ chính xác

Nhưng chỉ phát hiện một loại hư hỏng và có tỷ lệ lỗi cao trong điều kiện thiếu ánh sáng, biến

asphalt surfaces using a deep- learning network

Peng, Y Fei, Y Liu, J.Q Li, C Chen (2017)

dạng và 'nhiễu' dữ liệu khác

5 Deep learning- based crack damage detection using convolutio nal neural networks

Y.-J Cha, W Choi, O

Büyükoztü rk (2017)

Đang là phương pháp hiệu quả nhất, là trọng tâm chính để nghiên cứu

6 Faster R- CNN: towards real-time object detection with region proposal networks

S Ren, K He, R Girshick, J Sun (2017)

Cải thiện độ chính xác

Tốc độ phát hiện chậm nên khi phương tiện duy chuyển nhanh hơn đặt biệt là trên các cao tốc thì các vị trí hư hỏng đã không được phát hiện 7 MobileNet

s, efficient convolutio

A.G Howard, M Zhu, B

Tăng cường hơn nữa tốc độ phát

nal neural networks for mobile vision application s

Chen, D Kalenichen ko, W Wang, T Weyand, M

Andreetto, H

Adam(201 7)

hiện và hiệu suất

8 Road damage detection and

classificati on using deep neural networks with

smartphone images

H Maeda, Y

Sekimoto, T Seto, T Kashiyama , H Omata (2018)

Hạn chế là tương đối ít trong số những hình ảnh này chứa các ví dụ về ổ gà, tự nhiên cản trở hiệu suất của các mô hình đã phát triển trong việc phát hiện ổ gà và cuối cùng là ảnh hưởng đến đánh giá chung về khả năng ứng dụng thực tiễn

2.6 Phân tích các nghiên cứu và ưu nhược điểm của các nghiên cứu ứng dụng Yolov5

STT Tên đề tài Tác giả, năm

Ưu điểm Hạn chế Ghi chú 1 A Real-

Time Detection Algorithm for

Kiwifruit Defects Based on YOLOv5

Jia Yao, Jiaming Qi, Jie Zhang, Hongmin Shao, Jia Yang and Xin Li (2021)

Bằng cách thêm một lớp phát hiện mục tiêu nhỏ, khả năng phát hiện các hư hỏng nhỏ được cải thiện Lớp này được nhúng để nâng cao các tính năng hữu ích và loại bỏ các tính năng ít quan trọng hơn CIoU được sử dụng làm hàm mất mát để làm cho hồi quy ổn định hơn

Phương pháp này khó áp dụng vào thực tế, vì mục tiêu của nghiên cứu là muốn thay thế cách kiểm tra truyền thống nhưng mô hình chỉ nhìn được vào 1 mặt của trái Kiwi và cần phải có người xoay trái để có thể nhận diện được bên còn lại

Mô hình gốc đã có nhiều thay đổi nên độ chính xác đã cao hơn mô hình này

2 TPH- YOLOv5: Improved YOLOv5 Based on Transforme

Xingkui Zhu, Shuchang Lyu, Xu Wang, Qi

Công nghệ thêm vào YOLOv5 một lớp TPH, giảm hiệu ứng nhòe khi nhận diện bằng máy

Nghiên cứu chỉ kỹ thuật cải thiện nhận diện như CBAM, TPH- YOLOv5 bằng máy bay không

Hướng nghiên cứu tuy đạt hiệu quả về mặt nghiên cứu và cải thiện

r Prediction Head for Object Detection on Drone- Captured Scenarios Visually Impaired Pedestrian Safety at Zebra Crossings

Zhao (2021)

bay không người lái, mang lại phương thức mới cũng như các cải thiện của hô hình khi sử dụng thiết bị bay từ trên cao

người lái để cải tiến mô hình nhưng lại chưa đưa ra được cách ứng dụng trong cuộc sống

nhận diện từ trên không nhưng chưa đưa ra phương pháp để áp dụng vào thực tế

3 Plant Disease Recognitio n Model Based on Improved YOLOv5

Zhaoyi Chen, Ruhui Wu, Yiyan Lin, Chuyu Li, Siyu Chen, Zhineng Yuan, Shiwei Chen and Xiangjun Zou (2022)

Nghiên cứu thêm các module mới như InvolutionBottle neck, SE để giảm số lượng tham số cũng như phép tính và cải thiện độ nhạy của tính năng kênh Cuối cùng là thay đổi thuật toán Loss function từ GioU

Độ chính xác của bệnh thán thử giảm 5,2%, tuy nhiên độ chính xác trung bình vẫn tăng

Hướng nghiên cứu giúp cho nông dân một cách để phát hiện mầm bệnh của cây nhưng cần cải thiện độ chính xác

sang EioU để cải thiện nhận diện 4 Safety

Helmet Detection Based on YOLOv5

Fangbo Zhou, Huailin Zhao, Zhen Nie (2021)

Mô hình cho ra một sản phẩm nhận diện công nhân có đội mũ bảo hộ hay không để tạo ra một công cụ cho người quản lý để giám sát cũng như giảm thiểu số vụ tai nạn không đáng có

Để nhận diện người công nhân có đội mũ hay không thì phải thông qua camera để nhận diện, dẫn đến không thể kiểm soát tốt được công nhân ở những nơi khuất tầm nhìn hoặc không có camera Đặt nhiều camera giám sát cũng làm tăng chi phí Phần mềm sử dụng và sửa chữa trên tập dữ liệu COCO thay vào đó có thể tự tạo bộ dữ liệu riêng

Hướng nghiên cứu đạt hiệu quả về mặt nhận diện trong an toàn lao động

nhưng chưa thể áp dụng vào thực tế vì chỉ nhận diện thôi là chưa đủ

5 A Real- Time Apple Targets Detection Method for Picking Robot Based on Improved YOLOv5

Bin Yan, Pan Fan, Xiaoyan, Zhijie Liu and Fuzeng Yang (2021)

Cải tiến nhẹ BottleneckCSP để làm giảm số lượng tham số trong module, thay đổi kích thước của các anchor box cho phù hợp để xác định được khoảng cách các quả táo ở xa nhằm xác định tốt mục tiêu hái cho robot hái táo

Vì robot hái táo hoạt động ban đêm Tuy nhiên, thuật toán được đề xuất trong nghiên cứu được thiết kế chỉ để nhận dạng trái cây vào ban ngày nên đây là một hạn chế của nghiên cứu Ngoài ra, đối tượng nhận dạng của bài báo là quả táo đỏ được trồng rộng rãi Tuy nhiên, nhìn chung có một số lượng lớn cây táo xanh được trồng trong cùng một vườn táo, nhưng thuật toán đề xuất trong bài báo không thể

Nghiên cứu này cần có thêm nhiều thời gian để áp dụng thực tiễn

nhận dạng được táo xanh

6 Face Mask Recognitio n System with

YOLOV5 Based on Image Recognitio n

Guanhao Yang; Wei Feng; Jintao Jin; Qujiang Lei;

Xiuhao Li; Guangchao Gui;

Weijun Wang (2020)

Xử lý hình ảnh đầu vào tốt bằng việc làm mịn ảnh bằng mean filtering, median filtering,

Gaussian

filtering để giảm nhiễu hình ảnh và trích xuất các thông tin hữu ích, nghiên cứu giúp cho việc quản lý an ninh nơi công cộng

Cách nhận biết này chỉ để nhận dạng khẩu trang, nên vài trường hợp khách hàng dùng tay che một phần mặt thì sẽ không nhận dạng thành công

Nghiên cứu cần cải thiện tình trạng không thể nhận ra mặt nạ che bằng tay hoặc các vật che chắn khác, giúp mọi người vào trung tâm mua sắm thuận tiện hơn trong môi trường đặc biệt và hệ thống nhận dạng sẽ thông minh hơn 7 Using

YOLOv5

Tasnim Ferdous

Nghiên cứu giúp người không sử

Mô hình không chỉ ra sự khác

Nghiên cứu này