Thiết kế hệ thống hỗ trợ người lái ứng dụng Iot/AI

Trang 7 TÓM TẮT ĐỒ ÁN THIẾT KẾ HỆ THỐNG HỖ TRỢ NGƯỜI LÁI ỨNG DỤNG IOT/AI Những vấn đề về giao thông phức tạp đang là một thách thức lớn đối với Việt Nam, đặc biệt là trong các thành phố

THÀNH PHỐ HỒ CHÍ MINH

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ

S K L 0 1 0 9 6 4

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH

Giảng viên hướng dẫn: TS VŨ QUANG HUY

Sinh viên thực hiện: NGUYỄN NGỌC HIẾU MSSV:19146054

Khóa:

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do – Hạnh phúc

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP

Học kỳ 2/ năm học 2022-2023 Giảng viên hướng dẫn: TS Vũ Quang Huy

Sinh viên thực hiện:

Nguyễn Ngọc Hiếu MSSV: 19146054 Hệ đào tạo: CLV

Nguyễn Minh Cường MSSV: 19146055 Hệ đào tạo: CLV

Ghi chú: sinh viên điền đúng thông tin hệ đào tạo, ví dụ: CLV (Chất lượng cao tiếng Việt); CLA (Chất lượng cao tiếng Anh)

1 Mã số đề tài: 22223DT191

– Tên đề tài:

Thiết kế hệ thống hỗ trợ người lái ứng dụng IOT/AI

2 Các số liệu, tài liệu ban đầu:

Sách "Advanced Driver Assistance Systems (ADAS) for Safe and Efficient Driving" của Hua Chen và Shuang Zhao

Sách "Driver Assistance Systems: From Basic to Advanced Technologies" của Reza Langari và Jason Bakos

3 Nội dung chính của đồ án:

Nhận diện biển báo giao thông - liên quan đến tốc độ

Nhận diện lệch làn đường - tiền va chạm

Nhận diện tài xế buồn ngủ

Đưa ra cảnh báo bằng hình ảnh và âm thanh cho tài xế

6 Ngày nộp đồ án: 15/07/2023

7 Ngôn ngữ trình bày: Bản báo cáo: Tiếng Anh • Tiếng Việt •

Trình bày bảo vệ: Tiếng Anh • Tiếng Việt •

Ghi chú: Hệ chất lượng cao tiếng Anh thực hiện thuyết minh và báo cáo bằng tiếng

Anh

(Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên)

◻ Được phép bảo vệ ………

(GVHD ký và ghi rõ họ tên)

- Ngày nộp khóa luận tốt nghiệp (Đồ án tốt nghiệp): 07/07/2023

- Lời cam kết: “Chúng tôi xin cam đoan khóa luận tốt nghiệp (Đồ án tốt nghiệp) này

là công trình do chính chúng tôi nghiên cứu và thực hiện Chúng tôi không sao chép

từ bất kỳ một bài viết nào đã được công bố mà không trích dẫn nguồn gốc Nếu có bất kỳ một sự vi phạm nào, chúng tôi xin chịu hoàn toàn trách nhiệm”

Tp Hồ Chí Minh, ngày tháng năm 2023

Đại diện nhóm

LỜI CẢM ƠN

Lời đầu tiên, cho phép chúng em xin gửi lời cảm ơn chân thành đến khoa Đào tạo Chất lượng cao của trường đại học Sư Phạm Kỹ Thuật thành phố Hồ Chí Minh vì đã tạo cho chúng em một môi trường học, cũng như những điều kiện vô cùng thuận lợi

để chúng em có thể thực hiện, và hoàn thành được những mục tiêu của đề tài này

Sau khi trải qua đề tài, chúng em không chỉ học thêm được nhiều kiến thức trong thực

tế, mà bên cạnh đó còn học được những kỹ năng quản lý thời gian, sắp xếp công việc,

và những kỹ năng kinh nghiệm cực kỳ quý giá khác

Chúng em mong muốn được gửi lời cảm ơn sâu sắc đến với:

● Cha mẹ, người đã tạo những điều kiện vô cùng thuận lợi để chúng con có cơ hội được học tập những kiến thức, có thêm thời gian để được nghiên cứu và phát triển đề tài

● Thầy Vũ Quang Huy, người đã hướng dẫn, tận tình chỉ bảo, và cho chúng em rất nhiều lời khuyên về sự phát triển đề tài trong suốt thời gian vừa qua

● Các thầy cô của ngành Cơ điện tử, những người đã chúng em những sự đam

mê, và quý báu hơn đó chính là những kiến thức để chúng em có thể hoàn thành được đề tài này

● Người thân và bạn bè đã luôn bên cạnh, ủng hộ, hỗ trợ chúng em trong suốt khoảng thời gian vừa qua

● Các thầy cô giảng viên phản biện, người đã giúp cho chúng em có thể nhìn nhận rõ hơn bao giờ hết những ưu, nhược điểm mà chúng em được, hay còn đang gặp phải

TÓM TẮT ĐỒ ÁN THIẾT KẾ HỆ THỐNG HỖ TRỢ NGƯỜI LÁI

ỨNG DỤNG IOT/AI

Những vấn đề về giao thông phức tạp đang là một thách thức lớn đối với Việt Nam, đặc biệt là trong các thành phố lớn Tình trạng thường xuyên xảy ra tai nạn, và hệ thống biển báo giao thông phức tạp đã gây ra những khó khăn đáng kể cho người dân khi tham gia giao thông Để giải quyết những vấn đề này, sự kết hợp giữa Internet of Things (IoT) và Trí tuệ nhân tạo (AI) đã trở thành một giải pháp tiềm năng

Hệ thống hỗ trợ người lái ứng dụng IoT/AI có thể cung cấp những giải pháp thông minh để giảm thiểu tai nạn giao thông và tăng cường an toàn cho người tham gia giao thông Bằng cách sử dụng camera và thiết bị kết nối thông qua IoT, hệ thống này có khả năng thu thập dữ liệu thời gian thực về tình trạng lệch làn đường, khoảng cách với xe phía trước, biển báo giao thông và hành vi lái xe của tài xế

Dựa trên dữ liệu thu thập được, trí tuệ nhân tạo (AI) có thể phân tích và dự đoán để cung cấp cảnh báo sớm về tình huống nguy hiểm hoặc tai nạn trên đường Sử dụng công nghệ nhận dạng hình ảnh, hệ thống có thể phát hiện các tình huống nguy hiểm như lệch làn đường, tài xế buồn ngủ, tiền va chạm để đưa ra cảnh báo kịp thời nhằm giảm nguy cơ tai nạn Ngoài ra, sản phẩm còn có thể nhận diện và cung cấp thông tin các biển báo liên quan tới tốc độ

Hơn nữa, hệ thống hỗ trợ người lái ứng dụng IoT/AI có thể tích hợp với hầu hết các dòng xe trên thị trường hiện nay Điều này giúp tối ưu hóa luồng giao thông, giảm thiểu tai nạn và tăng cường an toàn cho những người tham gia giao thông

Tóm lại, việc thiết kế hệ thống hỗ trợ người lái ứng dụng IoT/AI có thể giúp giải quyết các vấn đề giao thông phức tạp ở Việt Nam Bằng cách sử dụng các công nghệ thông minh, hệ thống này có tiềm năng tăng cường an toàn giao thông, giảm thiểu tai nạn, và giúp các tài xế đỡ căng thẳng khi lái xe

ABSTRACTS Design of IoT/AI-based Driver Assistance System

The complex traffic issues pose significant challenges for Vietnam, especially in major cities Frequent accidents and a complicated traffic signage system have caused considerable difficulties for people participating in traffic To address these issues, the combination of the Internet of Things (IoT) and Artificial Intelligence (AI) has emerged as a promising solution

An IoT/AI-based driver support system can provide intelligent solutions to minimize traffic accidents and enhance safety for road users By utilizing cameras and devices connected through IoT, this system can gather real-time data on lane deviations, distance to the vehicle ahead, traffic signage, and driver behavior

Based on the collected data, Artificial Intelligence (AI) can analyze and predict potential hazards or accidents on the road, offering early warnings By using image recognition technology, the system can detect dangerous situations such as lane deviations, drowsy driving, and imminent collisions to provide timely alerts, reducing the risk of accidents Additionally, the system can identify and provide information

on speed-related traffic signs

Furthermore, an IoT/AI-based driver support system can be integrated with most vehicle models currently available in the market This helps optimize traffic flow, minimize accidents, and enhance safety for all road users

In conclusion, designing an IoT/AI-based driver support system can help address the complex traffic issues in Vietnam By leveraging intelligent technologies, this system has the potential to enhance traffic safety, reduce accidents, and alleviate driver stress

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

TP HCM

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA

VIỆT NAM

Độc lập - Tự do – Hạnh phúc

KHOA CƠ KHÍ CHẾ TẠO MÁY

Bộ môn ………

PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên hướng dẫn) Họ và tên sinh viên: Nguyễn Ngọc Hiếu MSSV: 19146054 Hội đồng:…………

Họ và tên sinh viên: Nguyễn Minh Cường MSSV: 19146055 Hội đồng:…………

Tên đề tài: Thiết kế hệ thống hỗ trợ người lái ứng dụng IOT/AI Ngành đào tạo: Công nghệ kỹ thuật Cơ điện tử Họ và tên GV hướng dẫn: TS Vũ Quang Huy Ý KIẾN NHẬN XÉT 1 Nhận xét về tinh thần, thái độ làm việc của sinh viên (không đánh máy)

2 Nhận xét về kết quả thực hiện của ĐATN(không đánh máy) 2.1.Kết cấu, cách thức trình bày ĐATN:

2.2 Nội dung đồ án:

(Cơ sở lý luận, tính thực tiễn và khả năng ứng dụng của đồ án, các hướng nghiên cứu

có thể tiếp tục phát triển)

2.3.Kết quả đạt được:

2.4 Những tồn tại (nếu có):

3 Đánh giá:

T

1 Hình thức và kết cấu ĐATN 30

Đúng format với đầy đủ cả hình thức và nội dung của

các mục

10

Mục tiêu, nhiệm vụ, tổng quan của đề tài 10

Khả năng ứng dụng kiến thức toán học, khoa học và kỹ

Khả năng thực hiện/phân tích/tổng hợp/đánh giá 10

Khả năng thiết kế chế tạo một hệ thống, thành phần,

hoặc quy trình đáp ứng yêu cầu đưa ra với những ràng

buộc thực tế

15

Khả năng cải tiến và phát triển 15

Khả năng sử dụng công cụ kỹ thuật, phần mềm chuyên

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

TP HCM

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA

VIỆT NAM

Độc lập - Tự do – Hạnh phúc

KHOA CƠ KHÍ CHẾ TẠO MÁY

Bộ môn ………

PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên phản biện) Họ và tên sinh viên: Nguyễn Ngọc Hiếu MSSV: 19146054 Hội đồng:…………

Họ và tên sinh viên: Nguyễn Minh Cường MSSV:19146055 Hội đồng:…………

Tên đề tài: Thiết kế hệ thống hỗ trợ người lái ứng dụng IOT/AI Ngành đào tạo: Công nghệ kỹ thuật Cơ điện tử Họ và tên GV phản biện: (Mã GV) Ý KIẾN NHẬN XÉT 1 Kết cấu, cách thức trình bày ĐATN:

2 Nội dung đồ án: (Cơ sở lý luận, tính thực tiễn và khả năng ứng dụng của đồ án, các hướng nghiên cứu có thể tiếp tục phát triển)

3 Kết quả đạt được:

4 Những thiếu sót và tồn tại của ĐATN:

5 Câu hỏi:

Mục tiêu, nhiệm vụ, tổng quan của đề tài 10

Khả năng ứng dụng kiến thức toán học, khoa học và kỹ

thuật, khoa học xã hội…

5

Khả năng thực hiện/phân tích/tổng hợp/đánh giá 10

Khả năng thiết kế, chế tạo một hệ thống, thành phần, hoặc

quy trình đáp ứng yêu cầu đưa ra với những ràng buộc thực

tế

15

Khả năng cải tiến và phát triển 15

Khả năng sử dụng công cụ kỹ thuật, phần mềm chuyên

MỤC LỤC

LỜI CẢM ƠN i

TÓM TẮT ĐỒ ÁN ii

ABSTRACTS iii

PHỤ LỤC HÌNH ẢNH xv

CHƯƠNG 1 GIỚI THIỆU TỔNG QUAN VỀ ĐỀ TÀI 1

1.1 Tính cấp thiết của đề tài 1

1.2 Ý nghĩa và tính thực tiễn của đề tài 3

1.3 Đối tượng và phạm vi nghiên cứu 4

1.3.1 Đối tượng nghiên cứu 4

1.3.2 Phạm vi nghiên cứu 4

1.4 Mục đích nghiên cứu 6

1.5 Phương pháp nghiên cứu 6

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 9

2.1 Thị giác máy tính 9

2.1.1 Học sâu (Deep Learning) 9

2.1.1.1 Khái niệm 9

2.1.1.2 Cách hoạt động 11

2.1.1.3 Ứng dụng 12

2.1.2 Mạng nơ-ron tích chập (Convolutional Neural Network) 12

2.1.2.1 Lớp tích chập (Conv Layer) 13

2.1.2.2 Lớp tổng hợp (Pooling Layer) 15

2.1.2.3 Lớp kết nối đầy đủ (Fully Connected) 18

2.1.3 Các thuật toán liên quan 20

2.1.3.1 Phân loại các thuật toán 21

2.1.3.2 Theo dõi đối tượng (Object Tracking) 22

2.1.3.3 Phát hiện đối tượng (Object Detection) 25

2.1.3.4 Phân đoạn đối tượng (Object Segmentation) 28

2.1.4 Các kỹ thuật được sử dụng 30

2.1.4.1 Học chuyển tiếp (Transfer learning) 30

2.1.4.2 Kỹ thuật ước lượng khoảng cách 31

2.2 Các ngôn ngữ lập trình 36

2.2.1 Python 36

2.2.2 MySQL 37

2.3 Các chuẩn giao tiếp và giao diện 39

2.3.1 UART 39

2.3.2 SPI 41

2.3.3 CAN 43

2.3.4 OBD2 45

2.3.5 Socket 46

2.4 Tính năng an toàn trên ô tô 48

2.5 Lựa chọn phương pháp - thiết bị 50

2.5.1 Lựa chọn phương pháp 50

2.5.1.1 Lựa chọn mô hình 50

2.5.1.2 Lựa chọn thuật toán 52

2.5.1.2.1 Thuật toán ước lượng khoảng cách vật thể đến camera 52

2.5.1.2.2 Thuật toán tính khoảng cách an toàn 53

2.5.1.2.3 Thuật toán tính thời gian va chạm 54

2.5.2 Lựa chọn thiết bị phần cứng 56

2.6 Mô hình YOLO 58

2.6.1 Giới thiệu chung về YOLO 58

2.6.2 Một số khái niệm liên quan đến YOLO 59

2.6.2.1 Phương pháp 59

2.6.2.2 Kiến trúc của mô hình 60

2.6.3 YOLOv8 63

2.6.3.1 Điểm cải tiến 63

2.6.3.2 So sánh hiệu suất với các phiên bản trước đây 65

CHƯƠNG 3 THIẾT KẾ VÀ THUẬT TOÁN 67

3.1 Tổng quan thiết kế 67

3.2 Cơ sở dữ liệu (MySQL) 68

3.3 Thiết kế phần cứng 69

3.4 Thiết kế thuật toán 71

3.4.1 Hiển thị và cảnh báo 71

3.4.1.1 Thuật toán xử lý tín hiệu biển báo 71

3.4.1.2 Thiết kế giao diện hiển thị 72

3.4.1.3 Thiết kế thuật toán hiển thị và âm thanh 73

3.4.2 Xử lý thông tin 74

3.4.2.1 Thuật toán xử lý lệch làn đường - LANE 75

3.4.2.2 Thuật toán xử lý tiền va chạm - OBSTACLE 77

3.4.2.3 Thuật toán xử lý tín hiệu biển báo tốc độ - TRAFFIC SIGN 79

3.4.2.4 Thuật toán xử lý trạng thái tài xế - DRIVER STATE 79

CHƯƠNG 4 HUẤN LUYỆN MÔ HÌNH 81

4.1 Chuẩn bị dữ liệu 81

4.1.1 Mô hình cảnh báo tiền va chạm và cảnh báo lệch làn đường 81

4.1.2 Mô hình nhận diện biển báo giao thông 84

4.2 Huấn luyện mô hình 86

4.2.1 Mô hình cảnh báo lệch làn đường - Mô hình Drivable 86

4.2.1.1 Xử lý dữ liệu 86

4.2.1.2 Trực quan hóa dữ liệu huấn luyện mô hình 89

4.2.1.3 Quá trình huấn luyện mô hình 91

4.2.1.4 Kết quả quá trình huấn luyện mô hình 93

4.2.1.5 Đánh giá tổng quan về mô hình 96

4.2.2 Mô hình cảnh báo tiền va chạm - Mô hình Obstacle 97

4.2.2.1 Xử lý dữ liệu 97

4.2.2.2 Trực quan hóa dữ liệu 99

4.2.2.3 Quá trình huấn luyện mô hình 101

4.2.2.4 Kết quả quá trình huấn luyện mô hình 103

4.2.2.5 Đánh giá tổng quan về mô hình 106

4.2.3 Mô hình nhận diện biển báo giao thông 107

4.2.3.1 Xử lý dữ liệu 107

4.2.3.2 Trực quan hóa dữ liệu 108

4.2.3.3 Quá trình huấn luyện mô hình 110

4.2.3.4 Kết quả quá trình huấn luyện mô hình 111

4.2.3.5 Đánh giá tổng quan về mô hình 115

CHƯƠNG 5 KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 116

5.1 Mô hình nhận diện làn đường đang di chuyển 116

5.1.1 Kết quả dự đoán trong điều kiện thực tế 116

5.1.2 Đánh giá kết quả dự đoán 125

5.2 Mô hình nhận diện các đối tượng tham gia giao thông 126

5.2.1 Kết quả dự đoán trong điều kiện thực tế 126

5.2.2 Đánh giá kết quả dự đoán 131

5.3 Mô hình nhận diện biển báo giới hạn tốc độ 132

5.3.1 Kết quả dự đoán 132

5.3.2 Đánh giá kết quả dự đoán 139

5.4 Mô hình giám sát tài xế 139

5.4.1 Kết quả dự đoán của mô hình 139

5.4.2 Đánh giá kết quả dự đoán mô hình 147

5.5 Hiển thị và cảnh báo 147

5.5.1 Kết quả hiển thị 147

5.5.2 Đánh giá kết quả 148

5.6 Cả hệ thống 149

5.6.1 Kết quả thực nghiệm của hệ thống 149

5.6.2 Đánh giá kết quả thực nghiệm của hệ thống 156

CHƯƠNG 6 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 157

6.1 Kết luận 157

6.2 Hướng phát triển trong tương lai 157 CHƯƠNG 7 TÀI LIỆU THAM KHẢO 158

PHỤ LỤC HÌNH ẢNH

Hình 1.1 Tai nạn giao thông - tình trạng ‘dồn toa’ 1

Hình 1.2 Lệch làn - Chạy 2 làn đường trên cao tốc 2

Hình 1.3 Tài xế ngủ gật khi đang lái xe 2

Hình 1.4 Hệ thống hỗ trợ người lái trên xe 3

Hình 1.5 Sử dụng AI nhận diện điều kiện giao thông 5

Hình 1.6 Xe ô tô vi phạm tốc độ 6

Hình 2.1 Trí tuệ nhân tạo - AI 9

Hình 2.2 Máy học - Machine Learning 10

Hình 2.3 Sự khác biệt giữa AI, Machine Learning, và Deep Learning 10

Hình 2.4 Cách hoạt động của Học sâu (Deep Learning) 11

Hình 2.5 Các lĩnh vực có thể ứng dụng Học sâu (Deep Learning) 12

Hình 2.6 Thứ tự cơ bản về các lớp trong CNN (trái qua phải) 13

Hình 2.7 Kiến trúc cơ bản của CNN 13

Hình 2.8 Kích thước của bộ lọc so với hình ảnh Input 14

Hình 2.9 Cách hoạt động của Conv Layer 14

Hình 2.10 Các hàm kích hoạt thường gặp 15

Hình 2.11 Sự khác nhau giữa Max Pooling và Avg Pooling 15

Hình 2.12 Phương pháp Downsampling 16

Hình 2.13 Sự khác nhau giữa Max Pooling và Upsampling 16

Hình 2.14 Cách hoạt động của Transposed Convolution 17

Hình 2.15 Cách hoạt động của Nearest Neighbor Interpolation 17

Hình 2.16 Cách hoạt động của Bilinear Interpolation 18

Hình 2.17 Kết quả Nearest Neighbor Interpolation và Bilinear Interpolation 18

Hình 2.18 Kiến trúc cơ bản của FC 19

Hình 2.19 Lớp Flatten và Fully Connected 19

Hình 2.20 Sự khác nhau giữa việc áp dụng kỹ thuật Dropout hoặc không 20

Hình 2.21 Nhận dạng các đối tượng trong ảnh kỹ thuật số 20

Hình 2.22 Sơ đồ mối quan hệ giữa các loại thuật toán trong Thị giác máy tính 21

Hình 2.23 Sự khác nhau giữa các loại thuật toán trong Thị giác máy tính 21

Hình 2.24 Thuật toán theo dõi đối tượng trong lĩnh vực Thị giác máy tính 22

Hình 2.25 Thuật toán Phát hiện đối tượng (Object Detection) 25

Hình 2.26 Nhóm thuật toán trong Phát hiện đối tượng (Object Detection) 26

Hình 2.27 So sánh hiệu suất của các mô hình Faster RCNN, YOLOv4, và SSD 28

Hình 2.28 So sánh hiệu suất mô hình YOLOv3 và RetinaNet 28

Hình 2.29 Phân đoạn đối tượng (Object Segmentation) 29

Hình 2.30 Sự khác nhau giữa thuật toán Object Detection và Segmentation 29

Hình 2.31 Semantic Segmentation (Trái) và Instance Segmentation (Phải) 29

Hình 2.32 Ước lượng khoảng cách của vật thể đến camera 32

Hình 2.33 Kỹ thuật Stereo vision 32

Hình 2.34 Kỹ thuật Structured light 33

Hình 2.35 Kỹ thuật Optical flow 33

Hình 2.36 Kỹ thuật Monocular depth estimation 33

Hình 2.37 Kỹ thuật Single view metrology 34

Hình 2.38 Nguyên tắc Zen 36

Hình 2.39 Lập trình Python 37

Hình 2.40 MySQL 38

Hình 2.41 Quan hệ giữa các bảng trong MySQL 38

Hình 2.42 Giao tiếp UART 39

Hình 2.43 Giao tiếp SPI 41

Hình 2.44 Tín hiệu SPI 42

Hình 2.45 Giao tiếp CAN 43

Hình 2.46 Tiêu chuẩn cổng cắm giao tiếp OBD2 46

Hình 2.47 Minh hoạ giao tiếp Socket 47

Hình 2.48 Hệ thống hỗ trợ đỗ xe 49

Hình 2.49 Các tác vụ mà YOLOv8 có thể thực hiện 52

Hình 2.50 Các loại mô hình YOLOv8 đã được huấn luyện sẵn 52

Hình 2.51 Khoảng cách từ xe tài xế đang điều khiển (xe đỏ) đến xe phía trước 54

Hình 2.52 Raspberry Pi3 Model B+ 56

Hình 2.53 Màn hình LCD 56

Hình 2.54 OBD2 ELM327 57

Hình 2.55 Loa và mạch khuếch đại âm thanh 57

Hình 2.56 Thời gian ra đời của các phiên bản YOLO 58Hình 2.57 Các phương pháp sử dụng trong họ mô hình YOLO 59Hình 2.58 Cách hoạt động của NMS 60Hình 2.59 Cách hoạt động của IoU 60Hình 2.60 Kiến trúc của YOLOv5 62Hình 2.61 Kiến trúc mô hình YOLOv8 63Hình 2.62 So sánh (mAP), (Parameters) và (Lattency) 65Hình 2.63 So sánh hiệu suất giữa YOLOv8 và YOLOv5 65Hình 2.64 So sánh hiệu suất mô hình Object Detection 65Hình 2.65 So sánh hiệu suất mô hình Instance Object Segmentation 66Hình 2.66 So sánh hiệu suất mô hình Object Classification 66Hình 3.1 Giao tiếp thông qua MySQL 67Hình 3.2 Bảng tốc độ 68Hình 3.3 Bảng biển báo 68Hình 3.4 Bảng điều kiện giao thông 69Hình 3.5 Bảng tình trạng tài xế 69Hình 3.6 Sơ đồ khối hệ thống 70Hình 3.7 Sản phẩm thực tế 70Hình 3.8 Thuật toán lưu trữ giá trị biển báo 72Hình 3.9 Thiết kế giao diện hiển thị 73Hình 3.10 Lưu đồ thuật toán xử lý các tín hiệu trên Raspberry Pi 73Hình 3.11 Lưu đồ xử lý thông tin trên máy tính xách tay (laptop) 75Hình 3.12 Minh họa thuật toán cảnh báo lệch làn đường 76Hình 3.13 Lưu đồ xử lý thuật toán lệch làn đường - LANE 76Hình 3.14 Lưu đồ thuật toán xử lý tiền va chạm (1) 77Hình 3.15 Lưu đồ thuật toán xử lý tiền va chạm (2) 78Hình 3.16 Lưu đồ thuật toán xử lý tín hiệu biển báo giao thông 79Hình 3.17 Lưu đồ thuật toán xử lý thông tin trạng thái của tài xế 80Hình 4.1 Tập dữ liệu BDD100k 81Hình 4.2 Tập dữ liệu BDD100k cho các tác vụ khác nhau 82Hình 4.3 Cấu trúc thư mục của tập dữ liệu BDD100k trên trang web Kaggle 83

Hình 4.4 Tập dữ liệu BDD100k cho Obstacle 84Hình 4.5 Tập dữ liệu BDD100k cho Drivable 84Hình 4.6 Dữ liệu được thu thập từ camera 85Hình 4.7 Dữ liệu images (hình ảnh) từ thư mục ‘100k’ 86Hình 4.8 Dữ liệu sau khi được gán nhãn 86Hình 4.9 Cấu trúc thư mục chứa dữ liệu huấn luyện mô hình Drivable 87Hình 4.10 Dữ liệu bên trong thư mục ‘images’ 87Hình 4.11 Dữ liệu bên trong thư mục ‘labels’ 87Hình 4.12 Dữ liệu bên trong ‘mydata.yaml’ 88Hình 4.13 Label (nhãn) theo định dạng của YOLO 88Hình 4.14 Nhãn (label) sau khi được chuẩn hóa theo định dạng YOLOv8-seg 89Hình 4.15 Ngẫu nhiên (1) dữ liệu huấn luyện mô hình 89Hình 4.16 Ngẫu nhiên (2) dữ liệu huấn luyện mô hình 90Hình 4.17 Ngẫu nhiên (3) dữ liệu huấn luyện mô hình 90Hình 4.18 Thống kê dữ liệu huấn luyện đã được chuẩn hóa của đối tượng 91Hình 4.19 Thời gian huấn luyện và đánh giá trên 1 epochs bằng GPU A100 92Hình 4.20 Quá trình huấn luyện và đánh giá mô hình 92Hình 4.21 Trọng số mô hình sau khi huấn luyện mô hình 93Hình 4.22 Kết quả (1) đánh giá của mô hình qua Confusion Matrix 93Hình 4.23 Kết quả (2) đánh giá mô hình qua Confusion Matrix Normalized 94Hình 4.24 Dữ liệu (1) dùng để đánh giá mô hình 94Hình 4.25 Kết quả (1) dự đoán của mô hình 95Hình 4.26 Dữ liệu (2) dùng để đánh giá mô hình 95Hình 4.27 Kết quả (2) dự đoán của mô hình 95Hình 4.28 Dữ liệu (3) dùng để đánh giá mô hình 96Hình 4.29 Kết quả (3) dự đoán của mô hình 96Hình 4.30 Cấu trúc thư mục chứa dữ liệu huấn luyện mô hình Obstacle 98Hình 4.31 Định dạng nhãn (label) cho YOLO Object Detection 98Hình 4.32 Minh họa định dạng nhãn (label) của YOLOv8 Object Detection 98Hình 4.33 Nhãn (label) sau khi được chuẩn hóa theo định dạng YOLO Object Detection 99

Hình 4.34 Ngẫu nhiên (1) dữ liệu huấn luyện mô hình 99Hình 4.35 Ngẫu nhiên (2) dữ liệu huấn luyện mô hình 100Hình 4.36 Ngẫu nhiên (3) dữ liệu huấn luyện mô hình 100Hình 4.37 Thống kê số lượng, kích thước đã được chuẩn hóa của đối tượng huấn luyện trong dữ liệu 101Hình 4.38 Thời gian huấn luyện và đánh giá trên 1 epochs bằng GPU A100 102Hình 4.39 Quá trình huấn luyện và đánh giá mô hình 102Hình 4.40 Các file trọng số mô hình sau khi kết thúc quá trình huấn luyện mô hình 103Hình 4.41 Kết quả (1) đánh giá của mô hình qua Confusion Matrix 103Hình 4.42 Dữ liệu (1) dùng để đánh giá mô hình 104Hình 4.43 Kết quả (1) dự đoán của mô hình 104Hình 4.44 Dữ liệu (2) dùng để đánh giá mô hình 105Hình 4.45 Kết quả (2) dự đoán của mô hình 105Hình 4.46 Dữ liệu (3) dùng để đánh giá mô hình 106Hình 4.47 Kết quả (3) dự đoán của mô hình 106Hình 4.48 Cấu trúc thư mục chứa dữ liệu 108Hình 4.49 Định dạng nhãn của dữ liệu 108Hình 4.50 Ngẫu nhiên (1) dữ liệu huấn luyện mô hình 108Hình 4.51 Ngẫu nhiên (2) dữ liệu huấn luyện mô hình 109Hình 4.52 Ngẫu nhiên (3) dữ liệu huấn luyện mô hình 109Hình 4.53 Thống kê số lượng, kích thước đã được chuẩn hóa của đối tượng huấn luyện trong dữ liệu 110Hình 4.54 Thời gian huấn luyện và đánh giá trên 1 epochs bằng GPU A100 111Hình 4.55 Quá trình huấn luyện và đánh giá mô hình 111Hình 4.56 Các file trọng số mô hình sau khi kết thúc quá trình huấn luyện mô hình 111Hình 4.57 Kết quả đánh giá của mô hình qua Confusion Matrix 112Hình 4.58 Dữ liệu (1) dùng để đánh giá mô hình 112Hình 4.59 Kết quả (1) dự đoán của mô hình 113Hình 4.60 Dữ liệu (2) dùng để đánh giá mô hình 113Hình 4.61 Kết quả (2) dự đoán của mô hình 114

Hình 4.62 Dữ liệu (3) dùng để đánh giá mô hình 114Hình 4.63 Kết quả (3) dự đoán của mô hình 115Hình 5.1 Dự đoán trong điều kiện rõ làn đường 116Hình 5.2 Kết quả dự đoán trong điều kiện mưa vừa, mặt đường bóng 116Hình 5.3 Kết quả dự đoán trong điều kiện mưa vừa, mặt đường bóng, chắn tầm nhìn bởi cần gạt mưa tốc độ trung bình 117Hình 5.4 Kết quả dự đoán trong điều kiện mưa lớn, chắn tầm nhìn bởi cần gạt mưa tốc độ cao 117Hình 5.5 Kết quả dự đoán trong điều kiện mưa lớn, cần gạt mưa hoạt động tốc độ cao và không có làn đường 118Hình 5.6 Kết quả dự đoán của mô hình trong điều kiện thiếu ánh sáng 118Hình 5.7 Kết quả dự đoán của mô hình ở buổi tối 119Hình 5.8 Kết quả dự đoán của mô hình vào buổi tối và không có vạch kẻ đường bên trái 119Hình 5.9 Kết quả dự đoán của mô hình vào buổi tối, có phương tiện phía trước 120Hình 5.10 Kết quả dự đoán của mô hình khi có vạch kẻ đường ở phía trước 120Hình 5.11 Kết quả dự đoán của mô hình khi không có vạch kẻ đường 121Hình 5.12 Kết quả dự đoán của mô hình khi không có vạch kẻ đường trái và đông phương tiện 121Hình 5.13 Kết quả dự đoán của mô hình khi vạch kẻ đường bên phải bị che khuất 122Hình 5.14 Kết quả dự đoán của mô hình ở đoạn đường hỗn hợp ở điều kiện bình thường 122Hình 5.15 Kết quả dự đoán của mô hình khi có phương tiện phía trước 123Hình 5.16 Kết quả dự đoán của mô hình khi xe ở giữa 2 làn đường 123Hình 5.17 Kết quả dự đoán của mô hình khi vạch kẻ đường trái kém 124Hình 5.18 Kết quả dự đoán của mô hình ở đoạn đường giao nhau 124Hình 5.19 Kết quả dự đoán của mô hình khi không có vạch kẻ đường 125Hình 5.20 Kết quả dự đoán trong điều kiện bình thường 126Hình 5.21 Kết quả dự đoán trong thời tiết âm u 127Hình 5.22 Kết quả dự đoán trong thời tiết mưa vừa 127Hình 5.23 Kết quả dự đoán trong điều kiện mưa lớn và bị che khuất bởi cần gạt mưa hoạt động tốc độ cao 128

Hình 5.24 Kết quả dự đoán trong điều kiện mưa lớn 128Hình 5.25 Kết quả dự đoán trong điều kiện thiếu ánh sáng 129Hình 5.26 Kết quả dự đoán khi trời tối 129Hình 5.27 Kết quả dự đoán đoạn đường đông đúc 130Hình 5.28 Kết quả dự đoán trên cao tốc 130Hình 5.29 Kết quả dự đoán khi ở khoảng cách an toàn 131Hình 5.30 Quy ước màu sắc hiển thị của biển báo 132Hình 5.31 Kết quả dự đoán trong điều kiện bình thường 132Hình 5.32 Kết quả dự đoán ở khoảng cách gần 133Hình 5.33 Kết quả dự đoán ở điều kiện ngược sáng 133Hình 5.34 Kết quả dự đoán ở điều kiện ngược sáng (2) 134Hình 5.35 Kết quả dự đoán biển báo ở trên cao, nhỏ 134Hình 5.36 Kết quả dự đoán nhầm lẫn 135Hình 5.37 Kết quả dự đoán nhầm lẫn của mô hình 135Hình 5.38 Kết quả dự đoán trong điều kiện trời mưa 136Hình 5.39 Kết quả dự đoán trong điều kiện trời mưa (2) 136Hình 5.40 Kết quả dự đoán trong điều kiện trời mưa (3) 137Hình 5.41 Kết quả dự đoán trong điều kiện mưa (3) 137Hình 5.42 Kết quả dự đoán khi ở gần biển báo 138Hình 5.43 Kết quả dự đoán khi trời mưa lớn 138Hình 5.44 Kết quả dự đoán khi mở mắt trong điều kiện bình thường 139Hình 5.45 Kết quả dự đoán khi mắt kính bị bóng sáng nhẹ 140Hình 5.46 Kết quả dự đoán khi mắt kính bị chói sáng và nheo mắt 140Hình 5.47 Kết quả dự đoán khi nheo mắt 141Hình 5.48 Kết quả dự đoán khi nhắm mắt ở điều kiện bình thường 141Hình 5.49 Kết quả dự đoán trong điều kiện phòng 142Hình 5.50 Kết quả dự đoán khi nheo mắt ở điều kiện phòng 142Hình 5.51 Kết quả dự đoán khi nhắm mắt nghiêng đầu sang bên phải 143Hình 5.52 Kết quả dự đoán khi mở mắt nghiêng đầu sang phải 143Hình 5.53 Kết quả dự đoán khi mở mắt nghiêng đầu sang trái 144Hình 5.54 Kết quả dự đoán khi nhắm mắt nghiêng đầu sang trái 144

Hình 5.55 Kết quả dự đoán khi ngửa đầu nhắm mắt 145Hình 5.56 Kết quả dự đoán khi ngửa đầu mở mắt 145Hình 5.57 Kết quả dự đoán khi cúi đầu mở mắt 146Hình 5.58 Kết quả dự đoán khi cúi đầu nhắm mắt 146Hình 5.59 Hiển thị phát hiện khả năng va chạm 147Hình 5.60 Hiển thị biển báo chính và biển báo phụ 148Hình 5.61 Hiển thị lệch làn 148Hình 5.62 Kết quả triển khai hệ thống thực tế (1) 149Hình 5.63 Kết quả triển khai hệ thống thực tế (2) 150Hình 5.64 Kết quả triển khai hệ thống (3) 150Hình 5.65 Kết quả triển khai hệ thống (4) 151Hình 5.66 Kết quả triển khai hệ thống trên laptop với video quay thực tế (1) 151Hình 5.67.Kết quả triển khai hệ thống trên laptop với video quay thực tế (2) 152Hình 5.68 Kết quả triển khai hệ thống trên laptop với video quay thực tế (3) 152Hình 5.69 Kết quả triển khai hệ thống trên laptop với video quay thực tế (4) 153Hình 5.70 Kết quả triển khai hệ thống trên laptop với video quay thực tế (5) 153Hình 5.71 Kết quả triển khai hệ thống trên laptop với video quay thực tế (6) 154Hình 5.72 Kết quả về tốc độ của hệ thống (1) 154Hình 5.73 Kết quả về tốc độ của hệ thống (2) 154Hình 5.74 Kết quả về tốc độ của hệ thống (3) 155Hình 5.75 Kết quả về tốc độ của hệ thống (4) 155Hình 5.76 Kết quả về tốc độ của hệ thống (5) 155Hình 5.77 Kết quả về tốc độ của hệ thống (6) 155

CHƯƠNG 1 GIỚI THIỆU TỔNG QUAN VỀ ĐỀ TÀI

1.1 Tính cấp thiết của đề tài

Theo báo cáo tổng kết tình hình an toàn giao thông Quốc gia năm 2020 của Bộ Giao thông vận tải Việt Nam, trong năm 2020, cả nước đã xảy ra 14.508 vụ tai nạn giao thông, khiến 6.790 người thiệt mạng, 4.984 người bị thương nặng và hơn 9.000 người

bị thương nhẹ Trong đó, tai nạn giao thông do tông vào đuôi xe phía trước chiếm tỷ

lệ 30,8% trong tổng số tai nạn, là nguyên nhân chính dẫn đến thiệt hại về người và tài sản

Hình 1.1 Tai nạn giao thông - tình trạng ‘dồn toa’

Tại Mỹ, theo số liệu của National Highway Traffic Safety Administration, khoảng 40% tai nạn giao thông liên quan đến việc tông vào đuôi xe phía trước, chủ yếu dẫn đến tai nạn là do tài xế không tập trung hoặc không giữ đủ khoảng cách an toàn giữa hai xe Bên cạnh đó, việc tài xế không giữ phương tiện trên làn đường quy định, hay phương tiện di chuyển lệch làn đường cũng là một nguyên nhân phổ biến dẫn đến tai nạn giao thông, chiếm khoảng 25% tai nạn giao thông ở Mỹ Ngoài ra, tai nạn giao thông do tài xế ngủ gật chiếm khoảng 7% tai nạn giao thông tại Mỹ, đặc biệt là trong những chuyến đi dài hoặc đêm

Hình 1.2 Lệch làn - Chạy 2 làn đường trên cao tốc

Hình 1.3 Tài xế ngủ gật khi đang lái xe

Tại Việt Nam, theo báo cáo Tổng kết tình hình an toàn giao thông Quốc gia năm 2020 của Bộ Giao thông vận tải, cả nước đã xử phạt hơn 2,4 triệu trường hợp vi phạm quy định về tốc độ, với tổng số tiền phạt là khoảng 1.183 tỷ đồng Tại Mỹ, theo số liệu của National Highway Traffic Safety Administration thì việc vi phạm về tốc độ là một trong những nguyên nhân chính dẫn đến tai nạn giao thông tại Mỹ (chiếm khoảng 26% tổng số vụ tai nạn giao thông), năm 2019, Mỹ đã xử phạt khoảng 24 triệu trường hợp vi phạm quy định về tốc độ, thu về số tiền phạt là 6.5 tỷ USD Theo các số liệu thống kê, vi phạm quy định về tốc độ do chủ ý hoặc vô ý của tài xế lái xe cũng là một trong những nguyên nhân chính dẫn đến tai nạn giao ở nhiều quốc gia khác trên thế

giới, bao gồm cả Việt Nam Việc vi phạm quy định về tốc độ khi tham gia giao thông

là rất phổ biến, và số lượng các trường hợp vi phạm quy định về tốc độ là rất nhiều Điều này không chỉ dẫn đến những tai nạn nghiêm trọng mà còn khiến cho tài xế vi phạm có thể bị tước mất giấy phép lái xe, phạt tiền, hoặc cả hai

Hiện nay, trên những chiếc xe với giá thành cao, đã trang bị hệ thống hỗ trợ người lái với những tính năng: Cảnh báo tiền va chạm, cảnh báo lệch làn đường, nhận diện biển báo giao thông, và tiên tiến hơn nữa là hệ thống giám sát tài xế, tuy nhiên như đã trình bày, các hệ thống này thường chỉ được trang bị trên những xe có giá thành tầm trung, hoặc những xe cao cấp

Chúng em nhận thấy rằng những tính năng này mang lại sự tiện lợi và an toàn cho tài

xế Vì vậy, chúng em quyết định nghiên cứu và thực hiện đề tài "Thiết kế hệ thống

hỗ trợ tài xế lái xe ứng dụng AI/IOT" Mục tiêu của chúng em đó chính là tạo ra một sản phẩm giải pháp hoặc thiết bị cho tài xế, có thể được nâng cấp cho bất kỳ chiếc xe nào, bao gồm cả những chiếc xe cũ, xe giá rẻ hay loại xe tầm trung trở xuống

1.2 Ý nghĩa và tính thực tiễn của đề tài

Việc nghiên cứu và chế tạo thiết bị sử dụng AI nhận diện hỗ trợ người lái có ý nghĩa khoa học và tính thực tiễn quan trọng trong việc nâng cao ý thức lái xe an toàn của người dân cũng như trong hệ thống lĩnh vực ô tô tự động trong tương lai không xa

Hình 1.4 Hệ thống hỗ trợ người lái trên xe

Các công nghệ AI như nhận diện tiền va chạm, nhận diện biển báo, cảnh báo buồn ngủ và nhận diện lệch làn đóng góp vào việc nâng cao an toàn giao thông, phát hiện

và cảnh báo sớm các tính huống có thể gây tai nạn giúp giảm rủi ro và hỗ trợ cho người lái xe trong quá trình lái xe

1.3 Đối tượng và phạm vi nghiên cứu

1.3.1 Đối tượng nghiên cứu

Đối tượng chính là tập trung vào các tài xế mới lái, đặc biệt là những người mới tham gia giao thông ở môi trường giao thông phức tạp như ở Việt Nam

Với mật độ giao thông cao và điều kiện giao thông đa dạng, Việt Nam là một môi trường thích hợp để nghiên cứu sử dụng công nghệ AI trong hỗ trợ người lái xe Các tài xế mới lái thường gặp khó khăn trong việc đọc hiểu biển báo giao thông, nhận diện nguy cơ va chạm và duy trì trong làn đường

Vì vậy, nghiên cứu có thể tập trung vào việc phát triển và đánh giá hiệu quả của hệ thống AI nhận diện tiền va chạm, nhận diện biển báo, cảnh báo buồn ngủ và nhận diện lệch làn đối với nhóm đối tượng tài xế mới lái ở Việt Nam Việc cung cấp hỗ trợ

và cảnh báo sớm cho nhóm này có thể giúp giảm bớt căng thẳng và tăng cường sự tự tin trong quá trình lái xe

Ngoài ra, cũng có thể mở rộng đối tượng nghiên cứu để bao gồm tài xế có kinh nghiệm, nhưng vẫn có thể hưởng lợi từ hệ thống AI để nâng cao sự an toàn và hiệu quả khi tham gia giao thông phức tạp ở Việt Nam

1.3.2 Phạm vi nghiên cứu

Nghiên cứu và phát triển chính tập trung vào các phương tiện ô tô con và xe gia đình Nghiên cứu sẽ tập trung vào việc phát triển và đánh giá hiệu quả của hệ thống AI trong bốn khía cạnh chính:

● Nhận diện giữ làn đường: Đây là khả năng của hệ thống AI để phát hiện và nhận diện sự lệch làn đường của phương tiện Nghiên cứu sẽ tập trung vào việc phát triển thuật toán và mô hình AI để xác định vị trí và hướng di chuyển của xe trong làn đường, đồng thời cảnh báo người lái khi xe lệch khỏi làn đường một cách không an toàn

● Cảnh báo va chạm có thể xảy ra trên làn đường: Hệ thống AI sẽ được nghiên cứu để phát hiện và dự đoán các tình huống tiềm năng gây va chạm trên đường Nghiên cứu sẽ tập trung vào việc xây dựng mô hình AI để nhận biết các dấu hiệu tiềm năng của va chạm, chẳng hạn như khoảng cách giữa các xe, tốc độ

di chuyển và địa hình, từ đó cảnh báo người lái và giúp họ có thời gian để phản ứng và tránh tai nạn

● Nhận diện các biển báo chính liên quan đến tốc độ: Nghiên cứu sẽ tập trung vào việc phát triển hệ thống AI để nhận diện và hiểu các biển báo giao thông liên quan đến giới hạn tốc độ Hệ thống sẽ giúp người lái nhận biết giới hạn tốc độ hiện tại, cảnh báo về vượt quá tốc độ an toàn và cung cấp thông tin hữu ích để duy trì tuân thủ luật giao thông

● Cảnh báo buồn ngủ khi lái xe: Sử dụng máy ảnh để theo dõi biểu hiện của khuôn mặt người lái xe, như nhắm mắt lâu hơn bình thường, nhún mày, nhăn nhó trán, hay các dấu hiệu khác của mệt mỏi.Kết hợp thông tin như tốc độ, giữa làn đường với dữ liệu về thời gian lái xe và điều kiện giao thông để xác định khả năng mất tập trung hoặc buồn ngủ của người lái xe

Hình 1.5 Sử dụng AI nhận diện điều kiện giao thông

Tổng thể, phạm vi nghiên cứu đề tài tập trung vào phát triển hệ thống AI nhằm hỗ trợ người lái xe trong việc nhận diện và đáp ứng các tình huống như giữ làn đường, cảnh báo va chạm và nhận diện các biển báo liên quan đến tốc độ trên các phương tiện ô

tô con và xe gia đình

1.4 Mục đích nghiên cứu

Với những vấn đề nên trên, chúng em nghiên cứu và phát triển sản phẩm nhằm tạo ra một hệ thống thông minh để đảm bảo an toàn cho người lái xe và những người tham gia giao thông xung quanh Đồng thời, mục tiêu cũng là giúp người lái xe tránh vi phạm luật giao thông và tránh bị cảnh sát giao thông xử phạt

Hình 1.6 Xe ô tô vi phạm tốc độ

Hơn nữa, sản phẩm có khả năng tích hợp và nâng cấp trên các dòng xe từ tầm thấp đến tầm trung hoặc các dòng xe đời cũ để có những tính năng an toàn như trên các dòng xe đắt tiền, cao cấp

Vận hành, đánh giá kết quả thực nghiệm và so sánh các sản phẩm đã và đang thương mại trên thị trường

Đánh giá tổng quan kết quả đạt được, đưa ra những mặt hạn chế của sản phẩm và đề xuất phương pháp giải quyết những vấn đề, hướng phát triển trong tương lai

1.5 Phương pháp nghiên cứu

Phương pháp nghiên cứu bao gồm các bước sau:

1 Xác định mục tiêu và phạm vi của đồ án: Đầu tiên, xác định rõ mục tiêu của

đồ án, như là xây dựng một hệ thống hỗ trợ người lái sử dụng AI và IoT để nhận diện tiền va chạm, tài xế buồn ngủ, lệch làn và cung cấp thông tin biển báo tốc độ Đồng thời, xác định phạm vi của dự án để giới hạn phạm vi nghiên cứu và phát triển

2 Tìm hiểu về công nghệ AI và IoT: Nghiên cứu các công nghệ, phương pháp

AI và IoT liên quan đến mục tiêu của dự án Điều này bao gồm tìm hiểu về các thuật toán nhận diện, xử lý dữ liệu và mô hình học máy Ngoài ra, cần tìm hiểu về các thiết bị và giao thức IoT để thu thập dữ liệu và truyền tải thông tin

3 Thu thập dữ liệu: Tiếp theo, thu thập dữ liệu từ các nguồn phù hợp để huấn luyện và đánh giá các mô hình AI Dữ liệu này sẽ được sử dụng để xây dựng

và kiểm tra các mô hình AI

4 Xây dựng và huấn luyện mô hình AI: Sử dụng dữ liệu đã thu thập, xây dựng

và huấn luyện các mô hình AI Các mô hình AI để đạt được hiệu suất tốt trong việc xác định các đối tượng

5 Phát triển hệ thống IoT: Xây dựng một hệ thống IoT để thu thập dữ liệu từ camera trên xe, và truyền tải thông tin đến hệ thống xử lý AI Điều này có thể yêu cầu sử dụng các thiết bị IoT như vi xử lý nhúng và giao thức truyền thông

để gửi dữ liệu từ xe đến hệ thống xử lý AI

6 Đánh giá và kiểm tra: Đánh giá hiệu suất của hệ thống bằng cách kiểm tra các

mô hình AI và tích hợp chúng vào hệ thống IoT Sử dụng dữ liệu kiểm tra để đánh giá độ chính xác, độ nhạy và độ tin cậy của hệ thống

7 Tinh chỉnh và cải tiến: Dựa trên kết quả đánh giá, tinh chỉnh và cải tiến hệ thống để đạt được hiệu suất tốt hơn Điều này có thể bao gồm tăng cường dữ liệu huấn luyện, tối ưu hóa mô hình AI và nâng cấp hệ thống IoT

8 Triển khai và kiểm tra thực tế: Cuối cùng, triển khai hệ thống được phát triển vào một môi trường thực tế để kiểm tra và đánh giá hiệu suất trong điều kiện thực tế

Tổng kết lại, phương pháp nghiên cứu cho đồ án thiết kế hệ thống hỗ trợ người lái sử dụng AI và IoT bao gồm việc tìm hiểu về công nghệ AI và IoT, thu thập dữ liệu, xây dựng và huấn luyện mô hình AI, phát triển hệ thống IoT, đánh giá và kiểm tra, tinh chỉnh và cải tiến, và cuối cùng là triển khai và kiểm tra thực tế

CHƯƠNG 2

CƠ SỞ LÝ THUYẾT 2.1 Thị giác máy tính

2.1.1 Học sâu (Deep Learning)

2.1.1.1 Khái niệm

Trong thời đại công nghệ ngày nay, Trí tuệ nhân tạo (AI) đóng vai trò vô cùng quan trọng trong hầu hết các lĩnh vực, từ kinh doanh đến y tế, giáo dục, nghiên cứu khoa học và nhiều lĩnh vực khác AI cho phép máy tính tự động học hỏi và nắm bắt thông tin từ dữ liệu, từ đó đưa ra các quyết định hoặc dự đoán một cách tự động và chính xác

Hình 2.1 Trí tuệ nhân tạo - AI

Máy học (Machine Learning) là một phần trong lĩnh vực AI và đang là một xu hướng phát triển mạnh mẽ trong thời gian gần đây Máy học cho phép máy tính học hỏi thông tin từ dữ liệu và tinh chỉnh chính xác hơn các mô hình dự đoán và quyết định Trong Máy học, Học sâu là một phương pháp quan trọng và được sử dụng rộng rãi

Hình 2.2 Máy học - Machine Learning

Học sâu thuộc trong lĩnh vực Máy học, được xây dựng dựa trên mạng neural nhân tạo với nhiều lớp (hidden layer) để học hỏi thông tin từ dữ liệu Các mô hình Học sâu

có khả năng tự động học hỏi thông tin từ dữ liệu đầu vào, và từ đó tinh chỉnh các mô hình dự đoán và quyết định

Hình 2.3 Sự khác biệt giữa AI, Machine Learning, và Deep Learning

2.1.1.2 Cách hoạt động

Các mô hình Học sâu giúp máy tính có khả năng xử lý những dữ liệu phức tạp một cách hiệu quả hơn, giống như cách con người học hỏi thông qua kinh nghiệm và thực hành

Để có thể dễ dàng hình dung, thuật toán của Học sâu giống như cách một đứa trẻ học

đi Khi đứa trẻ mới bắt đầu học đi, đứa trẻ đó sẽ cố gắng di chuyển bằng cách chập chững từng bước đi Tuy nhiên, những cách di chuyển đó chưa đủ vững chắc và đôi khi nó cũng sẽ ngã Nhưng qua thời gian và nhiều lần té ngã, đứa trẻ sẽ học được cách giữ thăng bằng tốt hơn, di chuyển dần trở nên chắc chắn hơn, và bước đi những bước lớn hơn, ổn định hơn

Hình 2.4 Cách hoạt động của Học sâu (Deep Learning)

Các mô hình Học sâu cũng học từ dữ liệu đầu vào và tinh chỉnh các mô hình dự đoán

và quyết định theo thời gian Ban đầu, các mô hình Học sâu có thể không hoạt động tốt, và đôi khi chúng có thể đưa ra các dự đoán sai lầm hoặc quyết định không chính xác Tuy nhiên, qua thời gian và việc tiếp tục huấn luyện mô hình với nhiều dữ liệu khác nhau, các mô hình Học sâu sẽ học được các mẫu và quy luật trong dữ liệu và đưa ra các dự đoán và quyết định chính xác hơn

2.1.1.3 Ứng dụng

Học sâu (Deep Learning) được sử dụng trong nhiều ứng dụng khác nhau, từ nhận dạng hình ảnh, giọng nói, tới ngôn ngữ tự nhiên và nhiều hơn thế nữa Vì vậy, Học sâu là một công nghệ rất quan trọng và sẽ tiếp tục được phát triển trong tương lai Tuy nhiên, để đạt được các kết quả tốt nhất, các mô hình Học sâu cần được huấn luyện với một lượng lớn các dữ liệu và được điều chỉnh các siêu tham số phù hợp Ngoài ra, việc lựa chọn mô hình Học sâu phù hợp cũng rất quan trọng để đạt được kết quả tốt nhất trong các bài toán cụ thể

Hình 2.5 Các lĩnh vực có thể ứng dụng Học sâu (Deep Learning)

2.1.2 Mạng nơ-ron tích chập (Convolutional Neural Network)

Convolutional Neural Network (CNN) là một loại mạng neural nhân tạo trong lĩnh vực Học sâu, được sử dụng rộng rãi trong các bài toán xử lý ảnh và video CNN giúp máy tính hiểu được các đặc trưng trong ảnh và video thông qua việc sử dụng các bộ lọc (filter) để trích xuất thông tin trong ảnh

CNN được xây dựng dựa trên cấu trúc của mạng neural, với nhiều lớp khác nhau như lớp tích chập (convolutional), tổng hợp (pooling), kết nối đầy đủ (fully connected) và lớp đầu ra (output) Các lớp này thực hiện các phép toán khác nhau để xử lý dữ liệu đầu vào và đưa ra kết quả dự đoán

Hình 2.6 Thứ tự cơ bản về các lớp trong CNN (trái qua phải)

Hình 2.7 Kiến trúc cơ bản của CNN

2.1.2.1 Lớp tích chập (Conv Layer)

Lớp tích chập (Conv Layer) là lớp quan trọng nhất trong CNN, nó sử dụng các bộ lọc (filter) để trích xuất các đặc trưng từ ảnh Các bộ lọc này được thiết kế để phát hiện các đặc trưng như cạnh, góc, đường cong, v.v trong ảnh Khi áp dụng bộ lọc này lên ảnh, ta sẽ nhận được một ma trận mới, gọi là feature map, chứa các giá trị có liên quan đến các đặc trưng được phát hiện

Các bộ lọc có kích thước nhỏ hơn kích thước ảnh đầu vào và được di chuyển trên toàn bộ ảnh với một bước nhảy (stride) xác định trước