ĐỒ án tốt NGHIỆP xây dựng hệ thống tự động nhận diện biển báo giao thông trong điều kiện khó ứng dụng hỗ trợ cho xe tự lái

ĐỒ ÁN TỐT NGHIỆP Xây dựng hệ thống tự động nhận diện biển báo giao thơng điều kiện khó ứng dụng hỗ trợ cho xe tự lái HOÀNG ANH DŨNG dung.ha184401@sis.hust.edu.vn Chuyên ngành Cơ điện tử Giảng viên hướng dẫn: TS Nguyễn Xuân Hạ Bộ môn: Viện: Cơ sở Thiết kế máy Robot Cơ Khí HÀ NỘI, 7/2022 Chữ ký GVHD Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CƠ KHÍ CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Hoàng Anh Dũng Khoá: 63 Lớp: Cơ điện tử 06 Chuyên ngành: Cơ điện tử Tên đề tài tốt nghiệp: Xây dựng hệ thống tự động nhận diện biển báo giao thông điều kiện khó ứng dụng hỗ trợ cho xe tự lái I NỘI DUNG NHẬN XÉT Khối lượng đồ án: Phần thuyết minh: 64 trang II Nhận xét SVTH: Hoàng Anh Dũng Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Lời cảm ơn Chặng đường năm trường Đại học Bách Khoa Hà Nội trải nghiệm vơ q giá em Đó khơng khoảng thời gian dài mà thử thách vơ khó khăn, nhiên với giúp đỡ nhiệt tình thầy , thành viên lớp Cơ điện tử K63, bạn bè gia đình u q, em dần hồn thành chặng đường gian nan Trước hết em muốn gửi lời cảm ơn chân thành tới Tiến sĩ Nguyễn Xuân Hạ thầy cô môn Cơ sở Thiết kế máy Robot nhiệt tình hướng dẫn giúp em hoàn thành luận văn tốt nghiệp cách tốt Tiếp đến em muốn gửi lời cảm ơn tới anh Nguyễn Duy Anh, anh Bùi Việt Hoàng giúp đỡ trình em thực luận văn tốt nghiệp Q trình hồn thành đồ án tốt nghiệp không giúp em củng cố lại kiến thức học mà giúp em làm quen với cách thức làm việc người kỹ sư, ý thức làm việc độc lập, tư sáng tạo tính kỷ luật, trách nhiệm công việc giao Và cuối thời gian thực dự án tương đối ngắn kiến thức chủ đề giao hạn chế, em mong nhận góp ý, nhận xét chân thành để giúp luận văn em cải thiện tốt Tóm tắt nội dung đồ án Xe tự lái lĩnh vực nghiên cứu thu hút nhiều quan tâm hãng cơng nghệ lớn tồn giới Một toán xe tự lái trích xuất thơng tin từ mơi trường (Perception), đồ án em tập trung vào xử lý tốn nhỏ Perception vấn đề nhận diện biển báo giao thông đường Trong khuôn khổ đồ án, em xây dựng hệ thống nhận diện phân loại biển báo giao thơng có kích thước nhỏ,áp dụng kĩ thuật preprocessing giúp nâng cao hiệu suất cho mơ hình Sinh viên thực SVTH: Hoàng Anh Dũng Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ MỤC LỤC DANH MỤC HÌNH VẼ vii DANH MỤC BẢNG BIỂU .x DANH SÁCH THUẬT NGỮ xi CHƯƠNG TỔNG QUAN VỀ XE TỰ LÁI 1.1 Công nghệ xe tự lái ứng dụng 1.2 Các cấp độ xe tự lái 1.3 Những ứng dụng AI xe tự lái 1.4 Bài tốn trích xuất thông tin môi trường xe tự lái CHƯƠNG CƠ SỞ LÝ THUYẾT .14 2.1 2.2 Học máy, học sâu 21 2.2.1 Học máy 22 2.2.2 Phương pháp huấn luyện mơ hình học sâu .27 2.2.3 Overfitting – Quá khớp 33 2.2.4 Phân loại toán thị giác máy .34 Bài toán phát vật thể (object detection) mạng xương sống phổ biến mơ hình học sâu .36 2.3 2.5 2.2.1 Các mơ hình nhận diện vật thể 37 2.2.2 Các mạng xương sống(backbone) phổ biến 38 Các điều kiện thách thức môi trường thực tế 44 2.3.1 Biển báo giao thơng quan sát với kích thước nhỏ 37 2.3.2 Các điều kiện challenging khác 38 Các kĩ thuật xử lí nâng cao hiệu suất cho mơ hình 45 2.5.1 Sliding window .37 2.5.2 Region proposals 38 2.5.3 Chỉnh sửa Anchor box 38 CHƯƠNG HUẤN LUYỆN MƠ HÌNH NHẬN DIỆN BIỂN BÁO GIAO THÔNG 48 3.1 Huấn luyện mơ hình phát biển báo giao thơng .48 SVTH: Hồng Anh Dũng Đồ án nghiên cứu 3.2 3.3 GVHD:Nguyễn Xuân Hạ 3.1.1 Chuẩn bị liệu .37 3.1.2 Chuyển định dạng liệu .38 3.1.3 Huấn luyện mơ hình .38 Huấn luyện mơ hìnb phần loại biển báo giao thơng .56 3.2.1 Chuẩn bị liệu .37 3.1.2 Chuyển định dạng liệu .38 3.1.3 Huấn luyện mơ hình .38 Kết hợp model detector classifier để model cuối phát phân loại biển báo giao thông 60 CHƯƠNG KẾT LUẬN .65 4.1 Kết luận 65 4.2 Hướng phát triển đồ án tương lai 65 TÀI LIỆU THAM KHẢO 66 SVTH: Hoàng Anh Dũng Đồ án nghiên cứu GVHD:Nguyễn Xn Hạ DANH MỤC HÌNH VẼ Hình 1-1.Cơng nghệ tơ tự lái ngày phát triển…………………………………….1 Hình 1-2 Các tính xe tự hành hồn thiện theo thời gian……………… Hình 1-3 Hệ thống kiểm sốt hành trình cơng nghệ tơ tự lái…………………… Hình 1-4 Thang đo cấp độ xe tự lái theo phân loại SAE International………… Hình 1-5 Hệ thống kiểm sốt hành trình thích ứng AAC coi công nghệ xe tự hành Cấp độ 1……………………………………………………………………………7 Hình 1-5 Việc phát triển xe tự lái phụ thuộc vào cơng nghệ đồ hóa mơi trường xung quanh………………………………………………………………………………8 Hình 1-6 Những xe tự lái Cấp độ có khả vận hành nơi mà không bị ràng buộc điều kiện nào………………………………………………………9 Hình 1-7 Cơng nghệ AI ngày ảnh hưởng mạnh mẽ đến đời sống người……………………………………………………………………………………11 Hình 1-8 Cơng nghệ AI ô tô phát triển với mục đích đảm bảo an tồn cho người điều khiển xe…………………………………………………………………… 12 Hình 1-9 Sơ đồ xử lý tốn trích xt thơng tin từ mơi trường…………………… 13 Hình 1-10 Nhận diện vật thể từ liệu 3D pointclound …………………………… 15 Hình 1-11 Ảnh độ sâu …………………………………………………………………16 Hình 1-12 Ảnh nhìn từ góc cao liệu Lidar 3D ……………………………… 16 Hình 2-1 Các khái niệm trí tuệ nhân tạo…………………………………18 Hình 2-5 Gradient góc nhìn vật lý ……………………………………………….21 Hình 2-6 Đồ thị hàm mát sử dụng gradient………………………………… 23 Hình 2-7 Đồ thị tính tốn f ……………………………………………………… 24 Hình 2-8 Vai trị hàm kích hoạt ………………………………………………… 25 Hình 2-9 Đồ thị hàm Sigmoid ……………………………………………………… 26 Hình 2-10 Đồ thị hàm …………………………………………………………… 26 Hình 2-11 Đồ thị hàm ReLU ……………………………………………………… ….27 Hình 2-12 Đồ thi hàm Leaky ReLU ………………………………………………… 28 Hình 2-13 Learning rate ………………………………………………………… … 28 SVTH: Hoàng Anh Dũng Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Hình 2-14 Learning rate decay: linear warmup………………………………………29 Hình 2-15 Ý tưởng transfer learning ……………………………………………… 30 Hình 2-16 Các trường hợp mơ hình dự đốn so với hàm thật ………………………31 Hình 2-14 Bài tốn phân loại ảnh……………………………………………………33 Hình 2-15 Bài tốn nhận dạng đối tượng ……………………………………………33 Hình 2-16 Bài tốn phân đoạn ảnh ………………………………………………… 34 Hình 2-17 Bài toán phân đoạn cá thể ảnh…………………………………… 34 Hình 2-18 Bài tốn mơ tả ảnh……………………………………………………… 35 Hình 2-19 Hình ảnh mơ tả mơ hình RCNN, mơ hình đại diện cho phương pháp Two-stage Detection …………………………………………………………………36 Hình 2-20 Phương pháp One-stage tìm kiếm phát vật thể phân loại chúng thuật toán……………………………………………………… 37 Hình2-21.Chỉ số IoU………………………………………………………………….38 Hình 2-22 Precision Recall Curve – đường biểu diễn mối quan hệ Precision Recall…………………………………………………………………………………38 Hình 2-23 Residual Block ………………………………………………………… 39 Hình 2-24 Cách tính số lượng tham số tích chập chiều thơng thường… 41 Hình 2-25 Biển báo giao thơng nhỏ hình(kích thước 5x5 pixel)…………41 Hình 2-26 Biển báo giao thơng điều kiện challenging khác…………… 42 Hình 2-27 Các vùng ảnh tạo phương pháp trượt cửa sổ…………………………………………………………………………………… 43 Hình 2-28 Sliding window image processing……………………………………….44 Hình 2-29 Tìm kiếm chọn lọc OpenCV sử dụng phương pháp Felzenszwalb superpixel để tìm vùng hình ảnh chứa đối tượng……………….45 Hình 2-30: Tìm kiếm chọn lọc OpenCV áp dụng biện pháp tương tự phân cấp cho vùng tham gia cuối tạo thành tập hợp đề xuất cuối cho đối tượng có mặt………………………………………………………………… 46 Hình 2-29: Xác định anchor box cho vật thể……………………………………47 Hình 2-30: Cơng thức ước lượng bounding box từ anchor box…………………… 48 Hình3-1 Sơ đồ xử lý tốn……………………………………………………49 Hình 3-2:Hình ảnh gốc trước sliding windown (1622x626 pixel)………………49 Hình 3-3: Thu hình ảnh sau sliding windown…………………………….50 Hình 3-4: Ví dụ label cho ảnh crop………………………………… 51 SVTH: Hoàng Anh Dũng Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Hình 3-5: Cấu trúc thư mục liệu train…………………………………… 51 Hình 3-6: Kiến trúc mơ hình Retinaface………………………………………… 52 Hình 3-7: Chỉnh sửa file cấu hình………………………………………………………53 Hình 3-8: Tính tốn mAP cho lớp, phát biển báo giao thơng……………54 Hình 3-9 Kết dự đốn tập testing…………………………………………… 55 Hình 3-10 Thống kê liệu cho lớp……………………………………………….56 Hình 3-12: Dữ liệu dùng để train model classifier…………………………………… 56 Hình 3-13 Đồ thị sai số độ xác huấn luyện…………………………… 57 Hình 3-14 Thống kê liệu dùng để đánh giá mơ hình cuối cùng…………………… 57 Hình 3-15 Thống kê False Positive True Positive class………………….58 Hình 3-16 Vẽ đường Recall-Precision curve………………………………………… 59 Hình 3-17.Tính mAP50 cuối cùng…………………………………………………… 59 Hình 3-18 Minh họa việc phát biển báo giao thông liệu Zalo………………………………………………………………………………………60 DANH SÁCH THUẬT NGỮ ST T Thuật ngữ Giải thích Accuracy Độ xác Anchor box Hộp bao sở để dự đoán hộp bao khác Artificial intelligence Trí tuệ nhân tạo, trí thơng minh nhân tạo Backbone Mạng xương sống Bounding box Hộp bao Class Lớp Classification Phân loại Cnn Mạng nơ ron tích chập sâu Cross validation Một kĩ thuật để đánh giá độ xác mơ hình 10 Data Dữ liệu 11 Dataset Bộ liệu SVTH: Hoàng Anh Dũng Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ 12 Early stopping Kĩ thuật dừng huấn luyện mô hình sớm 13 Epoch Một lần duyệt qua tất điểm tập liệu 15 Fine tuning Tinh chỉnh 16 Framework Nền tảng 17 Fully connected layer (FC) Tầng kết nối đầy đủ 18 Gradient descent Một phương pháp lặp tìm cực trị địa phương 19 Hyperparameter Siêu tham số 20 Instance Cá thể 21 Instance segmentation Phân đoạn cá thể ảnh 22 Iteration Vòng lặp 23 Label Nhãn 24 Layer Tầng 25 Learning rate Tốc độ học 26 Linear regression Hồi quy tuyến tính 27 Loss function Hàm mát 28 Machine learning Máy học, học máy 29 Neural network Mạng nơ ron 30 Object detection Phát vật thể 31 Overfitting Quá khớp 32 Precision Tỉ lệ xác 33 Recall Tỉ lệ tái 34 Test data Dữ liệu kiểm tra 35 Training data Dữ liệu huấn luyện 36 Transfer learning Học tập chuyển giao 37 Underfitting Không khớp 38 Validation Một kĩ thuật để đánh giá độ xác mơ hình 39 Validation set Tập liệu đánh giá SVTH: Hoàng Anh Dũng Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ CHƯƠNG TỔNG QUAN VỀ XE TỰ LÁI 1.1 Công nghệ xe tự lái ứng dụng Xe tự lái cịn gọi xe tự hành (self-driving car) có khả cảm nhận môi trường xung quanh di chuyển an tồn với khơng có can thiệp người.Xe tự lái kết hợp công nghệ có khả cảm biến mơi trường xung quanh radar, lidar, sonar, định vị GPS, trí tuệ nhân tạo(AI),  Hệ thống điều khiển nâng cao sẽ phân tích thơng tin thu để xác định đường phù hợp, chướng ngại vật biển báo liên quan Công nghệ ô tô tự lái “chớm nở” từ sớm đạt nhiều thành tựu bật thời điểm tại, hứa hẹn mang đến triển vọng phát triển cho ngành cơng nghiệp tự động hóa tương lai Công nghệ ô tô tự lái ngày phát triển trở nên thịnh hành thị trường đòi hỏi đột phá để mở kỷ ngun cho ngành cơng nghiệp tự động hóa Hình 1-17.Cơng nghệ ô tô tự lái ngày phát triển SVTH: Hoàng Anh Dũng Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Hình 3-7: Chỉnh sửa file cấu hình Một vài siêu tham số, thông tin cần ý: - Mạng xương sống (backbone): Mobilenet - Số vòng lặp (epoch): 250 - Tốc độ học (learning rate): 0.01 - Phương pháp tối ưu (optimizer): Stochastic Gradient Descent - Hàm mục tiêu: Multi-task loss bao gồm: • Hàm mục tiêu cho dự đốn bounding box (Bounding box regression): Smooth L1 (loss_bbox) • Hàm mục tiêu cho định vị điểm (Landmark regression): Smooth L1 (loss_landm) • Hàm mục tiêu cho phân loại vật thể (Classification): Cross Entropy (loss_cls) Cơng thức tính hàm mục tiêu mơ hình: 𝑙𝑜𝑠𝑠 = 𝛼.LOSS𝑏𝑏𝑜𝑥 + 𝛽.LOSS𝑐𝑙𝑠 + 𝛾 LOSS𝑙𝑎𝑛dm SVTH: Hoàng Anh Dũng 53 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Trong hệ số 𝛼, 𝛽, 𝛾 chọn trình thực nghiệm Sau q trình thực nghiệm ta có: 𝛼 = 2, 𝛽 = , 𝛾 = tốn ta ko chịu ảnh hưởng landmark Sau hoàn thành công việc trên, ta lấy liệu chuẩn bị tiến hành huấn luyện mơ hình Sau train 250 epochs ta kết đánh giá hiệu suất phát biển báo mơ sau: Hình 3-8: Tính tốn mAP cho lớp, phát biển báo giao thơng SVTH: Hồng Anh Dũng 54 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Hình 3-9 Kết dự đoán tập testing Nhận xét:  Nhìn chung kết nhận diện biển báo tốt, kể biển nhỏ độ xác mAP với ngưỡng 0.5 cao 3.2 Huấn luyện mơ hình phần loại biển báo giao thơng Sau trích xuất vị trí biển báo giao thơng từ mơ hình nhận diện vật thể ta cần biết biển báo giao thơng loại biển Ở sử dụng mơ hình phân loại Dựa tốc độ độ xác tương đối cao, ta chọn mơ hình Mobilenetv1-SSD cho q trình huấn luyện mơ hình 3.2.1 Chuẩn bị liệu Trong khn khổ đồ án, ta huấn luyện lớp liệu ứng với loại biển báo phổ biến Mỗi biển báo giao thông cắt từ ảnh gốc ban đầu theo kích thước bounding box có nhãn tập training , sau tiếp tục đệm hình ảnh crop đến hình ảnh 60x60 Sau đó, hình ảnh thay đổi kích thước thành 300x300 để đáp ứng điều kiện kích thước hình ảnh đầu vào để đào tạo mơ hình Mobilenetv1-SSD SVTH: Hoàng Anh Dũng 55 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Từ 3600 ảnh gốc tập train ta lấy tọa độ bouding box từ label thu 9140 ảnh crop chứa biển báo giao thơng thơng Ta thống kê liệu có lớp: Hình 3-10 Thống kê liệu cho lớp Hình 3-12: Dữ liệu dùng để train model classifier Sau huấn luyện mơ hình 100 epoch, nhận thấy đồ thị sai số không giảm ta dừng mô hình đánh giá kết SVTH: Hồng Anh Dũng 56 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Hình 3-13 Đồ thị sai số huấn luyện 3.3 Kết hợp model detector classifier để model cuối phát phân loại biển báo giao thông Mô hình RetinaFace điều chỉnh tinh chỉnh kết hợp mơ hình Mobilenetv1-SSD AP50 sử dụng để đánh giá độ xác hai phương pháp phát phân loại biển báo giao thông Ta đánh giá mô hình cuối tập validation gồm có 900 ảnh có tổng số biển báo 1816 phân bố vào lớp sau: Hình 3-14 Thống kê liệu dùng để đánh giá mơ hình cuối SVTH: Hoàng Anh Dũng 57 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Và từ ta tính mAP50 63,45% Trong AP50 cao 78,44% cho lớp cấm dừng đỗ Phát lớp quan tâm liệu đạt AP50 50% So với kết tốt Challenging Zalo AI ,với mô hình đào tạo từ đầu, kết phương em cao (63,45% so với 60,53%).Kết mơ tả : Hình 3-15 Thống kê False Positive True Positive class SVTH: Hoàng Anh Dũng 58 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Hình 3-16 Vẽ đường Recall-Precision curve Hình 3-17.Tính mAP50 cuối SVTH: Hồng Anh Dũng 59 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Điều giải thích hình ảnh đầu vào cho mơ hình phân loại (Mobilenetv1-SSD) cắt dựa hộp giới hạn đầu mô hình RetinaFace Mỗi hộp giới hạn chứa biển báo giao thông riêng lẻ Điều đảm bảo hình ảnh cắt có biển báo giao thơng có kích thước tối đa ảnh ban đầu Do đó, chất lượng tốt hình ảnh cắt cải thiện đó, Mobilenetv1- SSD đưa kết tốt Hình 3-18 cho thấy minh họa việc phát biển báo giao thơng liệu Zalo Hình 3-18 Minh họa việc phát biển báo giao thông liệu Zalo Có thể thấy kết thu tốt biển báo phát xác với tỷ lệ cao SVTH: Hồng Anh Dũng 60 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ 3.5 Triển khai mơ hình nhận diện phân loại biển báo giao thơng Jetson Nano Máy tính nhúng Jetson Nano Được mắt vào tháng năm 2019 hang NVIDIA, Jetson Nano tảng mạnh mẽ cho việc triển khai thuật toán học máy Với việc có kích thước nhỏ gọn, sở hữu GPU mạnh, Jetson Nano phù hợp để sử dụng làm máy tính xử lý trung tâm Một tính đặc biệt khác sử dụng TensorRT để tăng tốc mơ hình học sâu Để sử dụng Jetson Nano bao máy tính khác ta phải cài đặt hệ điều hành cho Thẻ nhớ 64Gb dùng làm nhớ Jetson Nano Việc cài đặt hệ điều hành tham khảo trang chủ NVIDIA Hình 3-19 Máy tính nhứng Jetson Nano Tối ưu hóa mơ hình Để đưa mơ hình huấn luyện xuống phần cứng ta cần phải tối ưu hóa mơ hình Trong dự án này, mơ hình tối ưu hóa nhờ công nghê NVIDIA Tensor-RT Đây công nghệ phát triển NVIDIA giúp mơ hình trí tuệ nhân tạo chạy nhanh lại tốn tài ngun Q trình tối ưu hóa mơ hình mơ tả qua hình 3-18 Hình 3-20 Quy trình tối ưu hóa mơ hình SVTH: Hồng Anh Dũng 61 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Quá trình chuyển đổi mơ hình sang Tensor-RT thơng qua định dạng trung gian gọi ONNX (Open Neural Network Exchange) ONNX giúp biểu diễn mơ hình học sâu cho phép chuyển đổi định dạng frameworks khác Các mơ hình sau huấn luyện Pytorch lưu dạng file ".pth", sau mơ hình đơn giản chuyển đổi sang định dạng ONNX nhờ module Pytorch ONNX Sau ta chuyển đổi mơ hình ONNX sang đinh dạng Tensor-RT Do đó, hiệu tính tốn mơ hình ta phát triển Jetson Nano Developer Kit NVIDIA đánh giá sau đưa xuống Tensor-RT sau: Model Batch size Model Image dimensio n Computi ng time mAP50 RAM usage RetinaFace + MobileNetV 1-SSD FP16 1024x1024 0.27s 63.45 1.3GB Hình 3-21 Kết đánh hiệu suất model định dạng Tensor-RT JetsonNano KẾT LUẬN 4.2 Kết luận Trong đề tài em xây dựng model phát biển báo giao thơng điều kiện khó , sử dụng mơ hình RetinaFace để trích xuất vị trí biển báo giao thơng mơ hình Mobilenetv1- SSD để phân loại biển báo giao thơng vừa trích xuất Tuy nhiên mạng RetinaFace bé, nên việc trích xuất biển báo q bé hình chưa tốt, dẫn đến bỏ xót biển báo bé Bên cạnh mơ hình cịn nhận nhầm nhiều biển quảng cáo đường thành biển báo giao thông Dẫu kết sở quan trọng để em phát triển tốn trích xuất thơng tin mơi trường xe tự lái SVTH: Hoàng Anh Dũng 62 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Hơn nữa, trình thực đề tài giúp em nắm kiến thức, kỹ học máy học sâu Em nắm kiến trúc, nguyên lí hoạt động số mạng học sâu thơng dụng Ngồi ra, em nắm phương pháp huấn luyện mạng học sâu để ứng dụng vào tốn cụ thể riêng mình, biết kỹ thuật cải thiện độ xác, tinh chỉnh mạng học sâu gặp tượng không tốt Overfitting Đây tảng quan trọng để áp dụng công nghệ đường nghiệp tương lai 4.3 Hướng phát triển đồ án tương lai Dựa vào kết thực trên, em dự định tiếp tục phát triển đề tài theo hướng đây:  Cải thiện mơ hình nhận diện biển báo để đạt hiệu suất tốt vật thể bé  Phát triển thêm toán nhận diện biển báo giao thông điều kiện challenge khác TÀI LIỆU THAM KHẢO [1] S Yaakub, M H Alsibai, "A Review on Autonomous Driving Systems," International Journal Of Engineering Technology And Sciences (IJETS), vol 5, June 2018 [2] K J Bussemaker, "Sensing requirements for an automated vehicle for highway and rural environments," MSC thesis at the Delft University of Technology, 2014 [3] "Cấp độ xe tự lái phân loại nào?," https://vinfastauto.com/vn_vi/phanloai-cac-cap-do-xe-tu-lai [4] E Yurtsever, J Lambert, A Carballo, K Takeda, "A surver of autonomous driving: common practices and emerging technologies," 2020 [5] X Ma, Z Wang, H Li, W Ouyang, and P Zhang, "Accurate monocular 3D object detection via Color-Embedded 3D reconstruction for autonomous driving," Mar 2019 [6] X Cheng, P Wang, and R Yang, "Learning depth with convolutional spatial propagation network," 2018 [7] X Chen, K Kundu, Y Zhu, A G Berneshawi, H Ma, S Fidler, and R Urtasun, "3D object proposals for accurate object class detection," in Advances in Neural SVTH: Hoàng Anh Dũng 63 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ Information Processing Systems 28, C Cortes, N D Lawrence, D D Lee, M Sugiyama, and R Garnett, Eds Curran Associates, Inc., 2015, pp 424–432 [8] D Lin, S Fidler, and R Urtasun, "Holistic scene understanding for 3D object detection with RGBD cameras," IEEE International Conference on Computer Vision, pp 1417–1424., Dec 2013 [9] A Geiger, P Lenz, and R Urtasun, "Are we ready for autonomous driving? the kitti vision benchmark suite," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2012, pp 3534-3361 [10] H Caesar, V Bankiti, A H Lang, S Vora, V E Liong, Q.Xiu, A Krishnan, Y Pan, G Baldan, and O Beijbom, "nuScenes: A multimodal dataset for autonomous driving," arXiv preprint arXiv:1903.11027, 2019 [11] B Sanyal, R K Mohapatra, R Dash, "Traffic Sign Recognition: A Survey," International Conference on Artificial Intelligence and Signal Processing (AISP), 2020 [12] "Giao thức CAN," https://en.peritec-sales.com/wp/knowledgebase/ [13] V H Tiệp, Machine Learning bản, 2020 [14] S Y Fei-Fei Li, Justin Johnson, "Convolutional neural networks for visual recognition," 2019 [15] A Krizhevsky, I Sutskever, G E Hinton, "Imagenet classification with deep convolutional neural networks" [16] K He, X Zhang, S Ren, J Sun, "Deep residual learning for image recognition," arXiv:1512.03385, 2015 [17] M Tan, Quoc V Le, "EfficientNet: Rethinking model scaling for convolutional neural networks," arXiv:1905.11946v5, 2019 [18] S Sahil, A Zaidi, M S Ansari, A Aslam, N Kanwal, M Asghar, B Lee, "A survey of modern deep learning based object detection models," arXiv:2104.11892v2, 2021 [19] J Redmon, A Farhadi, "YOLO9000: Better, faster, stronger," arXiv:1612.08242, 2016 [20] J Redmon, A Farhadi, arXiv:1804.02767, 2018 "YOLOv3: An incremental improvement," [21] A Bochkovskiy, C Y Wang, H Y M Liao, "YOLOv4: Optimal speed and accuracy of object detection," arXiv:2004.10934, 2020 [22] "YOLOv5," https://github.com/ultralytics/yolov5 SVTH: Hoàng Anh Dũng 64 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ [23] X Long, K Deng, G Wang, Y Zhang, Q Dang, Y Gao, H.Shen, J.Ren, "PPYOLO: An effective and efficient implementation of object detector," arXiv:2007.12099, 2020 [24] C Y Wang, A Bochkovskiy, H Y M Liao, "Scaled-YOLOv4: Scaling cross stage partial network," arXiv:2011.08036, 2020 [25] C Y Wang, H Y M Liao, I H Yeh, Y H Wu, P Y Chen, J W Hsieh, "CSPNet: A new backbone that can enhance learning capability of CNN," arXiv:1911.11929, 2019 [26] "NVIDIA TensorRT," https://developer.nvidia.com/tensorrt [27] F Yu, W Xian, Y Chen, F Liu, M Liao, V Madhavan, and T Darrell, "Bdd100k: A diverse driving dataset for heterogeneous multitask learning," arXiv:1805.04687v2, 2020 [28] C Ertler J Mislej T O Y Kuang, L Porzi, G Neuhold, "The mapillary traffic sign dataset for detection and classification on a global scale," arXiv:1909.04422v2, 2020 [29] "Getting Started with Jetson Nano Developer https://developer.nvidia.com/embedded/learn/get-started-jetson-nano-devkit Kit," [30] "python-can," https://github.com/hardbyte/python-can [31] R Girshick, "Fast R-CNN," arXiv:1504.08083v2, 2015 [32] R Currie, "Hacking the CAN Bus: Basic manipulation of a modern automobile through CAN Bus reverse engineer," 2017 [33] B Raj, "Deep learning on the edge," towardsdatascience, 2018 [34] A Faisai, T Yigitcanlar, Md Kamruzzaman, G Currie, "Understanding autonomous vehicles: A systematic literature review on capability, impact, planning and policy," The journal of transport and land use, 2019 [35] Wolf, A Hata and D., "Road marking detection using lidar reflective intensity data and its application to vehicle localization," in 17th International Conference on Intelligent Transportation Systems (ITSC) IEEE, 2014, pp 584–589 [36] C Chen, A Seff, A Kornhauser, and J Xiao, "Deepdriving: Learning affordance for direct perception in autonomous driving," in Proceedings of the IEEE International Conference on Computer Vision, 2015, pp 2722–2730 [37] C Szegedy, W Liu, V Jia, P Sermanet, S Reed, D Anguelov, D Erban, V Vanhoucke, A Rabinovich, "Going deeper with convolutions," arXiv:1409.4842v1, 2014 [38] E Zablocki, H Ben-Younes, P Perez, M Cord, "Explainability of vision-based SVTH: Hoàng Anh Dũng 65 Đồ án nghiên cứu GVHD:Nguyễn Xuân Hạ autonomous drving systems: review and challenges," arXiv:2101.05307v1, 2021 [39] J Redmon, S Divvala, R Girshick, A Farhadi, "You only look once: Unified, realtime object detection," arXiv:1506.02640, 2015 [40] K He, G Gkioxari, P Dollar, R Girshick, "Mask R-CNN," arXiv:1703.06870v3, 2018 [41] R Girshick, J Donahue, T Darrell, J Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," arXiv:1311.2524v5, 2014 [42] S Ren, K He, R Girshick, J Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks," arXiv:1506.01497v3, 2016 SVTH: Hoàng Anh Dũng 66 Đồ án nghiên cứu SVTH: Hoàng Anh Dũng GVHD:Nguyễn Xuân Hạ 67 ... đề tài tốt nghiệp: Xây dựng hệ thống tự động nhận diện biển báo giao thơng điều kiện khó ứng dụng hỗ trợ cho xe tự lái I NỘI DUNG NHẬN XÉT Khối lượng đồ án: Phần thuyết minh: 64 trang II Nhận xét... nhận diện biển báo giao thông xe tự lái Nhận diện biển báo giao thông tốn quan trọng khó xe tự lái Theo nhiều năm có nhiều nghiên cứu vấn toán này, nhiên nhiều thách thức  Đầu tiên mơ hình nhận. .. QUAN VỀ XE TỰ LÁI 1.1 Công nghệ xe tự lái ứng dụng 1.2 Các cấp độ xe tự lái 1.3 Những ứng dụng AI xe tự lái 1.4 Bài tốn trích xuất thơng tin mơi trường xe tự lái CHƯƠNG