Thiết kế hệ thống đa tác vụ cho xe tự hành

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THIẾT KẾ HỆ THỐNG HỌC ĐA TÁC VỤ CHO XE TỰ HÀNH S K C 0 9 MÃ SỐ: SV2022 - 26 CHỦ NHIỆM ĐỀ TÀI: BÙI KHÁNH PHONG S KC 0 7 Tp Hồ Chí Minh, tháng 6/2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THIẾT KẾ HỆ THỐNG HỌC ĐA TÁC VỤ CHO XE TỰ HÀNH SV2022-26 Thuộc nhóm ngành khoa học: SV thực hiện: Bùi Khánh Phong Nam, Nữ: Nam Dân tộc: Kinh Lớp, khoa: 181190, Điện-Điện Tử Năm thứ: 04 /Số năm đào tạo: 08 Ngành học: Kỹ Thuật Máy Tính Người hướng dẫn: TS Trần Vũ Hồng TP Hồ Chí Minh, 06/2022 MỤC LỤC DANH MỤC HÌNH v DANH MỤC BẢNG vi DANH MỤC NHỮNG TỪ VIẾT TẮT vii THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI MỞ ĐẦU GIỚI THIỆU TÌNH HÌNH NGHIÊN CỨU HIỆN NAY LÝ DO CHỌN ĐỀ TÀI .5 MỤC TIÊU ĐỀ TÀI PHƯƠNG PHÁP NGHIÊN CỨU .5 ĐỐI TƯỢNG NGHIÊN CỨU .6 PHẠM VI NGHIÊN CỨU Chương CƠ SỞ LÝ THUYẾT 1.1 Pytorch .7 1.2 Máy học (Machine Learning) [4] .8 1.3 Học sâu (Deep learning) [5] .9 1.4 Mạng nơ ron tích chập (Convolutional Neural Network) 1.4.1 Lớp tích chập (Convolution Layer) 10 1.4.2 Lớp gộp (Pooling Layer) 11 1.4.3 Lớp kết nối đầy đủ ( Fully Connected Layer) 12 1.5 Hàm kích hoạt ( Activation Function) .12 1.6 Các loại tích chập thay tích chập truyền thống 13 1.6.1 Pointwise convolution [14] .13 1.6.2 Grouped convolution [14] 14 1.6.3 Depthwise Separable Convolution [14] 15 1.7 Tăng cường liệu (Data Augmentations) 15 1.8 Bài toán phát vật thể (Object Detection) 16 1.8.1 Giới thiệu mạng Nanodet [17] 17 1.8.2 Generalized Focal Loss [21] 20 1.8.3 ShufflenetV2 – backbone [22] 22 1.9 Mơ hình phân đoạn hình ảnh (Image Segmentation) .24 1.10 Chương Phương pháp tiếp cận đa tác vụ 26 THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG 28 iii 2.1 Thiết kế hệ thống 28 2.1.1 Mã hóa .28 2.1.2 Giải mã 31 2.1.3 Hàm mát ( Loss Function) 32 Chương KẾT QUẢ THỰC NGHIỆM 34 3.1 Môi trường đánh giá 34 3.2 Tập liệu .34 3.3 Các phương pháp đánh giá .34 3.3.1 IoU .34 3.3.2 Precision, Recall, AP, mAP [29] .34 3.4 Chi tiết triển khai 35 3.5 Kết .36 3.5.1 Nhận diện biển báo phát phương tiện 36 3.5.2 Phân đoạn đường 39 3.5.3 So sánh đa tác vụ tác vụ 41 3.5.4 Thực nghiệm môi trường thách thức 42 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 45 4.1 Kết luận .45 4.2 Hướng phát triển 45 TÀI LIỆU THAM KHẢO .46 PHỤ LỤC 48 iv DANH MỤC HÌNH Hình 1.1 Workflow Pytorch [3] Hình 1.2 Kiến trúc Convolution Neural Network [7] 10 Hình 1.3 Minh họa Convolution Layer [8] 10 Hình 1.4 Padding [9] 11 Hình 1.5 Stride [10] .11 Hình 1.6 Max pooling Average Pooling [11] 12 Hình 1.7 Minh họa Fully Connected Layer [12] 12 Hình 1.8 Pointwise convolution [14] .13 Hình 1.9 Minh họa Grouped Convolution [14] .14 Hình 1.10 Minh họa Channel Shuffle [14] 14 Hình 1.11 Minh họa cho Depthwise Separable Convolution [14] 15 Hình 1.12 Ví dụ tăng cường liệu 16 Hình 1.13 Kiến trúc FCOS [20] 18 Hình 1.14 Anchor free [20] 19 Hình 1.15 Kiến trúc mạng Nanodet [17] 19 Hình 1.16 Luồng train test phương pháp trước .20 Hình 1.17 Ví dụ trường hợp khơng rõ ràng không chắn ranh giới bounding box object 20 Hình 1.18 Luồng train test sau kết hợp IoU score classification 21 Hình 1.19 Ví dụ phân phối tùy ý [21] 21 Hình 1.20 Biến đổi từ dạng one-hot thành dạng số thực QFL [21] 22 Hình 1.21 Kiến trúc ShuffleNet 23 Hình 1.22 Đơn vị ShuffleNet a) ShuffleNet với tích chập sâu b) Đơn vị với tích chập nhóm trộn kênh c) Đơn vị với bước nhảy 24 Hình 1.23 Phân đoạn ngữ nghĩa phân đoạn cá thể [23] 25 Hình 1.24 Phát khối Unet [23] .25 Hình 1.25 Xe tự hành [23] .25 Hình 1.26 Kiến trúc Mask R-CNN [26] 26 Hình 2.1 Kiến trúc mạng 28 Hình 2.2 Cấu trúc ShuffleNetV2 1.5x[22] 29 Hình 2.3 Cấu trúc Block A 29 Hình 2.4 Cấu trúc FPN [27] 30 Hình 2.5 Cấu trúc Light Head 31 Hình 2.6 Depth Wise Block 31 Hình 2.7 Lane Segment 32 Hình 3.1 So sánh kết phát biển báo nhận diện xe mạng 38 Hình 3.2 So sánh kết phân đoạn đường hai mạng 40 Hình 3.3 Kết mơ hình học đa tác vụ 42 Hình 3.4 Kết mơ hình phát nhận dạng thời tiết xấu 43 Hình 3.5 Kết mơ hình phân đoạn đường thời tiết xấu 44 v DANH MỤC BẢNG Bảng 2.1 So sánh backbone ShuffleNetV2 với scale factor 29 Bảng 3.1 Phân loại đánh giá kết dự đốn mơ hình 35 Bảng 3.2 So sánh mạng số mạng đại khác với nhiệm vụ phát nhận diện vật thể 36 Bảng 3.3 So sánh mạng mạng đại khác nhiệm vụ phân đoạn 39 Bảng 3.4 So sánh việc học đa tác vụ học tác vụ 41 vi DANH MỤC NHỮNG TỪ VIẾT TẮT Viết tắt Mô tả AP Average Precision CNN Convolution Nerural Network CPU Central Processing Unit CUDA Compute Unified Device Architecture FCOS Fully Convolutional One-Stage Object Detection FPS Frames per second GPUs Graphics Processing Unit mAP Mean Average Precision ROI Region Of Interest YOLO You only look Once vii BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Thiết kế hệ thống học đa tác vụ (multi – task learning) cho xe tự hành - Chủ nhiệm đề tài: - Lớp: Mã số SV: 18119182 Bùi Khánh Phong Kỹ Thuật Máy Tính Khoa: Điện –Điện Tử - Thành viên đề tài: Stt Họ tên MSSV Lớp Khoa Huỳnh Đình Hiệp 18119148 181190 Điện – Điện Tử Lê Quang Thắng 18119191 181190 Điện – Điện Tử Lê Ngọc Hoàng Lâm 18119024 181190 Điện – Điện Tử - Người hướng dẫn: TS Trần Vũ Hoàng Mục tiêu đề tài: Trong đề tài này, nghiên cứu đề xuất thiết kế phương pháp mạng đa tác vụ cho toán xe tự hành Bằng cách xử lý đồng thời tác vụ nhận diện biển báo, vật cản, phân đoạn đường, phương pháp dự kiến cải thiện tương đối độ trễ so với phương pháp trước, tiết kiệm tài nguyên hệ thống Do phương pháp kì vọng áp dụng cho thiết bị nhúng dùng cho xe tự hành Tính sáng tạo: Hệ thống có khả thực nhiều tác vụ lúc thay thuật tốn xử lý ảnh truyền thống hay hệ thống trước xe tự hành Điểm sáng tạo bật hệ thống thiết kế nhánh làm nhiệm vụ phân đoạn đường dựa mạng phát vật thể Và hệ thống khắc phục nhược điểm phương pháp đa tác vụ khác ví dụ Mask RCNN [26] đầu vào nhánh dự đoán mặt nạ có vùng quan tâm vật thể điều không phù hợp cho việc phát đường DLT-Net [33] thiết kế với mã hóa ba giải mã cho ba chức Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 1/55 phát vật thể, đường ranh giới (vạch kẻ) đường cịn có thêm lớp liên kết giữ hai nhiệm vụ phát đường ranh giới (vạch kẻ) đường ứng dụng bị hạn chế, ban đầu tốn đặt để giải đường có nhiều ranh giới hoạt động tốt đường có vạch kẻ đường bao quát Kết nghiên cứu: Sau q trình nghiên cứu, nhóm chúng tơi chứng minh hiệu việc học đa tác vụ thời gian độ xác Minh chứng mơ hình chúng tơi cải thiện 40 frames/s so sánh với mơ hình thực tác vụ độc lập Bên cạnh so sánh với mạng đại có độ xác cao nhiệm vụ phát vật thể, nhận diện biển báo phân đoạn đường, mơ hình chúng tơi vượt trội tốc độ độ xác Như 4.4% so sánh độ xác với mạng Scaled Yolov4 Tiny [31] với tác vụ phát vật cản, nhận diện biển báo; 1.1% so sánh độ xác với mạng Unet [24] với tác vụ phân đoạn đường Đóng góp mặt giáo dục đào tạo, kinh tế - xã hội, an ninh, quốc phòng khả áp dụng đề tài: Đề tài tài liệu tham khảo cho nhóm sinh viên học viên nghiên cứu giải toán xe tự hành Ngoài ra, phương pháp đề xuất áp dụng để xây dựng hệ thống thông minh hỗ trợ tài xế Công bố khoa học SV từ kết nghiên cứu đề tài: Khanh-Phong Bui, Hoang-Lam Ngoc Le, Quang-Thang Le, Dinh-Hiep Huynh, and Vu-Hoang Tran, "The Design Of A Multi-Task Learning System For Autonomous Vehicles", the 6th International Conference on Green Technology & Sustainable Development, 2022 Ngày tháng năm SV chịu trách nhiệm thực đề tài (kí, họ tên) Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 2/55 Nhận xét người hướng dẫn đóng góp khoa học SV thực đề tài (phần người hướng dẫn ghi): Đề tài có hàm lượng khoa học cao, phương pháp đề xuất thử nghiệm mô khẳng định độ xác tốc độ xử lý Đây tảng để phát triển thuật tốn thơng minh hệ thống nhúng cho xe tự hành hệ thống hỗ trợ tài xế Ngày tháng năm Người hướng dẫn (kí, họ tên) Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 3/55 Bảng 3.1 Phân loại đánh giá kết dự đốn mơ hình Mơ hình dự đốn Positive - P Negative - N True – T TP TN Thực tế False - F FP FN Precision tính theo cơng thức (3.2) thơng số đánh giá độ tin cậy kết model dự đốn Recall tính theo cơng thức (3.3) thơng số đánh giá khả tìm kiếm tồn kết luận model kết luận thực tế Hiện AP mAP số đánh giá mơ hình nhận diện vật thể sử dụng phổ biến Nó tính tốn dựa vào thông số IoU, Precision, Recall tập liệu AP, mAP tác giả giới thiệu chi tiết [29] 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑟𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 𝑇𝑃 𝑇𝑃+𝐹𝑁 (3.2) (3.3) 3.4 Chi tiết triển khai Chúng sử dụng Adam [30] cho việc tối ưu trình huấn luyện mạng tỉ lệ học ban đầu 0,001 Trong thực nghiệm, thấy độ quan trọng hàm mát nên chọn α, β, γ Để làm cho mơ hình chúng tơi thích nghi môi trường khác nhau, sử dụng tăng cường liệu biến dạng hình học trắc quang trình đào tạo Đối với biến dạng trắc quang, điều chỉnh màu sắc, độ bão hịa giá trị hình ảnh, độ sáng, độ tương phản độ bão hòa Đối với biến dạng hình học, chúng tơi sử dụng xoay ngẫu nhiên, chia tỉ lệ, cắt, kéo dài, tịnh tiến Sau sử dụng tăng cường liệu, chúng tơi có 80.000 hình ảnh để đào tạo 20.000 hình ảnh để thử nghiệm Mặc khác nhánh phân đoạn sử dụng biến đổi HSV chúng tơi có 16.000 hình ảnh để huấn luyện 4.000 ảnh để thử nghiệm cho nhánh Chiến lược thử nghiệm: chọn số mạng xuất sắc độ xác tốc độ mạng tập trung vào tác vụ để so sánh với mạng chúng tôi, đào tạo lại mạng liệu Carla mô phỏng, sau so sánh chúng với mạng nhiệm vụ phát đối tượng phân loại đường Hơn nữa, so sánh độ xác tốc độ mơ hình đa nhiệm đào tạo để xử lý nhiều tác vụ với mơ hình đào tạo để thực tác vụ cụ thể Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 35/55 3.5 Kết Để chứng minh việc huấn luyện luyện mơ hình đa tác vụ, nhiệm vụ bổ sung chia kiến thức cho làm tăng độ xác cải thiện thời gian, trước tiên so sánh mơ hình với phương pháp đại cho nhiệm vụ 3.5.1 Nhận diện biển báo phát phương tiện Đối với nhiệm vụ này, chúng tơi so sánh mạng với Faster RCNN [15] đại diện bật mạng phát đối tượng hai giai đoạn mạng Scaled Yolov4 Tiny [31] phương pháp giai đoạn bật xem xét hai khía cạnh tốc độ độ xác Như thể bảng 3.1, huấn luyện nhiều nhiệm vụ nhau, tăng mAP lên khoảng 5% so với phương pháp đại Hơn nữa, ưu điểm thiết kế đào tạo nhiều nhiệm vụ, q trình thực thi, chúng tơi loại bỏ hồn tồn nhánh tác vụ khơng cần thiết để cải thiện tốc độ Trong bảng 3.1, loại bỏ nhánh phân đoạn, FPS không khác nhiều so với Scaled Yolov4 Tiny [31], điều cho phép mơ hình chúng tơi chạy mơi trường thời gian thực Hình 3.1 hình ảnh kết so sánh Scaled YoloV4 tiny [31] mơ hình chúng tơi Cả hai mơ hình hoạt động tốt việc phát đối tượng gần, đối tượng xa, mơ hình chúng tơi hoạt động tốt mơ hình học nhiều thông tin phong phú ngữ nghĩa từ nhiều nhiệm vụ trình đào tạo Bảng 3.2 So sánh mạng số mạng đại khác với nhiệm vụ phát nhận diện vật thể Mơ hình mAP(%) Speed(fps) Scaled Yolov4 Tiny [31] 84.87 119.23 Faster RCNN [15] 83.01 11.2 Ours 89.4 117.35 Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 36/55 a) Kết mạng Scaled Yolov4 tiny Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 37/55 b) Kết mạng chúng tơi Hình 3.1 So sánh kết phát biển báo nhận diện xe mạng Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 38/55 3.5.2 Phân đoạn đường Đối với nhiệm vụ này, so sánh mơ hình chúng tơi với Unet [24] Enet [25] hai mơ hình bật nhiệm vụ Tương tự nhiệm vụ phát nhận diện vật thể chúng tơi loại bỏ hồn tồn nhánh tác vụ khơng cần thiết để bắt kịp tốc độ Như bảng 3.2, cách huấn luyện đa tác vụ mà mơ hình cải thiện 1.1% so với Unet [24] 3.7% so với Enet [25] tốc độ chúng tơi hẳn So sánh trựsssc quan hình 3.2 cho thấy mơ hình tốt việc phân đoạn phần rìa bên cạnh phương tiện đường nhiệm vụ phát đối tượng hỗ trợ nhiệm vụ phân đoạn đường Bảng 3.3 So sánh mạng mạng đại khác nhiệm vụ phân đoạn Mơ hình IoU(%) Speed(fps) UNet [24] 94.8 49.63 ENet [25] 90.2 98.26 Ours 95.9 133.33 Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 39/55 a) Kết Unet b) Kết mạng chúng tơi Hình 3.2 So sánh kết phân đoạn đường hai mạng Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 40/55 3.5.3 So sánh đa tác vụ tác vụ Để chứng minh hiệu việc huấn luyện mơ hình đa tác vụ so với tác vụ Chúng tơi so sánh mơ hình huấn luyện đa tác vụ tác vụ Bảng 3.3 thể so sánh Có thể thấy, phương pháp đa tác vụ đạt kết vượt trội so với phương pháp tác vụ, quan trọng mơ hình đa tác vụ tiết kiệm nhiều thời gian, 40 khung hình giây so với việc thực thi tác vụ Hình 3.3 thể trực quan đa tác vụ phát đối tượng nhận dạng biển báo giao thông phân đoạn đường Bảng 3.4 So sánh việc học đa tác vụ học tác vụ Mô hình Recall (%) mAP (%) IoU (%) Speed (fps) Detection(only) 85.9 89.3 - 117.35 Segmentation(only) - - 94.9 133.33 Detection+Segmentation 85.9 89.3 94.9 60.22 Multitask 86.3 89.4 95.9 100.56 a) Kết đánh giá mơ hình tập Unity Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 41/55 b) Kết đánh giá mô hình tập Carla Hình 3.3 Kết mơ hình học đa tác vụ 3.5.4 Thực nghiệm mơi trường thách thức Như hình 3.4 hình 3.5, chúng tơi thử nghiệm mơ hình điều kiện thời tiết ánh sáng thử thách ban ngày, ban đêm, ngày mưa, tình hình giao thông đông đúc, … Kết trực quan chứng minh mơ hình chúng tơi hoạt động tốt điều kiện kể điều kiện khó Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 42/55 Hình 3.4 Kết mơ hình phát nhận dạng thời tiết xấu Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 43/55 Hình 3.5 Kết mơ hình phân đoạn đường thời tiết xấu Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 44/55 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Kết luận Thông qua kết đạt trên, thấy hệ thống nhóm chúng tơi thiết kế đạt yêu cầu đặt Hệ thống có khả xử lý tác vụ phát vật thể, nhiên diện biển báo, phân đoạn đường cách đồng thời Giải vấn đề hệ thống xe tự hành trước xử lý riêng lẽ nhiệm vụ toán Ngồi nhóm chúng tơi hồn thành mã nguồn huấn luyện chạy thực nghiệm có liệu mã nguồn chạy riêng lẽ nhiệm vụ Hệ thống đạt độ xác tốt, đảm bảo tính xác sử dụng Tính hàm lượng khoa học đề tài thể qua việc kết liên quan đến đề tài chấp nhận đăng hội nghị "The 6th International Conference on Green Technology & Sustainable Development" Tuy vậy, nghiên cứu nhiều hạn chế cần giải quyết: - Thứ mơ hình huấn luyện chạy thử data mơ phỏng, liệu có nhiều thử thách mơ hình chưa nhúng lên hệ thống xe cụ thể để chạy nên nhiều thách thức chưa biết để giải - Mặc dù nhóm chúng tơi chứng minh hiệu việc học đa tác vụ so với việc học tác vụ, nhóm thử mạng nanodet, cần phải thử thêm số mạng khác 4.2 Hướng phát triển - Hiện có phiên Generalized Focal Loss V2, tác giả số hạn chế việc sử dụng nhánh classification để dự đoán, đưa vài tương tương quan hai nhánh classification nhánh regression tác giả muốn kết hợp hai nhánh lại với phần head, với ý tưởng nhóm áp dụng vào mơ hình để xem xét việc tăng độ xác cho mơ hình - Lấy ý tưởng việc học đa tác vụ để phát triển thêm số mạng object detection khác để khẳng định thêm hiệu việc học đa tác vụ - Phát triển hệ thống lên phần nhúng để đánh giá phát triển thêm Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 45/55 TÀI LIỆU THAM KHẢO [1] Yu-Kuen Tsai, Lin-Yi Jian, Pau-Lo Hsu, & Bor-Chyun Wang, “Implementation of autonomous vehicles with the hough transform and fuzzy control,” in SICE Annual Conference, 2007 [2] Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla, Senior Member, IEEE, “SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation,” arXiv: 1511.100561v3, 2016 [3] V Shrimali "learnopencv," 2019 [Online] Available: https://www.learnopencv.com/pytorch-forbeginners-basics/ [4] Nguyên Thoại, “Machine learning gì?,” 2015 [Online] Avaliable: https://longvan.net/machine-learning-la-gi-ung-dung-cua-machine-learning.html [5] ITNAVI, “Deep learning gì? Khái quát kiến thức Deep learning,” 2020 [Online] Avaliable: https://itnavi.com.vn/blog/deep-learning-la-gi [6] Saad Albawi, Tareq Abed Mohammed, Saad AI-Zawi, “Understanding of a convolution neural network” International Conference on Engineering and Technology (ICET), 2017 [7] S Saha, "A Comprehensive Guide to Convolutional Neural Networks — the ELI5 way," 2018 [Online] Available: https://towardsdatascience.com/a-comprehensiveguide-toconvolutional-neural-networks-the-eli5-way-3bd2b1164a53 [8] ITechSeeker, “Convolution Neural Network,” 2022 [Online] Available: http://itechseeker.com/tutorials/computer-vision-with-deep-learning/ly-thuyetchung/convolutional-neural-network/ [9] Dr S Senthamliarasu, “Zero – padding,’ 2017 [Online] Available: https://subscription.packtpub.com/book/webdevelopment/9781838646301/8/ch08lvl1s ec21/zero-padding [10] Nouman Ahmad, “Convolutional Neural Networks,” 2021 [Online] Available: https://buffml.com/convolutional-neural-networks/ [11] Poooja Mahajan, “Max Pooling,” 2020 [Online] Available: https://poojamahajan5131.medium.com/max-pooling-210fc94c4f11 [12] Afshine Amidi, Shervine Amidi, “Convolutional Neural Networks,” [Online] Available:https://stanford.edu/~shervine/l/vi/teaching/cs-230/cheatsheetconvolutional-neural-networks [13] Bin Ding, Huimin Qian, Jun Zhou, “Activation functions and their characteristics in deep neural network”, Chinese Control And Decision Conference (CCDC), 2018 [14] Bui Quang Manh, “ShuffleNet – Deep Network dành cho thiết bị Mobile,” 2020 [Online] Available: https://viblo.asia/p/shufflenet-deep-network-danh-cho-thiet-bimobile-ORNZq1P8Z0n [15] Rohith Gandhi, “R-CNN, Fast R-CNN, Faster R-CNN, YOLO – Object Detection Algorithms”, in Towards Data Science ,2018 [16] J Redmon, S Divvala, R Girshick, and A Farhadi, “You only look once: Unified, real-time object detection,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016 [17] RangiLyu, (2022) Nanodet -Plus [source code], https://github.com/RangiLyu/nanodet [18] Ivan Khokhlov, Egor Davydenko, Ilya Osokin, Ilya Ryakin, Azer Babaev, Vladimir Litvinenko, Roman Gorbachev, “Tiny-YOLO object detection supplemented with geometrical data,” arXiv: 2008.02170v2, 2020 Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 46/55 [19] Zicong Jiang, Liquan Zhao, Shuaiyang Li, Yanfei Jia, “Real-time object detection method based on improved YOLOv4-tiny,” arXiv: 2011.04244, 2020 [20] Zhi Tian, Chunhua Shen, Hao Chen, Tong He, “FCOS: Fully Convolutional OneStage Object Detection,” arXiv:1904.01355v5, 2019 [21] Xiang Li, Wenhai Wang, Lijun Wu, Shuo Chen, Xiaolin Hu, Jun Li, Jinhui Tang, Jian Yang, “Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection,” arXiv: 2006.04388, 2020 [22] N Ma, X Zhang, H Zheng, and J Sun, “ShuffeNet V2: Practical Guidelines for Efficient CNN Architecture Design,” arXiv preprint arXiv: 1807.11164v, 2018 [23] Pham Dinh Khanh, “Image Segmentation,” 2020 [Online] Available: https://phamdinhkhanh.github.io/2020/06/10/ImageSegmention.html [24] O Ronneberger, P Fischer, and T Brox, “U-net: Convolutional networks for biomedical image segmentation,” in Medical Image Computing and ComputerAssisted Intervention – MICCAI, 2015 [25] He, K., Zhang, X., Ren, S., Sun, and J.: “Delving deep into rectifiers: Surpassing humanlevel performance on imagenet classification,” arXiv preprint arXiv:1502.0185, 2015 [26] K He, G Gkioxari, P Dollar, and R Girshick, “Mask R-CNN,” in Proceedings of the IEEE International Conference on Computer Vision, 2017 [27] S Liu, L Qi, H Qin, J Shi, and J Jia, “Path aggregation network for instance segmentation,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018 [28] Ma Yi-de, Liu Qing, and Qian Zhi-Bai, “Automated image segmentation using improved pcnn model based on cross-entropy,” in Proceedings of 2004 International Symposium on Intelligent Multimedia, Video and Speech Processing, 2004 [29] Rafael Padilla, Sergio L Netto and Eduardo A.B da Silva, “A Survey on Performance Metrics for Object-Detection Algorithms,” in Proceedings of the IEEE conference on Systems, Signals and Image Processing, 2020 [30] Diederik P Kingma, and Jimmy Ba, “A Method for Stochastic Optimization,” arXiv preprint arXiv:1412.6980v9, 2014 [31] Chien-Yao Wang, Alexey Bochkovskiy,and Hong-Yuan Mark Liao, “ScaledYOLOv4: Scaling Cross Stage Partial Network,” arXiv preprint arXiv: 2011.08036v2, 2021 [32] Kumaresan (2018), Senmatic Segmentation For Self Driving Car Retrieved from https://www.kaggle.com/datasets/kumaresanmanickavelu/lyft-udacity-challenge [33] Yeqiang Qian John M Dolan, and Ming Yang, “DLT-Net: Joint Detection of Drivable Areas, Lane Lines, and Traffic Objects,” in Proceedings of the IEEE International Conference on Intelligent Transportation Systems, 2020 Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 47/55 PHỤ LỤC Code huấn luyện chạy thực nghiệm đề tài Link github: https://github.com/phongkhanh/multitask_car Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 48/55 S K L 0 ... mạng cho toán nhận diện phân đoạn ứng dụng cho xe tự hành - Tìm hiểu tổng hợp nghiên cứu toán đa tác vụ - Nghiên cứu thiết kế mạng đa tác vụ ứng dụng cho xe tự hành - Viết chương trình cho hệ thống, ... tiết hệ thống đáp ứng yêu cầu đặt Hệ thống phải giải nhiệm vụ cách đồng thời với độ xác cao, ngồi hệ thống phải có khả chạy thời gian thực hệ thống nhúng 2.1 Thiết kế hệ thống Chúng thiết kế hệ thống. .. nguyên hệ thống Do phương pháp kì vọng áp dụng cho thiết bị nhúng dùng cho xe tự hành Tính sáng tạo: Hệ thống có khả thực nhiều tác vụ lúc thay thuật tốn xử lý ảnh truyền thống hay hệ thống trước xe