(Luận văn thạc sĩ) phát triển hệ thống hỗ trợ người lái xe dùng học sâu chạy trên bo mạch jetson nano

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ PHẠM TRẦN MINH HOÀNG PHÁT TRIỂN HỆ THỐNG HỖ TRỢ NGƯỜI LÁI XE DÙNG HỌC SÂU CHẠY TRÊN BO MẠCH JETSON NANO NGÀNH: KỸ THUẬT ĐIỆN TỬ SKC008021 Tp Hồ Chí Minh, tháng 04/2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ PHẠM TRẦN MINH HOÀNG PHÁT TRIỂN HỆ THỐNG HỖ TRỢ NGƯỜI LÁI XE DÙNG HỌC SÂU CHẠY TRÊN BO MẠCH JETSON NANO NGÀNH KỸ THUẬT ĐIỆN TỬ - 8520203 Tp Hồ Chí Minh – tháng 4/2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ PHẠM TRẦN MINH HỒNG PHÁT TRIỂN HỆ THỐNG HỖ TRỢ NGƯỜI LÁI XE DÙNG HỌC SÂU CHẠY TRÊN BO MẠCH JETSON NANO NGÀNH KỸ THUẬT ĐIỆN TỬ - 8520203 Hướng dẫn khoa học: TS TRẦN VŨ HỒNG Tp Hồ Chí Minh – tháng 4/2023 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ tên: Phạm Trần Minh Hồng Giới tính: Nam Ngày, tháng, năm sinh: 21/08/1997 Nơi sinh: TP Hồ Chí Minh Quê quán: TP Hồ Chí Minh Dân tộc: Kinh Địa liên lạc: 448A Nguyễn Tất Thành, P18, Q4, TP HCM E-mail: ptmhoang97@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Hệ đào tạo: Đại học quy Thời gian đào tạo từ 09/2015 đến 09/2019 Nơi học (trường, thành phố): Đại học Sư Phạm Kỹ Thuật TP.HCM Ngành học: Kỹ thuật điện tử truyền thông Tên đồ án, luận án mơn thi tốt nghiệp: Xây dựng mơ hình gửi xe tự động Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 15/06/2019 trường Đại Học Sư Phạm Kỹ Thuật TPHCM Người hướng dẫn: ThS Nguyễn Ngơ Lâm III Q TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian 4/2019 đến Nơi công tác Công ty TNHH Robert Công việc đảm nhiệm Bosch Engineering and Business Solutions Việt Nam Kỹ sư nhúng PHỤ LỤC PHÁT TRIỂN HỆ THỐNG HỖ TRỢ NGƯỜI LÁI XE DÙNG HỌC SÂU CHẠY TRÊN BO MẠCH JETSON NANO DEVELOPING A DEEP LEARNING-BASED DRIVER ASSISTANCE SYSTEM RUNNING ON JETSON NANO BOARD Phạm Trần Minh Hoàng1, Trần Vũ Hoàng2 Trường đại học Sư phạm Kỹ thuật TP.HCM Trường đại học Sư phạm Kỹ thuật TP.HCM TĨM TẮT Ngày nay, thật khó để tưởng tượng sống khơng có xe Số lượng xe tăng lên có xu hướng tăng thêm tương lai Điều dẫn đến hệ khơng tích cực, tai nạn giao thơng Hiện có số phương pháp giải vấn đề như: tăng số lượng xe, cải thiện sở hạ tầng giao thơng, … Trong số đó, hệ thống hỗ trợ người lái xe chiếm nhiều quan tâm mang lại lợi ích vơ thiết thực đời sống Những kết đạt kể đến như: nhận diện xe cộ, nhận diện đường, tính tốn khoảng cách, … Các phương pháp truyền thống tập trung vào việc tăng độ xác mà khơng quan tâm nhiều đến hiệu suất Điều dẫn đến hệ thống không hoạt động hiệu môi trường thời gian thực Ở đề tài này, nhóm xây dựng hệ thống hỗ trợ người lái xe dùng học sâu chạy bo mạch nhúng, với mục tiêu giữ tính hỗ trợ người lái đáp ứng thời gian thực Từ khóa: hệ thống hỗ trợ người lái xe; nhận diện xe cộ; nhận diện đường; tính tốn khoảng cách; dùng học sâu chạy bo mạch nhúng; đáp ứng thời gian thực ABSTRACT Nowadays, it's hard for us to imagine a life without cars Currently, the number of cars is increasing and will tend to increase more in the future This leads to a negative consequence, which is a traffic accident Now, there are a number of methods to solve the above problem such as: increasing the number of lanes, improving traffic infrastructure, etc Among them, the driver assistance system is currently getting a lot of attention because it brings many benefits in life There are some achievements which can be mentioned here: vehicle detection, lane detection, distance calculation, etc Traditional methods focus on increasing accuracy instead of performance It leads to the system not working efficiently in a real-time environment In this topic, we will build a driver assistance system using deep learning running on an embedded board, with the goal of still supporting feature of driver assistance and processing in real-time at the same time Keywords: driver assistance system; vehicle detection; lane detection; distance calculation; using deep learning running on an embedded board; processing in real-time GIỚI THIỆU ứng tác vụ nhận diện phương tiện giao Hiện có nhiều đề tài nghiên cứu thơng Nhưng nhược điểm mơ hình học sâu vấn đề hỗ trợ an toàn cho tài xế nhằm giải tác giả sử dụng SSD [3], có độ nhiều mục đích khác Ví dụ, vào xác cao tốc độ nhận diện hạn chế năm 2016, Rajeev Thakur [1] với đề tài sử Theo kết thực nghiệm Jonathan Hui dụng máy quét LIDAR để nhận diện phương [4], mô hình YOLOv4 [5] có độ xác tiện giao thơng Ưu điểm phương pháp tương đương SSD tốc độ nhận diện lại tốc độ xử lí nhanh độ xác cao, vượt trội ổn định, nhược điểm sử dụng phần cứng có giá thành cao, phù hợp cho dự án lớn, thu thập liệu vùng đất rộng lớn Do đó, để áp dụng linh hoạt phù hợp cho nhiều loại dự án, ngày nhà nghiên cứu chuyển sang sử dụng phương pháp học sâu để nhận diện phương tiện giao thơng Ví dụ, vào năm 2020, Cheng-Hsiung Hsieh đồng nghiệp [2] xây dựng hệ thống hỗ trợ tài xế sử dụng học sâu đa tác vụ bao gồm: nhận diện phương tiện giao thơng, tính khoảng cách xe tài xế xe phía trước, nhận diện đường Vấn đề thứ hai tính tốn khoảng cách xe tài xế xe phía trước, thay sử dụng phần cứng LIDAR để nhận diện khoảng cách, tác giả sử dụng phương pháp thực nghiệm suy phương trình Cụ thể tác giả lấy nhiều khoảng cách thực tế tương ứng với nhiều khoảng cách khung hình, từ suy phương trình biểu diễn mối quan hệ hai khoảng cách Kế tiếp tác giả tính khoảng cách xe tài xế trung điểm cạnh khung hình trọng tâm bounding box xe cịn lại Ưu điểm cách khơng cần sử dụng phần cứng Vấn đề thứ nhận diện phương LIDAR đắt tiền, kế thừa kết tiện giao thông, với phương pháp học sâu, tác bounding box sau nhận diện đối tượng giả khắc phục nhược điểm yêu cầu Nhưng có nhược điểm độ xác phần cứng LIDAR đắt tiền đáp chưa cao bounding box hệ thống [19] Do đó, nhóm định sử phương tiện khác Do để đảm bảo dụng phương pháp xử lí ảnh [18] Cách hiệu suất, nhóm lấy trung điểm cạnh cải thiện tốc độ xử lí cho bounding box để tính khoảng cách thay độ xác tương đương trọng tâm Cách đảm bảo tốc độ Và với kết trên, đề tài nhận diện lần chu kì này, nhóm xây dựng hệ thống hỗ trợ cải thiện độ xác khoảng tài xế gồm yêu cầu sau: nhận diện hai xe sử dụng trung điểm phương tiện giao thơng, tính tốn khoảng cạnh bounding box cách xe tài xế xe phía trước, Vấn đề thứ ba nhận diện đường, tác nhận diện đường, theo dõi xe xung giả sử dụng phương pháp chia khung hình quanh đưa cảnh báo “có xe di thành mười phần chọn bốn chuyển vào đường tài xế” phần đường xe chạy, hai “khoảng cách tài xế với xe phía trước, chung khoảng hai bên đường lại Tuy 10m” Hệ thống chạy bo nhận diện đường xe chạy độ mạch nhúng với tốc độ xử lí đáp ứng thời gian xác chưa cao, đường có xu thực hướng hội tụ hai đường song PHƯƠNG PHÁP ĐỀ XUẤT song Có phương pháp khác để khắc Như thể Hình 2.1, hệ phục vấn đề này, sử dụng phương pháp thống thiết kế theo thứ tự bao gồm: khối xử lý ảnh [7] để nhận diện hai cạnh xử lí trung tâm, khối nhận diện xe cộ, khối đường Cách nhận diện xác nhận diện đường, khối tính tốn khoảng đường theo xu hướng hội tụ, giúp nhận cách, khối cảnh báo Ở khối xử lí trung tâm, diện xác nhóm chọn bo mạch nhúng để có khả Vấn đề thứ tư theo dõi xe cộ, đáp ứng xử lí đa tác vụ khoảng báo tác giả không thực việc theo dõi xe thời gian thực Ở khối nhận diện xe cộ, nhóm cộ Nhưng với mục đích tăng độ xác chọn framework mơ hình để huấn tốc độ xử lí hệ thống đưa tọa độ luyện, nhằm thực tác vụ nhận diện xe xe, nhóm thực theo dõi xe cộ Hiện xe tải Ở khối nhận diện đường, nhóm có hai phương pháp để thực theo thực tác vụ nhận diện đường xe tài dõi sử dụng học sâu xử lý ảnh Tuy việc xế chạy Ở khối tính tốn khoảng cách, sử dụng học sâu mạng lại độ xác cao, nhóm thực tác vụ tính khoảng cách từ đề tài nhóm sử dụng học sâu để xe tài xế đến xe phía trước di nhận diện xe cộ, nên việc tiếp tục sử dụng học chuyển đường Ở khối theo dõi xe sâu để theo dõi giảm mạnh tốc độ xử lí cộ, nhóm chọn mơ hình theo dõi để thực theo dõi xe Ở khối cảnh báo, nhóm để chạy mơ hình gồm: Darknet TensorRT đưa cảnh báo nguy hiểm xe hai bên di Dựa vào kết thực nghiệm [8], chạy chuyển vào đường tài xế xe tài xế mơ hình YOLOv4-tiny-416, framework cách xe phía trước, chung đường Darknet đạt FPS 12~15, framework 10m TensorRT đạt FPS 24~27 Do đó, nhóm chọn framework TensorRT để chạy mơ Khối xử lí trung tâm Khối nhận diện xe cộ Khối nhận diện đường hình Tóm lại, học viện sử dụng framework TensorRT mô hình YOLOv4 khối nhận Khối cảnh báo Khối theo dõi xe cộ Khối tính tốn khoảng cách diện xe cộ Hình 2.1 Sơ đồ khối hệ thống 2.1 Khối xử lí trung tâm Ở khối xử lí trung tâm, nhóm sử dụng bo mạch nhúng để chạy hệ thống Sau nghiên cứu thị trường, có hai loại bo mạch có khả đáp ứng yêu cầu hệ thống là: Hình 2.2 Kết so sánh độ xác Raspberry Pi Jetson Nano B01 Uu điểm mơ hình SSD YOLOv4 với kích thước ảnh Raspberry hỗ trợ chuẩn không dây đầu vào khác dựa tập liệu VOC giá thành rẻ hơn, Jetson tỏ vượt trội trang bị GPU với 128 lõi CUDA Dựa vào yêu cầu hệ thống cần nhận diện đối tượng sử dụng học sâu, tốc độ xử lí nhanh, nhóm chọn bo mạch Jetson Nano 2.2 Khối nhận diện xe cộ Ở khối nhận diện xe cộ, nhóm cần Hình 2.3 Kết so sánh tốc độ xử lí thấp chọn mơ hình framework cao mơ hình SSD chạy tối ưu bo mạch nhúng Jetson YOLOv4 dựa tập liệu VOC Dựa vào kết thực nghiệm [4] thể Hình 2.2 Hình 2.3, nhóm sử dụng mơ hình YOLOv4 để nhận diện xe cộ thay mơ hình SSD Do mơ hình YOLOv4 có độ xác tương đương mơ hình SSD (Hình 2.2) lại có tốc độ vượt trội (Hình 2.3) Sau chọn mơ hình YOLOv4 cho hệ thống, có hai loại framework sử dụng 2.3 Khối nhận diện đường Dựa vào báo [9], tác vụ nhận diện đường thông qua vạch kẻ đường thực phương pháp xử lí ảnh: chuyển đổi ảnh xám [10], làm mờ ảnh Gaussian [11], phát cạnh Canny [12], phát đường thẳng Hough Line [13] Lưu đồ nhận diện đường thể Hình 2.4 Đầu tiên, khơng thành cơng, lúc nhóm thay nhóm chuyển đổi ảnh dạng RGB [14] sang tọa độ vạch kẻ đường lưu trữ ảnh xám, sau thực phát cạnh trước Canny, mục đích để lấy hình ảnh cạnh 2.4 Khối tính tốn khoảng cách vạch kẻ đường dạng nhị phân Kế Hiện có hai phương án tính tốn đến nhóm phân đoạn đường cách khoảng cách xe tài xế xe phía thực “AND BIT” để lấy hình trước gồm: cách một, khoảng cách từ trung Canny chứa hai cạnh đường, mục đích để điểm cạnh khung hình tới trọng tâm thu hẹp phạm vi nhận diện Kế đến sử dụng bounding box xe phía trước [2]; cách hai, phương pháp Hough Line để tìm đường thẳng từ diện tích biển số xe suy khoảng hình, đường thẳng nhỏ, khơng cách thực tế [6] Cách có tốc độ xử lí phải vạch kẻ đường bị loại bỏ, giữ lại cao nhược điểm độ xác chưa hai đường thẳng sát với vạch kẻ đường cao kích thước bounding box Cuối nhóm tiến hành tơ màu khoảng phương tiện khác Ví dụ trống hai vạch kẻ đường, phần tô bounding box xe tải lớn dòng màu tương đương với đường tài xế xe sedan, dẫn đến hai xe khoảng cách chạy Quá trình nhận diện đường hệ thống lại nhận diện xe tải xa thơng qua hình ảnh miêu tả Hình 2.4 Cách hai cải thiện độ xác tính khoảng cách vướng nhược điểm tốc độ xử lí phải nhận diện thêm biển số Để cân độ xác tốc độ xử lí, nhóm chọn cải thiện lại cách [2], sử dụng trung điểm cạnh bouding box thay dùng trọng tâm bouding box thể Hình 2.5 Cách khắc phục nhược điểm kích thước bounding box khác loại xe Hình 2.4 Lưu đồ nhận diện đường Để tăng hiệu suất nhận diện vạch kẻ đường, nhóm sử dụng phương pháp lưu trữ đường Sau nhận diện vạch kẻ đường (trái phải) thành cơng, nhóm lưu tọa độ vạch kẻ đường cho lần nhận diện Nếu nhận diện vạch kẻ đường giữ tốc độ xử lí cao Cách lắp đặt camera xe tài xế trình Hình 2.6 Bảng 2.1 Bảng thơng kê khoảng cách thực tế khoảng cách hình Dựa vào số liệu bảng thống kê (Bảng 2.1), nhóm tiến hành tính tốn phương trình chuyển đổi khoảng cách thực tế khoảng cách hình Phương trình chuyển đổi thể phương trình Hình 2.5 Q trình tính tốn khoảng cách y=ax^2+bx+c, với x khoảng cách thay đổi từ trọng tâm bounding box (1) hình, y khoảng cách thực tế Bằng cách sang trung điểm cạnh bounding box (2) cặp giá trị x y vào phương trình, ta tìm hệ số a, b, c suy phương trình chuyển đổi (2.1) Hình 2.6 Cách lắp đặt camera xe tài xế với thơng số sau: D (m) khoảng cách Trong đó, dreal khoảng cách thực tế từ xe tài xế tới xe phía trước, α = 90 độ góc (m), dpic khoảng cách hình (pixel) camera song song với mặt đất, h = 1.5 (m) Nhóm lấy khoảng cách hình khoảng cách camera so với mặt đất trung điểm cạnh khung hình trung điểm cạnh bounding box xe vào phương trình (2.1), suy khoảng cách thực tế tài xế xe phía trước 2.5 Khối theo dõi xe cộ Với phương pháp học sâu, cụ thể DeepSORT [31] mang lại độ xác Hình 2.7 Hình ảnh thực nghiệm lấy khoảng cao, với phần cứng Jetson Nano nhóm cách thực tế từ 5m – 15m sử dụng, DeepSORT không thỏa mãn Sau xác định phương pháp tính khoảng cách, nhóm tiến hành thực nghiệm Hình 2.7 lập bảng thống kê khoảng cách thực tế khoảng cách thể Bảng 2.1 tốc độ xử lí đáp ứng thời gian thực Từ đó, nhóm lựa chọn thực theo dõi phương pháp xử lý ảnh dựa vào tính khả thi Theo báo [18], tác giả thực thực nghiệm để thống kê hiệu suất theo dõi phương pháp xử lí ảnh: Boosting [20], MIL [21], MedianFlow [22], MOSSE [23], TLD [24], KCF [25], CSRT[45] Các khung hình, nhóm kiểm tra xem xe phương pháp đánh giá tập có thực di chuyển vào liệu MOT20, với hai số MOTA [26] đường tài xế hay không Nếu xe tiếp tục di (Multiple Object Tracking Accuracy) chuyển vào đường tài xế nhóm đưa MOTP [26] (Multiple Object Tracking cảnh báo nguy hiểm Precision) Kết thực nghiệm với MOTA nằm Bảng 2.2 MOTP nằm Bảng 2.3 Tác 2.6.2 Khi xe phía trước khoảng cách cho phép giả không thực nghiệm để đánh giá tốc độ xử Nhóm thực cảnh báo cho tài xế lí (FPS) phương pháp đề dựa vào hai yếu tố gồm khoảng cách cập “trong phương pháp thực đường Nếu chung đường khoảng cách nghiệm trên, khơng có phương pháp có xe phía trước với xe tài xế 10m, nhóm khả xử lí thời gian thực ngoại trừ đưa cảnh báo nguy hiểm MOSSE MedianFlow” Do đó, đề thỏa mãn yêu cầu đáp ứng thời gian thực hệ 3.1 Môi trường đánh giá KẾT QUẢ THỰC NGHIỆM thống, nhóm áp dụng hai phương pháp Nhóm tiến hành đánh giá hệ thống MOSSE MedianFlow để thực theo phần cứng bo mạch Jetson Nano B01 dõi xe cộ Mơ hình nhận diện xe cộ mơ hình YOLOv4 huấn luyện sẵn (gồm: yolov4-416, yolov4-288, yolov4-tiny-416, yolov4-tiny- Bảng 2.2 Bảng thống kê độ xác 288), kết hợp với framework TensorRT Tập phương pháp theo số MOTA liệu sử dụng để đánh giá mơ hình nhận diện COCO 2017 [15] với 118000 ảnh train 5000 ảnh test Về mô hình theo Bảng 2.3 Bảng thống kê độ xác phương pháp theo số MOTP dõi xe cộ bước lại (nhận diện đường, tính tốn khoảng cách, cảnh báo tài xế), nhóm đánh giá video thu thập 2.6 Khối cảnh báo youtube với bối cảnh khác 2.6.1 Khi xe hai bên di chuyển vào đường tài xế [27][28][29][30] Nhóm thực cảnh báo cho tài xế 3.2 Nhận diện xe cộ dựa vào cách di chuyên xe cộ hai bên Nhóm kết hợp sử dụng thông số đường Dựa vào tọa độ xe tọa độ IOU [16], precision, recall, mAP [17] để đường có từ sơ đồ khối trên, nhóm đánh giá kết nhận diện mơ hình Bên thực kiểm tra xem xe có bên cạnh đó, mơ hình đánh giá dựa tập đường tài xế hay khơng Nếu có liệu COCO 2017 [15], kết nhận diện xe xe tải thể Hình thành cơng nhận diện vạch kẻ 3.1 Hệ thống sử dụng framework TensorRT đường miêu tả Hình 3.3 mơ hình YOLOv4, YOLOv4-tiny với kích thước đầu vào 416x416, 288x288 Dựa vào kết Bảng 3.1 Hình 3.1 Kết nhận diện xe xe tải Bảng 3.2 Kết hiệu suất nhận diện đường Hình 3.2 Kết hình ảnh nhận diện đường thành cơng Bảng 3.1 Bảng so sánh mơ hình YOLOv4 sử dụng framework TensorRT 3.3 Nhận diện đường Quá trình nhận diện đường dựa vào trình nhận diện hai vạch kẻ đường Từ đó, kết nhận diện đường đánh giá theo tỉ lệ phần trăm nhận diện hai vạch kẻ đường xác khung hình, cụ thể phương trình (3.1) Hình 3.3 Trường hợp nhận diện đường khơng thành công nhận diện vạch kẻ đường 3.4 Tính tốn khoảng cách Dựa vào phương trình (2.1), nhóm tính khoảng cách thực tế Kết Trong đó, lane_detection_rate tỉ lệ thể Bảng 3.3, với d_real_original nhận diện đường, detection_frame là số khung hình nhận diện xác hai vạch d_real_calculated khoảng cách thực tế kẻ đường, total_frame tổng số khung hình tính tốn qua phương trình, d_dif độ nhận diện Dựa vào phương trình (3.1), kết sai thực nhận diện đường với video d_real_calculated đầu vào miêu tả Bảng 3.2 Hình 3.2 |d_real_original - d_real_calculated| Hình Trường hợp nhận diện đường không khoảng lệch cách thực tế ban d_real_original tính đầu, 3.4 thể kết tính tốn khoảng cách thực thống kê, so sánh phương dựa vào phương trình pháp theo dõi Về “tỉ lệ nhận diện xe”, nhóm dựa vào tỉ lệ phần trăm nhận diện xe khoanh đỏ Bảng 3.3 Bảng so sánh khoảng cách khung hình, cụ thể phương trình (3.2) thực tế ban đầu khoảng cách thực tế tính Về “tốc độ xử lí”, nhóm dựa vào trung bình tốn phương trình cộng FPS tổng khung hình thực phương pháp Chi tiết thống kê phương pháp nằm Bảng 3.4 Bảng 3.4 Bảng so sánh hiệu suất Hình 3.4 Kết tính tốn khoảng cách 3.5 Theo dõi xe cộ Nhóm thực theo dõi xe cộ qua phương pháp sau, bao gồm: “kết hợp nhận phương pháp “kết hợp nhận diện theo dõi MOSSE”, “kết hợp nhận diện theo dõi MedianFlow” “chỉ nhận diện” 3.6 Cảnh báo tài xế diện theo dõi MOSSE”, “kết hợp nhận 3.6.1 Khi xe hai bên di chuyển vào đường tài xế diện theo dõi MedianFlow” “chỉ nhận Hệ thống cảnh báo nguy hiểm diện” Để thực thống kê so sánh xe hai bên di chuyển vào đường tài phương pháp, nhóm áp dụng xế Kết cảnh báo Hình 3.6 phương pháp vào video, video chọn xe để thực theo dõi, việc nhằm đảm bảo điều kiện so sánh phương pháp đồng Chi tiết điều kiện so sánh nằm Hình 3.5 Hình 3.6 Hệ thống cảnh báo nguy hiểm cách hiển thị màu tím nhấp nháy xe bó vào đường tài xế, kèm theo dòng chữ xe số “change lane” Hình 3.5 Hình ảnh cắt từ đoạn video, với xe khoanh đỏ dùng để 3.6.2 Khi xe phía trước khoảng cách cho phép Hệ thống cảnh báo nguy hiểm có xe đường tài xế khoảng cách 10m Kết cảnh báo Hình 3.7 đáp ứng thời gian thực; thực thêm tính nhận diện đường có độ uốn cong khúc cua phương pháp xử lí ảnh “biến đổi phối cảnh” (Perspective Transform); bổ sung tính hỗ trợ người lái xe như: phát vật cản, phát đối tượng phía trước dừng lại đột ngột, …; bổ sung thêm tính nhận diện biển báo, Hình 3.7 Hệ thống cảnh báo nguy hiểm cách hiển thị màu tím nhấp nháy xe có khoảng cách 10m so với xe tài xế, kèm theo dòng chữ xe số “too close” KẾT LUẬN Nhóm xây dựng mơ hình xử lí đa tác vụ bao gồm: nhận diện xe xe tải, nhận diện đường, tính tốn khoảng cách với xe phía trước, theo dõi xe cộ, đưa cảnh báo nguy hiểm xe hai bên di chuyển vào đường tài xế, xe phía trước khoảng cách cho phép Tuy đáp ứng yêu cầu đặt số hạn chế: nhận diện xe khoảng cách xa có độ xác chưa cao, Kết theo dõi số trường hợp chưa đối tượng cần theo dõi, tiếp tục theo dõi xe khơng cịn xuất khung hình Nhóm xin phép đề số hướng phát triển cho hệ thống sau: cải thiện độ xác nhận diện xe khoảng cách xa cách huấn luyện mô hình học sâu với hình ảnh xe có kích thước nhỏ hơn; áp dụng học sâu vào trình theo dõi để tăng độ xác đảm bảo tốc độ xử lí hệ thống nhóm thu thập thêm liệu biển báo, thay đổi số lượng class ngõ thực huấn luyện thêm TÀI LIỆU THAM KHẢO [1] Rajeev Thakur Scanning LIDAR in Advanced Driver Assistance Systems and Beyond: Building a road map for next-generation LIDAR technology IEEE Consumer Electronics Magazine (Volume: 5, Issue: 3, July 2016), August 2016 [2] Cheng-Hsiung Hsieh Real-Time Car Detection and Driving Safety Alarm System with Google Tensorflow Object Detection API 2019 International Conference on Machine Learning and Cybernetics (ICMLC), Jan 2020 [3] Renu Khandelwal “SSD: Single Shot Detector for object detection using MultiBox”, Nov 2019 [Online] Available: https://towardsdatascience.com/ssd-single-shot-detectorfor-object-detection-using-multibox-1818603644ca [4] Jonathan Hui “Object detection: speed and accuracy comparison (Faster R-CNN, RFCN, SSD, FPN, RetinaNet and YOLOv3)”, Mar 2018 [Online] Available: https://jonathan-hui.medium.com/object-detection-speed-and-accuracy-comparisonfaster-r-cnn-r-fcn-ssd-and-yolo-5425656ae359 [5] Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao YOLOv4: Optimal Speed and Accuracy of Object Detection, Apr 2020 [Online] Available: https://arxiv.org/abs/2004.10934 [6] Wenfeng Wang, Shujun Yang, Yong Li, Weili Ding A rough vehicle distance measurement method using monocular vision and license plate 2015 IEEE International Conference on Cyber Technology in Automation, Control, and Intelligent Systems (CYBER), Oct 2015 [7] Arun Purakkatt Building a lane detection system with Python & OpenCV, Apr 2021 [Online] Available: https://medium.com/analytics-vidhya/building-a-lane-detectionsystem-f7a727c6694 [8] R Ildar "Increasing FPS for single board computers and embedded computers in 2021 (Jetson nano and YOVOv4-tiny)" [Online] Available: https://arxiv.org/abs/2107.12148 [9] Arun Purakkatt "Building a lane detection system" [Online] Available: https://medium.com/analytics-vidhya/building-a-lane-detection-system-f7a727c6694 [10] Wikipedia “Grayscale” [Online] Available: https://en.wikipedia.org/wiki/Grayscale [11] Wikipedia “Gaussian blur” [Online] Available: https://en.wikipedia.org/wiki/Gaussian_blur [12] Wikipedia “Canny Edge Dectector” [Online] Available: https://en.wikipedia.org/wiki/Canny_edge_detector [13] Wikipedia “Hough Transform” [Online] Available: https://en.wikipedia.org/wiki/Hough_transform [14] Wikipedia “RGB color model” [Online] Available: https://en.wikipedia.org/wiki/RGB_color_model [15] COCO dataset [Online] Available: https://paperswithcode.com/dataset/coco [16] IOU [Online] Available: https://viblo.asia/p/tim-hieu-ve-yolo-trong-bai-toan-real-timeobject-detection-yMnKMdvr57P [17] Jonathan Hui “mAP (mean Average Precision) for Object Detection” [Online] Available: https://jonathan-hui.medium.com/map-mean-average-precision-for-objectdetection-45c121a31173 [18] Nađa Dardagan, Adnan Brđanin, Džemil Džigal, Amila Akagic “Multiple Object Trackers in OpenCV: A Benchmark” [Online] Available: https://arxiv.org/abs/2110.05102 [19] Github “A C++ implementation of Yolov5 and Deepsort in Jetson Xavier nx and Jetson nano” [Online] Available: https://github.com/RichardoMrMu/yolov5-deepsort-tensorrt [38] Nicolai Wojke, Alex Bewley, Dietrich Paulus “Simple Online and Realtime Tracking with a Deep Association https://arxiv.org/abs/1703.07402 Metric” [Online] Available: [20] H Grabner, M Grabner, and H Bischof, “Real-time tracking via on-line boosting,” in Bmvc, vol 1, no 5, 2006, p [21] B Babenko, M.-H Yang, and S Belongie, “Visual tracking with online multiple instance learning,” in 2009 IEEE Conference on computer vision and Pattern Recognition IEEE, 2009, pp 983–990 [22] Z Kalal, K Mikolajczyk, and J Matas, “Forward-backward error: Automatic detection of tracking failures,” in 2010 20th International Conference on Pattern Recognition IEEE, 2010, pp 2756–2759 [23] D S Bolme, J R Beveridge, B A Draper, and Y M Lui, “Visual object tracking using adaptive correlation filters,” in 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition IEEE, 2010, pp 2544–2550 [24] Z Kalal, K Mikolajczyk, and J Matas, “Tracking-learning-detection,” IEEE transactions on pattern analysis and machine intelligence, vol 34, no 7, pp 1409–1422, 2011 [25] J F Henriques, R Caseiro, P Martins, and J Batista, “High-speed tracking with kernelized correlation filters,” IEEE transactions on pattern analysis and machine intelligence, vol 37, no 3, pp 583–596, 2014 [26] P Dendorfer, H Rezatofighi, A Milan, J Shi, D Cremers, I Reid, S Roth, K Schindler, and L Leal-Taixé, “Mot20: A benchmark for multi object tracking in crowded scenes,” arXiv preprint arXiv:2003.09003, 2020 [27] Youtube “video1” [Online] Available: https://youtu.be/DCIsQOn4-UM [28] Youtube “video2” [Online] Available: https://youtu.be/4StA_0gnwg8 [29] Youtube “video3” [Online] Available: https://youtu.be/wpuv5DI1WrM [30] Youtube “video4” [Online] Available: https://youtu.be/VwDs59SP_94 [31] Nicolai Wojke, Alex Bewley, Dietrich Paulus “Simple Online and Realtime Tracking with a Deep Association https://arxiv.org/abs/1703.07402 Metric” [Online] Available: