Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

122 151 0
Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

MỤC LỤC LỜI CÁM ƠN i TÓM TẮT ii MỤC LỤC iv DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU viii DANH MỤC CÁC HÌNH x Chương 1: TỔNG QUAN ĐỀ TÀI 1.1 Lý chọn đề tài .1 1.2 Giới hạn đề tài 1.3 Mục tiêu nhiệm vụ nghiên cứu .2 1.4 Đối tượng phạm vi nghiên cứu .2 1.5 Phân tích đánh giá hướng nghiên cứu nước 1.5.1 Nghiên cứu nước .2 1.5.1.1 Phát triển thuật toán xử lý ảnh để phát đếm tôm giống 1.5.1.2 Xe tự hành FPT 1.5.2 Nghiên cứu nước: A study of vehicle control technology using image processing 1.6 Hướng nghiên cứu .4 Chương 2: CƠ SỞ LÝ THUYẾT 2.1 Tổng quan xe tự hành 2.2 Tổng quan Cuộc đua số FPT 10 2.2.1 Giới thiệu Cuộc đua số FPT 10 2.2.2 Mục đích Cuộc đua số FPT 12 2.2.3 Hình thức thi .12 2.2.4 Cơ cấu giải thưởng thi 12 2.2.5 Thể lệ thi 15 iv 2.2.5.1 Vòng sơ khảo 15 2.2.5.2 Vòng bán kết .18 2.2.5.3 Vòng chung kết 21 2.2.5.4 Truất quyền thi đấu .23 2.2.5.5 Trách nhiệm Thí sinh tham gia Cuộc đua số .24 2.2.5.6 Các quy định khác 25 2.2.6 Mẫu xe đua tự hành đua số FPT 25 2.3 Tổng quan nhận dạng đối tượng 28 2.3.1 Bài toán nhận dạng đối tượng 28 2.3.2 Kiến trúc hệ thống nhận dạng đối tượng .29 2.4 Tổng quan số mơ hình nhận diện đối tượng 30 2.4.1 Giới thiệu Machine Learning 30 2.4.2 Giới thiệu mơ hình Yolo 33 2.5 Mạng nơ ron tích chập - Convolutional Neural Network .34 2.5.1 Khái niệm 34 2.5.2 Mơ hình mạng nơ rơn tích chập 34 2.5.3 Tầng tích chập (Convolutional layer) .35 2.5.4 Tầng gộp 36 2.5.5 Tầng kết nối đầy đủ 37 2.5.6 Vấn đề đầu vào mạng 38 2.6 Nhiệm vụ lớp Extra Layers .38 2.6.1 Đầu mạng nơ ron tích chập 38 2.6.2 Dự đoán nhiều Feature maps .39 2.6.3 Dự đoán Bounding Box 40 2.6.3.1 Khái niệm Cell Archon Box 40 v 2.6.3.2 Cách thức dự đoán Bounding Box 42 2.6.4 Non-max Suppression .43 Chương 3: TỔNG QUAN PHẦN CỨNG VÀ PHẦN MỀM 45 3.1 Phần cứng 45 3.1.1 Giới thiệu xe mơ hình RC 45 3.1.2 Khung xe tự hành 46 3.1.3 Motor DC giảm tốc 47 3.1.4 Servo 48 3.1.5 Mạch cầu H .48 3.1.6 Board Jetson Nano 50 3.1.7 Webcam 52 3.1.8 Nguồn 53 3.2 Phần mềm 54 3.2.1 Python .54 3.2.2 Anaconda 56 3.2.3 Pycharm 57 3.2.4 LabelImg Tool 61 3.2.5 Google Colab 62 Chương 4: CHƯƠNG TRÌNH NHẬN DIỆN ĐỐI TƯỢNG 64 4.1 Chuẩn bị data 64 4.2 Gán nhãn data – labelImg Tool .67 4.3 Train data Google Colab 71 4.3.1 Train data – model Yolov3 .71 4.3.2 Train data – model Yolov3 – tiny .76 4.3.3 Train data – model Yolov4 .80 vi 4.3.4 Train data – model Yolov4 – tiny .84 4.4 Code chương trình nhận diện đối tượng 89 4.5 So sánh, đánh giá model – Lựa chọn model phù hợp .91 Chương 5: THỰC NGHIỆM VÀ KẾT QUẢ 95 5.1 Tổng quan 95 5.2 Xử lý nhận diện đối tượng .97 5.2.1 Giới thiệu 97 5.2.2 Thực nhận diện đối tượng 98 5.3 Xử lý tránh vật cản 100 5.3.1 Tổng quan 100 5.3.2 Xử lý tránh vật cản 103 5.3.2.1 Đối tượng “Person” “Biển báo STOP” 103 5.3.2.2 Đối tượng “Biển báo hiệu lệnh rẽ trái” “Biển báo cấm rẽ trái – thẳng” .105 5.3.2.3 Đối tượng “Xe đường” 108 Chương 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .110 6.1 Kết luận 110 6.2 Hạn chế đề tài 111 6.3 Hướng phát triển đề tài 111 DANH MỤC TÀI LIỆU THAM KHẢO 112 vii DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU ADAS: Advanced Driver Assistance Systems ADS: Automated Driving Systems AI: Artificial intelligence CNN: Convolutional Neutral Network CPU: Center Processing Unit CSS: Cascading Style Sheets DC: Direct Current DIY: Do It Yourself FPS: Frames per second GPU: Graphic Processing Unit HTML: Hypertext Markup Language IDE: Integrated Development Environment IoT: Internet of Things IoU: Intersection over Union LiDAR: Light Detection and Ranging PC: Persional Computer PWM: Pulse Width Modulation RADAR: Radio Detection and Ranging RC: Remote Control Car RNN: Recurrent Neural Network RPM: Revolutions Per Minute SAE: Society of Automotive Engineers viii TPU: Tensor Processing Unit UART: Universal Asynchronous Receiver / Transmitter USB: Universal Serial Bus YOLO: You Only Look Once YOLOv3: You Only Look Once version YOLOv3 – tiny: You Only Look Once version – tiny YOLOv4: You Only Look Once version YOLOv4 – tiny: You Only Look Once version – tiny ix DANH MỤC CÁC HÌNH Hình 1.1 Quy trình tổng qt thuật tốn nhận dạng đếm tơm giống .3 Hình 1.2 Kết tìm biên đối tượng Hình 1.3 Xe tự hành FPT Hình 1.4 Quy trình đỗ xe tự động .4 Hình 2.1 Xe tự hành Google Hình 2.2 Các cấp độ xe tự hành Hình 2.3 Hoạt động xe tự hành Hình 2.4 Mơ hình xe đua số .11 Hình 2.5 Các trận đấu vòng chung kết 22 Hình 2.6 Mẫu xe đua tự hành tham gia đua số 26 Hình 2.7 Board mạch chủ xe đua tự hành FPT 26 Hình 2.8 Camera xe đua tự hành FPT 27 Hình 2.9 Hệ thống phanh giảm sốc xe đua tự hành FPT .27 Hình 2.10 Nhận diện đối tượng 28 Hình 2.11 Kiến trúc hệ thống nhận diện đối tượng 30 Hình 2.12 Cấu trúc lập trình thơng thường 30 Hình 2.13 Cấu trúc lập trình Machine Learning 30 Hình 2.14 Cấu trúc Machine Learning theo kiểu học có giám sát 31 Hình 2.15 Cấu trúc Machine Learning theo kiểu học không giám sát .31 Hình 2.16 Kiến trúc mạng YOLO 33 Hình 2.17 Kiến trúc mạng CNN .35 Hình 2.18 Ma trận trước sau tầng tích chập 35 Hình 2.19 Tích chập ma trận 36 Hình 2.20 Tầng gộp 37 Hình 2.21 Tầng kết nối đầy đủ 38 x Hình 2.22 Cấu trúc đầu mạng CNN .39 Hình 2.23 Feature Maps ma trận đầu 416x416 39 Hình 2.24 Cấu trúc đầu mơ hình YOLO .40 Hình 2.25 Dự đoán Bounding Box Anchor Box Cell 41 Hình 2.26 Chỉ số IoU 42 Hình 2.27 Tọa độ Bounding Box 43 Hình 2.28 Cơng thức ước lượng Bounding Box từ Anchor Box 43 Hình 2.29 Kết thực Non-max suppression 44 Hình 3.1 Xe mơ hình RC 45 Hình 3.2 Khung xe mơ hình tự hành – Buggy 1:10 47 Hình 3.3 Motor DC giảm tốc 147RPM 47 Hình 3.4 Động Servo MG946R 48 Hình 3.5 Mạch cầu H SHB .49 Hình 3.6 NVIDIA Jetson Nano Developer Kit 50 Hình 3.7 Webcam Logitech C920e 52 Hình 3.8 Pin cell 18650 2600mAh 3.7V 53 Hình 3.9 Sơ đồ đấu dây nguồn 12V 53 Hình 3.10 Ngơn ngữ Python .54 Hình 3.11 Thư viện Anaconda 56 Hình 3.12 Phần mềm PyCharm 58 Hình 3.13 Cơng cụ LabelImg 61 Hình 3.14 Giao diện công cụ LabelImg Tool 62 Hình 3.15 Google Colab 62 Hình 3.16 Cấu hình phần cứng Google Colab cung cấp 63 Hình 4.1 Người qua vạch kẻ đường 64 xi Hình 4.2 Xe đường 65 Hình 4.3 Biển báo hiệu lệnh rẽ trái 65 Hình 4.4 Biển báo cấm rẽ trái – thẳng 66 Hình 4.5 Biển báo STOP 66 Hình 4.6 Phím tắt sử dụng công cụ gán nhãn 67 Hình 4.7 Gán nhãn cho vật thể 68 Hình 4.8 Nội dung file “.txt” 68 Hình 4.9 Gán nhãn cho người qua vạch kẻ đường 69 Hình 4.10 Gán nhãn cho xe đậu đường .69 Hình 4.11 Gán nhãn cho biển báo hiệu lệnh rẽ trái 70 Hình 4.12 Gán nhãn cho biển báo cấm rẽ trái – thẳng 70 Hình 4.13 Gán nhãn cho biển báo Stop 71 Hình 4.14 Thứ tự Train Yolov3 bước – 20 74 Hình 4.15 Thứ tự Train Yolov3 bước 21 75 Hình 4.16 Thứ tự Train Yolov3 – tiny bước – 20 79 Hình 4.17 Thứ tự Train Yolov3 – tiny bước 21 80 Hình 4.18 Thứ tự Train Yolov4 bước – 20 83 Hình 4.19 Thứ tự Train Yolov4 bước 21 84 Hình 4.20 Thứ tự Train Yolov4 – tiny bước – 20 87 Hình 4.21 Thứ tự Train Yolov4 – tiny bước 21 88 Hình 4.22 Code nhận diện đối tượng dùng cho tất model .90 Hình 4.23 Đối tượng dùng để so sánh model YOLO – Kangaroo .91 Hình 4.24 Nhận diện đối tượng model YOLOv3 .92 Hình 4.25 Nhận diện đối tượng model YOLOv3 – tiny 92 Hình 4.26 Nhận diện đối tượng model YOLOv4 .93 xii Hình 4.27 Nhận diện đối tượng model YOLOv4 – tiny 93 Hình 5.1 Sơ đồ khối mơ hình xe tự hành 95 Hình 5.2 Sơ đồ chân mơ hình xe tự hành 96 Hình 5.3 Mơ hình xe tự hành hướng nhìn từ phía trước 96 Hình 5.4 Mơ hình xe tự hành hướng nhìn từ xuống 97 Hình 5.5 Nhận diện người thời gian thực 98 Hình 5.6 Nhận diện xe thời gian thực .98 Hình 5.7 Nhận diện biển báo hiệu lệnh rẽ trái thời gian thực 99 Hình 5.8 Nhận diện biển báo cấm rẽ trái – thẳng thời gian thực 99 Hình 5.9 Nhận diện biển báo STOP thời gian thực .100 Hình 5.10 Sơ đồ giải thuật hoạt động phát đối tượng người/STOP .101 Hình 5.11 Sơ đồ giải thuật hoạt động phát đối tượng biển báo/xe .102 Hình 5.12 Phát “Person” xe tiếp tục chạy 103 Hình 5.13 Phát “Person” xe dừng lại 103 Hình 5.14 Phát “Biển báo STOP” xe tiếp tục chạy .104 Hình 5.15 Phát “Biển báo STOP” xe dừng lại 104 Hình 5.16 Phát “Biển báo hiệu lệnh rẽ trái” xe tiếp tục chạy 105 Hình 5.17 Phát “Biển báo hiệu lệnh rẽ trái” xe đánh lái góc 150 105 Hình 5.18 Phát “Biển báo hiệu lệnh rẽ trái” xe đánh lái góc 450 106 Hình 5.19 Phát “Biển báo cấm rẽ trái – thẳng” xe tiếp tục chạy 106 Hình 5.20 Phát “Biển báo cấm rẽ trái – thẳng” xe đánh lái góc 100 .107 Hình 5.21 Phát “Biển báo cấm rẽ trái – thẳng” xe đánh lái góc 450 .107 Hình 5.22 Phát “CAR” xe tiếp tục chạy 108 Hình 5.23 Phát “CAR” xe đánh lái góc 50 108 Hình 5.24 Phát “CAR” xe đánh lái góc 300 109 xiii 5.2.2 Thực nhận diện đối tượng Nhận diện đối tượng thời gian thực thơng qua camera mơ hình xe tự hành chương trình nhận diện đối tượng phần trước Hình 5.5 Nhận diện người thời gian thực Hình 5.6 Nhận diện xe thời gian thực 98 Hình 5.7 Nhận diện biển báo hiệu lệnh rẽ trái thời gian thực Hình 5.8 Nhận diện biển báo cấm rẽ trái – thẳng thời gian thực 99 Hình 5.9 Nhận diện biển báo STOP thời gian thực Nhận xét: – Phát đối tượng nhanh nhận diện đối tượng với độ xác cao (trên 95%) – Khi xe di chuyển việc nhận diện đối tượng có giảm mặt độ xác khơng đáng kể, hầu hết độ xác 90% 5.3 Xử lý tránh vật cản 5.3.1 Tổng quan Chúng kết hợp sử dụng thuật toán nhận diện vật thể ước lượng khoảng cách từ xe đến đối tuọng để tiến hành điều khiển xe dừng lại tránh vật cản Đầu tiên hệ thống kiểm tra xem có đối tượng phía trước xe hay khơng thơng qua hình ảnh mà camera ghi lại xử lý chương trình nhận diện đối tượng Nếu có, hệ thống ước lượng khoảng cách từ xe đến đối tượng điều khiển xe dừng lại (đối với đối tượng người biển báo STOP), điều khiển xe tránh vật cản (đối với đối tượng xe), điều khiển xe rẽ sang trái phải (đối với đối tượng biển báo hiệu lệnh rẽ trái biển báo cấm rẽ trái – thẳng) khoảng cách phù hợp với yêu cầu đặt trước 100 Bắt đầu Ảnh từ camera Xử lý nhận diện S Phát người/STOP Đ Ước lượng khoảng cách xe S Khoảng cách 10cm Đ Điều khiển xe dừng lại Kết thúc Hình 5.10 Sơ đồ giải thuật hoạt động phát đối tượng người/STOP 101 Bắt đầu Ảnh từ camera Xử lý nhận diện S Phát biển báo Đ Ước lượng khoảng cách xe S Khoảng cách phù hợp Đ Đánh lái xe theo khoảng cách hiệu lệnh biển báo Kết thúc Hình 5.11 Sơ đồ giải thuật hoạt động phát đối tượng biển báo/xe 102 5.3.2 Xử lý tránh vật cản 5.3.2.1 Đối tượng “Person” “Biển báo STOP” Đối với đối tượng người biển báo STOP: Nếu hệ thống phát đối tượng mà khoảng cách xe đối tượng chưa đạt yêu cầu xe chạy tiếp, đến khoảng cách xe đối tượng đạt u cầu chúng tơi điều khiển xe dừng lại Hình 5.12 Phát “Person” xe tiếp tục chạy Hình 5.13 Phát “Person” xe dừng lại 103 Hình 5.14 Phát “Biển báo STOP” xe tiếp tục chạy Hình 5.15 Phát “Biển báo STOP” xe dừng lại 104 5.3.2.2 Đối tượng “Biển báo hiệu lệnh rẽ trái” “Biển báo cấm rẽ trái – thẳng” Ở hai đối tượng này, ban đầu cho xe chạy thẳng Nếu hệ thống phát đối tượng mà khoảng cách xe đối tượng chưa đạt yêu cầu xe chạy tiếp, đến khoảng cách xe đối tượng phù hợp yêu cầu chúng tơi điều khiển xe đánh lái góc tương ứng với khoảng cách xe đối tượng xe rẽ trái (đối với đối tượng “Biển báo hiệu lệnh rẽ trái”) rẽ phải (đối với đối tượng “Biển báo cấm rẽ trái – thẳng”) Hình 5.16 Phát “Biển báo hiệu lệnh rẽ trái” xe tiếp tục chạy Hình 5.17 Phát “Biển báo hiệu lệnh rẽ trái” xe đánh lái góc 150 105 Hình 5.18 Phát “Biển báo hiệu lệnh rẽ trái” xe đánh lái góc 450 Hình 5.19 Phát “Biển báo cấm rẽ trái – thẳng” xe tiếp tục chạy 106 Hình 5.20 Phát “Biển báo cấm rẽ trái – thẳng” xe đánh lái góc 100 Hình 5.21 Phát “Biển báo cấm rẽ trái – thẳng” xe đánh lái góc 450 107 5.3.2.3 Đối tượng “Xe đường” Trong đối tượng này, ban đầu xe chạy thẳng Nếu hệ thống phát đối tượng mà khoảng cách xe đối tượng chưa đạt yêu cầu xe chạy tiếp, đến khoảng cách xe đối tượng phù hợp u cầu chúng tơi điều khiển xe đánh lái góc tương ứng với khoảng cách xe đối tượng xe rẽ trái (nếu đối tượng lệch bên phải) rẽ phải (nếu đối tượng lệch bên trái) Sau đánh lái vượt qua đối tượng xe trả lái tiếp tục chạy thẳng Hình 5.22 Phát “CAR” xe tiếp tục chạy Hình 5.23 Phát “CAR” xe đánh lái góc 50 108 Hình 5.24 Phát “CAR” xe đánh lái góc 300 Nhận xét: – Độ xác nhận diện đối tượng cao (hầu hết 90%) chạy chương trình xử lý tránh vật cản – Tốc độ khung hình ổn định (16 – 21 FPS) giúp cho tốc độ xử lý khúc xe đánh lái trơn tru – Ở số chỗ hệ thống bị nhiễu mặt đo khoảng cách xe đối tượng trình xe di chuyển camera bị rung lắc Tuy nhiên điều khơng ảnh hưởng nhiều đến qua trình điều khiển xe đánh lái 109 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết luận Sau khoảng thời gian tìm hiểu nghiên cứu, nhóm chúng tơi hồn thành hầu hết mục đích ban đầu mà đề tài đặt Qua tích lũy cho thân vốn kiến thức có ích thiết kế chế tạo, cụ thể mơ hình xe tự hành hệ thống nhận diện đối tượng Bên cạnh tiếp cận ngơn ngữ lập trình đại Python, kiến thức nâng cao xử lý ảnh kiến thức liên quan đến lập trình nhúng mà chúng tơi học qua môn học “Hệ thống điều khiển tự động ô tô” Các mục tiêu cụ thể mà nhóm đạt đề tài là: – Nghiên cứu, tìm hiểu mơ hình phát vật thể nói riêng lĩnh vực xử lý ảnh nói chung – Thực thi mơ hình phát vật thể YOLOv4 – tiny áp dụng cho mạng nơ ron tích chập – Lập trình nhúng để điều khiển DC Motor Servo (góc đánh lái xe), từ điều khiển mơ hình xe tự hành – Xử lý liệu từ đầu mơ hình YOLOv4 – tiny để tiến hành điều khiển xe tránh vật cản – Đồng hóa hai chương trình phát vật thể mơ hình YOLOv4 – tiny điều khiển mơ hình xe tự hành – Truyền liệu hai chương trình Thơng qua lần làm đồ án tốt nghiệp này, nhóm chúng tơi có hội cố lại khối kiến thức học khoảng thời gian năm qua Vận dụng áp dụng thành công kiến thức vào tình hình thực tế, cụ thể kiến thức liên quan đến môn học “Ứng dụng máy tính (Điện tơ)”, “Hệ thống an tồn tiện nghi tơ”, “Hệ thống điều khiển tự động ô tô”,…Cũng thông qua hỗ trợ nhiệt tình ân cần thầy Đỗ Văn Dũng, nhóm chúng tơi nắm bắt cách tổ chức, làm việc hiệu quả, thay đổi suy nghĩ theo lối mịn, bước khỏi khn khổ giới hạn để 110 thành mới, tạo thành hành trang hữu ích cho q trình làm việc sau Một lần nữa, nhóm chúng tơi xin gởi lời cảm ơn chân đến thầy Đỗ Văn Dũng 6.2 Hạn chế đề tài Bên cạnh thành đạt được, nhóm cịn số yếu điểm thiếu sót q trình thực Cụ thể sau: – Đầu tiên hạn chế kiến thức liên quan – Chưa nâng cao hiệu hoạt động hệ thống trao đổi liệu chương trình chạy đa luồng – Thử nghiệm dừng môi trường định, chưa thử nghiệm hệ thống đường – Hệ thống xảy độ trễ liệu từ camera (hình ảnh xử lý thơng qua chương trình nhận diện vật thể) Servo (chương trình điều khiển mơ hình xe tự hành) hạn chế phần cứng Trên hạn chế mà nhóm cịn thiếu sót Tuy nhiên nhìn chung kết đạt chấp nhận 6.3 Hướng phát triển đề tài Với phát triển ngày mạnh lĩnh vực an tồn tiện nghi tô, hệ thống nhận dạng đối tượng điều khiển xe tránh vật cản không dừng lại mô hình xe tự hành Chúng tơi kiến nghị hướng phát triển dự án làm liệu đầu vào trở nên phong phú (nhiều đối tượng hơn), nâng cấp phần cứng kết hợp với hệ thống Tracking Lane để xe tự hành cách tốt Từ việc mô hình xe tự hành hoạt động hồn tồn cách tự dộng phát triển dần lên hệ thống xe thật, đặc biệt hệ thống phanh theo giao đoạn để xe vận hành cách an toàn cho người xe người tham gia giao thông khác trở thành xe tự hành thực thụ Nhóm hi vọng kết đề tài tài liệu hữu ích cho nguyên cứu hệ thống an tồn tự động tơ trường Đại học Sư phạm kỹ thuật nói riêng ngành tơ Việt Nam nói chung 111 DANH MỤC TÀI LIỆU THAM KHẢO [1] Nguyễn Ngọc Thạch – Trần Lê Đức Huy, 7/2020, Nghiên cứu thiết kế hệ thống phát cảnh báo người xe ô tô, Trường Đại học Sư phạm Kỹ thuật TP.Hồ Chí Minh [2] When Maths Meet Coding, 16/10/2020, “how to train YOLO v3, v4 for custom objects detection and using colab free GPU”, Youtube.com and Github.com/jakkcoder, https://www.youtube.com/watch?v=hTCmL3S4Obw&list=WL&index=10&t=1s [3] eMaster Class Academy, 14/5/2020, “Python: Real Time Object Detection (Image, Webcam, Video files) with Yolov3 and OpenCV”, Youtube.com and buymeacoffee.com, https://www.youtube.com/watch?v=1LCb1PVqzeY&list=WL&index=14&t=783s [4] tech zizou, 25/2/2021, “TRAIN A CUSTOM YOLOv4-tiny DETECTOR USING GOOGLE COLAB ( FREE GPU )”, Youtube.com/techzizou and Github.com/techzizou https://www.youtube.com/watch?v=H3SJcwttTi4&list=WL&index=16&t=368s 112 ... nguyên cứu khả hệ thống máy tính phần mềm để định vị đối tượng hình ảnh, video cho trước xác định đối tượng Sự phát triển khoa học kỹ thuật công nghệ thúc đẩy đưa toán nhận dạng đối tượng vào ứng... hành tham gia đua số 26 Hình 2.7 Board mạch chủ xe đua tự hành FPT 26 Hình 2.8 Camera xe đua tự hành FPT 27 Hình 2.9 Hệ thống phanh giảm sốc xe đua tự hành FPT .27 Hình... trình Hình 2.2 Các cấp độ xe tự hành Hoạt động xe tự hành: Mặc dù thiết kế khác nhà sản xuất, xe ô tô tự lái dựa vào cảm biến, cấu chấp hành, thuật toán phức tạp, hệ thống máy học xử lý mạnh mẽ

Ngày đăng: 05/06/2022, 17:47

Hình ảnh liên quan

Hình 1.4. Quy trình đỗ xe tự động 1.6. Hướng nghiên cứu  - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 1.4..

Quy trình đỗ xe tự động 1.6. Hướng nghiên cứu Xem tại trang 14 của tài liệu.
Vòng 1: Thi đấu xếp thành tích trên sa hình đã công bố để chọn 4 đội xuất sắc nhất bước vào vòng 2 - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

ng.

1: Thi đấu xếp thành tích trên sa hình đã công bố để chọn 4 đội xuất sắc nhất bước vào vòng 2 Xem tại trang 32 của tài liệu.
Hình 2.14. Cấu trúc Machine Learning theo kiểu học có giám sát - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 2.14..

Cấu trúc Machine Learning theo kiểu học có giám sát Xem tại trang 41 của tài liệu.
2.4.2. Giới thiệu mô hình Yolo - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

2.4.2..

Giới thiệu mô hình Yolo Xem tại trang 43 của tài liệu.
Hình 2.17. Kiến trúc mạng CNN 2.5.3. Tầng tích chập (Convolutional layer)  - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 2.17..

Kiến trúc mạng CNN 2.5.3. Tầng tích chập (Convolutional layer) Xem tại trang 45 của tài liệu.
Hình 2.18. Ma trận trước và sau tầng tích chập - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 2.18..

Ma trận trước và sau tầng tích chập Xem tại trang 45 của tài liệu.
Hình 2.19. Tích chập ma trận 2.5.4. Tầng gộp   - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 2.19..

Tích chập ma trận 2.5.4. Tầng gộp Xem tại trang 46 của tài liệu.
Hình 2.20. Tầng gộp - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 2.20..

Tầng gộp Xem tại trang 47 của tài liệu.
Hình 2.21. Tầng kết nối đầy đủ 2.5.6. Vấn đề đầu vào của mạng  - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 2.21..

Tầng kết nối đầy đủ 2.5.6. Vấn đề đầu vào của mạng Xem tại trang 48 của tài liệu.
Hình 2.22. Cấu trúc đầu ra của mạng CNN - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 2.22..

Cấu trúc đầu ra của mạng CNN Xem tại trang 49 của tài liệu.
3.1.1. Giới thiệu xe mô hình RC - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

3.1.1..

Giới thiệu xe mô hình RC Xem tại trang 55 của tài liệu.
Hình 3.12. Phần mềm PyCharm Các tính năng của Pycharm:  - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 3.12..

Phần mềm PyCharm Các tính năng của Pycharm: Xem tại trang 68 của tài liệu.
Hình 3.16. Cấu hình phần cứng Google Colab cung cấp - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 3.16..

Cấu hình phần cứng Google Colab cung cấp Xem tại trang 73 của tài liệu.
Hình 4.3. Biển báo hiệu lệnh rẽ trái - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 4.3..

Biển báo hiệu lệnh rẽ trái Xem tại trang 75 của tài liệu.
Hình 4.10. Gán nhãn cho xe hơi đậu trên đường - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 4.10..

Gán nhãn cho xe hơi đậu trên đường Xem tại trang 79 của tài liệu.
Hình 4.14. Thứ tự Train Yolov3 bước 1– 20 - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 4.14..

Thứ tự Train Yolov3 bước 1– 20 Xem tại trang 84 của tài liệu.
Hình 4.18. Thứ tự Train Yolov4 bước 1– 20 - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 4.18..

Thứ tự Train Yolov4 bước 1– 20 Xem tại trang 93 của tài liệu.
Hình 4.20. Thứ tự Train Yolov4 – tiny bước 1– 20 - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 4.20..

Thứ tự Train Yolov4 – tiny bước 1– 20 Xem tại trang 97 của tài liệu.
Hình 4.25. Nhận diện đối tượng model YOLOv3 – tiny - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 4.25..

Nhận diện đối tượng model YOLOv3 – tiny Xem tại trang 102 của tài liệu.
Hình 5.1. Sơ đồ khối mô hình xe tự hành - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.1..

Sơ đồ khối mô hình xe tự hành Xem tại trang 105 của tài liệu.
Hình 5.2. Sơ đồ chân mô hình xe tự hành - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.2..

Sơ đồ chân mô hình xe tự hành Xem tại trang 106 của tài liệu.
Hình 5.3. Mô hình xe tự hành hướng nhìn từ phía trước - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.3..

Mô hình xe tự hành hướng nhìn từ phía trước Xem tại trang 106 của tài liệu.
Hình 5.5. Nhận diện người trong thời gian thực - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.5..

Nhận diện người trong thời gian thực Xem tại trang 108 của tài liệu.
Hình 5.7. Nhận diện biển báo hiệu lệnh rẽ trái trong thời gian thực - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.7..

Nhận diện biển báo hiệu lệnh rẽ trái trong thời gian thực Xem tại trang 109 của tài liệu.
Hình 5.8. Nhận diện biển báo cấm rẽ trái – đi thẳng trong thời gian thực - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.8..

Nhận diện biển báo cấm rẽ trái – đi thẳng trong thời gian thực Xem tại trang 109 của tài liệu.
Hình 5.10. Sơ đồ giải thuật hoạt động khi phát hiện đối tượng là người/STOP - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.10..

Sơ đồ giải thuật hoạt động khi phát hiện đối tượng là người/STOP Xem tại trang 111 của tài liệu.
Hình 5.13. Phát hiện “Person” và xe dừng lại - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.13..

Phát hiện “Person” và xe dừng lại Xem tại trang 113 của tài liệu.
Hình 5.19. Phát hiện “Biển báo cấm rẽ trái – đi thẳng” và xe tiếp tục chạy - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.19..

Phát hiện “Biển báo cấm rẽ trái – đi thẳng” và xe tiếp tục chạy Xem tại trang 116 của tài liệu.
Hình 5.20. Phát hiện “Biển báo cấm rẽ trái – đi thẳng” và xe đánh lái một góc 100 - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.20..

Phát hiện “Biển báo cấm rẽ trái – đi thẳng” và xe đánh lái một góc 100 Xem tại trang 117 của tài liệu.
Hình 5.22. Phát hiện “CAR” và xe tiếp tục chạy - Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của FPT   đồ án tốt nghiệp ngành công nghệ kỹ thuật ô tô

Hình 5.22..

Phát hiện “CAR” và xe tiếp tục chạy Xem tại trang 118 của tài liệu.

Tài liệu cùng người dùng

Tài liệu liên quan