(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành

(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành(Đồ án tốt nghiệp) Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP Ứng dụng xử lý ảnh chạy theo đường,nhận diện biển báo áp dụng lên xe tự hành SVTH: NGUYỄN TRUNG TRỰC MSSV: 16145560 SVTH: LÊ MINH HÙNG MSSV: 16145406 GVHD: Ths.NGUYỄN THÀNH TUYÊN Tp.Hồ Chí Minh, 14 tháng 08 năm 2020 LỜI CẢM ƠN Trong thời gian làm đề tài tốt nghiệp, nhóm chúng em nhận nhiều giúp đỡ, đóng góp ý kiến bảo nhiệt tình thầy cơ, gia đình bạn bè Nhóm chúng em xin gửi lời cảm ơn chân thành đến Th.s Nguyễn Thành Tuyên, giảng viên Bộ môn Điện-Điện tử - trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh người tận tình hướng dẫn, bảo em suốt trình thực đề tài tốt nghiệp Đồng thời nhóm xin chân thành cảm ơn thầy cô giáo trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh nói chung, thầy Bộ mơn Điện-Điện tử nói riêng dạy dỗ cho em kiến thức môn đại cương môn chuyên ngành, giúp em có sở lý thuyết vững vàng tạo điều kiện giúp đỡ em suốt trình học tập Cuối chúng em xin chân thành cảm ơn gia đình bạn bè, tạo điều kiện, quan tâm, giúp đỡ, động viên nhóm suốt q trình học tập, nghiên cứu hoàn thành đề tài tốt nghiệp Sinh Viên Thực Hiện ii TÓM TẮT Đề tài: “Xe tự hành chạy theo lane nhận diện biển báo” Được nghiên cứu chế tạo trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh.Thời gian thực 1/2020 đến 7/2020 đề tài ứng dụng vào thực tế.Đề tài ứng dụng xử lý ảnh để nhận biết lane biển báo để điều khiển hoạt động xe.Với ngơn ngữ để lập trình xử lý hình ảnh ngơn ngữ Python,giúp cho việc lập trình xử lý ảnh trở nên đơn giản hơn.Phương pháp sử dụng xử lý ảnh nhóm em Deep Learning,phương pháp cho phép máy tự học đặc điểm hình ảnh mà khơng cần tác động nhiều người lập trình cách cung cấp lượng đủ hình ảnh cho máy.Từ hình ảnh cung cấp máy tự lọc chọn đặc điểm bật hình ảnh đó.Máy lưu nhớ hình ảnh thơng qua đặc điểm lọc ban đầu,hình ảnh thu vào xe chạy so sánh với hình ảnh thu thập từ trước,sau hệ thống đưa định thông qua việc so sánh đặc điểm ấy.Mục đích đề tài xây dựng mơ hình xe từ hành để từ tạo bước đệm lớn,từ bước đệm phát triển chế tạo tơ tự hành đường mà không cần can thiệp người.Cuộc đột phá công nghệ diễn ngày cành nhanh không nước ta nói riêng,mà tồn giới nói chung,chỉ vài năm hãng xe lớn Tesla,Audi,BMW…sẽ cho mắt công nghệ tự hành dòng xe họ.Để bắt kịp với xu thế giới nói chung,cũng ngành tơ nói riêng địi hỏi kỹ sư tơ phải ngày học hỏi,tìm hiểu cơng nghệ mới,các cơng nghệ đại,có ngành ô tô Việt Nam ngày phát triển được.Đó mục đích thứ hai nhóm em định nghiên cứu mơ hình hóa đề tài.Sau tháng nghiên cứu chế tạo nhóm em hồn thành mơ hình xe tự hành đem chạy thử.Tuy nhiên cịn số nhiễu xử lý ảnh ánh sáng mà nhóm em chưa hồn tồn kiểm sốt được.Nhưng động lực để nhóm em cố gắng hồn thiện tương lại khơng xa,để tự hành tơ khơng cịn định nghĩa xa vời ngành ô tô nước ta iii MỤC LỤC Trang LỜI CẢM ƠN ii TÓM TẮT iii MỤC LỤC iv DANH MỤC CÁC HÌNH v DANH MỤC CÁC BẢNG x Chương 1: TỔNG QUAN 1.1 LÝ DO CHỌN ĐỀ TÀI 1.2 CÁC NGHIÊN CỨU NGOÀI VÀ TRONG NƯỚC 1.2.1 Các nghiên cứu nước 1.2.2 Các nghiên cứu nước 1.3 MỤC ĐÍCH CỦA ĐỀ TÀI 1.4 NHIỆM VỤ VÀ GIỚI HẠN CỦA ĐỀ TÀI 1.5 PHƯƠNG PHÁP NGHIÊN CỨU Chương 2: CƠ SỞ LÍ THUYẾT 2.1 XE TỰ HÀNH 2.1.1 Giới thiệu 2.1.2 Một số công nghệ sử dụng xe tự hành 2.2 PHƯƠNG PHÁP NHẬN DIỆN LANE 2.2.1 Deep learning sử dụng keras tensorflow 2.2.2 Deep learning sử dụng tensorflow 12 2.3 GIỚI THIỆU VỀ PYTHON 16 2.3.1 Giới thiệu 16 2.3.2 Đặc điểm 16 2.4 THƯ VIỆN OPENCV 17 2.4.1 Giới thiệu 17 2.4.2 Đặc điểm 17 2.5 TENSORFLOW 18 2.5.1 Giới thiệu 18 2.5.2 Đặc điểm 18 2.6 TỔNG QUAN VỀ PHẦN CỨNG 18 iv 2.6.1 Kit Jetson Nano 18 2.6.2 Camera Logitech C270 21 2.6.3 Arduino Uno 21 Chương 3: XÂY DỰNG VÀ LẬP TRÌNH HỆ THỐNG 23 3.1 GIỚI THIỆU 23 3.2 XÂY DỰNG HỆ THỐNG 23 3.2.1 Thiết kế sơ đồ khối 23 3.2.2 Các khối hệ thống 24 3.2.2.1 Khối điều khiển xử lý trung tâm 24 3.2.2.2 Khối thu thập hình ảnh 29 3.2.2.3 Khối động 29 3.2.2.4 Khối điều khiển lái 33 3.2.2.5 Khối nguồn 36 3.2.3 Sơ đồ nguyên lý toàn mạch 38 3.3 CHUẨN BỊ LINH KIỆN – MÔ ĐUN 39 3.4 MƠ HÌNH XE TỰ HÀNH 39 3.5 LẬP TRÌNH HỆ THỐNG 41 3.5.1 Cài đặt hệ điều hành cho jetson nano 41 3.5.2 Cài đặt chương trình phần mềm cần thiết 43 3.5.3 Cài đặt chương trình Visual studio code cho jetson nano 44 3.5.4 Cài đặt phần mềm máy tính chủ (máy tính dùng để đào tạo mơ hình) 44 3.5.4.1 Cài đặt Cuda , cuDNN 44 3.5.4.2 Cài đặt anaconda, Visual studio code 46 3.5.4.3 Thiết lập cho học sâu hướng đối tượng 46 3.5.5 Lưu đồ giải thuật hệ thống 47 3.5.5.1 Nhận diện Lane 47 3.5.5.2 Nhận diện biển báo Stop 50 3.5.6 Giao diện lập trình 53 3.5.6.1 Giao diện lập trình xử lý ảnh lane biển báo 53 3.6 HƯỚNG DẪN THAO TÁC 55 3.6.1 Thao tác Jetson Nano 55 3.6.1.1 Remote Desktop 55 Chương 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 60 v 4.1 KẾT QUẢ 60 4.1.1 Kết thi công phần cứng 60 4.2 THỰC NGHIỆM 63 4.2.1 Thực nghiện model Deep learning sử dụng tensorflow keras 63 4.2.2 Thực nghiệm model Deep learning sử dụng tensorflow 67 4.2.3 Thống kê 69 4.3 NHẬN XÉT VÀ ĐÁNH GIÁ 71 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 72 5.1 KẾT LUẬN 72 5.2 HƯỚNG PHÁT TRIỂN 73 TÀI LIỆU THAM KHẢM 74 PHỤ LỤC 76 vi DANH MỤC CÁC HÌNH Trang Hình 2.1: Các cấp độ xe tự hành Hình 2.2: Quan hệ trí tuệ nhân tạo với học máy học sâu Hình 2.3: Sơ đồ cách hoạt động deep learning với nhận diện khn mặt Hình 2.4: Thư mục chứa ảnh đào tạo 10 Hình 2.5: Sắp xếp liệu theo thứ tự mong muốn 11 Hình 2.6: Quá trình đào tạo mơ hình 11 Hình 2.7: Dữ liệu nhận diện thực tế 12 Hình 2.8: Thư mục chứa ảnh đào tạo 13 Hình 2.9: Quá trình phân vùng liệu 14 Hình 2.10: Quá trình đào tạo diễn 14 Hình 2.11: Qúa trình đào tạo 15 Hình 2.12: Sử dụng mơ hình 15 Hình 2.13: Jetson Nano 18 Hình 2.14:Thơng số kỹ thuật Jetson Nano 19 Hình 2.15: So sánh Jetson Nano Raspberry PI 20 Hình 2.16: Camera Logitech C270 21 Hình 2.17: Arduino Uno R3 21 Hình 3.1: Sơ đồ khối tồn hệ thống 23 Hình 3.2: Ngoại vi Jetson Nano 25 Hình 3.3: Sơ đồ cấu tạo Jetson Nano 26 Hình 3.4: Sơ đồ chân GPIO Jetson Nano 26 Hình 3.5: Sơ đồ cấu tạo Arduino Uno R3 27 Hình 3.6: Thơng số kỹ thuật Arduino Uno R3 28 Hình 3.7: Camera logitech C270 29 Hình 3.8: Động RS550 30 Hình 3.9: Thông số động RS550 30 Hình 3.10: Module BTS7960 43A 31 Hình 3.11: Sơ đồ chân module BTS7960 31 Hình 3.12: Kết nối module BTS7960 với Arduino Uno R3 32 Hình 3.13: Động bước 33 vii Hình 3.14: Phương pháp điều khiển động bước 34 Hình 3.15: Driver TB6600 35 Hình 3.16: Sơ đồ kết nối TB6600 36 Hình 3.17: Bình ắc quy Đồng Nai 37 Hình 3.18: Sơ đồ nguyên lý toàn mạch 38 Hình 3.19: Mơ xe tự hành 40 Hình 3.20: Mơ xe tự hành 40 Hình 3.21: Phần mềm format thẻ nhớ 41 Hình 3.22: Phần mềm ghi đè hệ điều hành lên thẻ nhớ 42 Hình 3.23: Giao diện hệ điều hành 43 Hình 3.24: Thiết lập card nvidia GPU mặc định 45 Hình 3.25: Quá trình cài đặt Cuda hoàn tất 45 Hình 3.26: Lưu đồ nhận diện chạy theo lane (P1) 47 Hình 3.27: Lưu đồ nhận diện chạy theo lane (P2) 48 Hình 3.28: Thẳng 49 Hình 3.29: Cong 49 Hình 3.30: Lưu đồ nhận diện biển báo Stop (P1) 50 Hình 3.31: Lưu đồ nhận diện biển báo Stop (P2) 51 Hình 3.32: Nhận diện biến báo Stop 52 Hình 3.33: Giao diện Visual Studio 53 Hình 3.34: Giao diện Visual Studio 53 Hình 3.35: Giao diện lập trình Arduino 54 Hình 3.36: Cài đặt phần mềm VNC 55 Hình 3.37: Cú pháp tìm IP Jetson Nano 56 Hình 3.38: Địa IP Jetson Nano 56 Hình 3.39: Chạy VNC Jetson Nano 57 Hình 3.40: Chạy VNC Jetson Nano 57 Hình 3.41: Nhập IP Jetson vào VNC 58 Hình 3.42: Chấp nhận liên kết Jetson Nano 58 Hình 3.43: Liên kết thành công Jetson Nano laptop 59 Hình 4.1: Mơ hình xe tự hành 60 Hình 4.2: Mơ hình xe tự hành 60 Hình 4.3: Mơ hình xe tự hành 61 viii Hình 4.4: Mạch điện xe 62 Hình 4.5: Xe thẳng1 63 Hình 4.6: Kết nhận diện lane thẳng 63 Hình 4.7: Xe rẽ phải 64 Hình 4.8: Kết nhận diện lane cong 64 Hình 4.9: Xe thẳng 65 Hình 4.10: Kết nhận diện lane thẳng 65 Hình 4.11: Xe dừng lại 66 Hình 4.12: kết nhận diện biển báo 66 Hình 4.13: Xe thẳng api 67 Hình 4.14: Kết nhận diện thẳng api 67 Hình 4.15: Xe rẽ phải api 68 Hình 4.16: Kết nhận diện cong api 68 Hình 4.17: Kết nhận diện biển báo api 69 ix DANH MỤC CÁC BẢNG Trang Bảng 3.1: Các linh kiện, mô đun sử dụng 39 Bảng 4.1: Các linh kiện lắp đặt xe 62 Bảng 4.2: Bảng kết thực nghiệm nhận dang lane,biển stop điều kiện thực tế 70 Bảng 5.1: Ưu điểm nhược điểm hai mơ hình đào tạo 72 x 78 - Code nhận diện lane biển báo stop filde testlane.py 79 80 - Code tạo model sử dụng tensorflow: 81 82 83 84 85 86 87 88 - Code Arduino điều khiển xe: 89 90 91 S K L 0 ... tài ứng dụng vào thực tế.Đề tài ứng dụng xử lý ảnh để nhận biết lane biển báo để điều khiển hoạt động xe. Với ngơn ngữ để lập trình xử lý hình ảnh ngơn ngữ Python,giúp cho việc lập trình xử lý ảnh. .. Đề tài “ Xe tự hành chạy theo Lane nhận diện biển báo? ?? bao gồm việc xây dựng lập trình hệ thống để mơ hình xe có khả di chuyển theo lane định sẵn nhận diện biển báo dể dừng lại.Trên xe lắp thiết... vận hành 1.3 MỤC ĐÍCH CỦA ĐỀ TÀI - Mục đích đề tài Nghiên cứu xây dụng mơ hình xe tự hành chạy theo lane nhận diện biển báo giao thơng,để xe tự vận hành đường mà không cần can thiệp người - Trong