Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành

MỤC LỤC Trang LỜI CẢM ƠN ii TÓM TẮT iii MỤC LỤC iv DANH MỤC CÁC HÌNH v DANH MỤC CÁC BẢNG x Chương 1: TỔNG QUAN 1.1 LÝ DO CHỌN ĐỀ TÀI 1.2 CÁC NGHIÊN CỨU NGOÀI VÀ TRONG NƯỚC 1.2.1 Các nghiên cứu nước 1.2.2 Các nghiên cứu nước 1.3 MỤC ĐÍCH CỦA ĐỀ TÀI 1.4 NHIỆM VỤ VÀ GIỚI HẠN CỦA ĐỀ TÀI 1.5 PHƯƠNG PHÁP NGHIÊN CỨU Chương 2: CƠ SỞ LÍ THUYẾT 2.1 XE TỰ HÀNH 2.1.1 Giới thiệu 2.1.2 Một số công nghệ sử dụng xe tự hành 2.2 PHƯƠNG PHÁP NHẬN DIỆN LANE 2.2.1 Deep learning sử dụng keras tensorflow 2.2.2 Deep learning sử dụng tensorflow 12 2.3 GIỚI THIỆU VỀ PYTHON 16 2.3.1 Giới thiệu 16 2.3.2 Đặc điểm 16 2.4 THƯ VIỆN OPENCV 17 2.4.1 Giới thiệu 17 2.4.2 Đặc điểm 17 2.5 TENSORFLOW 18 2.5.1 Giới thiệu 18 2.5.2 Đặc điểm 18 2.6 TỔNG QUAN VỀ PHẦN CỨNG 18 iv 2.6.1 Kit Jetson Nano 18 2.6.2 Camera Logitech C270 21 2.6.3 Arduino Uno 21 Chương 3: XÂY DỰNG VÀ LẬP TRÌNH HỆ THỐNG 23 3.1 GIỚI THIỆU 23 3.2 XÂY DỰNG HỆ THỐNG 23 3.2.1 Thiết kế sơ đồ khối 23 3.2.2 Các khối hệ thống 24 3.2.2.1 Khối điều khiển xử lý trung tâm 24 3.2.2.2 Khối thu thập hình ảnh 29 3.2.2.3 Khối động 29 3.2.2.4 Khối điều khiển lái 33 3.2.2.5 Khối nguồn 36 3.2.3 Sơ đồ nguyên lý toàn mạch 38 3.3 CHUẨN BỊ LINH KIỆN – MÔ ĐUN 39 3.4 MƠ HÌNH XE TỰ HÀNH 39 3.5 LẬP TRÌNH HỆ THỐNG 41 3.5.1 Cài đặt hệ điều hành cho jetson nano 41 3.5.2 Cài đặt chương trình phần mềm cần thiết 43 3.5.3 Cài đặt chương trình Visual studio code cho jetson nano 44 3.5.4 Cài đặt phần mềm máy tính chủ (máy tính dùng để đào tạo mơ hình) 44 3.5.4.1 Cài đặt Cuda , cuDNN 44 3.5.4.2 Cài đặt anaconda, Visual studio code 46 3.5.4.3 Thiết lập cho học sâu hướng đối tượng 46 3.5.5 Lưu đồ giải thuật hệ thống 47 3.5.5.1 Nhận diện Lane 47 3.5.5.2 Nhận diện biển báo Stop 50 3.5.6 Giao diện lập trình 53 3.5.6.1 Giao diện lập trình xử lý ảnh lane biển báo 53 3.6 HƯỚNG DẪN THAO TÁC 55 3.6.1 Thao tác Jetson Nano 55 3.6.1.1 Remote Desktop 55 Chương 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 60 v 4.1 KẾT QUẢ 60 4.1.1 Kết thi công phần cứng 60 4.2 THỰC NGHIỆM 63 4.2.1 Thực nghiện model Deep learning sử dụng tensorflow keras 63 4.2.2 Thực nghiệm model Deep learning sử dụng tensorflow 67 4.2.3 Thống kê 69 4.3 NHẬN XÉT VÀ ĐÁNH GIÁ 71 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 72 5.1 KẾT LUẬN 72 5.2 HƯỚNG PHÁT TRIỂN 73 TÀI LIỆU THAM KHẢM 74 PHỤ LỤC 76 vi DANH MỤC CÁC HÌNH Trang Hình 2.1: Các cấp độ xe tự hành Hình 2.2: Quan hệ trí tuệ nhân tạo với học máy học sâu Hình 2.3: Sơ đồ cách hoạt động deep learning với nhận diện khn mặt Hình 2.4: Thư mục chứa ảnh đào tạo 10 Hình 2.5: Sắp xếp liệu theo thứ tự mong muốn 11 Hình 2.6: Quá trình đào tạo mơ hình 11 Hình 2.7: Dữ liệu nhận diện thực tế 12 Hình 2.8: Thư mục chứa ảnh đào tạo 13 Hình 2.9: Quá trình phân vùng liệu 14 Hình 2.10: Quá trình đào tạo diễn 14 Hình 2.11: Qúa trình đào tạo 15 Hình 2.12: Sử dụng mơ hình 15 Hình 2.13: Jetson Nano 18 Hình 2.14:Thơng số kỹ thuật Jetson Nano 19 Hình 2.15: So sánh Jetson Nano Raspberry PI 20 Hình 2.16: Camera Logitech C270 21 Hình 2.17: Arduino Uno R3 21 Hình 3.1: Sơ đồ khối tồn hệ thống 23 Hình 3.2: Ngoại vi Jetson Nano 25 Hình 3.3: Sơ đồ cấu tạo Jetson Nano 26 Hình 3.4: Sơ đồ chân GPIO Jetson Nano 26 Hình 3.5: Sơ đồ cấu tạo Arduino Uno R3 27 Hình 3.6: Thơng số kỹ thuật Arduino Uno R3 28 Hình 3.7: Camera logitech C270 29 Hình 3.8: Động RS550 30 Hình 3.9: Thông số động RS550 30 Hình 3.10: Module BTS7960 43A 31 Hình 3.11: Sơ đồ chân module BTS7960 31 Hình 3.12: Kết nối module BTS7960 với Arduino Uno R3 32 Hình 3.13: Động bước 33 vii Hình 3.14: Phương pháp điều khiển động bước 34 Hình 3.15: Driver TB6600 35 Hình 3.16: Sơ đồ kết nối TB6600 36 Hình 3.17: Bình ắc quy Đồng Nai 37 Hình 3.18: Sơ đồ nguyên lý toàn mạch 38 Hình 3.19: Mơ xe tự hành 40 Hình 3.20: Mơ xe tự hành 40 Hình 3.21: Phần mềm format thẻ nhớ 41 Hình 3.22: Phần mềm ghi đè hệ điều hành lên thẻ nhớ 42 Hình 3.23: Giao diện hệ điều hành 43 Hình 3.24: Thiết lập card nvidia GPU mặc định 45 Hình 3.25: Quá trình cài đặt Cuda hoàn tất 45 Hình 3.26: Lưu đồ nhận diện chạy theo lane (P1) 47 Hình 3.27: Lưu đồ nhận diện chạy theo lane (P2) 48 Hình 3.28: Thẳng 49 Hình 3.29: Cong 49 Hình 3.30: Lưu đồ nhận diện biển báo Stop (P1) 50 Hình 3.31: Lưu đồ nhận diện biển báo Stop (P2) 51 Hình 3.32: Nhận diện biến báo Stop 52 Hình 3.33: Giao diện Visual Studio 53 Hình 3.34: Giao diện Visual Studio 53 Hình 3.35: Giao diện lập trình Arduino 54 Hình 3.36: Cài đặt phần mềm VNC 55 Hình 3.37: Cú pháp tìm IP Jetson Nano 56 Hình 3.38: Địa IP Jetson Nano 56 Hình 3.39: Chạy VNC Jetson Nano 57 Hình 3.40: Chạy VNC Jetson Nano 57 Hình 3.41: Nhập IP Jetson vào VNC 58 Hình 3.42: Chấp nhận liên kết Jetson Nano 58 Hình 3.43: Liên kết thành công Jetson Nano laptop 59 Hình 4.1: Mơ hình xe tự hành 60 Hình 4.2: Mơ hình xe tự hành 60 Hình 4.3: Mơ hình xe tự hành 61 viii Hình 4.4: Mạch điện xe 62 Hình 4.5: Xe thẳng1 63 Hình 4.6: Kết nhận diện lane thẳng 63 Hình 4.7: Xe rẽ phải 64 Hình 4.8: Kết nhận diện lane cong 64 Hình 4.9: Xe thẳng 65 Hình 4.10: Kết nhận diện lane thẳng 65 Hình 4.11: Xe dừng lại 66 Hình 4.12: kết nhận diện biển báo 66 Hình 4.13: Xe thẳng api 67 Hình 4.14: Kết nhận diện thẳng api 67 Hình 4.15: Xe rẽ phải api 68 Hình 4.16: Kết nhận diện cong api 68 Hình 4.17: Kết nhận diện biển báo api 69 ix DANH MỤC CÁC BẢNG Trang Bảng 3.1: Các linh kiện, mô đun sử dụng 39 Bảng 4.1: Các linh kiện lắp đặt xe 62 Bảng 4.2: Bảng kết thực nghiệm nhận dang lane,biển stop điều kiện thực tế 70 Bảng 5.1: Ưu điểm nhược điểm hai mơ hình đào tạo 72 x Chương TỔNG QUAN 1.1 LÝ DO CHỌN ĐỀ TÀI Với phát triển thời đại cơng nghệ 4.0 AI ngày trở thành xu tất yếu toàn cầu.Từ ngành kinh tế,y học,kỹ thuật,…đều vận dụng AI vào công việc nhằm giúp giảm bớt sức lao động người,tăng lợi nhuận kinh tế cho doanh nghiệp.Khơng đứng ngồi xu hướng ngành tơ tồn giới tiến vào đua số đời mẫu xe thông minh không người lái,bằng cách sử dụng AI để làm não xe họ.Có thể nói xe tự hành vấn đề tất hãng xe lớn giới quan tâm,hằng năm công ty chi trả hàng tỷ USD để phục vụ cho cơng nghiên cứu đời mẫu xe thông minh cách sớm nhất.Cái tên đứng đầu đua tự hành xa lạ,khi nhắc đến họ phải trầm trồ thán phục nổ lực nghiên cứu,cũng độ chịu chơi đầu tư khoảng tiền khổng lồ vào việc nghiên cứu Tesla,một công ty hàng đầu lĩnh vực ô tơ điện giới.Ơ tơ tự hành chia thành cấp độ từ thấp đến cao Hiệp hội kỹ sư ô tô (SAE) để đánh giá mức độ.Trong thời tới Tesla nâng cấp xe tự hành hãng lên cấp độ 5,có nghĩa mẫu xe tự hành họ hồn tồn chạy đường phố mà khơng cần tác động người.Vào khoảng thời gian khơng xa ô tô tự hành chạy khắp đường không ý tưởng viển vong nữa,mà thực tế diễn Để theo đuổi kịp xu tồn cầu ngành tơ nước ta cần có bước chuyển cơng nghệ tư người vấn đề tự hành ngày nay.Một cơng ty có xu hướng phát xây dựng phát triển mảng ô tô tự hành Việt Nam FPT.Hằng năm FPT tổ chức “Cuộc Thi Số” sân chơi cho bạn trẻ tồn quốc có đam mê xe tự hành thỏa sức sáng tạo,học hỏi lẫn nhau…đồng thời giúp FPT tìm kiếm nhóm có tiềm để vào công ty nhằm giúp phát triển mạnh mẽ xe tự hành nước ta Là kỹ sư tơ đam mê tơ chưa đủ,chúng ta phải ngày nâng cao kiến thức,tìm tịi học hỏi cơng nghệ giới nay.Thì xe tự hành xu tất yếu ngành ô tô vài năm tới,nên việc nghiên cứu xây dựng mô điều cấp thiết nay.Ngành tơ Việt Nam ngày phát triển mạnh mẽ,rất có tiềm tương lai,cộng thêm đam mê nghiên cứu ngày nhiều chúng em tin tương lai khơng xa tơ tự hành Việt Nam khơng cịn định nghĩa xa vời,mà thay vào thực tế hiển nhiên Bởi lý nhận thấy trên,nên nhóm em định nghiên cứu đề tài “Xe tự hành chạy theo lane nhận diện biển báo” 1.2 CÁC NGHIÊN CỨU NGOÀI VÀ TRONG NƯỚC 1.2.1 Các nghiên cứu nước - Với đề tài: Lane And Road Signs Recognition For Drive Assistance System Ahmed Herchi Abdellatif Mtibaa nghiên cứu xác định lane biển báo giao thông đường xe di chuyển.Đề tài cách thức để xác định lane phương trình để tính tốn nhằm giữ xe ln đường nó,đồng thời nêu phương thức để nhận diện biển báo giao thơng cách xác nhất.Các bước để xử lý hình ảnh đầu vào,phương pháp lọc nhiễu để tăng độ xác xử lý đề trình bày cách cụ thể.Từ tác giả đề xuất phương pháp hiệu việc xác định lane biển báo giao thông - Với đề tài: A Simple Way to Prevent Neural Networks from Overfitting Nitish Srivastava,Geofrey Hinton,Alex Krizhevsky,Ilya Sutskever đồng nghiên cứu.Nghiên cứu nêu khái niệm việc đào tạo học máy sử dụng mạng neural networks.Với việc sử dụng cho phép đào tạo máy học cách nhanh chóng dễ dàng hơn,đồng thời độ xác cải thiện nhiều với phương pháp đào tạo khác.Các phương trình tính tốn,cũng cách thiết lập hệ thống mạng reural trình bày cách cụ thể nhất,giúp người đọc hiểu dễ dàng - Trong đề tài: Deep Residual Learing for Image Recognition Kaiming He,Xiangyu Zhang,Shaoqing Ren,Jian Sun trình bày cách thức xây dựng khung hình để dễ dàng đào tạo mạng sâu so với mạng sử dụng nay.Đề tài cách định dạng rõ ràng lớp học hàm dư với tham chiếu đến đầu vào lớp,thay học hàm khơng ước tính.Các chứng thực nghiệm đưa để chứng minh cho việc tối ưu hóa đạt độ xác cách tăng nhiều lớp neural 1.2.2 Các nghiên cứu nước - Với đề tài: Phát nhận dạng biển báo giao thông đường sử dụng đặc trưng HOG mạng nơron nhân tạo Trương Quốc Bảo,Trương Quốc Định thuộc trường đại học Cần Thơ nghiên cứu vào năm 2015.Tác giả trình bày thuật tốn xử lý ảnh học máy để tự động phát nhận diện biển báo giao thông đường sử dụng đặc trưng cục HOG mạng Nơron nhận tạo.Hệ thống phát nhận dạng hầu hết biển báo giao thông biển cấm,biển báo nguy hiểm,biển hiệu lệnh biển dẫn không bị chồng lắp.Thực nghiệm tiến hành với 31 video với thời gian trung bình để phát nhận diện nhận dạng biển báo giao thông frame ảnh xấp xỉ 0.021 giây sử dụng mô hình phân lớp với mạng nơron nhân tạo khoảng 0.099 giây sử dụng mơ hình phân lớp SVM độ xác nhận dạng khoảng 94% - Luận văn thạc sĩ: “Nghiên cứu mạng neural tích chập ứng dụng cho toán nhận dạng biển báo giao thông “ Lê Thị Thu Hằng,Đại Học Công Nghệ Hà Nội,2016 giới thiệu khái quát số kiểu mạng Neural đặc điểm chúng.Trong đề tài nêu định nghĩa mạng neural tích chập cách cụ thể cách xây dựng mơ hình mạng neural tích chập,ứng dụng vào việc nhận dạng biển báo giao thông đường - Đồ án tốt nghiêp:”Robot vận chuyển mẫu xét nghiệm bệnh viện” Đinh Việt Hùng Đặng Thị Huỳnh Như,Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh,2019 đề tài mơ tả q trình thu thập xử lý hình ảnh lane đường có sẵn bệnh viện,giúp robot vận hành cách tự động môi trường thiết lập sẵn.Hạn chế đề tài robot tự vận hành mơi trường cố định,cịn mơi trường khác khơng thể vận hành - Code train model sử dụng tensorflow keras fiel train_lane_2.py: 77 78 - Code nhận diện lane biển báo stop filde testlane.py 79 80 - Code tạo model sử dụng tensorflow: 81 82 83 84 85 86 87 88 - Code Arduino điều khiển xe: 89 90 91 ... Đề tài “ Xe tự hành chạy theo Lane nhận diện biển báo? ?? bao gồm việc xây dựng lập trình hệ thống để mơ hình xe có khả di chuyển theo lane định sẵn nhận diện biển báo dể dừng lại.Trên xe lắp thiết... vận hành 1.3 MỤC ĐÍCH CỦA ĐỀ TÀI - Mục đích đề tài Nghiên cứu xây dụng mơ hình xe tự hành chạy theo lane nhận diện biển báo giao thơng,để xe tự vận hành đường mà không cần can thiệp người - Trong. .. tự động phát nhận diện biển báo giao thông đường sử dụng đặc trưng cục HOG mạng Nơron nhận tạo.Hệ thống phát nhận dạng hầu hết biển báo giao thông biển cấm ,biển báo nguy hiểm ,biển hiệu lệnh biển