Nghiên cứu thiết kế chế tạo xe tự hành

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGHIÊN CỨU, THIẾT KẾ, CHẾ TẠO XE TỰ HÀNH NGÀNH: KỸ THUẬT ĐIỆN - ĐIỆN TỬ GIẢNG VIÊN HƯỚNG DẪN: TH.S PHẠM QUỐC PHƯƠNG Sinh viên thực hiện: MSSV: Lớp: Nguyễn Hoàng Anh 1711020248 17DDCA2 Nguyễn Hoàng Thiện 1711040123 17DDCB1 Đỗ Đăng Khoa 1711020024 17DDCB1 Tp Hồ Chí Minh, tháng 09/2021 LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tp Hồ Chí Minh, ngày 01 tháng 09 năm 2021 (Ký tên ghi rõ họ tên) i LỜI CẢM ƠN Ngày nay, khoa học kỹ thuật phát triển vũ bão, nhiều phát minh, sản phẩm công nghệ đời Các robot tự động xu hướng cơng nghệ tương lai tiện dụng, khả hoạt động xác điều khiện khắc nghiệt với người Một yêu cầu robot tự động khả hoạt động theo chức mong muốn mà không cần can thiệp người trình làm việc Đây hội, thách thức cho sinh viên kỹ thuật nói chung sinh viên trường Đại học Cơng Nghệ TPHCM nói riêng Để chuẩn bị kiến thức kỹ cần thiết bối cảnh nói trên, mơn học Đồ án tốt nghiệp đưa vào chương trình đào tạo kỹ sư Điện - Điện tử sinh viên môi trường làm việc sáng tạo, thực ý tưởng kỹ thuật Trong môn học này, duới hướng dẫn Th.S Phạm Quốc Phương, nhóm chúng em thực đề tài Nghiên cứu, thiết kế, chế tạo xe tự hành Chúng em xin cảm ơn hướng dẫn, chia sẻ tận tình Th.S Phạm Quốc Phương giúp chúng em hoàn thành để tài Trong thời lượng hạn chể môn học, với kỹ kinh nghiệm ỏi, chúng em khơng thể tránh khỏi sai sót, mong góp ý thầy bạn để để tài hoàn thiện Xin chân thành cảm ơn! ii MỤC LỤC LỜI CAM ĐOAN……………………………………………………………………… i LỜI CẢM ƠN………………………………………………………………………… ii MỤC LỤC iii DANH SÁCH CÁC HÌNH .vi DANH SÁCH CÁC BẢNG vii LỜI MỞ ĐẦU Chương GIỚI THIỆU 1.1 TÍNH CẤP THIẾT CỦA ĐỀ TÀI 1.2 TÌNH HÌNH NGHIÊN CỨU……………………………………………………2 1.3 MỤC ĐÍCH NGHIÊN CỨU……………………… ……………………… 1.4 NHIỆM VỤ NGHIÊN CỨU 1.5 PHƯƠNG PHÁP NGHIÊN CỨU 1.6 CÁC KẾT QUẢ ĐẠT ĐƯỢC CỦA ĐỀ TÀI 1.7 KẾT CẤU CỦA ĐỀ TÀI……… …………… ……………………………….5 Chương TỔNG QUAN GIẢI PHÁP………………………………………………….6 2.1 SƠ LƯỢC VỀ KIT RASPBERRY VÀ CAMERA PI 2.1.1 Raspberry gì? 2.1.2 Ứng dụng Raspberry Pi…………………………………………………7 2.1.3 Cấu trúc phần cứng Raspberry Pi 4………………………………………….9 2.1.4 Giới thiệu camera Pi 12 2.1.5 Các hệ điều hành 13 2.2 TÌM HIỂU VỀ HỆ ĐIỀU HÀNH RASPBIAN 16 2.2.1 Lịch sử phát triển 17 2.2.2 Hướng dẫn cài đặt hệ điều hành Raspbian cho Raspberri Pi 17 2.3 TÌM HIỂU VỀ NGÔN NGỮ PYTHON 19 iii 2.3.1 Lịch phát triển 19 2.3.2 Phiên 20 2.3.3 Một số điểm khác biện phiên 3x 2x 20 2.3.4 Đặc điểm Python 22 Chương PHƯƠNG PHÁP GIẢI QUYẾT 23 3.1 SƠ LƯỢC VỀ XỬ LÝ ẢNH 23 3.1.1 Tìm hiểu xử lý ảnh 23 3.1.2 Các bước xử lý ảnh 30 3.1.3 Ứng dụng nhận diện đường cho xe tự hành 33 3.2 TÌM HIỂU VỀ THƯ VIỆN OPENCV 39 Chương QUY TRÌNH THIẾT KẾ………………………………………… .… 44 4.1 CÁC U CẦU KỸ THUẬT KHI THIẾT KẾ MƠ HÌNH 43 4.1.1 Yêu cầu kỹ thuật………………………………………………………… 44 4.1.2 Yêu cầu kinh tế 43 4.2 KẾT NỐI CÁC THIẾT BỊ NGOẠI VI CHO HỆ THỐNG MÁY TÍNH NHÚNG RASPBERRY………………… ………………………………………… 44 4.2.1 Sơ đồ kết nối khởi động Raspberry 43 4.2.2 Cài đặt gói thư viện OpenCV gói thư viện bổ trợ 45 Chương THI CÔNG, MÔ PHỎNG 54 5.1 THIẾT KẾ MƠ HÌNH VÀ LẬP TRÌNH HỆ THỐNG 54 5.1.1 Thiết kế mô hình 54 5.1.2 Lập trình cho hệ thống 55 5.2 MỘT SỐ HÌNH ẢNH TRONG QUÁ TRÌNH THI CÔNG………………… 69 Chương ĐÁNH GIÁ KẾT QUẢ, KẾT LUẬN…………………………………… 70 6.1 ĐÁNH GIÁ KẾT QUẢ……………………………………………………… 70 6.2 KẾT LUẬN 70 6.2.1 Kết đạt 71 iv 6.2.2 Điểm đề tài……………………………………………………… 71 6.2.3 Những mặt hạn chế 71 6.3 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI NGHIÊN CỨU 72 TÀI LIỆU THAM KHẢO 73 PHỤC LỤC……………………………………………………………………………74 v DANH SÁCH CÁC HÌNH Hình 1: Mẫu xe tự hành thơng minh Việt Nam………………………… Hình 1: Raspberry Pi Module B 10 Hình 2: Sơ đồ chân GPIO Raspberry Pi Module B 11 Hình 3: Camera PI v1.3 12 Hình 1: Lân cân lân cận 25 Hình 2: Sơ đồ khối bước xử lý ảnh 31 Hình 3: Lưu đồ bước ứng dụng xử lý ảnh nhận dạng đường 34 Hình 4: Bộ lọc Gaussian 36 Hình 5: Xác định biên 37 Hình 6: Sơ đồ khối tổ chức thư viên OpenCV 40 Hình 1: Sơ đồ kết nối thiết bị ngoại vi cho Raspberry 44 Hình 2: Giao diện hệ điều hành Raspbian 46 Hình 1: Sơ khối mơ hình 54 Hình 2: Sơ đồ kết nối mơ hình 55 Hình 3: Lưu đồ mơ hình 56 Hình 4: Lưu đồ bước tiền xử lý tách biên 58 Hình 5: Chương trình chuyển đổi ảnh xám 59 Hình 6: Ảnh trước sau chuyển đổi ảnh xám 60 Hình 7: Chương trình lọc nhiểu Blur 60 Hình 8: Ảnh xám trước sau lọc nhiễu 61 Hình 9: Chương trình phát cạnh Canny 61 Hình 10: Ảnh xử lý lấy cạnh sau lọc nhiễu 62 Hình 11: Chương trình cắt lấy vùng ROI 63 Hình 12: Lưu đồ nhận diện đường xuất tín hiệu điều khiển 64 Hình 13: Chương trình xác định đường phân cách trái phải đường 65 Hình 14: Chương trình xác định góc lái 66 Hình 15: Chương trình tính độ lệch góc lái so với 900 67 Hình 16: Thêm thư viện chương trình cấu hình chân IO Raspberry 68 Hình 17: Chương trình xuất tín hiệu điều khiển động dựa vào độ lệch 68 Hình 18: Ảnh thực tế đường đoạn đường thẳng 69 Hình 19: Ảnh đường tài đoạn đường thằng 69 vi DANH SÁCH CÁC BẢNG Bảng 1: Các phiên Python 20 vii LỜI MỞ ĐẦU Theo dự đốn sau cách mạng lớn internet cách mạng lĩnh vực robot Các Robot ứng dụng đời sống ngày nhiều robot vận chuyển hàng hóa, robot kiểm tra nguy hiểm, robot xe lăn cho người khuyết tật, robot phục vụ sinh hoạt gia đình… Cùng với phát triển khoa học kỹ thuật nhu câu lại ngày tăng, số lượng phương tiện giao thông đường ngày đông đúc Với số lượng phương tiện giao thông lớn không ngừng tăng nảy sinh nhiều vấn đề việc lưu thông an tồn tham gia giao thơng Để giải vấn đề nhu cầu đặt áp dụng hệ thống tự động nhằm hỗ trợ tài xế Nhằm bước tiếp cận tạo tảng cho q trình nghiên cứu ứng dụng cơng nghệ vào sản phẩm phù hợp thực thế, nhóm đồ án chúng em chọn đề tài: “Nghiên cứu, thiết kế, chế tạo xe tự hành” từ hình ảnh, video thu từ Camera thiết bị ghi hình kỹ thuật số Nhằm trợ giúp cho phương tiện lưu thơng đường cách an tồn hơn, tránh việc bị chệch đường dẫn đến va chạm giao thông Chương GIỚI THIỆU 1.1 TÍNH CẤP THIẾT CỦA ĐỀ TÀI Ngày nay, cơng nghệ xử lý ảnh chiếm vị trí quan trọng trọng guồng máy vận hành nhiều lĩnh vực kinh tế, tài chính, giải trí, du lịch, giao thơng vận tải Nó coi xu hướng cơng nghệ giới nhiều người cho cách mạng cơng nghiệp 4.0 Trong nghiên khả tự hành cho hệ thống trợ lý lái xe tiên tiến (ADAS) nhận nhiều ý lớn Một mục tiêu lĩnh vực nghiên cứu cung cấp chức thơng minh an tồn cho người lái xe cách sử dụng công nghệ thông tin điện tử Trong điều kiện đường xá đặc thù khả nhận biết phát biển báo, đường đèn giao thông quan trọng đóng vai trị quan trọng hệ thống ADAS Nhận thấy tầm quan trọng tính ứng dụng xe tự hành Trong đồ án chúng em tìm hiểu ngơn ngữ Python, thư viện OpenCV đặc trưng nhận diện biên ảnh để xây dựng ứng dụng thiết kế xe tự hành 1.2 TÌNH HÌNH NGHIÊN CỨU Xuất lần vào năm 1939, với tài trợ General Motors, hội chợ xe ô tô giới, xe tự lái chủ yếu phục vụ mục đích nghiên cứu khoa học Tuy nhiên, đến năm 2011, nghiên cứu xe tự hành rẽ sang hướng khác với mục tiêu giúp chất lượng sống người ngày tốt Một số hãng xe lớn như: General Motors, Audi, Volvo, BMW… bắt đầu chạy đua, cho mắt "đứa tinh thần" Các nước bắt đầu xem xét cho phép Hình 5.6: Ảnh trước sau chuyển đổi ảnh xám Lọc nhiễu trình loại bỏ nhiễu hình, đâu sử dụng lọc trung bình để lọc mức xám có chênh lệch lớn so với mức xám trung bình tồn ảnh Hình 5.7: Chương trình lọc nhiểu Blur 60 Hình 5.8: Ảnh xám trước sau lọc nhiễu Xác định đường biên: Ảnh lọc mịn đem xác định biên tạo đường biên có giá trị là giá trị nhị phân hình Ở bước ta xác đinh đường biên tìm điểm A hai điểm lân cận C B ta xác định có phải giái trị cực đại không tức giá trị lớn so với điểm lân cận ta có thể xác định tạm thời phần đường biên Hình 5.9 Chương trình phát cạnh Canny 61 Hình 5.10: Ảnh xử lý lấy cạnh sau lọc nhiễu Tách biên: Là q trình lọai bỏ liệu khơng phải biên xác định từ trước, lại đường biên 62 Hình 5.11: Chương trình cắt lấy vùng ROI ❖ Nhận diện đường xuất tín hiệu điều khiển Hình 5.12: Lưu đồ nhận diện đường xuất tín hiệu điều khiển Phát đường: Sau tách biên ảnh có đường biên song song khoảng nằm đường biên đường phát 63 Xác định tọa độ đường biên đường tâm đường: đường thẳng cấu thành từ điểm Cần xác định tọa độ điểm để xác định xác đường Đường tâm đường đường thẳng nằm song song cách đường biên Việc xác định đường tâm nhằm hổ trợ bước xác định góc lái Hình 5.13: Chương trình xác định đường phân cách trái phải đường 64 Xác định góc lái: góc lái xác định góc mà đường tâm tạo thành Việc xác định góc lái nhằm điều khiển động lái di chuyển đường hay nói cách khác di chuyển đường biên Hình 5.14: Chương trình xác định góc lái 65 Hình 5.15: Chương trình tính độ lệch góc lái so với 900 Xuất tín hiệu điều khiển: Sau xác định đường biên tạo nên đường góc lái Việc cuối xuất tín hiệu chân IO kết nối với mạch cầu H nhằm điều khiển động ga lái chạy theo đường phát 66 Hình 5.16: Thêm thư viện chương trình cấu hình chân IO Raspberry 67 Hình 5.17 Chương trình xuất tín hiệu điều khiển động dựa vào độ lệch 68 5.2 MỘT SỐ HÌNH ẢNH TRONG Q TRÌNH THI CƠNG Hình 18: Ảnh thực tế đường đoạn đường thẳng Hình 5.19: Ảnh đường đoạn đường thẳng 69 Chương 6: ĐÁNH GIÁ KẾT QUẢ, KẾT LUẬN Mục tiêu ban đâu đề tài “Xe tự hành theo đường ứng dụng xử lí ảnh board Raspberry” xe tự di chuyển theo đường xác định Dựa ngơn ngữ Python với thư viện OpenCV thực Kit Raspberry Sau trình nghiên cứu thực đề tài, Nhóm rút nhiều vấn đề khác nhau, từ việc sử dụng phần mềm, phương pháp giải thuật, sử dụng phần cứng Trong đó, gồm vấn đề sau: Đối với phần cứng, biết sử dụng Kit Raspberry, cài đặt hệ điều hành cho Raspberry, biết sử dụng Camera Pi Đối với phần mềm, biết cách lập trình Python với thư viện OpenCV, giải thuật liên quan đến đề tài 6.1 ĐÁNH GIÁ KẾT QUẢ Để có kết khách quan nhất, nhóm cho thử nghiệm mô nhiều lần nhằm đánh giá khả nhận diện đường, mức độ ổn định độ xác mơ hình tương đối cao 6.2 KẾT LUẬN Qua trình thực đề tài, nhóm biết sử dụng Rasberry chức máy tính nhúng, việc tạo file mới, tạo project mới, tìm hiểu Python Raspberry, cách chạy chương trình Python,… Đánh giá máy tính nhúng Raspberry cách khách quan, máy tính thiết kế nhỏ gọn, thuận tiện cho mơ hình khơng thích cồng kềnh, đáp ứng đủ chức máy tính bình thường, tốc độ xử lý tạm ổn cho dự án nhỏ, hệ thống chạy ổn đinh, dự án lớn cần cấu hình máy cao Raspberry chưa đáp ứng nhu cầu Đối với Model Camera Raspberry Pi có độ phân giải khơng q cao ngược lại có giá thành rẻ, với chất lượng ảnh phù hợp với việc xử lý ảnh 70 Sau qua thời gian tìm hiểu phương pháp nhận dạng, thuật tốn nhóm nhiều tuần để hồn thành Q trình thực đề tài giúp chúng em thu kết tốt, bổ sung nhiều phần kiến thức chưa hiểu rõ trình học tập hiểu rõ trình thiết kế, thực ý tưởng kỹ thuật đơn giản Môn học cho sinh viên chúng em môi trường làm việc thân thiện, sáng tạo, kích thích tìm tịi cơng nghệ đại 6.2.1 Kết đạt Sau tổng hợp kết đạt đem so sánh với yêu cầu mục tiêu thiết kế cho thấy sản phẩm thiết kế đáp ứng tương đối tốt, xác Có khả thi cơng mơ hình hoạt tốt thiết bị sử dụng nhỏ gọn, dễ dàng lắp đặt, có tính kinh tế, thuận tiện cho việc học tập phát triển thực tế 6.2.2 Điểm đề tài - Thiết kế đơn giản, rẻ tiền, dễ dàng lắp ráp sử dụng mang lại hiệu tương đối cao - Tạo tiền đề để ứng dụng vào giao thông thực tế Việt Nam nhằm giúp việc lưu thơng đường an tồn hơn, giảm rủi ro tai nạn giao thông không mong muốn - Ứng dụng xử lý ánh thay cho cảm biến (dò line,….) dễ xảy nhiễu, hoạt động khơng thực xác 6.2.3 Những mặt hạn chế Ngoài kết đạt cịn hạn chế sau - Do kinh nghiệm cịn hạn chế, nên q trình triển khai đồ án nhiều thời gian - Chưa sử dụng cơng nghệ tối ưu q trình thực - Việc thực xe tự hành thực tế phần lớn qua test mô phỏng, dừng lại mức nghiên cứu phục vụ giáo dục, chưa áp dụng vào hoàn toàn đời sống 71 6.3 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI NGHIÊN CỨU Từ mặt hạn chế đề tài, để đề tài hoạt động tốt áp dụng vào thực tế sau nhóm đề hướng phát triển sau: - Sử dụng thiết bị chuyên dụng cấu hình mạnh nhằm giúp cho mơ hình áp dụng vào thực tế hoạt động xác - Tìm hiểu phát triển thêm để đề tài hồn thiện có tính thực tế cao 72 TÀI LIỆU THAM KHẢO Nguyễn Thanh Hải, “Giáo Trình Xử lý ảnh”, Nhà xuất Đại Học Quốc Gia, Thành phố Hồ Chí Minh, 2014 Nguyễn Quang Hoan, “Xử lý ảnh”, Học Viện Bưu Chính Viên Thơng, 2006 Richard Blum, Christine Bresnahan, “Python Programming for Raspberry Pi”, 2014 Shawn Wallace, Matt Richardson, “Getting Started with Raspberry Pi”, 2012 Trần Công Dũng, Đinh Công Phong, “Ứng dụng xử lý ảnh phân loại chất lượng gạo”, Đồ Án Tốt Nghiệp Đại Học, Trường Đại Học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh, 2016 Doxygen, “OpenCV-Python Tutorials”, https://docs.opencv.org/, 2020 Facebook, “Cộng động OpenCV https://www.facebook.com/congdongopencv, 2020 73 xử lý ảnh Việt Nam”, PHỤC LỤC THÔNG TIN, SỐ LIỆU KHẢO SÁT VỀ XE TỰ HÀNH Chỉ 16% số người hỏi “rất có khả năng” xe tự hành, 28% số người hỏi khẳng định họ “hồn tồn khơng có khả năng” (Morning Consult) 22% người hỏi tin xe tự lái an toàn so với người bình thường lái xe, 35% số họ tin xe tự lái an toàn so với người lái xe bình thường (Morning Consult) 51% công dân Hoa Kỳ quan tâm đến luật để đảm bảo xe tự lái an toàn (Hiệp hội ô tô Hoa Kỳ ) 49% công dân Hoa Kỳ muốn biết họ dễ bị tin tặc công (Hiệp hội ô tô Hoa Kỳ) 72% người trưởng thành Mỹ cảm thấy an toàn ngồi xe tự lái họ có khả kiểm sốt có cố (Hiệp hội ô tô Hoa Kỳ) 57% công dân Mỹ nói họ muốn hiểu rõ người chịu trách nhiệm pháp lý trường hợp xảy va chạm với xe tự lái (Hiệp hội ô tô Hoa Kỳ) Theo người tiêu dùng, rào cản ngăn cản người tiêu dùng tồn giới sử dụng phương tiện tự lái - Bảo mật phương tiện chống lại tin tặc (73%) - Bảo mật hệ thống chống lại tin tặc (72%) - Xe tự lái bối rối trước tình bất ngờ (71%) 74