Mô hình xe tự hành sử dụng thị giác máy tính và kĩ thuật học sâu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN MƠ HÌNH XE TỰ HÀNH SỬ DỤNG THỊ GIÁC MÁY TÍNH VÀ KĨ THUẬT HỌC SÂU MÃ SỐ: SV2021-113 CHỦ NHIỆM ĐỀ TÀI: NGUYỄN HỒNG HẢI NAM SKC007639 Tp Hồ Chí Minh, tháng 10/2021 TIEU LUAN MOI download : skknchat123@gmail.com BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN Xe tự hành sử dụng thị giác máy tính và kĩ thuật học sâu Mã số: SV2021-113 Thuộc nhóm ngành khoa học: CNKT Điều Khiển Tự Động Hóa SV thực hiện: Ngũn Hồng Hải Nam Nam, Nữ: Nam Phạm Duy Hưng Nam Lê Huy Phương Nam Dân tộc: Kinh Lớp: 18151CLA2 Khoa: Khoa Đào tạo Chất lượng cao Năm thứ: /Số năm đào tạo: Ngành học: CNKT Điều Khiển Tự Động Hóa Sinh viên chịu trách nhiệm: Nguyễn Hoàng Hải Nam Người hướng dẫn: PGS.TS Lê Mỹ Hà TIEU LUAN MOI download : skknchat123@gmail.com PHẦN MỞ ĐẦU 10 Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài 10 Lý chọn đề tài 13 Mục tiêu đề tài 14 Phương pháp nghiên cứu 14 Đối tượng nghiên cứu 15 Phạm vi nghiên cứu 15 CƠ SỞ LÍ THUYẾT 16 CHƯƠNG 1: CÁC NGUYÊN LÍ CỦA XE TỰ HÀNH 16 1.1 Giới thiệu xe tự hành 16 1.2 Các công nghệ sử dụng xe tự hành 17 1.2.1 Lidar 18 1.2.2 GPS 21 1.2.3 Camera 22 1.2.4 Cảm biến siêu âm 23 1.3 Tổng quan ứng dụng trí tuệ nhân tạo xe tự lái 24 1.3.1 Artificial Inteligence 24 1.3.2 Machine learning 25 1.3.3 Học sâu 27 1.3.4 Ứng dụng mạng thần kinh học sâu lĩnh vực xe tự lái .29 CHƯƠNG 2: MẠNG THẦN KINH NHÂN CHẬP 31 2.1 Giới thiệu mạng thần kinh nhân chập 31 2.2 Cấu trúc mạng thần kinh nhân chập 32 2.2.1 Lớp nhân chập 32 2.2.2 Hàm kích hoạt 35 2.2.3 Bước sải và bước đệm 36 2.1.4 Lớp pooling 37 2.1.5 Fully-Connected Layer 38 CHƯƠNG 3: TỔNG QUA VỀ PHÂN ĐOẠN ẢNH 40 TIEU LUAN MOI download : skknchat123@gmail.com 3.1 Giới thiệu phân đoạn ảnh 40 3.2 Nhiệm vụ phân khúc hình ảnh 40 3.3 Cấu trúc mạng phân khúc hình ảnh 41 3.3.1 Upsampling 42 3.3.2 UNet 44 3.4 BiSeNet 45 3.4.1 Spatial Information và Receptive Field 45 3.4.2 Global average pooling 46 3.4.3 Cấu trúc BiSeNet 47 3.4.4 Lợi ích mạng phân đoạn ảnh so với xử lí ảnh truyền thống 49 3.5 Bộ liệu phân đoạn ảnh (dataset) 52 3.5.1 Bộ liệu Cityscapes 52 3.6 Ứng dụng phân khúc hình ảnh xác định đích đến 53 CHƯƠNG 4: MÔ HÌNH VÀ THUẬT TOÁN ĐIỀU KHIỂN 55 4.1 Mơ hình tḥt toán xe tự hành 55 4.1.1 Động học lái Ackermann 55 4.1.2 Phân tích mơ hình động học xe tơ 55 4.1.3 Phân tích động lực học mơ hình xe ô tô 57 4.2 Thiết kế điều khiển 58 4.2.1 Giải thuật điều khiển bánh lái cho xe tự hành 58 4.2.2 Bộ điều khiển Pure Pursuit 58 4.2.3 Bộ điều khiển Stanley 59 4.3 Giải thuật PID điều khiển tốc độ cho xe 60 4.4 Phương pháp điều khiển 61 CHƯƠNG 5: THIẾT KẾ PHẦN CỨNG MÔ HÌNH XE TỰ HÀNH 62 CHƯƠNG KẾT QUẢ NGHIÊN CỨU VÀ ĐÁNH GIÁ 63 KẾT LUẬN VÀ KIẾN NGHI 67 TÀI LIỆU THAM KHẢO: 68 PHỤ LỤC 70 TIEU LUAN MOI download : skknchat123@gmail.com DANH MỤC BẢNG BIỂU TIEU LUAN MOI download : skknchat123@gmail.com DANH MỤC CÁC TỪ VIẾT TẮT ADAS: Advacne Driving Assistance System AI: Artificial Inteligence CP: Context Path CNN: Convolutional neural network DL: Deep Learning GPS: Global Positioning System LIDAR: Light Detection And Ranging ML: Machinge learning RADAR: Radio Detection And Ranging SP: Spatial Path TIEU LUAN MOI download : skknchat123@gmail.com BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Xe tự hành sử dụng thị giác máy tính kĩ thuật học sâu - Chủ nhiệm đề tài: Nguyễn Hoàng Hải Nam - Lớp: 18151CLA2 - Mã số SV: 18151021 Khoa: Đào tạo Chất lượng cao Thành viên đề tài: Stt - Người hướng dẫn: PGS.TS Lê Mỹ Hà Mục tiêu đề tài: Thiết kế mơ hình xe tự lái ứng dụng thị giác máy tính kỹ thuật học sâu Tính mới và sáng tạo: Sử dụng kỹ thuật phân đoạn ảnh dựa kiến trúc BiseNet cho độ chính xác tương đối cao, kỹ thuật trích xuất tọa độ biên dạng đường cho kết quả ổn định TIEU LUAN MOI download : skknchat123@gmail.com Kết nghiên cứu: Mạng phân đoạn ảnh phân tách hình ảnh đường từ camera gắn mơ hình xe, Tḥt toán PID cho xe tự hành, Mơ hình xe tự hành kích cỡ 1/10 nguyên gốc tích hợp với camera máy tính nhúng Jetson Đóng góp mặt giáo dục và đào tạo, kinh tế - xã hội, an ninh, q́c phịng và khả áp dụng đề tài: Công bố khoa học SV từ kết nghiên cứu đề tài (ghi rõ tên tạp chí có) nhận xét, đánh giá sở áp dụng các kết quả nghiên cứu (nếu có): Ngày 14 tháng 10 năm 2021 SV chịu trách nhiệm chính thực đề tài (kí, họ tên) Nguyễn Hoàng Hải Nam TIEU LUAN MOI download : skknchat123@gmail.com SV Nhận xét người hướng dẫn đóng góp khoa học SV thực đề tài: Ngày 14 tháng 10 năm 2021 Người hướng dẫn (kí, họ tên) TIEU LUAN MOI download : skknchat123@gmail.com PHẦN MỞ ĐẦU Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài Công nghệ xe tự hành cái tên được nhắc đến từ rất lâu trở thành cái tên tiên phong giới công nghệ mà các nước giới theo đuổi Bằng chứng cho thấy có rất nhiều robot tự hành được sử dụng rộng rãi các chuỗi sản xuất nhà máy khiến cho công suất làm việc tăng lên đáng kể, đáp ứng kịp thời cho cầu Khơng dừng lại đó, có thể chứng kiến nhiều thiết bị tự vận hành đời ví dụ xe tự hành đến từ công ty Tesla Tesla làm bật giá trị vượt trội về công nghệ giới Về sau cịn rất nhiều cơng ty giới theo công nghệ Ngay cả đất nước Việt Nam chúng ta, VinGroup tập đoàn FPT đơn vị hoi tiên phọng lĩnh vực xe tự hành có nhiều sự cải tiến sản phẩm chạm gần tới giấc mơ làm làm chủ xe tự hành Việt Nam Ý tưởng về xe tự hành bắt đầu từ năm kỷ 20 mà cịn điều viễn tưởng, mơ mộng thiếu thực tế Xe tự hành xuất chương trình Disney từ năm 1958, chương trình diễn tả tương lai xe tự hành chạy đường cao tốc các dải màu địa vị về mã hóa thẻ đục lỗ Chỉ đên năm 1980, máy tính công nghệ phát triển mạnh, cơng nghệ tự hành bắt đầu được thực hóa Nhìn chung, lĩnh vực xe tự hành được chia làm ba giai đoạn chính: Nguyên cứu nền tảng, Các thử thách vĩ đại Thương mại hóa Ở kỉ nguyên giai đoạn đầu, số các trường đại học, số trung tâm kết hợp với các công ty vận tải công ty ô tô tập trung vào hướng phát triển xe tự hành dựa sở hạ tầng cao tốc để dẫn đường nhờ vào miếng nam châm tương tác các xe khác; sở được sử dụng cho các robot xếp hàng xưởng ngày Về sau phát triển lên hướng xe tự hành ít phụ thuộc Kết quả được ghi nhận tốt nhất đến từ trường đại học Bundeswehr Munich Đức mà xe đạt đến tốc độ 100 km/h điều kiện các phương tiện khác Ở thời điểm các thử thách vĩ đại, các trường các tổ chức cố gắng đạt cách thành tựu khác đạt khoảng cách 150 dặm hay đường đô thị đảm bảo theo luật giao thông, số tập thể nhỏ đạt được thành tích đáng khen ngợi từng bước bước vào giai đoạn thương mại hóa Thời kỳ thương mại hóa, các thử thách vĩ đại trước củng cố mối quan 10 Hình 4.6 Minh họa mơ hình giải tḥt Stanlley [11] Góc lái xe được xác định hình học theo cơng thức sau: −1 ()= ( ( ) ) (4.5) ( ) ψ Trong trường hợp lỗi hướng di chuyển (heading error) lớn lấy góc lệch yaw tại thời điểm t cộng với góc lái tại để xe nhanh chóng về lại vị trí mong muốn ()= ()+ −1 ( Trong trường hợp lỗi đường cắt ngang lớn biểu thức xấp xỉ Π −1 ( ( ) ) được + ( ) nhằm ổn định góc lái ( )= ( )+ −1 ( ( ) ) = ( )+ (4.7) + ( ) 4.3 Giải thuật PID điều khiển tốc độ cho xe Nhằm giúp phương tiện di chuyển với tốc độ mong muốn ổn định thời gian ngắn nhất, PID được sử dụng để giảm sai số vận tốc tại xe vận tốc mong muốn 60 TIEU LUAN MOI download : skknchat123@gmail.com Hình 4.7 Mô hình giải thuật PID điều khiển tốc độ xe Với x vận tốc mong muốn, xlà vận tốc tại xe k ref số PID cho trước Gia tốc tại thời điểm x 4.8 ̈ ⅆ 4.4 Phương pháp điều khiển Hình 4.8 Phương pháp điều khiển xe tự hành 61 TIEU LUAN MOI download : skknchat123@gmail.com CHƯƠNG 5: THIẾT KẾ PHẦN CỨNG MÔ HÌNH XE TỰ HÀNH Mơ hình xe tự hành tỉ lệ 1/10 bao gồm mơ hình xe điều khiển kích thước 1/10, camera Logitech C270, máy tính nhúng Jetson TX2, pin Lipo 3200mah, ESC điều tốc động không chổi than 60A, 2s, mạch driver mở rộng 16 chân servo PCA-9685 Thiết kế mơ hình có nhiều cải tiến so với thiết kế trước [2] ví dụ camera góc hẹp nên được đặt cao lên giúp bắt được hầu hết phần đường, khung xe được gá thêm lị xo giảm sốc, board mạch có ốp bảo vệ, Hình 5.1 Sơ đồ khối hoạt động của xe tự hành 62 TIEU LUAN MOI download : skknchat123@gmail.com Hình 5.2 Phần cứng sử dụng đề tài CHƯƠNG KẾT QUẢ NGHIÊN CỨU VÀ ĐÁNH GIÁ Mơ hình xe trải qua thử nghiệm mô nền tảng Unity trước đưa vào thực tế Dựa liệu đường mô được huấn luyện trả góc lái sau đưa vào điều khiển xe 6.1 Kết mô phỏng xe tự hành tảng Unity Unity game engine đa nền tảng được phát triển Unity Technologies, chủ yếu để phát triển video game cho máy tính, consoles điện thoại Unity hỗ trợ đồ họa 2D 3D, các chức được viết chủ yếu qua ngôn ngữ C# Javascript Ưu điểm Unity 3D Design không cần Render, thiết kế Map, giao diện, nhân vật từ phần mềm khác việc tối ưu hóa nội dung khả chia sẻ bản thiết kế[17] 63 TIEU LUAN MOI download : skknchat123@gmail.com Hình 6.1: Mô xe tự hành nền tảng Unity của Cuộc Đua Số - FPT Hình 6.1a: Kết mạng phân đoạn ảnh phần mềm mô Mạng phân đoạn ảnh trích x́t biên đường sau dùng lượng giác để trích x́t tọa đợ biên, từ xác định được góc lái của xe 64 TIEU LUAN MOI download : skknchat123@gmail.com Hình 6.1b: Kết phân đoạn ảnh góc lái quá trình mơ 6.2 Kết mơ hình xe thực tế Mơ hình xe được thử nghiệm trục đường khu C Trường Đại học SPKT Kết quả phân đoạn ảnh quá trình xe chạy được thể hình dưới: Hình 6.2: Kết phân đoạn (2 lớp) từ mạng BiseNet dựa liệu huấn luyện từ bộ data Cityscapes liệu có sẵn 65 TIEU LUAN MOI download : skknchat123@gmail.com Hình 6.2a: Phân tách biên dạng đường từ kỹ thuật tách biên Canny Edge Detection Hình 6.2b: Trích xuất tọa độ lane đường từ biên dạng lượng giác xuất góc lái để điểu khiển bánh lái 66 TIEU LUAN MOI download : skknchat123@gmail.com KẾT LUẬN VÀ KIẾN NGHI Trong này, nhóm tác giả sử dụng mạng thần kinh tích chập để thực việc phân đoạn ảnh từ liệu Camera Sau tách được biên đường từ ảnh phân đoạn, trích xuất tọa độ biên đường dựa vào lượng giác, từ suy được góc lái để điều khiển xe Để xe di chuyển mượt đường, nhóm đề xuất cảm biển GPS va IMU để giúp khả định vị bản đồ tình hình dịch COVID-19 nên kế hoạch bị hoãn lại 67 TIEU LUAN MOI download : skknchat123@gmail.com TÀI LIỆU THAM KHẢO: S Verghese, "Self-driving cars and lidar," 2017 Conference on Lasers and Electro-Optics (CLEO), 2017, pp 1-1 W Vijitkunsawat and P Chantngarm, "Comparison of Machine Learning Algorithm’s on Self-Driving Car Navigation using Nvidia Jetson Nano," 2020 17th International Conference on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI-CON), 2020, pp 201204, doi: 10.1109/ECTI-CON49241.2020.9158311 Wikipedia contributors (2021, October 10) Global Positioning System In Wikipedia, The Free Encyclopedia Retrieved 15:34, October 13, 2021, from https://en.wikipedia.org/w/index.php?title=Global_Positioning_System&oldi d=1049134903 G Verma, C Taluja and A K Saxena, "Vision Based Detection and Classification of Disease on Rice Crops Using Convolutional Neural Network," 2019 International Conference on Cutting-edge Technologies in Engineering (ICon-CuTE), 2019, pp 1-4, doi: 10.1109/ICon-CuTE47290.2019.8991476 Wikipedia contributors (2021, October 10) Convolutional neural network In Wikipedia, The Free Encyclopedia Retrieved 15:38, October 13, 2021, from https://en.wikipedia.org/w/index.php?title=Convolutional_neural_network&o ldid=1049198248 N N, P Patil, S Patil and M Kokatanur, "Alpha Beta Pruned UNet - A Modified UNet Framework to Segment MRI Brain Image to Analyse the Effects of CNTNAP2 Gene towards Autism Detection," 2021 3rd International Conference on Computer Communication and the Internet (ICCCI), 2021, pp 2326, doi: 10.1109/ICCCI51764.2021.9486783 Y Hu et al., "Fully Automatic Pediatric Echocardiography Segmentation Using Deep Convolutional Networks Based on BiSeNet," 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2019, pp 6561-6564, doi: 10.1109/EMBC.2019.8856457 H Huang et al., "UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation," ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2020, pp 1055-1059, doi: 10.1109/ICASSP40776.2020.9053405 H Heiser, Vehicle and Engine Technology, 2nd ed., Society of Automotive Engineers, 1999 68 TIEU LUAN MOI download : skknchat123@gmail.com 10 Kong, Jason & Pfeiffer, Mark & Schildbach, Georg & Borrelli, Francesco (2015) Kinematic and dynamic vehicle models for autonomous driving control design 1094-1099 10.1109/IVS.2015.7225830 11 Thrun S et al (2007) Stanley: The Robot That Won the DARPA Grand Challenge In: Buehler M., Iagnemma K., Singh S (eds) The 2005 DARPA Grand Challenge Springer Tracts in Advanced Robotics, vol 36 Springer, Berlin, Heidelberg https://doi.org/10.1007/978-3-540-73429-1_1 12 Gabriel M Hoffmann, Claire J Tomlin, Michael Montemerlo, Sebastian Thrun, Autonomous Automobile Trajectory Tracking for Off-Road Driving: Controller Design, Experimental Validation and Racing, 2007 American Control Conference, July 2007 13 Linda G Shapiro and George C Stockman (2001): “Computer Vision”, pp 279– 325, New Jersey, Prentice-Hall, ISBN 0-13-030796-3K Elissa, “Title of paper if known,” unpublished 14 Kentaro Wada, labelme: Image Polygonal Annotation with Python, https://github.com/wkentaro/labelme, 2016 15 R Kulkarni, S Dhavalikar and S Bangar, "Traffic Light Detection and Recognition for Self Driving Cars Using Deep Learning," 2018 Fourth International Conference on Computing Communication Control and Automation (ICCUBEA), 2018, pp 1-4, doi: 10.1109/ICCUBEA.2018.8697819 16 W Lin, W Hsu and Y Chiang, "A Combination of Feedback Control and Vision-Based Deep Learning Mechanism for Guiding Self-Driving Cars," 2018 IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR), 2018, pp 262-266, doi: 10.1109/AIVR.2018.00062 17 D Ansari and G Kochar, "Simulation of Steering a Self-Driving Car Using 1) PID Controller 2) Neural Network," 2019 International Conference on Smart Systems and Inventive Technology (ICSSIT), 2019, pp 212-218, doi: 10.1109/ICSSIT46314.2019.8987865 69 TIEU LUAN MOI download : skknchat123@gmail.com PHỤ LỤC 70 TIEU LUAN MOI download : skknchat123@gmail.com TIEU LUAN MOI download : skknchat123@gmail.com ... Kết nghiên cứu: Mạng phân đoạn ảnh phân tách hình ảnh đường từ camera gắn mơ hình xe, Tḥt toán PID cho xe tự hành, Mơ hình xe tự hành kích cỡ 1/10 nguyên gốc tích hợp với camera... skknchat123@gmail.com Hình Xe điện tự hành Waymo Google Việt nam từng bước phát triển công nghệ xe tự hành Khi nói về cơng nghệ xe tự hành, khao khát được chạm tới công nghệ lại mà không cần chạm vào... suất 1.3.3 Học sâu Deep learning (DL) hay học sâu kĩ thuật học máy dạy cho máy tính cách học người bình thường, qua các ví dụ Học sâu kĩ thuật trọng điểm giúp cho xe không người