Nghiên cứu thuật toán điều khiển bám line và tránh vật cản của mobile robot sử dụng camera

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ NGHIÊN CỨU THUẬT TOÁN ĐIỀU KHIỂN BÁM LINE VÀ TRÁNH VẬT CẢN CỦA MOBILE ROBOT SỬ DỤNG CAMERA GVHD: TS HÀ LÊ NHƯ NGỌC THÀNH SVTH: LÊ ĐỨC TÍNH VĂN CÔNG TRỰC NGUYỄN XUÂN HIẾU S K L 1 Tp Hồ Chí Minh, tháng 7/2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CƠ KHÍ CHẾ TẠO MÁY ĐỒ ÁN TỐT NGHIỆP Đề tài: “Nghiên cứu thuật toán điều khiển bám line tránh vật cản mobile robot sử dụng camera” Giảng viên hướng dẫn: TS HÀ LÊ NHƯ NGỌC THÀNH Sinh viên thực hiện: LÊ ĐỨC TÍNH 19146403 VĂN CƠNG TRỰC 19146412 NGUYỄN XN HIẾU 19146334 Lớp: 191461 Khóa: 2019 − 2023 Mã đề tài: 22223DT116 TP Hồ Chí Minh, tháng 07/2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập - Tự – Hạnh phúc NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Học kỳ II/ năm học 2022-2023 Giảng viên hướng dẫn: TS HÀ LÊ NHƯ NGỌC THÀNH Sinh viên thực hiện: LÊ ĐỨC TÍNH MSSV: 19146403 Điện thoại: 0332 323 380 VĂN CÔNG TRỰC MSSV: 19146412 Điện thoại: 0374 005 891 NGUYỄN XUÂN HIẾU MSSV: 19146334 Điện thoại: 0763 650 815 Mã số đề tài: Tên đề tài: Nghiên cứu thuật toán điều khiển bám theo line tránh vật cản mobile robot sử dụng camera Các số liệu, tài liệu ban đầu: - Mô hình xe tự hành QCar Lab - Các chương trình mẫu để thiết lập khởi chạy QCar Nội dung đồ án: - Nghiên cứu thuật toán điều khiển mobile robot bám theo line - Thuật toán xử lý ảnh phát line - Thuật toán tránh vật cản động/tĩnh bám line Các sản phẩm dự kiến - Thuật toán nhận diện line, bám theo line cho xe tự hành - Thuật toán tránh vật cản tĩnh động - Thuật toán điều khiển xe tránh vật cản bám theo line Ngày giao đồ án: 15/3/2023 Ngày nộp đồ án: 15/7/2023 Ngơn ngữ trình bày: Bản báo cáo: Tiếng Anh  Tiếng Việt  Trình bày bảo vệ: Tiếng Anh  Tiếng Việt  TRƯỞNG KHOA TRƯỞNG BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) i TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập − Tự – Hạnh phúc Bộ môn Cơ điện tử PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên hướng dẫn) Họ tên sinh viên: LÊ ĐỨC TÍNH MSSV: 19146403 Hội đồng: Họ tên sinh viên: VĂN CÔNG TRỰC MSSV: 19146412 Hội đồng: Họ tên sinh viên: NGUYỄN XUÂN HIẾU MSSV: 19146334 Hội đồng: Tên đề tài: NGHIÊN CỨU THUẬT TOÁN ĐIỀU KHIỂN BÁM THEO LINE VÀ TRÁNH VẬT CẢN CỦA MOBILE ROBOT SỬ DỤNG CAMERA Ngành đào tạo: Công nghệ Kỹ thuật Cơ điện tử Họ tên GV hướng dẫn: TS HÀ LÊ NHƯ NGỌC THÀNH Ý KIẾN NHẬN XÉT Nhận xét tinh thần, thái độ làm việc sinh viên Nhận xét kết thực ĐATN 2.1 Kết cấu, cách thức trình bày ĐATN: 2.2 Nội dung đồ án: (Cơ sở lý luận, tính thực tiễn khả ứng dụng đồ án, hướng nghiên cứu tiếp tục phát triển) 2.3 Kết đạt được: ii 2.4 Những tồn (nếu có): Đánh giá: Mục đánh giá TT Hình thức kết cấu ĐATN Điểm tối đa Điểm đạt 30 Đúng format với đầy đủ hình thức nội dung mục 10 Mục tiêu, nhiệm vụ, tổng quan đề tài 10 Tính cấp thiết đề tài 10 Nội dung ĐATN 50 Khả ứng dụng kiến thức toán học, khoa học kỹ thuật, khoa học xã hội… Khả thực hiện/phân tích/tổng hợp/đánh giá 10 Khả thiết kế chế tạo hệ thống, thành phần, quy trình đáp ứng yêu cầu đưa với ràng buộc thực tế 15 Khả cải tiến phát triển 15 Khả sử dụng công cụ kỹ thuật, phần mềm chuyên ngành… Đánh giá khả ứng dụng đề tài 10 Sản phẩm cụ thể ĐATN 10 Tổng điểm 100 Kết luận:  Được phép bảo vệ  Khơng phép bảo vệ TP.Hồ Chí Minh, ngày … tháng … năm 2023 Giảng viên hướng dẫn (Ký, ghi rõ họ tên) iii TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập − Tự – Hạnh phúc Bộ môn Cơ điện tử PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên phản biện) Họ tên sinh viên: LÊ ĐỨC TÍNH MSSV: 19146403 Hội đồng: Họ tên sinh viên: VĂN CÔNG TRỰC MSSV: 19146412 Hội đồng: Họ tên sinh viên: NGUYỄN XUÂN HIẾU MSSV: 19146334 Hội đồng: Tên đề tài: NGHIÊN CỨU THUẬT TOÁN ĐIỀU KHIỂN BÁM THEO LINE VÀ TRÁNH VẬT CẢN CỦA MOBILE ROBOT SỬ DỤNG CAMERA Ngành đào tạo: Công nghệ Kỹ thuật Cơ điện tử Họ tên GV phản biện: Ý KIẾN NHẬN XÉT Kết cấu, cách thức trình bày ĐATN: Nội dung đồ án: (Cơ sở lý luận, tính thực tiễn khả ứng dụng đồ án, hướng nghiên cứu tiếp tục phát triển) Kết đạt được: Những thiếu sót tồn ĐATN: Câu hỏi: iv Đánh giá: Mục đánh giá TT Hình thức kết cấu ĐATN Điểm tối đa Điểm đạt 30 Đúng format với đầy đủ hình thức nội dung mục 10 Mục tiêu, nhiệm vụ, tổng quan đề tài 10 Tính cấp thiết đề tài 10 Nội dung ĐATN 50 Khả ứng dụng kiến thức toán học, khoa học kỹ thuật, khoa học xã hội… Khả thực hiện/phân tích/tổng hợp/đánh giá 10 Khả thiết kế, chế tạo hệ thống, thành phần, quy trình đáp ứng yêu cầu đưa với ràng buộc thực tế 15 Khả cải tiến phát triển 15 Khả sử dụng công cụ kỹ thuật, phần mềm chuyên ngành… Đánh giá khả ứng dụng đề tài 10 Sản phẩm cụ thể ĐATN 10 Tổng điểm 100 Kết luận:  Được phép bảo vệ  Khơng phép bảo vệ TP.Hồ Chí Minh, ngày … tháng … năm 2023 Giảng viên phản biện (Ký, ghi rõ họ tên) v LỜI CẢM ƠN Tên đề tài: NGHIÊN CỨU THUẬT TOÁN ĐIỀU KHIỂN BÁM THEO LINE VÀ TRÁNH VẬT CẢN CỦA MOBILE ROBOT SỬ DỤNG CAMERA GVHD: TS HÀ LÊ NHƯ NGỌC THÀNH Sinh viên thực hiện: LÊ ĐỨC TÍNH MSSV: 19146403 Sinh viên thực hiện: VĂN CÔNG TRỰC MSSV: 19146412 Sinh viên thực hiện: NGUYỄN XUÂN HIẾU MSSV: 19146334 Số điện thoại: 0332 323 380 Email: ldtinh1801@gmail.com Lời cam kết: “Tôi xin cam đoan đề tài cơng trình chúng tơi nghiên cứu thực Tôi không chép từ viết đã công bố mà không trích dẫn nguồn gốc Nếu có vi phạm nào, tơi xin chịu hồn tồn trách nhiệm” Lời cảm ơn: Chúng em xin bày tỏ lòng biết ơn sâu sắc tới thầy Hà Lê Như Ngọc Thành tận tình hướng dẫn nhóm chúng em q trình thực đề tài Chúng em xin chân thành cảm ơn Khoa Cơ khí Chế tạo máy, trường đại học Sư phạm Kỹ thuật TP Hồ Chí Minh tạo điều kiện thuận lợi cho chúng em học tập thực đề tài tốt nghiệp Chúng em xin chân thành cảm ơn quý thầy cô phản biện, hội đồng bảo vệ đồ án giúp đỡ chúng em nhìn nhận thiếu sót giúp chúng em góp ý điều chỉnh Chúng em xin chân thành cảm ơn q thầy khoa Cơ khí Chế tạo tận tình giảng dạy, trang bị cho em kiến thức quý báu năm học vừa qua TP Hồ Chí Minh, ngày 15 tháng năm 2023 vi TĨM TẮT ĐỒ ÁN NGHIÊN CỨU THUẬT TỐN ĐIỀU KHIỂN BÁM THEO LINE VÀ TRÁNH VẬT CẢN CỦA MOBILE ROBOT SỬ DỤNG CAMERA Trong thời đại công nghệ, dạng xe tự hành khơng cịn q xa lạ, để đáp ứng yêu cầu tự hành ổn định an tồn, loại xe ln cập nhật tính thuật tốn Đồ án nghiên cứu thuật tốn để điều khiển robot dạng tơ bám theo đường vẽ có màu sắc cụ thể, đồng thời trình di chuyển theo đường vẽ, robot phát vật cản thực tránh né, sau tiếp tục trở lại hướng cũ để tiếp tục bám theo đường vẽ Đề tài mở rộng cho robot di chuyển đường vẽ vật cản di chuyển được, yêu cầu robot tránh vật cản động trở lại di chuyển theo đường vẽ Phương pháp điều khiển sử dụng đề tài PID, với kết robot hoạt động, chưa đạt mức độ ổn định hoàn toàn, tương lai nghiên cứu kết hợp với điều khiển phi tuyến để hệ thống ổn định ABSTRACT RESEARCH LINE TRACKING AND OBSTACLE AVOIDING ALGORITHM FOR MOBILE ROBOT USING CAMERA In the age of technology, autonomous vehicles are not unfamiliar, in order to meet the requirements of stable and safe self-driving, these vehicles are always being updated with their features and algorithms Our project is to research an algorithm for controlling a car-like robot to follow a drawn line with a specific color, and while moving along the drawn line, if the robot detects any obstacle, it will avoid, then back to the old direction to continue following the line The topic is extended to the robot moving on the drawn line and the movable obstacle, the robot will be asked to avoid this dynamic obstacle and return to move along the line The control method used in the project is PID, with the current results, the robot has been operating, but has not been completely stable yet In the future, the PID controller will be combinated with nonlinear control to make the system more stable vii MỤC LỤC PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP ii PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP iv LỜI CẢM ƠN vi TÓM TẮT ĐỒ ÁN vii ABSTRACT vii MỤC LỤC viii DANH MỤC SƠ ĐỒ, HÌNH ẢNH xii DANH MỤC BẢNG xvii DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT xviii MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ nghiên cứu 2.1 Mục tiêu 2.2 Nhiệm vụ Phương pháp nghiên cứu Bố cục NỘI DUNG CHƯƠNG 1: TỔNG QUAN VỀ XE TỰ HÀNH 1.1 Giới thiệu chung 1.2 Các ứng dụng xe tự hành giới Việt Nam 1.2.1 Trên giới 1.2.2 Ở Việt Nam CHƯƠNG 2: GIỚI THIỆU MƠ HÌNH NGHIÊN CỨU CỦA ĐỀ TÀI 2.1 Tổng quan robot QCar 2.2 Chi tiết cấu tạo viii Hình 5.31 Đồ thị vị trí bám line tránh vật cản Hình 5.32 Đồ thị góc robot vật cản 94 Hình 5.33 Đồ thị khoảng cách từ robot đến vật cản Hình 5.34 Đồ thị góc đánh lái tránh vòng quanh vật cản Quan sát đồ thị, ta thấy góc ơm quanh vật cản robot kéo dài góc ơm quanh vật cản thực nghiệm trước đó, đáp ứng ổn định khơng có vọt lố 95 Hình 5.35 Đồ thị chuyển đổi hai điều khiển bám line tránh vật cản Đối với vật cản đặt cạnh nhau, xem vật cản có kích thước lớn, chuyển đổi thuật toán hoạt động ổn định − Tránh vật cản đặt ngẫu nhiên: Hình 5.36 Mơ hình thực nghiệm robot bám line trịn tránh vật cản đặt ngẫu nhiên 96 Hình 5.37 Đồ thị vị trí robot bám line trịn tránh vật cản Đồ thị có sai lệch, cộng thêm sai lệch từ trình tránh vật cản nên đồ thị bị lệch lớn, tương lai tìm cách khắc phục tượng sai lệch này, hướng khắc phục cho vấn đề điều chỉnh lại số khoảng cách hai cụm bánh xe, lọc góc đánh lái, lọc tốc độ động Trong tương lai, đề tài kết hợp IMU, camera lidar để tăng độ xác thuật tốn xấp xỉ vị trí Nếu thuật tốn xấp xỉ vị trí ổn định, cịn mở rộng thêm điều khiển vị trí điều khiển robot di chuyển theo quỹ đạo 97 Hình 5.38 Đồ thị góc robot vật cản Nhận xét: Đồ thị góc alpha có nhiễu, lọc nhiễu hoạt động tốt trường hợp Vật cản thứ (first obstacle) vật cản đơn nên góc 𝛼 khơng có ngắt quãng, vật cản thứ hai (second obstacle) ghép lại từ hai vật cản nhỏ nên chúng có khoảng hở, khoảng hở khiến góc 𝛼 có khoảng 𝑔𝑎𝑝 98 Hình 5.39 Đồ thị khoảng cách từ robot đến vật cản Bộ lọc nhiễu dùng cho khoảng cách tương tự lọc nhiễu cho góc 𝛼, đồ thị cho thấy lọc hoạt động tốt Giống đồ thị góc 𝛼, đồ thị khoảng cách có khoảng 𝑔𝑎𝑝 khoảng hở hai vật cản ghép với 99 Hình 5.40 Đồ thị góc đánh lái tránh vịng quanh vật cản Góc đánh lái đáp ứng tốt khơng có vọt lố Khi gặp vật cản, robot thực đánh lái sang phải để tránh vật cản, sau quay ngược lại để chạy quanh vật cản đến gặp lại line 6.2.5 Bám line kết hợp Hình 5.41 Mơ hình thực nghiệm robot bám line kết hợp 100 Hình 5.42 Đồ thị vị trí robot bám line kết hợp Hình 5.43 Đồ thị góc đánh lái bám line Khi robot tiến đến vị trí giao đường thẳng đường tròn (vùng intersection), góc đánh lái có thay đổi trọng tâm đường line đột ngột lệch sang phải Như đề cập, phịng thí nghiệm có đường dốc (vùng disturbance) chạy qua đường line tròn robot nên đồ thị xuất hai đoạn có góc đánh lái bị thay đổi lớn lên xuống dốc 101 6.2.6 Bám line kết hợp tránh vật cản Hình 5.44 Mơ hình thực nghiệm robot bám line kết hợp tránh vật cản Hình 5.45 Đồ thị vị trí robot bám line kết hợp tránh vật cản Đồ thị vị trí robot có sai lệch lớn so với đường chính, ngun nhân nói sai số bị khâu tích phân cộng dồn, ngồi sau lần tránh vật cản, góc đánh lái thay đổi từ bám line sang tránh vật cản ngược lại khiến hàm vẽ vị trí có sai lệch Đường di chuyển robot đồ thị có giao với đường trịn an tồn vật cản, nên vị trí này, chương trình khơng tính góc tránh vật cản, robot thẳng 102 Hình 5.46 Đồ thị góc đánh lái tránh vịng quanh vật cản Từ đồ thị góc đánh lái, ta thấy có khoảng 𝑢𝑛𝑠𝑎𝑓𝑒 mà góc đánh lái Ngun nhân nói khoảng cách robot đến vật cản lúc nhỏ bán kính an tồn vật cản, góc xuất cho robot 0, robot thẳng Để quan sát cụ thể, theo dõi đồ thị khoảng cách đến vật cản bên dưới, khoảng thời gian từ khoảng − 10 giây, khoảng cách vật cản đến robot giảm xuống nhỏ bán kính an tồn, nên tín hiệu điều khiển góc xuất 103 Hình 5.47 Đồ thị khoảng cách từ robot đến vật cản 104 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Đề tài dựa tảng kiến thức xử lý ảnh, tư lập trình, kiến thức sử dụng cơng cụ lập trình Matlab, Simulink, kỹ hoạt động nhóm, qua triển khai thuật tốn điều khiển thành cơng mơ hình xe tự hành Quanser QCar di chuyển bám line tránh vật cản Tiếp đến đề tài tìm hiểu thuật tốn điều khiển, ứng dụng vào giải thuật tìm line robot tránh né vật cản, đảm bảo xe tự hành di chuyển đến vị trí khác có gắn line mà khơng va chạm vật cản Các kết thực nghiệm cho thấy, xe tránh vật cản mà LiDAR phát Kích thước vật cản lớn khả phát LiDAR tốt khả vòng tránh ổn định Sau tránh vật cản, phát đường line xe tiếp tục thực chức bám line Những kết việc ứng dụng điều khiển xe tự hành tránh vật cản bám quỹ đạo từ phát triển cho tốn khác điều khiển di chuyển bám tường, bám mục tiêu di động, di chuyển nhiều xe bám line mà không va chạm với Những kết áp dụng khơng cho robot mà cịn cho phương tiện tự hành khác Hướng phát triển: Cùng với kết mà nhóm thực trên, từ xây dựng thêm hướng phát triển khác Cảm biến môi trường: Khả mở rộng cảm nhận thứ môi trường Robot tự hành phải có loạt cảm biến mơi trường để thực nhiệm vụ tránh gặp rắc rối Các cảm biến phổ biến bao gồm cảm biến điện từ, âm thanh, điện dung, hóa chất, nhiệt độ, phạm vi tới đối tượng khác độ cao Điều hướng nhà: Để robot tự di chuyển đến vị trí tuỳ chỉnh, trước tiên địi hỏi robot phải biết vị trí điều hướng từ điểm đến điểm đích Kỹ thuật đề cập mở rộng từ thuật tốn xấp xỉ vị trí encoder, kết hợp với camera LiDAR kết vị trí xác nhất, sử dụng công nghệ SLAM (Simultaneous Localization And Mapping - Toạ độ hoá đồ hoá đồng thời) để điều khiển vị trí robot Kết hợp PID với phi tuyến: Bộ điều khiển PID hoạt động tốt, đơi lúc chưa ổn định, xem xét kết hợp với điều khiển phi tuyến (bằng phương pháp tuyến tính hố, Lyapunov, hàm mơ tả…) điều khiển mờ để tăng tính ổn định 105 TÀI LIỆU THAM KHẢO Tiếng Anh [1] Enrique Aldao, Luis M González-deSantos, Humberto Michinel, Higinio GonzálezJorge, UAV Obstacle Avoidance Algorithm to Navigate in Dynamic Building Environments, Drones 2022, Volume 6, Issue 1, MDPI, 2022 [2] Gonỗalo Charters Santos Cruz, Pedro Encarnaỗóo, Obstacle Avoidance for Unmanned Aerial Vehicles, Journal of Intelligent & Robotic Systems, 2012 [3] Ha Le Nhu Ngoc Thanh, Bui Duc Hong Phuc, Sung Kyung Hong, Nonlinear control for autonomous trajectory tracking while considering collision avoidance of UAVs based on geometric relations, Energies, Volume 12, Issue 8, MDPI, 2019 [4] Ha Le Nhu Ngoc Thanh, Nguyen Ngoc Phi, Sung Kyung Hong, Simple nonlinear control of quadcopter for collision avoidance based on geometric approach in static environment, International Journal of Advanced Robotic Systems, Volume 15, Issue 2, SAGE Publications, 2018 [5] Ha Le Nhu Ngoc Thanh, Sung Kyung Hong, Completion of collision avoidance control algorithm for multicopters based on geometrical constraints, IEEE Access, Volume 6, Institute of Electrical and Electronics Engineers (IEEE), 2018 [6] Hanafi Anis et al, Automatic Quadcopter Control Avoiding Obstacle Using Camera with Integrated Ultrasonic Sensors, Journal of Physics: Conference Series, Volume 1011, IOP Publishing Ltd, 2018 [7] Snorri Gudmundsson, A Biomimetic, Energy-Harvesting, Obstacle-Avoiding, PathPlanning Algorithm for UAVs, Dissertations and Theses, 2016 [8] Syed Tasnim Ahmed, Navigation and Obstacle Avoidance Control of an Autonomous Differential Wheeled Robot Using PID Controller in Matlab Simulation, 2019 [9] Xihai Zhang et al, Novel obstacle-avoiding path planning for crop protection UAV using optimized Dubins curve, International Journal of Agricultural and Biological Engineering, Volume 13, Issue 4, 172-177, IJABE Editing and Publishing, 2020 [10] M Surya Prakash et al, Computer Vision Assisted Line Following Robot, Procedia Engineering, Volume 38, 1764-1772, 2012 106 Nguồn khác [1] RoboRealm Vision for Machines, Obstacle Avoidance, link: http://www.roborealm.com/tutorial/Obstacle_Avoidance/slide010.php, 6/2022 [2] Intelligent Automation & Soft Computing, Vision Navigation Based PID Control for Line Tracking Robot, link: https://www.techscience.com/iasc/v35n1/48167/html, 4/2023 [3] Constantin Toporov, Line following robot with OpenCV and contour-based approach, link: https://const-toporov.medium.com/line-following-robot-with-opencv-and-contour -based-approach-417b90f2c298, 4/2023 [4] Engineer Kid, OpenCV Based Line Following Robot, link: https://www.ins tructables.com/OpenCV-Based-Line-Following-Robot/, 5/2023 107 S K L 0