Đồ án tốt nghiệp nghiên cứu, thiết kế và chế tạo xe agv ứng dụng xử lí ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KĨ THUẬT THÀNH PHỐ HỒ CHÍ MINH  KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP Đề tài: Nghiên cứu, thiết kế chế tạo xe agv ứng dụng xử lí ảnh Giảng viên hướng dẫn : ThS LÊ THANH TÙNG Sinh viên thực : BÙI CHÍ KIÊN MSSV : 19146202 Sinh viên thực : BÙI GIA BẢO MSSV : 19146154 Sinh viên thực : TRỊNH TUẤN VŨ MSSV : 19146014 Lớp : 19146CL5B Khóa : 2019-2023 TP Hồ Chí Minh BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KĨ THUẬT THÀNH PHỐ HỒ CHÍ MINH  BỘ MƠN CƠ ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP Đề tài: Nghiên cứu, thiết kế chế tạo xe agv ứng dụng xử lí ảnh Giảng viên hướng dẫn : ThS LÊ THANH TÙNG Sinh viên thực : BÙI CHÍ KIÊN MSSV : 19146202 Sinh viên thực : BÙI GIA BẢO MSSV : 19146154 Sinh viên thực : TRỊNH TUẤN VŨ MSSV : 19146014 Lớp : 19146CL5B Khóa : 2019-2023 TP Hồ Chí Minh LỜI CẢM ƠN Trước hết, chúng tơi xin gửi lời cảm ơn chân thành tới ThS Lê Thanh Tùng, người hướng dẫn trình thực đồ án tốt nghiệp đồ án điện tử Qua thời gian làm việc tiếp xúc với thầy, nhận thấy thầy giảng viên tận tâm, mong muốn điều tốt đẹp cho sinh viên Chúng xin chúc thầy ln thành cơng cơng việc, có đủ sức khoẻ, niềm vui hạnh phúc sống Chúng xin gửi lời cảm ơn đặc biệt đến thầy Vũ Quang Huy, người hướng dẫn đồ án truyền động khí Đồng thời xin cảm ơn Trường Đại học Sư phạm Kỹ thuật TP.HCM tất thầy cô dạy bảo giúp đỡ suốt bốn năm học đại học, với khó khăn trở ngại Đã cung cấp cho kiến thức vô quý báu suốt năm học đại học, làm sở cho chúng tơi hồn thành đồ án tốt nghiệp Cuối cùng, xin gửi lời tri ân sâu sắc đến gia đình, đặc biệt cha mẹ Gia đình nguồn động lực lớn để chúng tơi vượt qua khó khăn hồn thành đồ án Sự tin tưởng, nuôi dưỡng hỗ trợ cha mẹ giúp đến ngày hôm Một lần nữa, xin bày tỏ lòng biết ơn sâu sắc chúc mừng tất người có sức khoẻ hạnh phúc Đại diện nhóm Bùi Chí Kiên i TĨM TẮT ĐỒ ÁN NGHIÊN CỨU, THIẾT KẾ VÀ CHẾ TẠO XE AGV ỨNG DỤNG XỬ LÍ ẢNH Trên thị trường nay, việc phát triển xe tự hành AGV (Automated Guided Vehicle) mở loạt ứng dụng tiềm nhiều lĩnh vực khác Một ứng dụng đáng ý sử dụng AGV để hỗ trợ mua sắm siêu thị thông qua việc thiết kế robot chở hàng theo người Robot chở hàng theo người siêu thị giải pháp tiên tiến lĩnh vực dịch vụ tự động hóa Robot thiết kế với cấu di động hai bánh vi sai, cho phép di chuyển linh hoạt nhanh chóng khơng gian siêu thị Chức robot theo dõi chở hàng hố mua siêu thị Điều đặc biệt hữu ích người có khả vận động giới hạn người lớn tuổi, người khuyết tật người không muốn vất vả mang giỏ đẩy xe siêu thị truyền thống Để đạt mục tiêu này, nhóm nghiên cứu tiến hành loạt công việc Đầu tiên, họ tiến hành khảo sát không gian siêu thị để hiểu rõ yêu cầu kỹ thuật mơi trường hoạt động Sau đó, họ thiết kế xây dựng hệ thống khí cho robot, bao gồm đế khung xe vững chắc, sử dụng vật liệu chất lượng cao thép ss400 nhơm định hình Động hành tinh planet có cơng suất tối đa 30W sử dụng để đảm bảo mạnh mẽ ổn định trình di chuyển Robot trang bị camera kinect v2 để nhận dạng đo khoảng cách người robot Sử dụng cơng nghệ trí tuệ nhân tạo (AI) xử lý ảnh, robot có khả nhận diện theo dõi người cách xác liên tục Hệ thống điều khiển robot xây dựng vi xử lý STM32 Jetson Nano, cho phép xử lý liệu hình ảnh cảm biến cách hiệu ROS (Robot Operation System) áp dụng để quản lý điều phối luồng liệu phức tạp, lập trình nhiều ngơn ngữ Kết dự án nhóm chế tạo thành công robot dịch vụ siêu thị có khả bám theo người mua hàng Robot nhận diện theo dõi người cách xác ổn định Tuy nhiên, để phát triển tiếp, nhóm đề xuất nâng cấp phần cứng để tích hợp thuật toán theo dõi người, đồng thời xử lý tình đặc biệt dấu người, phát tự động tránh vật cản Nâng cấp tích hợp cảm biến lidar vào robot, giúp có khả tự động tìm đường vị trí ban đầu để sạc pin sau người dùng sử dụng xong Để tăng tính thẩm mỹ, linh hoạt thân thiện với người dùng, phần khí cần cải thiện Sinh viên thực Trịnh Tuấn Vũ ii ABSTRACT RESEARCH, DESIGN AND FABRICATION OF AGV WITH IMAGE PROCESSING APPLICATION The smart shopping cart robot is an advanced solution in the field of service and automation within supermarkets It is designed with a differential drive mechanism on two wheels, allowing for flexible and fast movement within the supermarket space The main function of the robot is to track and carry purchased items within the supermarket This is particularly useful for individuals with limited mobility such as the elderly, disabled individuals, or those who prefer not to carry or push traditional shopping carts To achieve this goal, the research team has undertaken a series of tasks Firstly, they conducted a survey of the supermarket space to understand the technical requirements and operating environment Subsequently, they designed and built a robust mechanical system for the robot, including a sturdy base and frame made of high-quality materials such as SS400 steel and extruded aluminum A 30W maximum power planetary gear motor is used to ensure strength and stability during the movement process The robot is equipped with a Kinect v2 camera for person recognition and distance measurement between the person and the robot Utilizing artificial intelligence (AI) and image processing technology, the robot has the capability to accurately and continuously identify and track individuals The control system of the robot is built on STM32 and Jetson Nano processors, enabling efficient processing of image and sensor data The Robot Operating System (ROS) is also employed to manage and coordinate complex data streams and facilitate programming in multiple languages The outcome of the project is the successful development of a supermarket service robot that can effectively track and follow shoppers The robot demonstrates accurate and stable person recognition and tracking capabilities However, for further development, the team proposes hardware upgrades to integrate person tracking algorithms and handle special situations such as lost persons Additionally, the robot can be enhanced by integrating lidar sensors to autonomously navigate back to its initial position for recharging after user interactions Improvements in mechanical design are also suggested to enhance aesthetics, flexibility, and user-friendliness iii MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Error! Bookmark not defined LỜI CAM KẾT Error! Bookmark not defined LỜI CẢM ƠN i TÓM TẮT ĐỒ ÁN ii ABSTRACT iii MỤC LỤC .iv DANH MỤC TỪ VIẾT TẮT xi CHƯƠNG 1: GIỚI THIỆU 1.1 Tính cấp thiết đề tài 1.2 Ý nghĩa khoa học thực tiễn đề tài 1.3 Mục tiêu nghiên cứu đề tài 1.4 Đối tượng phạm vi nghiên cứu 1.4.1 Đối tượng nghiên cứu 1.4.2 Phạm vi nghiên cứu 1.5 Phương pháp nghiên cứu 1.5.1 Cơ sở phương pháp luận 1.5.2 Các phương pháp nghiên cứu cụ thể 1.6 Kết cấu ĐATN CHƯƠNG 2: TỔNG QUAN NGHIÊN CỨU ĐỀ TÀI 2.1 Giới thiệu 2.1.1 Xu phát triển robot 2.1.2 Giới thiệu robot dịch vụ 2.1.3 Xe đẩy siêu thị thông minh 2.2 Các nghiên cứu liên quan đến đề tài 2.2.1 Các nghiên cứu nước 2.2.2 Các nghiên cứu nước CHƯƠNG 3: CƠ SỞ LÝ THUYẾT 10 3.1 Các cấu hoạt động phổ biến robot AGV 10 iv 3.2 Xử lí liệu – Xử lí ảnh (2D, 3D) 11 3.2.1 Giới thiệu thị giác máy, ảnh 2D 11 3.2.2 Thuật toán nhận diện đối tượng – toán Object detection 12 3.2.3 Model SSD (Single Shot Detector) Object Detection 14 3.3 Thị giác máy 3D 18 3.3.1 Camera số 18 3.3.2 Ảnh 3D 19 3.4 Bộ điều khiển PID 20 3.5 ROS (Robot Operation System) 21 3.5.1 ROS 21 3.5.2 Lợi ích ros cho robot: 22 3.5.3 Các khái niệm ROS 22 CHƯƠNG 4: CÁC GIẢI PHÁP THỰC HIỆN ĐỀ TÀI VÀ TÍNH TỐN THIẾT KẾ HỆ THỐNG CƠ KHÍ 24 4.1 Thông số thiết kế 24 4.2 Phương hướng giải pháp thực 25 4.2.1 Phương án 25 4.2.2 Phương án 26 4.3 Lựa chọn phương án 27 4.4 Trình tự cơng việc tiến hành 28 4.5 Tính tốn lựa chọn động 29 4.6 Tính tốn thiết kế truyền đai 32 4.7 Thiết kế hình dạng robot 36 4.7.1 Thiết kế mặt đế, nắp đế, đế kê giỏ hàng đặt thiết bị cho robot 36 4.7.2 Thiết kế khung robot 38 4.7.3 Lựa chọn bánh xe cho robot 38 4.7.4 Lựa chọn vật liệu cho trục bánh xe 40 4.7.5 Thiết kế 3D hệ thống khí 40 4.8 Tính tốn ứng suất, đường kính dung sai cho trục bánh xe 41 4.8.1 Tính toán ứng suất 41 4.8.2 Tính tốn dung sai cho trục bánh xe ổ lăn 44 4.9 Tính toán động học 44 v CHƯƠNG 5: TÍNH TỐN THIẾT KẾ HỆ THỐNG ĐIỆN VÀ THIẾT KẾ BỘ PI CHO ĐỘNG CƠ 49 5.1 Xây dựng hệ thống điện điều khiển 49 5.1.1 Sơ đồ khối hệ thống điều khiển 49 5.1.2 Khối Nguồn 50 5.1.3 Khối cảm biến (camera Kinect v2) 52 5.1.4 Khối điều khiển 53 5.1.5 Cơ cấu chấp hành (Động DC Servo) 56 5.1.6 Khối xử lý liệu 59 5.2 Thiết lập điều khiển PI cho động 61 CHƯƠNG 6: XÂY DỰNG THUẬT TOÁN XỬ LÝ ẢNH 67 6.1 Nhiệm vụ thuật toán: 67 6.2 Thuật toán phát người: 68 6.3 Thiết lập node xử lý nhận diện người 68 6.3.1 Xử lý liệu từ camera tìm distance người robot 70 6.3.2 Xử lý liệu để nhận dạng người phân loại 72 6.3.3 Dùng liệu xác định để tìm alpha robot người 74 6.4 Thiết lập node “data_processing” 75 6.5 Giải thuật dẫn hướng cho robot 75 CHƯƠNG 7: THỰC NGHIỆM VÀ ĐÁNH GIÁ 78 7.1 Kết gia cơng khí 78 7.2 Kết thực nghiệm điều khiển PI điều khiển tốc độ động 80 7.3 Kết việc thực nghiệm xử lý ảnh 81 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN PHÁT TRIỂN 84 TÀI LIỆU THAM KHẢO 85 PHỤ LỤC I vi DANH MỤC BẢNG BIỂU Bảng 4.1 Hệ số ma sát lăn tham khảo 30 Bảng 4.2 Bảng thơng số tính tốn lựa chọn động 31 Bảng 4.3 Bảng thơng số tính tốn đai sơ 35 Bảng 4.4 Bảng thông số đai thực tế 35 Bảng 4.5 Thông số chi tiết gia công 36 Bảng 4.6 Bảng kí hiệu thơng số tính tốn động học sử dụng 44 Bảng 7.1 Thông số xe 79 vii DANH MỤC SƠ ĐỒ, HÌNH ẢNH Sơ đồ 3.1 Sơ đồ mối liên hệ tác vụ computer vision 14 Sơ đồ 3.2 Sơ đồ kiến trúc mạng SSD 16 Sơ đồ 3.3 Sơ đồ khối hệ kín có PID 20 Sơ đồ 5.1 Sơ đồ hệ thống điện 49 Sơ đồ 5.2 Sơ đồ khối điều khiển từ STM32 .53 Sơ đồ 5.3 Sơ đồ khối xử lí liệu 59 Sơ đồ 5.4 Sơ đồ hệ thống node 60 Sơ đồ 5.5 Sơ đồ điều khiển PI tốc độ động 61 Sơ đồ 5.6 Sơ đồ khối điều khiển PI tốc độ động phải 65 Sơ đồ 5.7 Sơ đồ khối điều khiển PI tốc độ động trái 65 Sơ đồ 6.1 Input output module xử lý ảnh 67 Sơ đồ 6.2 Input output node “process_img” 69 Sơ đồ 6.3 Sơ đồ khối Node “process_img” .69 Sơ đồ 6.4 Sơ đồ khối khối “Classifier” 73 Sơ đồ 6.5 Input output node “data_processing” 75 Sơ đồ 6.6 Sơ đồ khối cho node “data_processing” 76 Hình 2.1 WiiGo Retail – Robot dịch vụ siêu thị công ty Follow Inspiration Bồ Đào Nha Hình 2.2 Hình ảnh minh họa Robot phục vụ thức ăn mèo Bella Hình 2.3 Robot giao hàng starship Hình 2.4 Robotic Shopping Cart Hình 2.5 Robot di động ELI Hình 2.6 Hình ảnh follobot Hình 3.1 Nguyên lý hoạt động cấu vi sai 10 Hình 3.2 Cơ cấu điều khiển vơ lăng 10 Hình 3.3 Cơ cấu điều khiển kết hợp 11 Hình 3.4 Hình Thêm đỏ vào xanh tạo vàng; thêm vàng vào xanh lam 12 Hình 3.5 Phân loại chó mèo .13 Hình 3.6 Đồ thị so sánh hiệu suất mơ hình classification thơng dụng 17 Hình 3.7 Zed stereo camera 18 Hình 3.8 Camera kinect v2 18 Hình 3.9 Camera kinect v1 19 Hình 3.10 Ví dụ ảnh point cloud 20 Hình 4.1 Hình ảnh lối siêu thị 24 Hình 4.2 Hiệu suất Jetson Nano chạy mạng Machine Learning 26 viii CHƯƠNG C_xr , C_yr tọa độ tâm khung hình (pixel) α góc người robot ( độ ) 6.4 Thiết lập node “data_processing”  Node giao tiếp với topic sau: Subscribe topics: - “/distance”:khoảng cách người robot - “/is_person”: thơng số cho biết có người khung hình hay khơng “/alpha”: góc người so với robot “/is_clothes” : nhận diện màu sắc áo Thiết cho thuật tốn điều khiển (0 khơng có, có) - “/is_clothes” : thơng số cho biết có màu áo khung hình hay khơng “/is_person”: thơng số cho biết có người khung hình hay khơng Publish topics: - “/vel_right”: tốc độ bánh xe phải “/vel_left”: tốc độ bánh xe trái Sơ đồ 6.5 Input output node “data_processing” Nhiệm vụ node dùng để chuyển đổi liệu thành vận tốc động Sau nhận liệu từ publisher “/is_person”,“/is_clothes”,“/distance” “/alpha” công thức sử dụng node “data_processing” để biến đổi thành vận tốc gửi giá trị cho động xe thông qua STM32 Detect_status bao gồm “/is_person”,“/is_clothes” 6.5 Giải thuật dẫn hướng cho robot Robot di chuyển trì khoảng cách với người 1m Khi người lệch góc alpha so với xe xe chuyển động cung cố định theo người Khi người xe quay 75 CHƯƠNG chỗ đến tìm thấy người tiếp tục bám theo Với khoảng cách 1m đủ để người dùng bước dài tới xe xe đủ khoảng cách để xử lý Hình 6.5 Vị trí người so với robot Sơ đồ 6.6 Sơ đồ khối cho node “data_processing” 76 CHƯƠNG Trong đó:  Alpha: góc lệch xe người  d: viết tắt distance, khoảng cách xe người Phương pháp xe di chuyển sau: người dùng nhấn nút nguồn để khởi động máy nhấn start để xe bắt đầu nhận liệu chạy Xe dựa vào biến alpha distance để di chuyển theo bám theo người Xe thẳng theo người với tốc độ tuyến tính từ 0,3-0,7m/s thay đổi so với khoảng cách d dao động từ 1-3m, sau thực nghiệm nhiều lần nhóm chọn góc alpha phù hợp để xe thẳng -10o1‰ Tốc độ động trái: J>1Š ˆ>1Š -% = -% = (rpm) (rpm) (6.9) (6.10) Xe cua cung theo người alpha>10o alpha1‰ J>1Š 2‡ •˜ -% 2s = 2‡−•˜ -% = 2s (6.11) (6.12) Từ hai công thức tốc độ động cho trường hợp xe cua góc alpha sau thực nghiệm nhiều lần nhóm định chọn góc cua ln cố định tính tốn với vận tốc ‡=0,3 m/s ˆ=0,2 rad/s Trường hợp người bị khỏi tầm nhìn xe xe quay chỗ để tìm , có vật cản che camera người thẳng góc -10o