(Đồ án hcmute) thiết kế, chế tạo robot vận chuyển cây giống

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT CƠ ĐIỆN TỬ THIẾT KẾ, CHẾ TẠO ROBOT VẬN CHUYỂN CÂY GIỐNG GVHD: TS HÀ LÊ NHƯ NGỌC THÀNH SVTH: HUỲNH TRẦN HỌC LÃM NGUYỄN THANH BÌNH NGUYỄN HỒNG LONG SKL010455 Tp.Hồ Chí Minh,Tháng 2/2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO NGÀNH CNKT CƠ ĐIỆN TỬ - - ĐỒ ÁN TỐT NGHIỆP Đề Tài: THIẾT KẾ, CHẾ TẠO ROBOT VẬN CHUYỂN CÂY GIỐNG GVHD TS HÀ LÊ NHƯ NGỌC THÀNH SVTT MSVV HUỲNH TRẦN HỌC LÃM 18146155 NGUYỄN THANH BÌNH 18146081 NGUYỄN HỒNG LONG 18146163 Thành phố Hồ Chí Minh, Tháng năm 2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO NGÀNH CNKT CƠ ĐIỆN TỬ - - ĐỒ ÁN TỐT NGHIỆP Đề Tài: THIẾT KẾ, CHẾ TẠO ROBOT VẬN CHUYỂN CÂY GIỐNG GVHD TS HÀ LÊ NHƯ NGỌC THÀNH SVTT MSVV HUỲNH TRẦN HỌC LÃM 18146155 NGUYỄN THANH BÌNH 18146081 NGUYỄN HỒNG LONG 18146163 Thành phố Hồ Chí Minh, Tháng năm 2023 CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên sinh viên: Huỳnh Trần Học Lãm MSSV: 18146155 Nguyễn Thanh Bình MSSV: 18146081 Nguyễn Hồng Long MSSV: 18146163 Ngành: Công nghệ Kỹ thuật Cơ điện tử Họ và tên giáo viên hướng dẫn: TS Hà Như Lê Ngọc Thành NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: …………… (Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng Giáo viên hướng dẫn (Ký & ghi rõ họ tên) năm 2023 CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên sinh viên: Huỳnh Trần Học Lãm MSSV: 18146155 Nguyễn Thanh Bình MSSV: 18146081 Nguyễn Hồng Long MSSV: 18146163 Ngành: Cơng nghệ Kỹ thuật Cơ điện tử Họ và tên giáo viên phản biện: Th.S Tưởng Phước Thọ NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: …………… (Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 2023 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) LỜI CAM ĐOAN Khố luận cơng trình nghiên cứu chúng tơi, thực sự hướng dẫn TS Hà Lê Như Ngọc Thành Các số liệu, kết luận nghiên cứu sản phẩm tạo chúng tơi trình bày khố luận trung thực Chúng tơi xin hoàn toàn chịu trách nhiệm lời cam đoan này Nhóm sinh viên LỜI CẢM ƠN Lời đầu tiên, xin gửi lời cảm ơn chân thành đến Khoa Cơ khí Chế tạo máy, Trường ĐH Sư phạm Kĩ thuật TP Hồ Chí Minh tạo điều kiện và hội để chúng em thực luận văn tốt nghiệp Đề tài lần chúng em học hỏi, nghiên cứu từ kiến thức đến kỹ chuyên môn và trình thực hành trường Chúng em nhận nhiều sự quan tâm, giúp đỡ thầy cô giúp chúng em vận dụng điều học vào q trình xây dựng hồn thiện đồ án Đồng thời, chúng em xin bày tỏ lòng biết ơn sâu sắc đến TS Hà Lê Như Ngọc Thành, là người thầy tâm huyết tận tình hướng dẫn, giúp đỡ chúng em suốt trình nghiên cứu thực đề tài Thầy trao đổi, góp ý q trình thực hiện, giúp chúng em hồn thành tốt đề tài Nhóm thực đề tài chúng em xin trân trọng cảm ơn Ban giám hiệu nhà trường và đội ngũ giảng viên Khoa khí Chế tạo máy giảng dạy, truyền lửa nhiệt huyết, giải đáp thắc mắc q trình thực đề tài Sau cùng, nhóm em xin cảm ơn gia đình, bạn bè ln bên cạnh, động viên tạo điều kiện tốt để nỗ lực hồn thành tốt đề tài tốt nghiệp lần TP Thủ Đức, ngày 01 tháng 02, năm 2023 Sinh viên thực MỤC LỤC PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN CHƯƠNG 1: GIỚI THIỆU CHUNG 16 1.1 Tổng quan 16 1.2 Đặt vấn đề 22 1.3 Giới hạn đề tài 23 1.4 Mục tiêu đề tài: .23 1.5 Nội dung trình bày chương 23 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 24 2.1 Tìm hiểu robot lĩnh vực nông nghiệp .24 2.1.1 Định nghĩa robot nông nghiệp 24 2.1.2 Robot vận chuyển nông nghiệp 25 2.1.3 Mobile Robot 25 2.2 Tìm hiểu thị giác máy 28 2.2.1 Định nghĩa thị giác máy 28 2.2.1.1 Hình ảnh kĩ thuật số phân loại hình ảnh 29 2.2.1.2 Hệ màu .30 2.3 Mạng nơ-ron tích chập (Convolutional neural networks) 32 2.4 Tensor flow 33 2.4.1 Giới thiệu .33 2.4.2 Các thành phần TensorFlow 33 2.4.3 Kiến trúc TensorFlow Gồm phần chính: .34 2.5 Tìm hiểu Raspberry Pi và phương thức giao tiếp Raspberry Pi hỗ trợ .34 2.5.1 Giới thiệu Raspberry .34 2.5.1.1 Ưu và nhược điểm Raspberry Pi 36 2.5.1.2 Các thông số Raspberry Pi .36 2.5.1.3 GPIO 37 2.5.2 Các phương thức giao tiếp mà Raspberry hỗ trợ 38 2.6 Tìm hiểu ROS 41 2.6.1 Giới thiệu ROS 41 2.6.1.1 Cách hoạt động ROS 41 2.6.1.2 Cấu trúc ROS .42 2.6.2 Gazebo 44 4.4.8 Lưu đồ giải thuật Hình 4.25: Sơ đồ khối Đầu tiên, ta phải set u số chương trình chạy arduino thông qua raspberry để điều khiển + void nhanhdantien(): Sử dụng để điều khiển robot tiên thẳng, cách sử dụng driver L298N điều khin đồng thời bánh xe lúc, cấp xung Để đảm bảo việc di chuyển không bị rung ảnh hưởng đến robot, nhóm cấp xung từ 0-180 khoảng thời gian ngắn, sau gán biến “w” để dùng raspberry điều khiển 99 Tương tự thế nhóm tạo thêm hàm với chức năng: + void chamdantien(): dùng để dừng lại từ từ tiến lên, + void nhanhdanlui(): dùng để đảo chiều động để lui + void chamdanlui(): dùng để dừng lại lui + void void tien_trai(): dùng để quay trái + void void tien_phai(): dùng để quay phải + void gapra(): thực chu trình gắp + void gapvao():thực chu trình thả Thực chưa trình Bước 1: nhận dạng di chuyển đến cột mốc gắp chậy Như nói trên, sự khó khăn việc tiếp xúc với ROS nên mô hồn tồn robot vào gazebo, thế nhiều phương án thay thế đề đảm bảo cốt lõi sản phẩm Nhóm sử dụng chiếc cột để thay thế cột mốc phương pháp cột mốc chủ động, việc nhận dạng chiếc cột mốc này tương tự nhận dạng chậu thức thế , sau việc detect gắp chậu cây, sau gắp xong quay chỗ để đặt chậu chu trình trình bày và sau lặp lại q trình Đầu tiên, robot khởi động, nhóm đặt trường hợp chưa bắt cột mốc hình, robot tự động quay vòng cho đến bắt chậu ( hay mô bắt cột xanh ) 100 Hình 4.26: Khi camera chưa thấy cột màu xanh Hình 4.27: Khi camera thấy cột màu xanh Nhận dạng cột màu xanh cách chuyển hình ảnh đầu vào từ camera sang hình ảnh màu hsv Từ nhận dạng màu cột 101 Hình 4.28: Nhận dạng màu cột màu xanh Khi nhận dạng cột màu xanh từ camera tiếp tục nhận dạng chậu gần khung hình có cột màu xanh cách chuyển màu khung hình nhận từ camera sang màu hsv tách màu Hình 4.29: Nhận dạng chậu hsv Sau nhận dạng chậu gần bắt đầu di chuyển đến gắp 102 Hình 4.30: Gắp chậu Đê công việc gắp chậu xảy đảm bảo vừa dễ thực đồng thời chuẩn xác, nhóm sử dụng phương pháp là lấy bounding box vật thể, thực chia lấy trọng tâm, sau set up camera lấy đường tâm theo trục (x) bắt đầy so sánh tọa độ (x): • Nếu kết so sánh lớn giá trị điều hướng robot quay bên trái • Nếu kết so sánh bé giá trị điều hướng robot quay bên phải • Nếu kết so sánh giá trị điều hướng robot tiến thẳng phía trước 103 Sau đó, robot tiến gần tới chậu khoảng cách 30 cm, cảm biến trả tín hiệu lại robot thực chương trình dừng lại gắp chậu Bước 2: Di chuyển chậu đến điểm đặt Sau gắp chậu bắt đầu tiến hành nhận dạng cột màu đỏ để định vị vị trí điểm đặt chậu Khi camera chưa nhận hình ảnh vị trí cần đặt tiến hành cho robot quay chỗ cho đến nhận dạng ( cột màu đỏ) Nhận dạng cột màu đỏ cách chuyển hình nhận từ camera sang màu hsv nhận dạng cột từ phải sang trái Sau di chuyển đến vị trí để đặt chậu Hình 4.31: Nhận dạng cột từ phải sang trái Khi có chậu đặt trước cột bỏ qua cột và nhận dạng cột tiếp theo di chuyển robot đến và đặt chậu cột tiếp theo 104 Hình 4.32: Nhận dạng cột màu đỏ có chậu Sau gắp chậu robot quay trở lại bước 4.4.9 Kết thực tế Sau qúa trình thiết kế, nghiên cứu và thi cơng nhóm có kết mơ hình thực tế: 105 Hình 4.33: mơ hình robot gắp chậu Hình 4.34: Dừng cảm biến trả tín hiệu 106 Hình 4.35:tay gắp vươn gắp chậu Hình 4.36: ơm chậu vào lòng xe Kết đạt được: Mơ hình robot hoàn thiện so với vẽ, chức robot hoàn thiện, robot có khả tiến tới gắp chậu cây, tay gắp 107 hoạt động chu trình, khả ơm robot lịng mà khơng bị ảnh hưởng đến trọng tâm Hình 4.37: Detect tracking chậu 108 Kết đạt được: Model xử lí ảnh bọn em hoàn thiện ổn đinh, khả detect và tracking là tương đối cáo, bouding box không bị thay đổi kích thước nhiều, có lúc bị bắt sai, không ảnh hưởng đến đối tượng bắt từ trước từ kết không bị ảnh hưởng 109 CHƯƠNG :KẾT LUẬN Kết đạt Qua thời gian thực đề tài “Thiết kế, chế tạo robot vận chuyển giống” Nhóm thực hồn thành nhiệm vụ đồ án kết đề tài hoàn thành hầu hết mục tiêu đề Tuy nhiên, nhóm cịn số hạn chế cần cải thiện Ý nghĩa khoa học Qua báo cáo này, nhóm trình bày sở lý thút mạng nơ ron tích chập chậm, mơ hình Deep Learning, chương trinh mơ ROS,lí thút xử lí ảnh, trình thu thập liệu từ thực tế q trình huấn luyện mơ hình, cách thức điều khiển Arduino qua Raspberry Thơng qua đó, chúng tơi biết q trình xây dựng giải qút tốn phát đối tượng Deep learning biểu diễn bài tốn thơng qua mơ hình Để áp dụng rộng rãi nhóm sử dụng ngơn ngữ lập trình Python và thư viện hỗ trợ cho việc Deep learning (Pytorch, Tensorflow, …) Ngoài ra, nhóm cịn tạo mô ROS điều tạo thành sở cho việc phát triển tương lai Qua đề tài này, chúng em nâng cao khả đọc hiểu tài liệu, khả làm việc nhóm khả trình bày báo cáo khoa học Ý nghĩa thực tiễn Nhóm biết nhiều thêm nhiều thuật tốn lính vực Deep Learning, đặt biệt toán phát đối tượng (Object detection) sử dụng mạng kiến truc TensorFlow để tạo mơ hình xử lí ảnh cách ổn đinh so với prọect môn học, đồng thời sử dụng kiến thức học từ trường để hoàn thiện đề tài Thơng qua đề tài, nhóm đạt kết quả: - Nắm rõ sở lý thuyết deep learning mạng nơ-ron tích chập - Hiểu cách sử dụng module TensorFlow để tạo model nhóm - Hiểu cách thu tập liệu, gán nhãn xây dựng mơ hình huấn luyện 110 - Hiểu ứng dụng Raspberry Pi, chương trình ROS Hạn chế Dù hoàn thiện phần mơ nhiên chưa biết quản lí thời gian nên mơ hình chưa hoàn thiện tồn bộ, từ chưa đưa kết hồn chỉnh, đồng thời chưa tìm hiểu sâu nhiều thuật tốn nên việc xử lí vấn đề nằm mức bản, đồng thời đề tài này chưa có độ ứng dụng thực tế Việt Nam nên khó khăn muốn phát triển Hướng phát triển Nhóm tìm hiểu thêm nhiều thuật tốn detect, traccking cách hiệu quả, thuật toán xe tự hành, mobile robot, đồng thời tham khảo sản phẩm có tính đột phá thế giới để tìm hiểu cải tiến cho robot đại Kết hợp với ý kiến đóng góp hội đồng bảo vệ, nhóm tìm hiểu thêm phần né vật cản cho robot cách sau: sử dụng lidar để detect mơi trường hoạt động sử dụng thuật tốn để né vật cản SLAM, sử dụng PID để điều khiển xác vận tốc vị trí robot, thay đổi quy trình hoạt động chạy robot để di chuyển mượt mà môi trường đặc biệt, chỉnh sửa, thiết kế lại phần tay gắp để thực thao tác có trợ lực để hỗ trợ làm cho robot di chuyển ổn định 111 TÀI LIỆU THAM KHẢO Trịnh Chất – Lê Văn Uyển (2006), Tính tốn thiết kế hệ thống dẫn động khí (tập 1), Nhà xuất giáo dục Giáo trình ngun lí máy, ths Trương Quang Trường Programming robot with ROS Gazebo : Tutorial : Extrude SVG files (gazebosim.org) Bài viết: Xe tự hành ứng dụng thuật toán nhận dạng dự đoán quỹ đạo di chuyển Đặng Thái Việt Bài viết: KẾT HỢP PHƯƠNG PHÁP RRT VÀ STANLEY CHO Ô TÔ TỰ HÀNH VÀO BÃI ĐẬU XE Bùi Đức Tiến, Vũ Văn Tấn, Trần Văn Đà https://github.com/nicknochnack/TFODCourse 112 S K L 0