Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CƠ KHÍ ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: THIẾT KẾ VÀ CHẾ TẠO ROBOT GẮP THỨC ĂN SỬ DỤNG XỬ LÝ ẢNH VÀ TAY GẮP MỀM Người hướng dẫn: Sinh viên thực hiện: TS LÊ HOÀI NAM NGUYỄN VĂN TẤN HUỲNH TRÍ LỄ Đà Nẵng, 2019 ĐẠI HỌC ĐÀ NẴNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CƠ KHÍ NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP Thông tin chung: Họ tên sinh viên: Nguyễn Văn Tấn Số thẻ SV: 101140199 Huỳnh Trí Lễ Số thẻ SV: 101140188 Lớp: 14CDT2 Tên đề tài: Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm Người hướng dẫn: Lê Hoài Nam Học hàm/ học vị: Tiến sĩ II Nhận xét, đánh giá đồ án tốt nghiệp: Về tính cấp thiết, tính mới, khả ứng dụng đề tài: (điểm tối đa 2đ) ……………………………………………………………………………………… C C ……………………………………………………………………………………… Về kết giải nội dung nhiệm vụ yêu cầu đồ án: (điểm tối đa 4đ) R L T ……………………………………………………………………………………… ……………………………………………………………………………………… Về hình thức, cấu trúc, bố cục đồ án tốt nghiệp: (điểm tối đa 2đ) U D ……………………………………………………………………………………… ……………………………………………………………………………………… Đề tài có giá trị khoa học/ có báo/ giải vấn đề đặt doanh nghiệp nhà trường: (điểm tối đa 1đ) ……………………………………………………………………………………… ……………………………………………………………………………………… Các tồn tại, thiếu sót cần bổ sung, chỉnh sửa: ……………………………………………………………………………………… ……………………………………………………………………………………… III Tinh thần, thái độ làm việc sinh viên: (điểm tối đa 1đ) ……………………………………………………………………………………… IV Đánh giá: Điểm đánh giá: …… /10 (lấy đến số lẻ thập phân) Đề nghị: ☐ Được bảo vệ đồ án ☐ Bổ sung để bảo vệ ☐ Không bảo vệ Đà Nẵng, ngày tháng năm 201 Người hướng dẫn ĐẠI HỌC ĐÀ NẴNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CƠ KHÍ NHẬN XÉT PHẢN BIỆN ĐỒ ÁN TỐT NGHIỆP I Thông tin chung: Họ tên sinh viên: Nguyễn Văn Tấn Số thẻ SV: 101140199 Huỳnh Trí Lễ Số thẻ SV: 101140188 Lớp: 14CDT2 Tên đề tài: Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm Người phản biện: ………………………….………… Học hàm/ học vị: ………… II Nhận xét, đánh giá đồ án tốt nghiệp: TT Các tiêu chí đánh giá C C Sinh viên có phương pháp nghiên cứu phù hợp, giải R L T đủ nhiệm vụ đồ án giao Điểm Điểm tối đa đánh giá 80 - Tính (nội dung ĐATN có phần so 1a với ĐATN trước đây) U D - Đề tài có giá trị khoa học, cơng nghệ; ứng dụng thực tiễn 15 - Kỹ giải vấn đề; hiểu, vận dụng kiến thức 1b bản, sở, chuyên ngành vấn đề nghiên cứu - Chất lượng nội dung ĐATN (thuyết minh, vẽ, chương 50 trình, mơ hình,…) - Có kỹ vận dụng thành thạo phần mềm ứng dụng vấn đề nghiên cứu; 1c - Có kỹ đọc, hiểu tài liệu tiếng nước ứng 15 dụng vấn đề nghiên cứu; - Có kỹ làm việc nhóm; Kỹ viết: 20 2a - Bố cục hợp lý, lập luận rõ ràng, chặt chẽ, lời văn súc tích 15 2b - Thuyết minh đồ án khơng có lỗi tả, in ấn, định dạng Tổng điểm đánh giá theo thang 100: Quy thang 10 (lấy đến số lẻ) - Các tồn tại, thiếu sót cần bổ sung, chỉnh sửa: ……………………………………… ……………………………………………………………………………………… - Câu hỏi đề nghị sinh viên trả lời buổi bảo vệ: ………………………………… ……………………………………………………………………………………… - Đề nghị: ☐ Được bảo vệ đồ án ☐ Bổ sung để bảo vệ ☐ Không bảo vệ Đà Nẵng, ngày tháng năm 201… Người phản biện C C U D R L T TÓM TẮT Tên đề tài: Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm Sinh viên thực hiện: Nguyễn Văn Tấn Huỳnh Trí Lễ Số thẻ SV: 101140199 Số thẻ SV: 101140188 Lớp: 14CDT2 Giảng viên hướng dẫn: TS Lê Hoài Nam Giảng viên duyệt: TS Võ Như Thành Đề tài đề cập trình thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm, tài trợ công ty Maruyasu Kikai – Nhật Bản Đề tài gồm phần chính: Thiết kế, mơ phỏng, chế tạo thử nghiệm tay gắp mềm gắp loại thức ăn có hình dạng khác nhau, đường kính 40 ± 5mm, khối lượng 30g; Xử lý ảnh phân biệt loại thức ăn với nhau; Lắp đặt vận hành cánh tay robot bậc tự Hệ thống sau hồn thành chạy chế độ chế độ dạy học chế độ xử lý ảnh tĩnh C C U D R L T ĐẠI HỌC ĐÀ NẴNG CỘNG HỊA XÃ HƠI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CƠ KHÍ NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Văn Tấn Số thẻ sinh viên: 101140199 Lớp:14CDT2 Khoa:Cơ khí Ngành: Kỹ thuật Cơ điện tử Họ tên sinh viên: Huỳnh Trí Lễ Số thẻ sinh viên: 101140188 Lớp:14CDT2 Ngành: Kỹ thuật Cơ điện tử Khoa:Cơ khí Tên đề tài đồ án: Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm Đề tài thuộc diện: ☒ Có ký kết thỏa thuận sở hữu trí tuệ kết thực Các số liệu liệu ban đầu:  Các số liệu yêu cầu phạm vi hoạt động, tốc độ, chu kỳ robot theo yêu cầu C C công ty Maruyasu Kikai R L T  Kích thước thơng số phận công ty Maruyasu Kikai cung cấp  Các vật liệu: Nhơm định hình, inox, thép Nội dung phần thuyết minh tính tốn:  Chương 1: Tổng quan U D  Chương 2: Hệ thống robot gắp thức ăn  Chương 3: Quá trình xử lí ảnh  Chương 4: Hệ thống truyền động  Chương 5: Tay gắp mềm Các vẽ, đồ thị ( ghi rõ loại kích thước vẽ ):  Bản vẽ sơ đồ đấu nối mạch điện (1A0)  Bản vẽ sơ đồ tổng quát hệ thống (1A0)  Bản vẽ lưu đồ thuật toán lập trình (1A0)  Bản vẽ tổng quát hệ thống (1A0)  Bản vẽ tay gắp đồ gá tay gắp (1A0) Họ tên người hướng dẫn: TS Lê Hoài Nam Ngày giao nhiệm vụ đồ án: 19/1/2019 Ngày hoàn thành đồ án: 30/5/2019 Đà Nẵng, ngày tháng năm 2019 Trưởng Bộ môn Người hướng dẫn LỜI NÓI ĐẦU Ngày nay, kinh tế nước ta đà phát triển mạnh mẽ, ngành cơng nghiệp ngày địi hỏi trình độ khoa học kỹ thuật cao Nhu cầu nhà sản xuất nhà tiêu dùng tăng không ngừng Đây hội thách thức cho ngành điện tử, với việc ứng dụng thành tựu nhân loại để phục vụ nhu cầu xã hội Robot ứng dụng thiết thực nhất, từ cỗ máy đơn giản đến phức tạp nhất, góp mặt vào lĩnh vực đời sống sản xuất người Các robot trở thành công cụ lao động thông minh, bước thay người hoạt động sản xuất Nhờ có robot mà suất chất lượng lao động ngày cải thiện tiệm cận hoàn hảo Trong học phần này, chúng em thực đề tài: Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm Với mục tiêu tạo sản phẩm hoạt động linh hoạt có khả ứng dụng thực tế mang lại hiệu kinh tế cao Các nhiệm vụ cần thực đề tài bao gồm:  Xác định phương án thiết kế thiết kế tay gắp  Nghiên cứu điều khiển robot C C R L T  Xử lý ảnh xác định vật thể kết hợp với lập trình PLC Để đồ án đạt kết tốt đẹp, nhận hổ trợ, giúp đỡ nhiều quan, cá nhân Với tình cảm sâu sắc cho phép chúng tơi bày tỏ lòng biết U D ơn sâu sắc đến tất cá nhân quan tạo điều kiện giúp đỡ suốt trình học tập nghiên cứu đề tài Trước hết gửi tới thầy Khoa Cơ khí trường Đại học Bách Khoa Đại học Đà Nẵng lời chào trân trọng, lời chúc sức khỏe lời cảm ơn sâu sắc Với quan tâm, dạy truyền đạt kiến thức để chúng tơi hồn thành đề tài Đặc biệt gửi lời cảm ơn chân thành tới thầy giáo – TS Lê Hoài Nam quan tâm giúp đỡ, hướng dẫn hoàn thành tốt đề tài thời gian qua Không thể không nhắc tới hổ trợ truyền đạt kinh nghiệm kỹ sư Hoàng Hữu Vỹ, thành viên nhóm Aiméka bạn tập thể lớp 14CDT Tuy nhiên kiến thức kinh nghiệm cịn nhiều hạn chế nên khó tránh khỏi thiếu sót Chúng tơi mong nhận thơng cảm đóng góp ý kiến thầy bạn sinh viên để đồ án chúng tơi hồn chỉnh Xin chân thành cảm ơn Đà Nẵng, ngày 30 tháng 11 năm 2018 Người thực đề tài: Nguyễn Văn Tấn Huỳnh Trí Lễ i CAM ĐOAN Chúng xin cam đoan số liệu kết nghiên cứu đồ án trung thực chưa sử dụng để bảo vệ đồ án học vị khác Mọi giúp đỡ cho việc thực đồ án cảm ơn thơng tin trích dẫn đồ án rõ nguồn gốc phép công bố Sinh viên thực Nguyễn Văn Tấn C C R L T U D ii Huỳnh Trí Lễ MỤC LỤC Tóm tắt Nhiệm vụ đồ án Lời nói đầu cảm ơn i Lời cam đoan liêm học thuật ii Mục lục iii Danh sách bảng biểu, hình vẽ sơ đồ v Danh sách cụm từ viết tắt vii Trang Chương 1: TỔNG QUAN 1.1 Đặt vấn đề 1.2 Bài toán đặt C C Chương 2: HỆ THỐNG ROBOT GẮP THỨC ĂN R L T 2.1 Mơ hình hóa hệ thống 2.1.1 Tổng quan 2.1.2 Sơ đồ khối hệ thống 2.1.3 Hệ thống thực tế 2.2 Quy trình xử lý ảnh 2.2.1 Tổng quan xử lý ảnh 2.2.2 Nội dung quy trình xử lý ảnh 2.3 Cơ cấu chấp hành U D Chương 3: QUÁ TRÌNH XỬ LÝ ẢNH 3.1 Các khái niệm liên quan đến xử lý ảnh 3.1.1 Điểm ảnh 3.1.2 Độ phân giải ảnh 3.1.3 Mức xám ảnh 3.1.4 Cấu trúc lưu liệu 3.2 Các thành phần hệ thống xử lý ảnh 10 3.2.1 Thiết bị phần cứng: camera xử lý ảnh 10 iii 3.2.2 Raspberry Pi 11 3.2.3 Trình soạn thảo Geany 17 3.3 Quy trình xử lý ảnh 19 Chương 4: HỆ THỐNG TRUYỀN ĐỘNG 22 4.1 Cơ cấu truyền động 22 4.2 Bộ điều khiển công suất 23 4.2.1 Cấu trúc kết nối 23 4.2.2 Phần mềm PC Interface Software for RCEC 25 4.3 Bộ điều khiển trung tâm PLC module CC-Link 27 4.3.1 Bộ điều khiển lập trình PLC 27 4.3.2 Module CC-Link FX3U-16CCL-M 30 4.4 Lập trình điểu khiển hệ thống truyền động 34 C C Chương 5: TAY GẮP MỀM 41 R L T 5.1 Lựa chọn phương án 41 5.2 Giới thiệu chung tay gắp mềm 41 5.3 Nguyên lý hoạt động 42 5.4 Thiết kế 43 5.4.1 Các thơng số hình học 43 5.4.2 Vật liệu 45 5.5 Mô 45 5.6 Chế tạo 47 5.6.1 Chuẩn bị 47 5.6.2 Quá trình đúc 48 5.7 Thực nghiệm 49 5.8 Các phiên 50 5.9 Điều khiển tay gắp mềm 51 U D KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 54 iv Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm Theo đó, phiên thứ với thiết kế ngón liền khoang khí liền sử dụng vật liệu mềm Ecoflex OO-30 Ở phiên này, tay gắp gắp vật có kích thước lớn, nhiên để ngón tay đạt cong cần thiết để gắp vật phải cấp cho tay gắp lượng khí lớn đồng thời tay gắp bị phình to trình gắp Để giải vấn đề trên, nhóm bước sang phiên với ngón tay đúc riêng lẻ, khoang khí tách rời nhờ đường rãnh tay gắp, vật liệu Ecoflex OO-30 Phiên khơng u cầu lượng khí lớn phiên tay gắp khơng bị phình to gắp, nhiên phiên lại gặp phải vấn đề không đủ lực nắm để giữ vật trình di chuyển Lý tìm việc thay đổi thơng số hình học cộng với vật liệu chế tạo mềm khiến cho ngón tay bị yếu ổn định Sang phiên 3, nhóm lại quay lại với mẫu thiết kế ngón liền khoang khí tách ra, vật liệu Ecoflex OO-30 Phiên chắn phiên gắp vật có kích thước mà nhóm mong muốn Tuy nhiên đặc tính vật liệu mềm nên tay gắp nhạy cảm với áp suất khí cấp vào Tức đến ngưỡng áp suất định ứng xử cong ngón C C tay khơng cịn tuyến tính nữa, xuất trường hợp ngón phình to ngón R L T cịn lại, khiến tay gắp hoạt động không ổn định gắp vật có kích thước nhỏ Nhận thấy vật liệu mềm Ecoflex khơng cịn phù hợp nữa, nhóm định chế tạo phiên với vật liệu cứng Dragon Skin 30A, thiết kế với thơng số hình học U D giữ ngun giống phiên Ở phiên này, kì vọng nhóm, tay gắp hoạt động tốt, gắp hầu hết vật có kích thước hình dạng khác nhau, gắp vật lên đến 1kg giữ vật trình di chuyển Với kết trên, phiên tay gắp đáp ứng tốn nhóm đặt ra, nhiên để tối ưu khơng gian làm việc, lượng khí cấp vào lực nắm vật, nhóm tiếp tục phát triển lên phiên Phiên thiết kế với ngón rời, khoang khí rời, vật liệu Dragon Skin 30A thông số hình học tối ưu dựa sở kinh nghiệm phiên trước Phiên cịn có thêm khả cong theo chiều ngược lại việc cấp áp suất âm, điều giúp tay gắp gắp vật có kích thước lớn bình thường lợi nhiều lực nắm vật Kết sau thực nghiệm với phiên tay gắp gắp giữ nhiều vật với kích thước khác từ nhỏ đến lớn với lượng khí cấp vào bé nhiều so với phiên trước làm việc vùng không gian hạn chế 5.9 Điều khiển tay gắp mềm Ở nhóm thiết kế hệ thống khí nén vừa cấp áp suất dương tay gắp co lại giúp nắm giữ vật thể, vừa cấp áp suất âm để tay gắp duỗi ngược lại giúp nắm vật thể có kích thước lớn SVTH: Nguyễn Văn Tấn, Huỳnh Trí Lễ GVHD: TS Lê Hoài Nam 51 Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm Hình 5.13 mơ tả sơ đồ khối hệ thống khí nén Theo đó, khí nén từ bình chứa khí qua lọc khí qua van điều áp thứ chỉnh mức áp suất cao Khí chia làm 2, phần vào van chân không để sản sinh lực hút, tạo áp suất âm cấp cho tay gắp Một phần tiếp tục qua van điều áp hai, chỉnh mức áp suất thấp cấp cho tay gắp để tạo áp suất dương Tay gắp co duỗi phụ thuộc vào trạng thái van điện từ 3/2 Sở dĩ phải có thêm van điều áp áp suất khí sau qua van điều áp lớn, cấp trực tiếp làm hỏng tay gắp C C R L T Hình 5.13 Sơ đồ khối hệ thống khí nén U D Áp suất khí nén mà nhóm sử dụng cho q trình hút -20kPa, trình thổi 10kPa Kết co duỗi ngón tay thể hình 5.13 Hình 5.14 Khả co, duỗi thực tế tay gắp SVTH: Nguyễn Văn Tấn, Huỳnh Trí Lễ GVHD: TS Lê Hoài Nam 52 Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm KẾT LUẬN  Qua đồ án “Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm” nhóm đạt kết sau:  Chế tạo thành công tay gắp mềm hoàn thiện dần qua phiên  Tay gắp mềm phiên gắp giữ hầu hết loại thức ăn với kích thước từ nhỏ đến lớn, bao gồm vùng kích thước mà tốn đặt mà khơng làm hư hại, biến dạng đối tượng gắp  Xử lý ảnh phân biệt loại thức ăn  Cánh tay robot bậc tự vận hành chắn ổn định  Hệ thống đáp ứng toán đặt  Hướng phát triển tương lai: C C  Cấy cảm biến vào tay gắp để thu tín hiệu phản hồi lực gắp R L T để chủ động điều chỉnh đại lượng cho phù hợp với độ cứng loại thức ăn  Thiết kế tay gắp có kích thước nhỏ gọn để làm việc vùng không gian nhỏ U D  Tiếp tục tối ưu hóa thơng số hình học để giảm lượng khí phải cấp cho tay gắp đảm bảo hiệu làm việc tay gắp  Phát triễn xử lý ảnh lên xử lý ảnh động thêm khả xác định góc nghiêng vật để phục vụ cho toán xếp thức ăn vào hộp theo phương  Thêm bậc tự cho robot để hệ thống hoạt động linh hoạt xử lý toán phức tạp SVTH: Nguyễn Văn Tấn, Huỳnh Trí Lễ GVHD: TS Lê Hồi Nam 53 Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm TÀI LIỆU THAM KHẢO [1] Iwamasa H, Hirai S “Bindling of food materials with a tension-sensitive elastic thread.” In: Proceedings of IEEE international conference on robotics and automation: 26–30 May 2015; Seattle, 2015 p 4298–4303 [2] Suzumori K, Iikura S, Tanaka H “Development of flexible microactuator and its applications to robotic mechanisms.” In: Proceedings of IEEE international conference on robotics and automation: 9–11 Apr 1991; Sacramento, 1991 p 1622–1627 [3] B Mosadegh, et al “Pneumatic Networks for Soft Robotics that Actuate Rapidly,” Advanced Functional Materials, 2013 [4] P Polygerinos, et al “Towards a soft pneumatic glove for hand rehabilitation,” in Intelligent Robots and Systems (IROS), 2013 IEEE/RSJ International Conference on, 2013, pp 1512–1517 [5] Z Wang, D S Chathuranga, S Hirai “3D Printed Soft Gripper for Automatic Lunch Box Packing.” In: Proceedings of the 2016 IEEE international conference on robotics and biominetics: Quingdao, China, December 3-7, 2016 [6] Z Wang, M Zhu, S Kawamura, S Hirai “ Comparison of Different Soft Grippers for Lunch Box Packaging.” Robot Biomim (2017) 4:10 [7] J Shintake, V Cacucciolo, D Floreano, H Shea “Review: Soft Robotics Gripper.” 2018 [8] Y Hao et al “Modeling and experiments of a soft robotic gripper in amphibious environments.” In: International Journal of Advanced Robotic Systems May-June 2017: 1-12 [9] P Polygerinos, Z Wang, J T B Overvelde, et al., “Modeling of soft fiberreinforced bending actuators,” IEEE Transactions on Robotics, 31(3), 2015, pp 778-89 [10] https://electrobit.ee/web/fx3u/FX3U-16CCL-M-users-manual_ENG_ver_D.pdf C C R L T U D [11] https://www.iai-robot.co.jp/data_dl/cad_manual/manual/PDF/CONTROLLER/ CONTROLLER/ENGLISH/PCON-CB(ME0342-1B).pdf [12] https://www.iai-robot.co.jp/data_dl/cad_manual/ /RCP6-SLIDER(ME37492M).pdf SVTH: Nguyễn Văn Tấn, Huỳnh Trí Lễ GVHD: TS Lê Hồi Nam 54 Thiết kế chế tạo robot gắp thức ăn sử dụng xử lý ảnh tay gắp mềm PHỤ LỤC Code lập trình xử lý ảnh #include #include #include #include #include #include #include using namespace cv; using namespace std; C C int fd; Mat imgCurrent, croppedImage; R L T template std::string to_string(T value) { std::ostringstream os; os