Research and development of soft gripper for robot arm (nghiên cứu và phát triển đầu gắp mềm cho cánh tay robot)

ĐẠI HOC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC TIẾN NGHIÊN CỨU, CHẾ TẠO ĐẦU GẮP MỀM CHO CÁNH TAY ROBOT LUẬN VĂN THẠC SĨ CHUYÊN NGÀNH KỸ THUẬT ĐIỆN TỬ HÀ NỘI – 2022 i ĐẠI HOC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC TIẾN NGHIÊN CỨU, CHẾ TẠO ĐẦU GẮP MỀM CHO CÁNH TAY ROBOT Ngành: Chuyên ngành: Mã: Công nghệ kỹ thuật điện tử - viễn thông Kỹ thuật điện tử 8510302.01 LUẬN VĂN THẠC SĨ CHUYÊN NGÀNH KỸ THUẬT ĐIỆN TỬ Giáo viên hướng dẫn: Ts Nguyễn Thị Thanh Vân HÀ NỘI – 2022 ii LỜI CẢM ƠN Trong thời gian nghiên cứu hoàn thành luận văn em nhận giúp đỡ tận tình thầy, cô giáo Khoa Điện tử - Viễn thông, Trường Đại Học Công Nghệ, Đại Học Quốc Gia Hà Nội Trước hết, em muốn bày tỏ lòng biết ơn chân thành đến giáo viên hướng dẫn mình, Tiến sĩ Nguyễn Thị Thanh Vân, Khoa Điện tử Viễn thông, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội hướng dẫn trình nghiên cứu em Cô theo sát em trình làm luận văn, hỗ trợ, bảo giúp cho em củng cố lại kiến thức, phát triển hoàn thành nội dung đề tài Em xin gửi lời cảm ơn đến PGS.TS Bùi Thanh Tùng, Khoa Điện tử Viễn thông, Trường Đại học Công Nghệ, Đại Học Quốc Gia Hà Nội giúp đỡ đưa đánh giá có giá trị cho em Bên cạnh đó, em xin gửi lời cám ơn đến Ths Phan Hoàng Anh hỗ trợ em nhiều trình nghiên cứu, anh bảo chia sẻ cho em nhiều kiến thức cần thiết để hồn thành luận văn Em xin gửi lời cảm ơn đến tất quý Thầy/Cô giảng dạy Khoa Khoa Điện tử - Viễn thông, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội giúp em có kiến thức để thực luận văn Tiếp đến muốn gửi lời cảm đến nhóm sinh viên Trần Cơng Minh, Nguyễn Việt Tiến, Nghiêm Ngọc Hùng, nhóm sinh viên Đỗ Tuấn Anh, Trần Hữu Quốc Đông, Bùi Duy Nam, Đàm Phương Nam bạn sinh viên môn Vi điện tử vi hệ thống dành thời gian để hỗ trợ thực luận văn Cuối cùng, em muốn gửi lời biết ơn sâu sắc dành cho gia đình người bạn hỗ trợ tinh thần họ suốt trình làm luận văn Trong trình thực khơng thể tránh khỏi thiếu sót, em mong nhận ý kiến đóng góp quý báu quý Thầy cô bạn học để tiếp tục phát triển hồn thiện đề tài Em xin chân thành cám ơn Hà Nội, tháng , năm 2022 Nguyễn Đức Tiến iii LỜI CAM ĐOAN Tôi xin cam đoan đề tài “Nghiên cứu, chế tạo đầu gắp mềm cho cánh tay robot” TS Nguyễn Thị Vân hướng dẫn cơng trình nghiên cứu thực dựa sở nghiên cứu lý thuyết, thực nghiệm, không chép tài liệu hay cơng trình người khác Tất tài liệu tham khảo phục vụ cho luận văn nêu nguồn gốc rõ ràng danh mục tài liệu tham khảo khơng có việc chép tài liệu đề tài khác mà không ghi rõ tài liệu tham khảo Hà Nội, tháng , năm 2022 Nguyễn Đức Tiến iv MỤC LỤC LỜI CẢM ƠN iii LỜI CAM ĐOAN iv MỤC LỤC v DANH MỤC HÌNH ẢNH vii DANH MỤC BẢNG BIỂU ix MỞ ĐẦU CHƯƠNG GIỚI THIỆU 1.1 Lý chọn đề tài 1.1.1 Đối tượng nghiên cứu 11 1.1.2 Mục tiêu nghiên cứu 11 1.1.3 Phạm vi nghiên cứu 11 1.1.4 Phương pháp nghiên cứu 11 1.2 Lịch sử phát triển đầu gắp mềm 12 1.3 Cơ sở nghiên cứu 14 1.3.1 Mối liên hệ momen uốn chiều dài tay gắp mềm 14 1.3.2 Mối liên hệ bán kính uốn tổng góc uốn cấu truyền động tay gắp mềm 15 1.3.3 Mối liên hệ góc uốn chiều dài cong đầu gắp mềm 17 CHƯƠNG THIẾT KẾ, CHẾ TẠO ĐẦU GẮP MỀM 18 2.1 Cơ sở thiết kế 18 2.1.1 Cơ sở hoạt động truyền động mềm dùng khí nén 18 2.1.2 Mơ hình thiết kế 19 2.2 Kiểm chứng mô số 20 2.2.1 Phương pháp phần tử hữu hạn 20 2.2.2 Phần mềm mô 21 2.2.3 Phần mềm thiết kế 22 2.2.4 Thiết kế mô 23 2.2.5 Kết sau mô 30 2.3 Kiểm chứng phương pháp thực nghiệm 31 2.3.1 Chế tạo lắp ráp 31 2.3.1.1 Phương pháp in 3D 31 2.3.1.2 Quá trình đổ khuôn truyền động mềm 33 2.3.2 Lắp đặt kiểm thử 42 2.4 Kết chế tạo thử nghiệm 44 CHƯƠNG ỨNG DỤNG ĐẦU GẮP MỀM 47 3.1 Robot di chuyển 47 v 3.1.1 Thiết kế cánh tay robot bậc tự 47 3.1.1.1 Cơ sở giải thích việc chọn mơ hình cánh tay robot bậc tự do? 47 3.1.1.2 Thiết kế chế tạo 47 3.1.2 Thân robot di chuyển 48 3.1.3 Kết 50 3.2 Hệ băng tải cánh tay máy phân loại sản phẩm 51 3.2.1 Thiết kế hệ thống tổng thể 51 3.2.2 Kết 52 CHƯƠNG KẾT LUẬN 54 4.1 Đánh giá 54 4.2 Hạn chế đề tài 54 4.3 Khả phát triển 55 4.3.1 Những ứng dụng thiết thực 55 4.3.2 Hướng phát triển 55 Tài liệu tham khảo 56 PHỤ LỤC 59 PHỤ LỤC 65 a b c a b c Hệ băng tải cánh tay máy phân loại sản phẩm 65 Bộ logic khả trình PLC - Giao tiếp máy tính PLC qua Snap7 68 Giới thiệu 68 Giao tiếp máy tính PLC qua Snap7 70 Cài đặt chương trình cho băng tải 71 Khối nhận diện ảnh 74 Tổng quan xử lý ảnh 74 Quy trình xử lý ảnh 74 Giải thích thuật tốn đo kích thước vật: 76 vi DANH MỤC HÌNH ẢNH Hình Đầu gắp mềm tác giả Suzumori (1996) Hình Găng tay robot mềm phục hồi chức nhóm tác giả Panagiotis Polygerinos (2013) Hình Mơ hình robot nhóm nghiên cứu Christian Duriez Hình Minh họa xếp buồng cấu trúc lớp nhóm nghiên cứu Xuanming Lu Hình Các mơ hình điều áp kết mơ nhóm nghiên cứu Xuanming Lu: (a) cuộn, (b) tạo rãnh, (c) vươn dài, (d) uốn Hình (a) Sơ đồ q trình tạo mơ hình phương pháp in 3D (b) Các tệp thiết kế 3D định dạng tệp STL tải lên phần mềm Cura-phần mềm xuất file cho máy in 3D (c) thiết kế in ngang cách sử dụng máy in 3D(d) chế độ xem mặt cắt tệp thiết kế Bộ truyền động kênh thiết kế khơng có khoang bên Bộ truyền động kênh đôi thiết kế với khoang bên Hình Các hành vi uốn thiết bị truyền động kênh áp suất đầu vào khác tác giả Hong Kai Yap Hình Các hành vi uốn truyền động kênh đôi áp suất đầu vào khác tác giả Hong Kai Yap Hình Kết mô gắp khác nắm nâng vật mềm (a) thể cấu hình ban đầu; (b), (c) (d) cho thấy cấu hình cuối sau nắm nâng vật thiết kế ngón tay khác tác giả Zhongkui Wang Hình 10 Ảnh chụp thí nghiệm việc nắm nâng (a) hộp giấy chứa hạt, (b)một hộp giấy chứa gà rán, (c) bóng gỗ (d) trứng sống tác giả Zhongkui Wang 10 Hình 11 Thiết kế mơ hình PBA 10 Hình 12 Quá trình phát triển hệ thống robot có sử dụng đầu gắp mềm 13 Hình 13 Mơ hình mạng khí nén nhanh tay gắp mềm [16] 14 Hình 14 Quan hệ bán kính uốn tổng góc uốn [17] 15 Hình 15 Biểu diễn thơng số góc uốn chiều dài cong đầu gắp mềm [18] 17 Hình 16 Chú thích kích thước mơ hình mạng khí nén nhanh tay gắp mềm 19 Hình 17 Thiết kế thiết bị truyền động khí nén (a) Cấu trúc truyền động, (b) Hình chiếu cắt ngang thể kích thước 20 Hình 18 Ví dụ chia lưới mơ hình 3D phương pháp phần tử hữu hạn 21 Hình 19 Kết mơ cấu chấp hành mềm (a) (b) cho thấy biến dạng buồng khơng khí trước (a) sau (b) bơm khơng khí vào buồng 23 Hình 20 Thiết kế kẹp mềm (a) Các bước để tạo kẹp mềm cách sử dụng truyền động khí nén phận hỗ trợ, (b) Bộ kẹp mềm sau lắp ráp 24 Hình 21 Chọn mơ hình thơng số vật liệu 26 Hình 22 Thiết kế mơ hình truyền động mềm có khoang khí (xanh) bên trong, góc nhìn tồn 26 Hình 23 Thiết kế mơ hình truyền động mềm có khoang khí (xanh) bên trong, mặt cắt 27 vii Hình 24 Biểu đồ thơng số vật liệu phụ thuộc áp suất 27 Hình 25 Xác định mặt phẳng chịu áp suất mô 28 Hình 26 Chia lưới để áp dụng tính tốn FEM cho mô 28 Hình 27 Cài đặt thời gian mơ 29 Hình 28 Cài đặt điều kiện vật lí trọng lực cho mơ hình mơ 29 Hình 29 Xác định mặt cố định mơ 30 Hình 30 Đặt áp suất tác động vào mơ hình 30 Hình 31 Một số hình ảnh q trình in khn 3D đổ đầu gắp ngón mềm 31 Hình 32 Khuôn đổ đầu gắp sản xuất từ công nghệ máy in thơng thường 32 Hình 33 Khuôn đổ đầu gắp sản xuất từ công nghệ in 3D SLA 33 Hình 34 Khuôn đổ đầu gắp sản xuất từ công nghệ in 3D PLA (a) khuôn đổ truyền động riêng, (b) khuôn chung truyền động 33 Hình 35 Trộn dung dịch ecoflex theo tỉ lệ 1:1 vào cốc quan sát số liệu cân 34 Hình 36 Đổ khn hỗn hợp sau trộn 34 Hình 37 Quá trình hút chân không hỗn hợp dung dịch sau đổ vào khn 36 Hình 38.Cơng đoạn chờ Ecoflex đông đặc khoang nước 36 Hình 39 Q trình sấy chân khơng xử lý độ nhớt bề mặt đầu gắp mềm 37 Hình 40 Mẫu thử nghiệm đầu gắp mềm sau chế tạo 37 Hình 41 Một số hình ảnh trình đo đạc mẫu thử nghiệm sau chế tạo 38 Hình 42 Kiểm tra khả hoạt động đầu gắp mềm sau chế tạo 39 Hình 43 Quy trình chế tạo mẫu thử nghiệm đầu gắp mềm 40 Hình 44 Các phận in 3D kẹp khí nén chế tạo (a) đế kẹp, (b) cấu truyền động mềm, (c) phận đầu nối (d) đầu gắp lắp ráp 41 Hình 45 Thiết kế đầu nối (a) khơng có đường khí tích hợp, (b) có đường khí tích hợp 42 Hình 46 Các phận in 3D kẹp khí nén chế tạo phiên số (a) đế kẹp, (b) cấu truyền động mềm, (c) phận đầu nối (d) đầu gắp lắp ráp 43 Hình 47 Biến dạng uốn truyền động mềm áp suất tác dụng khác thí nghiệm (trái) mơ (phải) 45 Hình 48 Dịch chuyển đầu thiết bị truyền động áp suất tác dụng khác mô thực tế độ dày thành tương ứng 0,5mm (b), 1mm (c) 1,5mm (d) 45 Hình 49 Kiểm tra độ bám: cốc sứ, b nút Stop, c lon nhôm, d Ống tiêm 60cc, ePCB 70x50 mm, f bánh 46 Hình 50 Mối tương quan khối lượng áp suất tối thiểu cần thiết cho vật liệu 46 Hình 51 Mơ hình cánh tay robot “uArm Metal Commercial” 48 Hình 52 Mơ hình cánh tay bậc lắp robot thiết kế thực tế chế tạo 48 Hình 53 Bản thiết kế phần cứng rô bốt phần mềm Solidworks 2019 thực tế [26] 49 Hình 54 Sơ đồ thành phần hệ thống robot 50 Hình 55 Thử nghiệm robot đầu gắp mềm 51 viii Hình 56 Mơ hình thiết kế hệ thống phân loại băng tải cánh tay máy 51 Hình 57 Sơ đồ khối hệ thống 52 Hình 58 Mơ hình thực tế 52 Hình 69 Kết gắp phân loại sản phẩm 53 Hình 70 Kết nhận diện kích thước vật 53 Hình 71 Cấu thành hệ thống khí nén 66 Hình 72 Băng tải nhà máy dùng để vận chuyển 67 Hình 59 Module mở rộng PLC S7 1200 69 Hình 60 Các module hỗ trợ tương thích với S7-1200 69 Hình 61 Màn hình giao diện Tia Portal 70 Hình 73 Thư viện Snap7 tảng hỗ trợ Snap 71 Hình 62 PLC tag lưu địa biến 71 Hình 63 Data_block_1 lưu địa biến đọc ghi thông quan Snap7 72 Hình 64 Chương trình điều khiển I/O PLC 73 Hình 65 Chương trình điều khiển trục xoay PLC 73 Hình 66 Chương trình nhận lệnh điều khiển trục xoay từ PC PLC 74 Hình 74 Các giai đoạn trình xử lý ảnh 74 Hình 67 Lưu đồ thuật tốn đo kích thước vật (a) chỉnh sử dụng Chessboard (b) đo kích thước vật sau chỉnh 76 Hình 68 Các ví dụ ứng dụng thuật tốn Camera Calibration 77 Hình 75 Minh họa giải thuật bước 78 Hình 76 Các ma trận chuyển đổi 78 Hình 77 Minh họa giải thuật bước 79 Hình 78 Hệ tọa độ mặt phẳng ảnh 79 Hình 79 Minh họa tổng quan thuật tốn 81 DANH MỤC BẢNG BIỂU Bảng Các thông số thiết kế kẹp mềm dựa thiết kế Hình 17 31 Bảng Kết khảo sát đo kích thước vật 53 Bảng Chức bậc cánh tay khí băng tải 66 ix MỞ ĐẦU Cùng với phát triển lĩnh vực khoa học, công nghệ thời đại cách mạng công nghiệp lần thứ tư, kỹ thuật robot lĩnh vực dẫn đầu mức độ tăng trưởng, đạt cải tiến kỹ thuật giành nhiều quan tâm nhà nghiên cứu Các sản phẩm thuộc robot giữ vai trò quan trọng nhiều lĩnh vực khác sản xuất, kinh tế, vận tải Nó giúp người thực nhiều cơng việc khó điều kiện mơi trường khắc nghiệt, độc hại, giúp tự động hóa quy trình cách nhanh chóng thuận lợi Ngồi robot cịn mở rộng khơng giới hạn ứng dụng sống nhờ vào phát triển nhanh chóng hệ thống nhúng, trí tuệ nhân tạo, vật liệu… Một mẻ lĩnh vực robot bắt đầu khai thác nghiên cứu khoảng nửa kỷ trở lại giới robot mềm tài liệu trình bày đầu gắp mềm Đây mẫu robot điển hình cho kết hợp đại (đầu gắp mềm) cổ điển (cánh tay robot cứng) Từ xuất hiện, có nhiều đề tài nghiên cứu đầu gắp mềm nhà khoa học kĩ sư kĩ thuật bắt tay vào tiến hành phân tích Hiện giới cho mắt nhiều công bố khoa học sản phẩm ứng dụng đầu gắp mềm Tuy nhiên tiềm khả phát triển mơ hình cịn lớn hồn tồn tiến xa tương lai Hơn nữa, robot mềm đặc biệt lạ Việt Nam, nghiên cứu người Việt giúp người Việt muốn sâu tìm hiểu lĩnh vực robot cơng nghệ hồn tồn kế thừa tạo điều kiện cho nghiên cứu ngày sâu có bước tiến nhanh tốt Hiện nay, sản phẩm mơ hình cánh tay robot xuất trở nên phổ biến thị trường khơng cơng nghiệp mà cịn sống ngày Trong cấu trúc đó, phần đầu gắp tiếp xúc trực tiếp với đối tượng làm việc (kiện hàng, linh kiện, thực phẩm …) không ngừng cải thiện để tăng hiệu hoạt động Các cải tiến tốc độ gắp, gắp nhiều hơn, gắp nhiều kiểu hình hơn, tỉ lệ gắp thành công cao Song song với cải thiện đầu gắp vật liệu cứng hướng khác nghiên cứu ứng dụng cấu đầu gắp mềm mảng nghiên cứu mở rộng Sản phẩm đầu gắp mềm tích hợp cánh tay robot thơng thường sản phẩm robot đa hình dạng thơng minh giúp thực nhiệm vụ gần giống người mà làm giảm hư hại, biến dạng không mong muốn gặp phải trình hoạt động Đề tài nghiên cứu hướng đến việc đưa sản phẩm cụ thể ứng dụng đời sống, sản xuất thu hoạch Đầu tiên nghiên cứu mặt thiết kế hình dạng đầu gắp, tay gắp để tạo việc cầm, nắm, bao trọn vật thể cần tương tác (gắp, nâng, di chuyển điểm…) cách thuận lợi Khảo sát tương tác lực độ bền, độ chịu tải tối đa mẫu sản phẩm đầu gắp mềm cánh tay robot Nghiên cứu điều khiển nhằm giúp cho tay gắp robot hoạt động cách tốt đảm bảo an toàn cho sản phẩm thực tế Cuối đưa sản phẩm vào thực nghiệm mơ hình thực theo giá thành sản phẩm giảm đáng kể tiết kiệm chi phí nhân cơng Chất lượng sản phẩm tăng lên nhờ tránh sai sót người lao động Hình 62 Băng tải nhà máy dùng để vận chuyển Một hệ thống băng tải cấu thành từ phận sau:  Khung băng tải: có kết cấu vật liệu nhẹ linh hoạt lắp ráp Thông thường làm thép sơn tĩnh điện, inox nhơm định hình  Động dùng để giảm tốc: Có cơng suất 0.2KW, 0.4KW, 0.75KW, 1.5KW, 2.2KW  Bộ điều khiển băng tải: Thường gồm có biến tần, contactor, sensor, timer, PLC…  Dây băng tải: Thường sử dụng dây băng PVC dây PU dày 2-5 (mm)  Cơ cấu truyền động gồm có: Rulo chủ động kéo, cấu chống lệch băng, lăn đỡ dây…  Bàn thao tác băng tải thường gỗ, inox mặt có dán lớp nhựa PVC chống trầy xước cho sản phẩm  Ghế ngồi làm việc thiết kế phù hợp có khả tháo lắp di chuyển 67  Hệ thống đường khí nén đường điện có ổ cắm để lấy điện cho máy dùng băng tải  Ngồi thường có thêm đường điện chiếu sáng hệ thống điều khiển khí nén để cơng nhân thao tác lắp ráp Băng tải sản phẩm sáng tạo thiết bị công nghệ tiên tiến Là cải tiến vượt trội băng tải, thiết bị máy móc ko thể thiếu đối dây chuyền chế tạo, chế biến, lắp ráp nhà máy với quy mô lớn Hệ thống băng tải thiết bị cơng nghiệp có tính kinh tế cao với khả đảm nhận đồng thời nhiệm vụ: vận chuyển vị trí thao tác sản xuất, chế biến, lắp ráp, đóng gói Sử dụng băng tải để tiết kiệm nhân lực lao động, diện tích nhà xưởng, đồng thời góp phần tạo nên mơi trường sử dụng động, khoa học giải phóng sức lao động mang lại hiệu kinh tế cao Bộ logic khả trình PLC - Giao tiếp máy tính PLC qua Snap7 a Giới thiệu Bộ điều khiển logic khả trình (PLC) khơng giống điều khiển thơng thường có thuật tốn điều khiển định, PLC có khả thay đổi thuật tốn điều khiển tùy chỉnh người dùng viết thơng qua ngơn ngữ lập trình Do đó, cho phép thực linh hoạt vấn đề kiểm soát Hiện có nhiều hãng sản xuất PLC Siemens (Đức), Omron (Nhật), Mitsubishi (Nhật), Delta (Đài Loan)… Ngôn ngữ lập trình phổ biến LAD (Ladder logic - Hình thang), FBD (Function Block Diagram), STL (Statement List) Ladder logic ngơn ngữ lập trình PLC phổ biến PLC dựa vào tín hiệu đầu vào thuật toán điều khiển bên người lập trình viết ra, đưa tín hiệu đầu để điều khiển thiết bị khác Ngày nay, hệ thống điều khiển đại thiếu PLC, ứng dụng rộng rãi lĩnh vực điện tự động hóa, phục vụ cho nhiều ngành cơng nghiệp máy móc như: cấp nước, xử lý nước thải, giám sát lượng, giám sát hệ thống điện, máy đóng gói, máy chế biến thực phẩm, băng tải dòng… Bộ S7 1200 cung cấp cho người dùng tối đa module tín hiệu đa dạng mạch tín hiệu cho vi xử lý Nó có khả mở rộng, ngồi cịn có module giao tiếp nhờ vào giao tiếp truyền thơng 68 Hình 63 Module mở rộng PLC S7 1200 Hình 64 Các module hỗ trợ tương thích với S7-1200 Phần mềm dùng để lập trình PLC S7-1200 TIA Portal TIA Portal phần mềm sở tích hợp tất phần mềm lập trình cho hệ thống truyền động điện tự động hóa Phần mềm tích hợp sản phẩm SIMATIC khác phần mềm ứng dụng; ví dụ, Simatic Step V14 để lập trình điều khiển Simatic Simatic WinCC V14 để cấu hình hình HMI chạy SCADA máy tính, tăng suất hiệu 69 Hình 65 Màn hình giao diện Tia Portal b Giao tiếp máy tính PLC qua Snap7 Snap7 truyền thông Ethernet đa tảng, hỗ trợ hệ điều hành 32/64 bit, mã nguồn mở để giao tiếp nguyên với PLC Siemens S7 Các CPU 1200/1500, S7200 cũ, LOGO 0BA7 / 0BA8 Ổ đĩa SINAMICS (cũng hỗ trợ phần) Mặc dù thiết kế để khắc phục hạn chế máy chủ OPC truyền lượng lớn liệu tốc độ cao sở cơng nghiệp, có quy mơ phù hợp với bảng mạch nhỏ dựa Linux mips Raspberry PI (1 2), BeagleBone Black, pcDuino, CubieBoard, UDOO ARDUINO YUN Cấu hình Snap gồm ba thành phần chuyên biệt: Máy khách, Máy chủ Đối tác, cho phép bạn tích hợp hệ thống dựa PC vào chuỗi tự động hóa cho PLC Siemens S7 Trong mơ hình ứng dụng này, máy tính PC đảm nhiệm chức xử lí ảnh sau sử dụng thư viện Python-Snap7 kết nối với PLC S7-1200 để điều khiển PLC làm công việc Python-snap7 thư viện dành cho ngơn ngữ lập trình Python thư viện thử nghiệm với Python 3.6+, Windows, Linux OsX nên xét tính tương thích chéo hoạt động lâu dài, hệ thống trì tích hợp máy tính cơng nghiệp lẫn máy tính nhúng 70 Hình 66 Thư viện Snap7 tảng hỗ trợ Snap c Cài đặt chương trình cho băng tải PLC giống xử lí phổ biến khác làm việc thơng qua địa (địa biến I/O, địa biến đệm) Với địa I/O, PLC sử dụng địa đầu vào từ I0.0 đến I0.2, địa đầu vào từ Q0.0 đến Q0.6 Ngồi cịn có nhớ đệm phân vùng địa Mx.x để làm đệm giá trị cho đầu ra/vào Các địa triển khai tổng hợp tab PLC Tag hình Hình 67 PLC tag lưu địa biến Với Snap7, PLC sử dụng vùng nhớ Data_block_1 (DB1) để chia sẻ quyền đọc/ghi cho thiết bị mạng Ethernet Máy tính PC điều khiển bậc cánh tay máy, điều khiển đóng mở đầu gắp, điều khiển bật tắt băng tải Các giá trị chia sẻ để đọc/ghi thể hình 71 Hình 68 Data_block_1 lưu địa biến đọc ghi thông quan Snap7 Chương trình chạy PLC tập lệnh điều khiển I/O PLC S71200 Các đầu Q0.2 đến Q0.4 có trạng thái ngược so với trạng thái van khí nén theo thơng số thiết kế van khí nén, trước tác động đến van khí nén cần đệm đầu vào biến từ M0.2 đến M0.4 tương ứng Đầu vào I0.2 tương ứng với cảm biến khoảng cách, có vật chạy đến vùng làm việc tay gắp, có tín hiệu trả DB1 máy tính nhận thơng tin sau chuẩn bị cho cơng việc Chương trình lệnh điều khiển trục xoay đến vị trí mà máy tính PC đưa Chương trình sử dụng hàm đếm kết nối với cảm biến thân trục xoay Mỗi trục xoay đên điểm đặt trước, cảm biến trả trạng thái logic đếm tăng lên đơn vị Chương trình sử dụng cho chiều quay từ 0-180 độ ngược lại Vị trí dừng chọn thân trục xoay vị trí khởi động, vị trí gắp vị trí thả đầu gắp Cùng với chương trình điều khiển trục xoay chương trình chuyển lệnh từ Snap7 vào PLC Trên PC điều khiển Data_block_1 biến I/O biến đệm tác động trực tiếp Chương trình chuyển lệnh thực chuyển tiếp lệnh từ địa Data_block_1 sang biến I/O, biến đệm từ tác động đến đầu vào, đầu PLC Tương tự trục ngang theo phương X sử dụng khối tương tự với trục xoay khác địa chỉ: điều khiển I/O, điều khiển trục xoay, chuyển lệnh điều khiển Đối với trục Z, đầu gắp băng truyền sử dụng chương trình điều khiển I/O, chuyển lệnh điều khiển Các chương trình trục xoay thể 72 Hình 69 Chương trình điều khiển I/O PLC Hình 70 Chương trình điều khiển trục xoay PLC 73 Hình 71 Chương trình nhận lệnh điều khiển trục xoay từ PC PLC Khối nhận diện ảnh a Tổng quan xử lý ảnh Xử lý ảnh (XLA) đối tượng nghiên cứu lĩnh vực thị giác máy, trình biến đổi từ ảnh ban đầu sang ảnh với đặc tính tuân theo ý muốn người sử dụng Xử lý ảnh gồm q trình phân tích, phân lớp đối tượng, làm tăng chất lượng, chuyển đổi kiểu ảnh xử lý liệu đồ hoạ Xử lý ảnh số lĩnh vực tin học ứng dụng, bao gồm phương pháp kỹ thuật biến đổi, để truyền tải mã hoá ảnh tự nhiên Mục đích xử lý ảnh gồm: • Biến đổi ảnh làm tăng chất lượng ảnh • Sử dụng nội dung ảnh sau xử lí cho ứng dụng cụ thể b Quy trình xử lý ảnh Hình 72 Các giai đoạn q trình xử lý ảnh a Thu nhận ảnh: Ðây công đoạn mang tính định trình XLA Ảnh đầu vào ảnh màu ảnh trắng đen, trích xuất từ thiết bị camera, sensor máy scanner, sau tín hiệu số hóa Việc lựa chọn thiết bị thu nhận ảnh phụ thuộc vào đặc tính đối tượng cần xử lý Các thông số quan trọng khâu thu nhận độ phân giải, chất lượng màu, dung lượng nhớ tốc độ thu nhận ảnh thiết bị Trong đề tài này, tác giả sử dụng camera stereo ZED 74 b Tiền xử lý: Ở bước này, ảnh cải thiện độ tương phản, khử nhiễu, khử bóng, khử độ lệch với mục đích làm cho chất lượng ảnh trở lên tốt nữa, chuẩn bị cho bước xử lý phức tạp sau trình XLA Quá trình thường thực lọc c Phân đoạn: Phân đoạn ảnh bước then chốt XLA Giai đoạn phân tích ảnh thành thành phần có tính chất dựa theo biên hay vùng liên thông Tiêu chuẩn để xác định vùng liên thơng màu, độ xám Mục đích phân đoạn ảnh để có miêu tả tổng hợp nhiều phần tử khác cấu tạo nên ảnh thơ Vì lượng thơng tin chứa ảnh lớn, đa số ứng dụng cần trích vài đặc trưng đó, cần có q trình để giảm lượng thơng tin khổng lồ Q trình bao gồm phân vùng ảnh trích chọn đặc tính chủ yếu d Tách đặc tinh: Kết bước phân đoạn ảnh thường cho dạng liệu điểm ảnh thơ, hàm chứa biên vùng ảnh, tập hợp tất điểm ảnh thuộc vùng ảnh Trong hai trường hợp, chuyển đổi liệu thô thành dạng thích hợp cho việc xử lý máy tính cần thiết Ðể chuyển đổi chúng, câu hỏi cần phải trả lời nên biểu diễn vùng ảnh dạng biên hay dạng vùng hoàn chỉnh gồm tất điểm ảnh thuộc Biểu diễn dạng biên cho vùng phù hợp với ứng dụng quan tâm chủ yếu đến đặc trưng hình dạng bên ngồi đối tượng, ví dụ góc cạnh điểm uốn biên chẳng hạn Biểu diễn dạng vùng lại thích hợp cho ứng dụng khai thác tính chất bên đối tượng, ví dụ cấu trúc xương Sự chọn lựa cách biểu diễn thích hợp cho vùng ảnh phần việc chuyển dổi liệu ảnh thô sang dạng thích hợp cho xử lý sau e Nhận dạng phân tích: Ðây bước cuối trình XLA Nhận dạng ảnh nhìn nhận cách đơn giản việc dán nhãn cho đối tượng ảnh Ví dụ nhận dạng hình dáng sản phẩm, sau xử lý ảnh ta phân loại đối tượng có ảnh thành hình dạng dán cho nhãn định Chúng ta thấy rằng, khơng phải ứng dụng XLA bắt buộc phải tuân theo tất bước xử lý nêu trên, ví dụ ứng dụng chỉnh sửa ảnh nghệ thuật dừng lại bước tiền xử lý Tùy theo ngơn ngữ phần mềm mà người lập trình lựa chọn cách tiếp cận với cơng đoạn có độ khó dễ khác Một cách tổng quát chức xử lý bao gồm nhận dạng giải thích thường có mặt hệ thống phân tích ảnh tự động bán tự động, dùng để rút trích thơng tin quan trọng từ ảnh, ví dụ ứng dụng nhận dạng ký tự quang học, nhận dạng chữ viết tay 75 c Giải thích thuật tốn đo kích thước vật: Hình 73 Lưu đồ thuật tốn đo kích thước vật (a) chỉnh sử dụng Chessboard (b) đo kích thước vật sau chỉnh Thuật toán Camera Calibration (Hay cịn gọi Camera Resectioning) thuật tốn ước tính thơng số ống kính cảm biến máy ảnh cách sử dụng đầu vào thực tế (ví dụ Checkerboard) hỗ trợ xác định ma trận chuyển đổi ước lượng tham số Các thông số sử dụng việc sửa độ méo ống kính khiến ảnh khơng bị cong lỗi phần cứng, đo kích thước vật thể theo đơn vị đo lường độ dài xác định vị trí máy ảnh mơi trường Thuật tốn hay sử dụng ứng dụng thị giác máy thị giác Robot để phát đo lường đối tượng chế tạo Robot, hệ thống định vị tái tạo lại hình dáng 3D vật thể 76 Hình 74 Các ví dụ ứng dụng thuật toán Camera Calibration Các đặc điểm mơ hình xử lý ảnh đo kích thước bao gồm: Về ý tưởng: Camera ánh xạ điểm hệ tọa độ môi trường chiều lên điểm ảnh hệ tọa độ ảnh chiều Về đầu ra: Các tham số đại diện cho hiệu phần cứng camera có ảnh hưởng đến chất lượng hình ảnh, bao gồm: - Tâm ảnh (Image Center) - Tiêu cự (Focal Length) - Độ cong thấu kính (Lens Distortion) Về đầu vào: Các hệ tọa độ sử dụng: - Hệ tọa độ không gian (World Coordinate) - Hệ tọa độ camera (Camera Coordinate) - Hệ tọa độ ảnh (Image Coordinate) - Hệ tọa độ mặt phẳng trung gian (Plane Coordinate) Về xử lý: Gồm có bước chính: - Bước 1: Ánh xạ điểm 3D từ hệ tọa độ không gian sang hệ tọa độ camera sử dụng tham số ngoại vi (Gồm ma trận xoay 𝑅 ma trận tịnh tiến 𝑡) - Bước 2: Ánh xạ điểm 3D từ hệ tọa độ camera sang hệ tọa độ ảnh sử dụng tham số nội (Gồm ma trận 𝐾) Bước 1: Từ World Coordinate sang Camera Coordinate (Từ hệ tọa độ không gian sang hệ tọa độ camera) cần hai công đoạn: tịnh tiến xoay Đầu tiên, dịch gốc hệ tọa độ không gian sang hệ tọa độ camera sau xoay trục để chỉnh tọa độ 𝑋 = 𝑅 𝑋−𝐶 77 (12) Trong đó, 𝑅 ma trận xoay, 𝑋 𝐶 vị trí tương ứng hệ tọa độ khơng gian 𝑋 vị trí hệ tọa độ camera S Xét: 𝑅 = 𝑅 (𝜓)𝑅 (𝜑)𝑅 (𝜃), đó: 𝑋 = 𝑅 = 𝑅 −𝑅𝐶 𝑋 = 𝑅 −𝑅𝐶 𝑋 (13) Với 𝑡 = 𝑅𝐶 Hình 75 Minh họa giải thuật bước Hình 76 Các ma trận chuyển đổi Bước 2: Từ Camera Coordinate sang Image Coordinate 𝐶 tâm camera, 𝑍 trục qua tâm thấu kính, mặt phẳng 𝑝 mặt phẳng trung gian 2D, 𝑝 tâm hệ tọa độ mặt phẳng, 𝑓 tiêu cự, khoảng cách 𝐶 𝑝 Mặt phẳng 𝑥𝑝𝑦 song song với hệ trục tọa độ camera 𝑋𝐶𝑌 Tọa độ ảnh mối quan hệ khoảng cách hệ tọa độ mặt phẳng với hệ tọa độ ảnh với gốc tọa độ nằm góc bên trái ảnh, đơn vị biểu diễn số điểm ảnh (pixel) 78 Hình 77 Minh họa giải thuật bước  Từ hệ tọa độ camera sang hệ tọa độ mặt phẳng trung gian Với 𝑋 vị trí điểm hệ tọa độ camera, tọa độ ảnh xạ 𝑥 hệ tọa độ mặt phẳng trung gian tính sau: 𝑥 = 𝑓 (14) 𝑋 𝑌 𝑋 𝑋 = 𝑓 (𝑋, 𝑌, 𝑍) → (𝑓 , 𝑓 ) 𝑍 𝑍 𝑍 𝑍 Hay: 𝑋 𝑓 𝑋 𝑓 0 𝑌 → 𝑓 𝑌 = 𝑓 𝑍 𝑍 0 1  Từ hệ tọa độ mặt phẳng sang hệ tọa độ ảnh 𝑋 𝑌 = 𝑃𝑋 𝑍 0 (15) Hình 78 Hệ tọa độ mặt phẳng ảnh Trên hệ tọa độ ảnh, gốc tọa độ hệ mặt phẳng 𝑝 có tọa độ (𝑝 , 𝑝 ): (𝑋, 𝑌, 𝑍) → 𝑓 (16) 𝑋 𝑌 + 𝑝 , 𝑓 + 𝑝 𝑍 𝑍 Hay: 𝑋 𝑌 → 𝑍 𝑓 𝑋 + 𝑍𝑝 𝑓 𝑌 + 𝑍𝑝 𝑍 = 79 𝑓 0 𝑓 𝑝 𝑝 0 𝑋 𝑌 𝑍 (17) Vậy nên: 𝑓 𝑋 + 𝑍𝑝 𝑓 𝑌 + 𝑍𝑝 𝑍 𝑓 𝑝 0 𝑋 = 𝑓 𝑝 0 𝑌 𝑍 0 0 1 Từ công thức này, ta đặt 𝐾 tham số nội biểu diễn ma trận, cụ thể: (18) 𝑓 𝑝 𝐾= 𝑓 𝑝 0 Với ma trận xoay 𝑅 = 𝐼, ma trận tịnh tiến 𝑡 = 0: (19) 𝑃 = 𝐾 ∗ [𝐼|0] (20) Khi đó: 𝑥 = 𝐾 [𝐼|0]𝑋 (21) = 𝐾 𝑅 −𝑅𝐶 𝑋 Trên hệ tọa độ ảnh, đơn vị độ dài sử dụng số điểm ảnh, để chuyển đơn vị sang mét Với 𝑚 số điểm ảnh 1m theo chiều ngang, 𝑚 số điểm ảnh 1m theo chiều dọc, diện tích điểm ảnh là: (22) 1 × 𝑚 𝑚 Khi đó, K là: a Kết luận 𝑚 𝐾= 0 𝑚 0 𝑓 0 0 𝑓 𝑝 𝑓 𝑝 = 0 𝑓 𝑐 𝑐 (23) Từ bước trên, với ma trận 𝑅, 𝑡, K hay gọi tham số ngoại vi tham số nội tại, ta rút công thức: 𝑋 𝑥𝑍 𝑓 𝑐 𝑦𝑍 = 𝑓 𝑐 [𝑅 |𝑡 ] 𝑌 𝑍 𝑍 0 1 Để tính ngược lại tọa độ điểm ảnh hệ tọa độ không gian: 𝑥 𝑥𝑍 𝑦 𝑦𝑍 = 𝑍 𝑍 80 (24) (25) Hình 79 Minh họa tổng quan thuật toán 81