ĐỀ tài NCKH cánh tay gắp sản phẩm kết hợp xử lý ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN CÁNH TAY GẮP SẢN PHẨM KẾT HỢP XỬ LÝ ẢNH MÃ SỐ: SV2020-14 SKC007377 Tp Hồ Chí Minh, tháng 07/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN CÁNH TAY GẮP SẢN PHẨM KẾT HỢP XỬ LÝ ẢNH MÃ SỐ : SV2020 - 14 Chủ nhiệm đề tài: Đỗ Hữu Phú - 16142181 TP Hồ Chí Minh, 07/2020 i BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN CÁNH TAY GẮP SẢN PHẨM KẾT HỢP XỬ LÝ ẢNH MÃ SỐ : SV2020 - 14 Thuộc nhóm ngành khoa học: Điện – điện tử SV thực hiện: Đỗ Hữu Phú Nam, Nữ: Nam Dân tộc: Kinh Lớp, khoa: 16142CL5, Khoa đào chất lượng cao Năm thứ: /Số năm đào tạo: Ngành học: Điện- Điên tử Người hướng dẫn: Th.S Lê Hồng Lâm TP Hồ Chí Minh, 07/2020 ii LỜI CẢM ƠN Em xin gởi lời cảm ơn sâu sắc đến Thầy Lê Hoàng Lâm _ Giảng viên môn Kỹ thuật Điện – Điện tử trực tiếp hướng dẫn, góp ý, chia sẻ nhiều kinh nghiệm quý báu tận tình giúp đỡ tạo điều kiện cho em để hoàn thành tốt đề tài Em xin gởi lời chân thành cảm ơn thầy cô Khoa Điện-Điện Tử tạo điều kiện tốt cho em hoàn thành đề tài Em gửi lời đồng cảm ơn đến bạn lớp 16142CL5 chia sẻ trao đổi kiến thức kinh nghiệm quý báu thời gian thực đề tài Cảm ơn đến cha mẹ làm chỗ dựa vững chắc, sát cánh kề bên hỗ trợ em, giúp em đến ngày hơm Xin chân thành cảm ơn! Người thực đề tài Nguyễn Hoàng Trường _ 16142236 Đỗ Hữu Phú _ 16142181 iii MỤC LỤC LỜI CẢM ƠN MỤC LỤC Danh mục từ viết tắt Phụ lục hình ảnh Chương 1: Tổng quan 1.1Đặt vấn đề 1.2 Nhiệm vụ 1.3Nội dung 1.4Phạm vi đề tài Chương 2: Cơ sở lý thuyết 2.1 Tổng quan PLC 2.1.1Giới thiệu PLC 2.1.2 Cấu trúc PLC 2.1.3Ưu nhược điểm PLC 2.1.4Ứng dụng PLC 2.2Động servo 2.2.1Giới thiệu chung 2.2.2Phân loại cấu tạo 2.2.3Nguyên lý hoạt động 2.2.4Ưu nhược điểm 2.2.5Ứng dụng 2.3Giới thiệu thiết bị mơ hình 2.3.1Bộ điều khiển driver amplifier M 2.3.2Các chức driver am 2.4Giới thiệu động servo sử dụng mơ hình 2.5 Tổng quan ảnh số Camera Cognex 2.5.1Ảnh số gì? 2.5.2Cognex Corporation In-sight 2.6Cáp kết nối 2.6.1 Cáp SSCNET III/H 2.6.2Cáp Ethernet Chương 3: Thiết kế, thi công hệ thống mô iv 3.1 Yêu cầu hệ thống 3.2 Thiết kế hệ thống 3.2.1 Phần khí 3.2.2 Phần điện 3.2.3 Thi công hệ thống 3.3 Mô động học Matlab Chương Mơ tả tốn 4.1 Mô tả hệ thống 4.2 Mơ tả hoạt động mơ hình 4.3 Tính tốn phương trình động học 4.3.1 Tính động học thuận 4.3.2 Tính động học nghịch 4.4 Các giải thuật áp dụng 4.4.1 Giải thuật chạy nội suy đồng th 4.4.2 Giải thuật dời khung ảnh 4.4.3 Bài toán gắp vật chuyển đ 4.4.4 Bài toán xếp chồng vật b 4.4.5 động Bài toán xếp xen kẽ nhiều vật l 4.5 Các chức sử dụng ISM-1100 4.5.1 In-Sight Pattern Match 4.5.2 Optical Character Recognition 4.5.3 CalibrateGrid Chương Kết nghiên cứu đánh giá 5.1 Kết nghiên cứu 5.2 Đánh giá Chương Kết luận hướng phát triển 6.1 Kết luận 6.2 Hướng phát triển Tài liệu tham khảo v Danh mục từ viết tắt AC (Alternating Current) DC (Direct current) FPS (Frames per second) ISM (In-Sight Micro) PLC (Programmable Logic Controller) POE (Power over ethernet) PWM (Pulse-width modulation) RAM (Random Access Memory) ROM (Read-Only Memory) vi Phụ lục hình ảnh Hình 2.1 Cấu trúc PLC Hình 2.2 Ứng dụng servo việc lắp ráp linh kiện điện tử Hình 2.3 Ứng dụng servo ngành sản xuất khn mẫu Hình 2.4 Bộ điều khiển MR – J4 – B Hình 2.5 Hình ảnh cấu tạo bên driver amplifier MR-J4_B 10 Hình 2.6 Giải thích thơng số động servo 14 Hình 2.7 Các sản phẩm Cognex Corparation 18 Hình 2.8 Cáp SSCNET III/H 19 Hình 2.9 Chuẩn màu dây cáp ethernet 19 Hình 2.10 Cáp ethernet kết nối camera 20 Hình 2.11 Kết nối thiết bị có sử dụng cơng nghệ POE 20 Hình 3.1 Sơ đồ bố trí mơ hình 21 Hình 3.2 Sơ đồ bố trí mơ hình 22 Hình 3.3 Thông số robot 22 Hình 3.4 Thơng số robot 23 Hình 3.5 Thơng số khung băng tải 23 Hình 3.6 Bản vẽ đế khớp nối 24 Hình 3.7 Bản vẽ khớp nối 24 Hình 3.8 Bản vẽ khớp nối 4,5 24 Hình 3.9 Bản vẽ robot hoàn chỉnh 25 Hình 3.10 Sơ đồ khối hệ thống 25 Hình 3.11 Driver amplifier J4 29 Hình 3.12 Camera ISM-1100 29 Hình 3.13 Nam châm điện 30 Hinh 3.14 HMI GT1155HS-QSBD 30 Hinh 3.15 Sơ đồ điều khiển tổng quát 30 Hình 3.16 Thi cơng phần khí 31 Hình 3.17 Thi cơng phần điện 31 Hinh 3.18 Giao diện GUI 32 Hình 4.1 Thơng số cấu robot 35 Hình 4.2 Gán tọa độ cho khớp 35 Hình 4.3 Khớp xoay 37 Hình 4.4 Độ dài cấu robot 37 Hình 4.5 Hình vẽ tính động học nghịch 37 Hình 4.6 Lưu đồ nội suy 40 Hình 4.7 Hình vẽ tìm Ox theo gốc tọa độ robot 41 Hình 4.8 Hình vẽ tìm Oy theo gốc tọa độ robot 41 Hình 4.9 Lưu đồ giải thuật gắp vật chuyển động 43 Hình 4.10 Biểu đồ vận tốc, thời gian 43 Hình 4.11 Lưu đồ giải thuật xếp chồng 45 Hình 4.12 Biểu đồ vận tốc theo thời gian 45 Hình 4.13 Lưu đồ tổng quat xếp vật xen kẽ 49 vii Hình 4.14 Biểu đồ vận tôc, thời gian 51 Hình 4.15 Giao diện EasyBuilder 53 Hình 4.16 Giao diện Spreedsheet 54 Hình 4.17 Thơng số cài đặt TrainPatMaxPattern 55 Hình 4.18 Vật mẫu 55 Hình 4.19 Thơng số cài đặt FindPatmaxPattern 55 Hình 4.20 Ảnh lấy vùng fix segmentation 56 Hình 4.21 Ảnh train chữ thành cơng lưu vơ database 56 Hình 4.22 Thơng số cài đặt segmentation 57 Hình 4.23 Thơng số cài đặt OCRMax 57 Hình 4.24 Lưới hiệu chuẩn 58 Hình 4.25 Xác định gốc tọa độ lưới 58 viii BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Cánh tay gắp sản phẩm kết hợp xử lý ảnh - Chủ nhiệm đề tài: Đỗ Hữu Phú - Lớp: 16142Cl5 Khoa: Đào tạo Chất lượng cao Mã số SV: 16142181 - Thành viên đề tài: Stt Họ tên Nguyễn Hoàng Trường MSSV 16142236 Lớp Khoa 16142CL5 Đào tạo Chất lượng cao - Người hướng dẫn: Th.S Lê Hoàng Lâm tải Mục tiêu đề tài: Xây dụng mơ hình robot gắp, xếp sản phẩm băng Tính sáng tạo: Đề tài giải toán di động, gắp vật chuyển động Kết nghiên cứu: Hồn thành mơ hình cánh tay robot kết hợp với camera cơng nghiệp gắp thả vật băng tải; nghiên cứu nhiều thuật tốn với tính ứng dụng khác Đóng góp mặt giáo dục đào tạo, kinh tế - xã hội, an ninh, quốc phòng khả áp dụng đề tài: Mơ hình ứng dụng vào lĩnh vực tự động hóa cơng nghiêp như: lắp ráp chi tiết, xếp sản phẩm,…Ngoài ra, mơ hình cịn áp dụng vào việc giảng dạy bậc Cao đẳng Đại học, giúp cho sinh viên tiếp cận gần máy móc cơng nghiệp có nhìn tổng qt mơ hình robot bậc nói riêng tự động hóa cơng nghiệp nói chung Cơng bố khoa học SV từ kết nghiên cứu đề tài: Khơng có Ngày tháng năm SV chịu trách nhiệm thực đề tài (kí, họ tên) Nhận xét người hướng dẫn đóng góp khoa học SV thực đề tài Ngày tháng năm Người hướng dẫn (kí, họ tên) Thời gian chuyển động robot: Chọn thời gian tăng giảm tốc cho trục 800ms, ta có: + 2 ⇒ Xếp vật thứ 2: - Tọa độ vị trí chữ thứ (chữ E): = −12.5 = Vì chữ E nằm phạm vi xếp - Tính vận tốc robot theo phương pháp nội suy theo trục có chuyển động lớn Tính tốn tốc độ trục để quay vật hướng thời gian chuyển động với trục 1, 2, 3, để kết thúc đồng thời Vị trí trục điểm E sau đợi: = −12.5 = 400 = 220 = −90 = 091.78990 = 325.18099 = 321.53099 = 000.00000 = 073.28800 = 072.00000 Thời gian chuyển động robot: Tốc độ robot: ⇒ 51 Tốc độ trục 6: Chọn thời gian tăng giảm tốc cho trục 800ms, ta có: - Hạ thấp cấu đặt vật: Thời gian chuyển động robot: Vị trí đặt chữ E: Tốc độ robot: Tính tốn tương tự cho chữ cịn lại Xếp vật thứ 3: - Tọa độ vị trí chữ thứ (chữ H): - Tốc độ robot giai đoạn: Giai đoạn chạy đến vị trí chữ: Giai đoạn hạ thấp đặt vật: Xếp vật thứ 4: - Tọa độ vị trí chữ thứ (chữ C): - Tốc độ robot giai đoạn: Giai đoạn chạy đến vị trí chữ: 52 Giai đoạn hạ thấp đặt vật: Xếp vật thứ 5: - Tọa độ vị trí chữ thứ (chữ T): - Tốc độ robot giai đoạn: Giai đoạn chạy đến vị trí chữ: Giai đoạn hạ thấp đặt vật: Xếp vật thứ 6: - Tọa độ vị trí chữ thứ (chữ U): Vì > trình tính tốn xoay vịng lại ban đầu 4.5 Các chức sử dụng ISM-1100 Ta sử dụng camera ISM-1100 thông qua phần mềm In-sight Explorer Cognex sản xuất In-sight Explorer có giao diện để người dùng tương tác: - EasyBuilder: + Ưu điểm: có giao diện trực quan, dễ tương tác, thân thiên với người dùng + Nhược điểm: can thiệp sâu vào cài đặt thông số chức năng, mức FPS thấp thành phần chức nhà sản xuất tạo sẵn Hình 4.15 Giao diện EasyBuilder 53 - Spreedsheet: + Ưu điểm: tác động sâu vào thành phần, thơng số chức năng, tinh chỉnh để nâng cao mức FPS, tính tốn trực tiếp liệu đầu chức năng, thiết kế theo cell (row, collum) giúp dễ kiểm soát + Nhược điểm: khó sử dụng, cần hiểu sâu chức Hình 4.16 Giao diện Spreedsheet Để tăng cao tính hiệu cho hệ thống Nhóm định nghiên cứu sử dụng giao diện Spreedsheet giúp việc kiểm soát chứng mức FPS mức tốt 4.5.1 In-Sight Pattern Match Chức In-Sight Pattern Match công cụ xác định vị trí vật có nét đặc trưng giống với vật mẫu (trained pattern) train sẵn trước Q trình xác định vị trí vật bao gồm giai đoạn: training finding + Quá trình training: tạo khu vực chứa vật cần định vị trí, phần mềm tự trích xuất nét đặc trưng vật tạo thành vật mẫu + Quá trình finding: cập nhật ảnh mới, hệ thống xác định vị trí vật thể có nét đặc trưng giống so với vât mẫu theo thông số cài đặt Chức TrainPatMaxPattern Thu thập đặc trưng hình học tạo điểm ranh giới vùng có giá trị pixel khơng Do vật thiết kế gồm phơi hình trịn chữ dán lên mặt phôi nên ta train phần viền bên vật 54 Các bước cài đặt để train vật: B1 Thu thập ảnh đầu vào B2 Tạo vùng chứa vật (mặc định chữ nhật) : vật hình trịn nên ta sử vùng chứa có dạng trịn cụ thể Annulus ( chức giúp ta tạo đường tròn đồng tâm cố định vùng xác định hiệu đường tròn) B3 Chọn phương pháp train vật Có phương pháp: + PatMax: độ xác cao, thời gian thực thi lâu + PatQuick: độ xác không cao Patmax, thời gian thực thi nhanh Hình 4.17 Thơng số cài đặt TrainPatMaxPattern Chức FindPatMaxPatterns Xác định vị trí vật có nét đặc trưng giống với vật mẫu train dựa vào thông số cài đặt - Các thông số cài đặt: + Điểm cố định (fixture): vùng tìm vật thay đổi vị trí theo thay đổi điểm cố định + Vùng tìm vật (find region) + Vật mẫu (pattern): vật mẫu train TrainPatMaxPattern Hình 4.19 Thơng số cài đặt FindPatmaxPattern + Xác định khoảng góc tìm (start/end angle): vật tìm phải có góc nằm khỗng quy định 55 4.5.2 Optical Character Recognition max (OCRmax) In-Sight OCRmax công cụ đọc xác thực chữ, chuỗi vùng xác định (Region of Interest-ROI), sau train font chữ Chức OCRmax thực thơng qua q trình: phân đoạn ảnh (segmentation), phân lớp ảnh (classification) Đầu tiên, segmentation thực sử dụng kĩ thuật lấy ngưỡng để xác định vùng ảnh chứa chữ Sau chữ train lưu vào font database Classification có chức “đọc” chữ xác định segmentation ln thực q trình chạy OCRmax Camera phát chữ so sánh thành công vùng ảnh chưa chữ với font chữ lưu database Các bước Train chữ B1 Tùy chỉnh vùng B2 Gán nhãn (lable) B3 Fix segmentaion B4 Train font để lưu vào font database Hình 4.20 Ảnh lấy vùng fix segmentation Hình 4.21 Ảnh train chữ thành cơng lưu vô database 56 - Cài đặt thông số cho Segmentation: + Tính chất chữ : chọn chữ đen trắng chữ trắng đen + Độ dài, chiều cao chữ: tùy chọn giá trị max theo giá trị pixel Hình 4.22 Thơng số cài đặt segmentation - Cài đặt thơng số cho OCRmax: + điểm cố định (fixture): vùng phát thay đổi vị trí theo thay đổi điểm cố định + Vùng phát vật (region) + Chọn chế độ: read/ verify + Ngưỡng chấp nhận ( accept thresh): phát chữ trả giá trị score 0-100 (giá trị đánh độ xác với font chữ train) Hình 4.23 Thơng số cài đặt OCRMax 57 4.5.3 CalibrateGrid CalibrateGrid chức cho phép chuyển đổi giá trị pixel khung ảnh thành giá trí thực tế Đầu tiên, ảnh thu nhận lưới hiệu chuẩn Sau thu thâp, CalibrateGrid tự động xác định tối đa điểm lưới hiệu chuẩn Khoảng cách điểm lưới hiệu chuẩn đặt trước với độ phân giải 1.0 mm Cuối cùng, CalibrateGrid tính tốn, hiệu chuẩn giá trị pixel thành giá trị thực với đơn vị milimeter Hình 4.25 Lưới hiệu chuẩn Hình 4.24 Xác định gốc tọa độ lưới 58 Chương Kết nghiên cứu đánh giá 5.1 Kết nghiên cứu Sau khoảng thời gian nghiên cứu, nhóm đạt kết sau: Thiết kế, thi cơng thành cơng mơ hình gồm tủ điện, cánh tay robot trục kết hợp với camera băng tải Tính tốn phương trình động học cho robot trục phương thức dời ảnh hướng với trục robot Điều khiển robot chạy ổn định với độ xác cao với chế độ tự động manual Tìm hiểu công cụ xử lý ảnh camera ứng dụng chúng để phát vị trí, góc xoay chữ vật Tính tốn giải thuật cho robot dí bắt vật chuyển động, xếp vật bang tải chuyển động 5.2 Đánh giá Dựa vào yêu cầu đề ra, nhóm đánh giá hồn thiện mơ hình mức tốt, hồn thành mục tiêu đề phát triển thêm thuật toán chuyển động cho robot để giúp tăng tính ứng dụng mơ hình vào thực tế 59 Chương Kết luận hướng phát triển 6.1 Kết luận Sau trình tìm hiểu thi cơng mơ hình, nhóm hồn thành tốt mục tiêu ban đầu đề ra, thuật toán điều khiển cho mơ hình đáp ứng nhanh tương đối ổn định, giải thuật ứng dụng toán gắp xếp sản phẩm loại mã nhiều tốn khác cơng nghiệp Mặc dù cịn gặp số thiếu sót liên quan đến kết cấu khí nhóm cố gắng hạn chế đến mức thấp - Về mặt lý thuyết: Nhóm có tìm hiểu nắm bắt tổng thể nguyên lý hoạt động lý thuyết điều khiển vị trí động servo, tìm hiểu cách thức giao tiếp thiết bị đại camera Cognex, module điều khiển chuyển động Q173DSCPU, HMI dòng GOT1000 với PLC Mitsubishi Trong q trình xây dựng mơ hình khí, nhóm học thêm số kỹ khác cách đọc vẽ khí, cách gia công kim loại - Về phần cứng: + Phần cứng tương đối chắn, chịu áp lực hoạt động với tần suất cao + - Cơ cấu dễ dàng tháo lắp, an toàn với người vận hành Về phần mềm: + Chương trình viết cách hoàn chỉnh, dễ dàng cho người vận hành + Ứng dụng công cụ xử lý ảnh phần mềm In-sight Explorer + Hệ thống HMI hiển thị thơng số tốc độ, vị trí giúp theo dõi trạng thái hoạt động hệ thống tiện lợi 6.2 Hướng phát triển Nâng cao kết cấu khí để tăng độ xác mơ hình - Xây dựng mơ hình mơi trường có điều kiện xung quanh thay đổi Dùng chiếu sáng nhân tạo để tăng độ ổn định cho camera giảm tỉ lệ sai sót mơ hình - Sử dụng thêm camera để tăng độ linh động mơ hình việc xác định nhiều vật liên tiếp - Cải tiến ngơn ngữ lập trình SFC sang mã G-code để phù hớp với việc điều khiển lập trình loại máy móc 60 Tài liệu tham khảo Tiếng việt [1] Giáo trình kĩ thuật robot – Trường Đại học Sư phạm Kỹ thuật TP.HCM _ PGS.TS Nguyễn Trường Thịnh [2] ĐHUE Giáo Trình Xử Lý Ảnh Số - Ts.Nguyễn Đăng Bình [1] Cognex Corporation, In-Sight 5000 Series Vision System Installation Manual [2] I/O Module Type Building Block User's Manual [3] GT Designer Screen Design Manual [4] Mitsubishi Electric, Mitsubishi Programmable Logic Controller Training Manual [5] Mitsubishi Electric (2002), Programable Logic Controller User’s Manual (Melsec System Q) [6] Mitsubishi Electric, MR-J4-B Servo Amplifier Instruction Manual [7] Mitsubishi Electric, MR-J4W2-B Servo Amplifier Instruction Manual [8] Mitsubishi Electric, AC Servo School Textbook - AC Servo Practice Course [9] Mitsubishi Electric, Mitsubishi Programmable Controller Training Manual Q series basic course (for GX Works2) [10] Q04UDEHCPU PLC User's Manual (Communication via Built-in Ethernet Port) [11] Q173D(S) & Q172D(S) Programming Manual (Common) [12] SFC) Q173D(S) & Q172D(S) SV13&22 Programming Manual (Motion [13] Mode) Q173D(S) & Q172D(S) SV13&22 Programming Manual (Real [14] Q173DS & Q172DSCPU School Textbook (Advanced Synchronous Control) [15] QJ71C24_-_ User's Manual (Hardware) 61 ... TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Cánh tay gắp sản phẩm kết hợp xử lý ảnh - Chủ nhiệm đề tài: Đỗ Hữu Phú - Lớp: 16142Cl5 Khoa:... SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN CÁNH TAY GẮP SẢN PHẨM KẾT HỢP XỬ LÝ ẢNH MÃ SỐ : SV2020 - 14 Chủ nhiệm đề tài: Đỗ Hữu Phú - 16142181 TP Hồ Chí... VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN CÁNH TAY GẮP SẢN PHẨM KẾT HỢP XỬ LÝ ẢNH MÃ SỐ : SV2020 - 14 Thuộc nhóm ngành khoa học: Điện