Đồ án tốt nghiệp cơ điện tử điều khiển động học cánh tay robot dạng người 6 bậc tự do dựa vào cảm biến hình ảnh 3 chiều MS Kinect :Với sự phát triển mạnh mẽ của khoa họ c kĩ thuật hiện nay cùng với cuộ c cáchmạnh công nghiệp 4.0, rob ot cùng với trí tuệ nhân tạo đang dần phổ biến hơnkhông chỉ trong sản xuất công n gh iệp mà còn cả trong đời sống giải trí. Rob otngày n ay có sự phát triển vượt bậc, chúng hỗ trợ con người trong rất nh iều lĩnhvực của đời sống, sinh hoạt, khoa họ c, quân sự, y tế...Ở Việt Nam, việc nghiên cứu, chế tạo và phát triển rob ot còn rất mới và còngặp rất nhiều khó khăn. Trong thời gian 2 năm (20162017), Phòng Công nghệxanh (Green Technology Center GTC), thuộ c Viện Điện tử, Tin họ c và Tựđộng hóa của Bộ Công thương đã phối hợp với Viện Cơ khí, Đại họ c B ách KhoaHà Nội và một số tổ chức khác để chế tạo thành công một rob ot dạng người cótên là VIEBOT với hai tiềm năng chính là phục vụ quảng cáo và hỗ trợ ngườikhiếm thị trong đời sống sinh hoạt. Tiếp nối sự thành công của nhóm sinh viênK57, Viện Cơ kh í, Đại họ c Bách Khoa Hà nội với đề tài: Thiết kế, chế tạo vàđiều khiển robot dạng người1, em tiếp tục làm việc, nghiên cứu và phát triểnvới đề tài: Điều khiển động học cánh tay robot dạng người dựa vào cảm biếnhình ảnh 3 chiều MS Kinect.
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CƠ KHÍ BỘ MÔN CƠ SỞ THIẾT KẾ MÁY & ROBOT ——————– * ——————— ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CƠ ĐIỆN TỬ ĐIỀU KHIỂN ĐỘNG HỌC CÁNH TAY ROBOT DẠNG NGƯỜI DỰA VÀO CẢM BIẾN HÌNH ẢNH CHIỀU MS KINECT Sinh viên thực hiện: Mã số sinh viên: Giáo viên hướng dẫn: Giáo viên phản biện: Nguyễn Văn Huy 20131782 Lớp KT CĐT 01 - K58 TS Nguyễn Xuân Hạ ThS Nguyễn Minh Quân HÀ NỘI 1-2018 LỜI MỞ ĐẦU Với phát triển mạnh mẽ khoa học kĩ thuật với cách mạnh công nghiệp 4.0, robot với trí tuệ nhân tạo dần phổ biến không sản xuất công nghiệp mà cịn đời sống giải trí Robot ngày có phát triển vượt bậc, chúng hỗ trợ người nhiều lĩnh vực đời sống, sinh hoạt, khoa học, quân sự, y tế Ở Việt Nam, việc nghiên cứu, chế tạo phát triển robot gặp nhiều khó khăn Trong thời gian năm (2016-2017), Phịng Cơng nghệ xanh (Green Technology Center - GTC), thuộc Viện Điện tử, Tin học Tự động hóa Bộ Cơng thương phối hợp với Viện Cơ khí, Đại học Bách Khoa Hà Nội số tổ chức khác để chế tạo thành cơng robot dạng người có tên VIEBOT với hai tiềm phục vụ quảng cáo hỗ trợ người khiếm thị đời sống sinh hoạt Tiếp nối thành công nhóm sinh viên K57, Viện Cơ khí, Đại học Bách Khoa Hà nội với đề tài: "Thiết kế, chế tạo điều khiển robot dạng người"[1], em tiếp tục làm việc, nghiên cứu phát triển với đề tài: "Điều khiển động học cánh tay robot dạng người dựa vào cảm biến hình ảnh chiều - MS Kinect" Qua đây, em gửi lời cảm ơn đến nhóm sinh viên tác giả đồ án "Thiết kế, chế tạo điều khiển robot dạng người" làm tiền đề tài liệu tham khảo cho em tiếp tục thực nghiên cứu VIEBOT Tiếp theo, em xin gửi lời cảm ơn chân thành đến PGS.TS Nguyễn Chấn Hùng, Viện phó Viện Điện tử, Tin học Tự động hóa thuộc Bộ Cơng Thương thành viên Phịng Công Nghệ Xanh (Green Technology Center) tạo điều kiện giúp đỡ em để em có hội làm việc dự án robot thật tiềm Đặc biệt, em gửi lời cảm ơn sâu sắc tới giảng viên Tiến sỹ Nguyễn Xuân Hạ, người trực tiếp hướng dẫn truyền cho em kiến thức tuyệt vời suốt trình làm đồ án Ngày 10 tháng năm 2018 Sinh viên Nguyễn Văn Huy iv TÓM TẮT NỘI DUNG Nội dung đồ án chia theo phần: • Phần thứ Tổng quan robot dạng người Trong phần giới thiệu khái quát tình hình phát triển robot dạng người có • Phần thứ hai Tổng quan VIEBOT Phần giới thiệu VIEBOT, giới thiệu khái quát thiết kế khí, điều khiển tính có VIEBOT đồng thời vấn đề cần giải khn khổ đồ án • Tiếp theo phần Động học động lực học cánh tay robot Trong phần trình bày ngắn gọn phương pháp tính động học ngược bước tính tốn, mơ hình hóa tốn động lực học cánh tay robot bậc tự • Phần thứ tư Điều khiển robot thực thao tác với mục tiêu cố định Phần trình bày phương pháp thực hiện, thuật toán kết thực nhiệm vụ điều khiển robot thực thao tác nhấn nút thang máy • Và cuối phần Kết luận trình bày làm khuôn khổ đồ án này, hạn chế hướng phát triển tương lai v DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Ký hiệu CTHT D-H θi di αi qi , i = iA j Ý nghĩa Cơng tắc hành trình Denavit Hartenberg Góc quay từ trục xi−1 đến trục xi quanh zi−1 Khoảng cách trục xi−1 đến trục xi dọc theo trục zi−1 Khoảng cách trục zi−1 đến trục zi dọc theo trục xi Góc quay từ trục zi−1 đến trục zi quanh xi Các góc khớp cánh tay Ma trận thể vị trí hướng hệ tọa độ thứ j hệ tọa độ thứ i Ci, i = Cos(θi ) Si, i = Sin(θi ) qi Tọa độ khâu thao tác hệ tọa độ vai Hướng khâu thao tác φi vi Mục lục LỜI MỞ ĐẦU iv TÓM TẮT NỘI DUNG v MỤC LỤC viii DANH SÁCH HÌNH VẼ x DANH SÁCH BẢNG xi TỔNG QUAN VỀ ROBOT DẠNG NGƯỜI 1.1 Khái niệm robot dạng người 1.2 Các ứng dụng robot dạng người 1 TỔNG QUAN VỀ VIEBOT 2.1 Giới thiệu VIEBOT 2.2 Thiết kế hệ thống tự động đặt lại gốc đập khí cho khớp cánh tay 2.2.1 Phân tích vấn đề 2.2.2 Thiết kế đồ gá 2.2.3 Thuật toán điều khiển 2.3 Phạm vi nghiên cứu đồ án 5 "0" giới hạn chống va ĐỘNG HỌC VÀ ĐỘNG LỰC HỌC CÁNH TAY ROBOT 3.1 Mơ hình động học cánh tay robot 3.2 Các ma trận biến đổi 3.3 Bài toán động học robot 3.3.1 Động học thuận 3.3.2 Động học ngược 3.4 Động lực học cánh tay robot 3.4.1 Cơ sở lý thuyết 3.4.2 Mơ hình hóa vii 13 14 14 15 16 16 17 22 22 24 3.4.3 3.4.4 Tính tốn 30 Kết luận 33 ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH 4.1 Phân tích vấn đề 4.2 Giới thiệu Aruco Marker OpenCV 4.2.1 Thư viện OpenCV 4.2.2 ArUco Marker 4.2.3 Tạo điểm đánh dấu 4.2.4 Phát điểm đánh dấu 4.3 Giới thiệu cảm biến chiều sâu MS Kinect 4.3.1 Kinect v2 4.3.2 Cảm biến chiều sâu 4.3.3 Đo khoảng cách 4.3.4 Dựng ảnh độ sâu 4.3.5 Đồng chỉnh cảm biến chiều sâu màu 4.4 Thuật toán điều khiển 4.4.1 Mã hóa nút bấm 4.4.2 Xác định vị trí nút bấm 4.4.3 Chuyển tọa độ từ hệ tọa độ camera sang hệ tọa độ robot 4.4.4 Điều khiển chân đế 4.4.5 Điều khiển cánh tay 4.5 Kết thực nghiệm đánh giá 36 36 37 37 37 38 39 40 40 40 40 42 43 43 43 43 45 46 48 48 KẾT LUẬN 51 5.1 Kết đạt 51 5.2 Những hạn chế 51 5.3 Hướng phát triển tương lai 52 viii Danh sách hình vẽ 1.1 1.2 1.3 Robot ASIMO Robot Nao TOPIO 3.0 triển lãm Robot Quốc tế, Tokyo-Nhật Bản[2] 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 Bộ khung VIEBOT Cấu trúc động học công nghệ sử dụng VIEBOT Cấu trúc tổng thể VIEBOT Sơ đồ nguyên lý vị trí động cánh tay robot Sơ đồ hệ thống điều khiển cánh tay robot Các loại cảm biến sử dụng Mơ hình 3D đồ gá vị trí CTHT sử dụng cho khớp Vị trí lắp thực tế CTHT cho khớp Công tắc hành trình cho khớp Thuật toán điều khiển đặt lại điểm "0" giới hạn chống va đập khí 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 Mơ hình động học cánh tay robot Sơ đồ chế điều khiển động học ngược robot Hệ tọa độ bàn tay Các bước giải toán động lực học robot Mơ hình khâu Các thuộc tính động học khâu Mơ hình khâu Mơ hình khâu Mơ hình khâu Mơ hình khâu Mô hình khâu Đồ thị thể giá trị biến khớp Đồ thị thể giá trị lực tác dụng biến khớp 4.1 4.2 Ví dụ ArUco marker 38 Camera phát ArUco marker 39 ix 6 10 10 11 11 12 14 19 19 24 25 26 27 28 29 30 31 34 35 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12 4.13 4.14 4.15 Vị trí cảm biến Kinect Các thông số kĩ thuật cảm biến chiều sâu Kinect Nguyên lý đo khoảng cách Chuyển từ khoảng cách điểm ảnh sang độ sâu điểm ảnh Các điểm mù camera độ sâu camera màu Các bước điều khiển bấm nút thang máy Mã hóa nút bấm Chuyển tọa độ từ hệ tọa độ ảnh màu sang hệ tọa độ ảnh độ sâu Kết phát vị trí nút bấm khơng gian chiều Vị trí hệ tọa độ Kinect hệ tọa độ cánh tay Thuật toán điều khiển chân đế đến vị trí nhấn nút Đồ thị so sánh kết đo chiều sâu Kinect đo laser Đồ thị phân bố vị trí điểm tác động cuối lần thử nghiệm nhấn nút (đơn vị: cm) x 41 41 41 42 42 43 44 44 45 46 47 49 49 Danh sách bảng 3.1 3.2 Bảng động học D-H 15 Bảng động học D-H 31 4.1 Bảng so sánh kết đo chiều sâu Kinect đo laser 48 xi Chương TỔNG QUAN VỀ ROBOT DẠNG NGƯỜI 1.1 Khái niệm robot dạng người Robot dạng người robot với hình dạng xây dựng gần giống giống với hình dạng người Thiết kế cho mục đích chức năng, tương tác với công cụ môi trường người, cho mục đích thí nghiệm nghiên cứu chuyển động cho mục đích khác Nói chung, robot dạng người có thân, đầu, hai cánh tay hai chân người, số dạng robot hình người mơ phần thể ví dụ từ thắt lưng trở lên Một số dạng robot hình người có phần đầu thiết kế để chép tính khuôn mặt người mắt, miệng để thể trạng thái biểu cảm.[3] 1.2 Các ứng dụng robot dạng người Robot dạng người sử dụng công cụ vài lĩnh vực nghiên cứu Các nhà nghiên cứu cần hiểu cấu trúc thể người ứng xử để xây dựng nghiên cứu robot dạng người Mặt khác, cố gắng mơ thể người để có hiểu biết tốt Nhận thức người lĩnh vực để nghiên cứu tập trung vào cách người học hỏi thông tin cảm quan để có kỹ nhận thức vận động Kiến thức dùng để phát triển mơ hình tính tốn hành vi người cải thiện theo thời gian Bên cạnh việc nghiên cứu, robot dạng người phát triển để thực nhiệm vụ người trợ giúp cá nhân giúp đỡ người ốm, người cao tuổi, người khuyến tật thay người làm công việc CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH • Thơng số thứ ba kích thước hình ảnh điểm đánh dấu, tính theo pixel, kích thước cần phải lớn kích thước điểm đánh dấu thư viện cộng với kích thước đường bao • Thơng số thứ tư tên hình ảnh đầu • Thông số thứ năm độ rộng đường viền màu đen Các thông số tạo điểm đánh dấu xác định 4.2.4 Phát điểm đánh dấu Đặt hình ảnh ArUco marker khơng gian nhìn thấy camera, q trình phát phải trả danh sách điểm đánh dấu phát được, điểm đánh dấu phát bao gồm: • Vị trí góc hình ảnh theo thứ tự ban đầu • Chỉ số nhận dạng điểm đánh dấu Quá trình phát điểm đánh dấu gồm có hai bước sau: Hình 4.2: Camera phát ArUco marker a Phát ứng viên điểm đánh dấu Trong bước hình ảnh phân tích để tìm hình dạng vuông làm ứng viên cho điểm đánh dấu Bắt đầu với ngưỡng thích nghi để phân vùng điểm đánh dấu, sau Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 39 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH đường viền khơng có dạng đường lồi khơng có dạng xấp xỉ hình vng bị loại bỏ Một số lọc bổ sung áp dụng loại bỏ đường viền nhỏ lớn, loại bỏ đườn viền gần b Sau phát ứng viên, cần thiết phải xác định chúng có phải điểm đánh dấu thực hay không cách phân tích mã hóa nội chúng Bước bắt đầu cách trích xuất bit điểm đánh dấu Để làm vậy, trước tiên phải chuyển hình dạng gốc Sau hình ảnh phân tích riêng thành bit đen trắng Hình ảnh chia thành khác dựa vào kích thước điểm đánh dấu kích thước đường viền Trên đó, dựa vào số lượng điểm ảnh đen điểm ảnh trắng để xét xem ô màu trắng hay màu đen Cuối cùng, bit phân tích để xác định xem điểm đánh dấu thuộc từ điển cụ thể kỹ thuật sửa lỗi sử dụng cần thiết Ví dụ camera bắt đối tượng ArUco điểm đánh dấu Hình 4.2 Tham khảo thêm [7] 4.3 4.3.1 Giới thiệu cảm biến chiều sâu MS Kinect Kinect v2 Kinect v2 thiết bị thu thập liệu RGB-D thiết kế Microsoft Ngoài camera màu cịn có camera độ sâu cho phép tìm màu sắc thơng tin khơng gian Kinect kế nối với máy tính sử dụng kết nối USB 3.0 sử dụng đầu vào cho cơng việc mơ hình hóa chiều 4.3.2 Cảm biến chiều sâu Kinect có nguồn sáng hồng ngoại nguồn tạo sóng với biên độ khác Để bắt sóng phản xạ, Kinect có camera hồng ngoại Vị trí laser cảm biến thể Hình 4.3 thông số kĩ thuật cảm biến chiều sâu Kinect thể Hình 4.4 4.3.3 Đo khoảng cách Nguyên lý đo khoảng cách thể Hình 4.5 Kinect v2 cho phép nhà nghiên cứu hội để sử dụng phương pháp khác để tính tốn đồ thực tế chiều sâu Tuy nhiên, đồ án em sử dụng phương pháp Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 40 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH Hình 4.3: Vị trí cảm biến Kinect Hình 4.4: Các thơng số kĩ thuật cảm biến chiều sâu Kinect Hình 4.5: Nguyên lý đo khoảng cách Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 41 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH mặc định cung cấp Microsoft SDK [8] cho độ sâu theo mm pixel ảnh [9] 4.3.4 Dựng ảnh độ sâu (a) (b) Hình 4.6: Chuyển từ khoảng cách điểm ảnh sang độ sâu điểm ảnh Sau tính toán dựa vào thời gian ánh sáng trên, cho ta khoảng cách điểm không gian ảnh tới tâm camera Tuy nhiên, mong muốn dựng lại mơ hình chiều thực Vì cần thực phép chuyển đổi từ khoảng cách thành độ sâu điểm ảnh mơ tả Hình 4.6 Hình 4.7: Các điểm mù camera độ sâu camera màu Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 42 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH 4.3.5 Đồng chỉnh cảm biến chiều sâu màu Vì thơng tin chiều sâu màu thu cảm biến khác nên yêu cầu cần phải ánh xạ cảm biến RGB cảm biến chiều sâu Kinect SDK cung cấp hàm thực ánh xạ cách thuận tiện cho hai hướng Cần phải lưu ý quan trọng vị trí vùng nhìn thấy cảm biến khác có số vùng khơng thể ánh xạ qua lại được, Hình 4.7 4.4 Thuật tốn điều khiển Hình 4.8: Các bước điều khiển bấm nút thang máy Các bước thực để điều khiển robot tự động phát bấm nút thang máy thể Hình 4.8 4.4.1 Mã hóa nút bấm Máy tính khơng phải người, chúng tự nhận diện phân biệt đối tượng Vì vậy, muốn phát đối tượng cách nhanh chóng xác phải mã hóa cho đối tượng mà muốn Ở nút bấm vậy, để dễ dàng phát định vị vị trí nút bấm, em sử dụng dạng điểm đánh dấu mã hóa ArUco marker, đặt cạnh nút bấm với mong muốn camera phát định vị điểm đánh dấu sau thực phép biến đổi hình học để nội suy vị trí nút bấm (Hình 4.9) Mỗi điểm đánh dấu có số nhận dạng xác định, ta sử dụng nhiều điểm đánh dấu cho nhiều đối tượng vị trí cách nội suy khác 4.4.2 Xác định vị trí nút bấm Để xác định vị trí nút bấm không gian chiều, trước tiên cần xác định vị trí khơng gian chiều, sau kết hợp với cảm biến chiều sâu để Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 43 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH Hình 4.9: Mã hóa nút bấm xác định độ sâu Bằng việc sử dụng thư viện OpenCV C ++ kết hợp với mô-đun mở rộng ArUco OpenCV Kinect SDK, xác định vị trí khơng gian chiều nút bấm mà tọa độ không gian chiều xác định hệ tọa độ điểm ảnh camera màu Kinect Sau xác Hình 4.10: Chuyển tọa độ từ hệ tọa độ ảnh màu sang hệ tọa độ ảnh độ sâu định đối tượng nút bấm, dựa vào lấy độ sâu nhờ cảm biến chiều sâu Kinect Tuy nhiên, ảnh màu ảnh độ sâu có hệ tọa độ khác nhau, sau lấy tọa độ không gian chiều đối tượng ta phải thực phép chuyển đổi từ tọa độ ảnh màu sang tọa độ ảnh độ sâu Quá trình thực cách đơn giản hàm MapColorFrameToDepthSpace() gói Kinect SDK Tại tọa độ xác định tong khung ảnh, cảm biến chiều sâu cho biết độ sâu điểm ảnh Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 44 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH Hình 4.11: Kết phát vị trí nút bấm không gian chiều 4.4.3 Chuyển tọa độ từ hệ tọa độ camera sang hệ tọa độ robot Q trình xác định vị trí cho ta vị trí xác định nút nhấn bao gồm khoảng cách từ Kinect đến mặt phẳng chứa điểm nút bấm (depth) vị trí nút bấm xác định hệ tọa độ chiều ảnh màu Kinect Hình 4.12 Vì vậy, muốn điều khiển robot di chuyển đến gần nhấn nút trước hết phải chuyển tọa độ nút bấm hệ tọa độ Kinect tọa độ nút bấm hệ tọa độ cánh tay Trên lý thuyết, xác định tọa độ nút bấm Kinect ta hồn tồn dùng phép chuyển tọa độ để chuyển tọa độ nút bấm hệ tọa độ cánh tay robot Tuy nhiên, hệ thống đồ gá Kinect cịn thơ sơ, chưa thực cố định phép đo góc, đo khoảng cách robot tương đối phức tạp em đề xuất phương pháp đơn giản mà hạn chế sai số phép chuyển hệ trục tọa độ sau: • Khoảng cách từ gốc hệ tọa độ cánh tay đến mặt sàn không đổi Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 45 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH Hình 4.12: Vị trí hệ tọa độ Kinect hệ tọa độ cánh tay khoảng cách từ nút bấm đến mặt sàn Mỗi nút bấm ta lại gán cho điểm đánh dấu có số nhận dạng riêng ta gán cho khoảng cách từ mặt sàn đến nút bấm vào số nhận dạng điểm đánh dấu gắn liền với nút bấm ln Như phát số nhận dạng nút bấm đồng thời ta biết tọa độ theo phương OY nút bấm hệ tọa độ cánh tay • Phép chuyển hệ tọa độ thực đơn giản theo cách gần phép tịnh tiến theo phương OZ theo phương OX, bỏ qua sai số góc quay trục 4.4.4 Điều khiển chân đế Sau thực chuyển tọa độ nút nhấn từ hệ tọa độ camera sang hệ tọa độ robot, ta có tọa độ nút nhấn hệ tọa độ cánh tay robot Tuy nhiên, lúc robot vị trí xa so với nút nhấn, nơi mà cánh tay với tới Vì cần phải điều khiển chân di chuyển đến vị trí thích hợp Thuật tốn điều khiển mơ tả Hình 4.13 Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 46 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH Hình 4.13: Thuật tốn điều khiển chân đế đến vị trí nhấn nút Mặc dù có vị trí nút nhấn khung ảnh chiều Kinect Tuy nhiên, việc chuyển tọa độ khung ảnh tọa độ thật bên ngồi phức tạp Vì vậy, phương pháp em đề xuất tạo vùng gọi vùng trung tâm khung ảnh, vùng có tọa độ khung ảnh x ∈ 959±∆x (Do khung ảnh có kích thước 1920x1080) Sau phát nút nhấn quay robot cho vị trí nút nhấn nằm vào vùng trung tâm này, tức tọa độ theo phương Z nút nhấn so với hệ tọa độ cánh tay gần tọa độ theo phương Z tâm cảm biến Kinect hệ tọa độ cánh tay Sau đó, di chuyển tiến lại gần nút nhấn đến vị trí thích hợp (cách nút nhấn khoảng 50-65cm) Sau dịch sang trái khoảng ∆Z để nút nhấn nằm mặt phẳng Oxy hệ tọa độ cánh tay để thao tác nhấn nút thực dễ dàng xác Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 47 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH 4.4.5 Điều khiển cánh tay Khi chân đế di chuyển đưa robot vị trí thích hợp, lúc này, Camera Kinect nhận biết vị trí nút nhấn, robot ổn định vị trí kết hợp phương pháp loại bỏ nhiễu để có vị trí xác nút nhấn so với hệ tọa độ cánh tay Từ đó, thiết kế quỹ đạo thơ cho thao tác nhấn nút gồm số điểm quỹ đạo sử dụng phương pháp động học ngược 3.3.2 giải giá trị biến khớp điểm tiến hành điều khiển cánh tay robot để thực thao tác nhấn nút 4.5 Kết thực nghiệm đánh giá Vì hạn chế thời gian, hạn chế thực hành robot trùng với thời gian nghiệm thu dự án robot Bộ Công Thương đồ án em dừng lại số kết thực nghiệm sau: i Sử dụng Kinect phát xác định vị trí nút bấm khơng gian ảnh chiều kết hợp với chiều sâu điểm ảnh vị trí nút bấm (như Hình 4.11) Qua q trình thực nghiệm em thấy bước này, sai số tập trung việc xác định độ sâu điểm ảnh Kinect Sau lần thí nghiệm đo đạc so sánh với kết đo thước đo lazer ta kết biểu thị Hình 4.14 bảng 4.1 Nguyên nhân sai số không ổn định kết đo do: Bảng 4.1: Bảng so sánh kết đo chiều sâu Kinect đo laser Lần đo Độ sâu từ Kinect (mm) Thực tế (mm) Nhỏ Lớn 660 660 656 890 1000 984 1317 1336 1321 1800 1850 1838 2306 2343 2334 2646 2680 2709 2953 2978 3017 • Phép chuyển tọa độ từ ảnh màu sang ảnh độ sâu Kinect sử dụng Kinect SDK chưa thực tối ưu • Các nhiễu môi trường làm ảnh hưởng đến trình đo chiều sâu Kinect Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 48 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH Hình 4.14: Đồ thị so sánh kết đo chiều sâu Kinect đo laser • Vị trí gốc tọa độ Kinect trình thực dùng tay đo thước đo laser gây nhiều sai số ii Đặt nút bấm giả lập cố định phía trước robot Thực đo đạc tay thông số vị trí nút bấm, sau nhập tay thơng số vào phần mềm đặc hiệu viết C# để tính tốn động học ngược sau điều khiển cánh tay robot thực nhấn nút Sau tiến hành đo kiểm tra vị trí điểm tác động cuối bàn tay so với điểm đích ta kết thể đồ thị Hình 4.15 Hình 4.15: Đồ thị phân bố vị trí điểm tác động cuối lần thử nghiệm nhấn nút (đơn vị: cm) Từ đồ thị Hình 4.15 ta thấy ta thấy vị tác động cuối chủ yếu phân bố mặt cầu đường kính 10cm tương ứng với 92% số lần thực robot đạt độ xác ±5cm Nguyên nhân gây sai số gồm Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 49 CHƯƠNG ĐIỀU KHIỂN ROBOT THỰC HIỆN THAO TÁC VỚI MỤC TIÊU CỐ ĐỊNH nguyên nhân: khe hở khớp, sai số truyền đai bánh côn, vị trí ban đầu cánh tay, độ xác việc xác định vị trí nút nhấn so với hệ tọa độ cánh tay Trong tương lai, khắc phục ngun nhân độ xác thao tác tăng lên cách đáng kể Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 50 Chương KẾT LUẬN 5.1 Kết đạt • Thiết kế ứng dụng thành công hệ thống tự đặt lại điểm gốc "0" giới hạn chống va đập khí khớp cánh tay robot • Hiểu ứng dụng toán động học nghịch bậc tự • Tính tốn mơ hình hóa động lực học cánh tay robot bậc tự • Làm chủ hệ thống điều khiển cánh tay lập trình điều khiển động servo, động bước • Viết chương trình C ++ OpenCV kết hợp thư viện mở rộng ArUco với Kinect SDK để sử dụng Kinect để phát điểm đánh dấu ArUco thời gian thực • Ứng dụng điều khiển động học cánh tay robot để thực thao tác nhấn nút thang máy 5.2 Những hạn chế Mặc dù có thời gian nghiên cứu, tìm hiểu có tảng tương đối tốt thiết kế tính toán robot Tuy nhiên, bước thực tế, nghiên cứu thực hành robot thực tế gặp nhiều khó khăn Do thời gian thực nghiên cứu robot vòng tháng từ tháng 7/2017 - 12/2017 nên đồ án số vấn đề hạn chế sau: • Quản lý thời gian chưa thực tốt • Chưa giải triệt để tốn chọn nghiệm tính tốn động học ngược 51 CHƯƠNG KẾT LUẬN • Bài tốn động lực học chưa áp dụng sang toán điều khiển động lực học cánh tay robot • Do kiến thức hạn chế vi điều khiển, mạch điện tử điện tử cơng suất q trình hoạt động vi điều khiển chưa ổn định • Các kết cấu khớp khí bị bào mòn qua thời gian hoạt động nên ảnh hưởng lớn tới độ xác tiến độ thực nghiên cứu đồ án • Q trình lập trình điều khiển nhiệm vụ bấm nút thang máy robot cịn nhiều khó khăn có nhiều kiến thức lập trình C ++ , OpenCV, Kinect SDK điều khiển dang dở bị hạn chế thời gian thực hành trực tiếp robot Những hạn chế đồ án em học cho em phải rút kinh nghiệm nhiệm vụ nghiên cứu đời, học cho sinh viên khóa sau muốn tiếp nối phát triển đề tài robot 5.3 Hướng phát triển tương lai Một đề tài đầy tiềm năng, đầu lĩnh vực nghiên cứu robot dạng người Việt Nam Do dừng lại chưa hoàn thiện cần tiếp tục nghiên cứu sâu, rộng để mang VIEBOT vào ứng dụng thực tế nhiệm vụ đề trước Và sau số hướng phát triển tương lai phân hệ cánh tay VIEBOT: • Tiếp tục tối ưu tăng ổn định, xác hệ thống khí điều khiển • Giải triệt để tốn loại nghiệm động học ngược để thực bắt chước cử thao tác khác cách linh hoạt • Tính tốn điều khiển động lực học cánh tay robot bậc tự để tăng độ xác, tăng nhanh thời gian đáp ứng cánh tay Hi vọng sau đồ án có tiếp đầu tư hợp lý kinh phí nguồn lực nhân tài để tiếp tục nghiên cứu, phát triển VIEBOT để mang robot vào ứng dụng thực tiễn, mang Việt Nam hội nhập sâu với công nghiệp 4.0 Sinh viên thực hiện: Nguyễn Văn Huy 20131782 - K58 Lớp KT CĐT01 52 Tài liệu tham khảo [1] P H Anh, P T Việt, D ì Hoan, N T Hưng, and N M Hùng, “Thiết kế, chế tạo điều khiển mô hình robot dạng người phân hệ cánh tay - bàn tay,” Đồ án Tốt nghiệp Kĩ sư CĐT_20162A, 2016 [2] Wikipedia, “https://vi.wikipedia.org/wiki/TOPIO.” [3] Wikipedia, “https://en.wikipedia.org/wiki/Humanoid_robot.” [4] G N T Phúc, Robot Công nghiệp Nhà xuất Khoa học Kỹ thuật Hà Nội, 2002 [5] H A PARK, M A ALI, and C S G LEE, “Closed-Form Inverse Kinematic Position Solution for Humanoid Robots,” International Journal of Humanoid Robotics, vol 09, no 03, p 1250022, 2012 [6] O Team, “https://opencv.org/.” [7] “https://docs.opencv.org/3.2.0/d5/dae/tutorial_aruco_detection.html.” [8] Microsoft, “https://developer.microsoft.com/en-us/windows/kinect.” [9] S Assoc and P Gholamreza, “3D reconstruction using Kinect v2 camera,” 2016 [10] P B Khôi, Bài giảng ROBOTICS 53 ... học cánh tay (b) Mơ hình động học cánh tay hệ tọa độ D-H Hình 3. 1: Mơ hình động học cánh tay robot 14 CHƯƠNG ĐỘNG HỌC VÀ ĐỘNG LỰC HỌC CÁNH TAY ROBOT Từ ta có bảng động học D-H sau: Bảng 3. 1:... Thuật toán điều khiển đặt lại điểm "0" giới hạn chống va đập khí 3. 1 3. 2 3. 3 3. 4 3. 5 3. 6 3. 7 3. 8 3. 9 3. 10 3. 11 3. 12 3. 13 Mơ hình động học cánh tay robot. .. ĐỘNG HỌC VÀ ĐỘNG LỰC HỌC CÁNH TAY ROBOT 3. 1 Mơ hình động học cánh tay robot 3. 2 Các ma trận biến đổi 3. 3 Bài toán động học robot 3. 3.1