Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)

Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)

ĐẠI HỌC THÁI NGUYÊN ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP ĐẠI HỌC NGHIÊN CỨU MỘT SỐ THUẬT TOÁN ĐIỀU KHIỂN ROBOT DI ĐỘNG SỬ DỤNG THÔNG TIN HÌNH ẢNH Mã số: ĐH2014 –TN08-02 Chủ nhiệm đề tài: ThS Lê Văn Chung Thái Nguyên, tháng năm 2017 ĐẠI HỌC THÁI NGUYÊN ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP ĐẠI HỌC NGHIÊN CỨU MỘT SỐ THUẬT TOÁN ĐIỀU KHIỂN ROBOT DI ĐỘNG SỬ DỤNG THÔNG TIN HÌNH ẢNH Mã số: ĐH2014 –TN08-02 Xác nhận tổ chức chủ trì Chủ nhiệm đề tài (ký, họ tên, đóng dấu) (ký, họ tên) Thái Nguyên, tháng năm 2017 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG DANH SÁCH THÀNH VIÊN THỰC HIỆN ĐỀ TÀI TT Đơn vị công tác lĩnh vực chuyên môn Họ tên Nội dung nghiên cứu cụ thể đƣợc giao Ghi Đơn vị công tác: Khoa Công nghệ tự động hóa, NCS Chung Lê Chủ nhiệm đề tài, trƣờng Đại học Công Văn thực nội nghệ thông tin Truyền dung nghiên cứu thông liên quan đến đề tài Chuyên môn: Điều khiển tự động hóa Đơn vị công tác: Phòng ThS Yến Vƣơng Thị KH-CN&HTQT, trƣờng Thƣ ký hành Đại học Công nghệ Thông đề tài tin Truyền thông Chuyên môn: Toán ĐƠN VỊ PHỐI HỢP CHÍNH TT Tên đơn vị nƣớc Nội dung phối hợp nghiên cứu Họ tên ngƣời đại diện đơn vị Viện Công nghệ thông Phối hợp nghiên cứu, PGS.TSKH tin – Viện Hàn lâm trao đổi chuyên môn Thƣợng Cát khoa học Việt Nam Phạm Ghi MỤC LỤC MỞ ĐẦU 10 CHƢƠNG 16 GIỚI THIỆU CHUNG VỀ ROBOT DI ĐỘNG, CAMERA XỬ LÝ ẢNH VÀ ROBOT PAN TILT 16 1.1 Giới thiệu camera Eye RIS 2.1 16 1.2 Giới thiệu robot di động Pioner 3DX 17 1.3 Giới thiệu robot Pan tilt PTU - D48E 19 CHƢƠNG 21 XÂY DỰNG MÔ HÌNH ĐỘNG HỌC VÀ MÔ HÌNH ĐỘNG LỰC HỌC CHO HỆ THỐNG 21 2.1 Mô hình động học hệ robot pan/tilt stereo camera 21 2.2 Xây dụng mô hình động học động lực học hệ robot di động – bệ pan/tilt stereo camera 26 2.2.1 Mô hình động học 26 2.2.2 Xác định ma trận Jacobi ảnh 27 2.2.3 Xác định ma trận Jacobi hệ tốc độ bám mục tiêu cho robot di động 28 2.2.4 Xác định tốc độ bánh xe robot di động tiếp cận mục tiêu 31 2.2.5 Mô hình động lực học 32 CHƢƠNG 34 THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN VÀ MÔ PHỎNG 34 HỆ THỐNG 34 3.1 Thiết kế thuật toán điều khiển hệ pan/tilt stereo camera mô 34 3.1.1 Thiết kế thuật toán điều khiển động học hệ pan/tilt bám mục tiêu di động 34 3.1.2 Mô minh họa PC 36 3.1.3 So sánh kết đánh giá 40 3.2 Thiết kế thuật toán điều khiển hệ robot di động – pan tilt – stereo camera mô 41 3.2.1 Động lực học hệ robot di động-bệ pan/tilt 41 3.2.2 Thiết kế điều khiển tối ưu cho hệ robot di động – pan tilt – stereo camera 42 3.2.3 Mô hệ thống robot di động-pantilt- stereo camera bám mục tiêu di động 44 3.2.4 Kết luận 46 KẾT LUẬN VÀ KIẾN NGHỊ 47 TÀI LIỆU THAM KHẢO 48 DANH MỤC CHỮ VIẾT TẮT VÀ KÝ HIỆU Đơn vị Ký hiệu Ý nghĩa f pixel Tiêu cự camera K m Khoảng cách camera m Pixel Véc tơ đặc trƣng ảnh Jimag Ma trận Jacobi ảnh Jrobot Ma trận Jacobi robot J Ma trận Jacobi tổng hợp Tx Ty Tz m/s Vận tốc dài tay nắm camera  x  y  z m/s Vận tốc góc tay nắm camera x Véc tơ mô tả vị trí hƣớng camera W Ma trận trọng số mạng nơ ron U, V Pixel Tọa độ ảnh đối tƣợng DANH MỤC HÌNH VẼ Hình 1.1 Camera Eye-RIS v2.1 16 Hình 1.2 Cấu trúc tiến trình xử lý Eye-RIS 2.1 17 Hình 1.3 Robot di động Pioneer 3DX 18 Hình 1.4 Một số chế độ hoạt động robot Pioneer 3DX 18 Hình 1.5 Cấu trúc hệ thống thƣ viện C++ ARIA 19 Hình 1.6 Bệ pan/tilt PTU-D48E-Series 19 Hình 1.7 Ứng dụng bệ Pan/Tilt PTU D48E 20 Hình 2.1 Hệ tọa độ hệ thống 21 Hình 2.2 Mô hình hệ thống camera 22 Hình 2.3 Ảnh theo trục Z, Y 23 Hình 2.4 Hình 2.5 Hình 2.6 Hình 2.7 Hình 2.8 Ảnh theo trục X, Y 23 Hệ robot di động – pan tilt – stereo camera 27 Mô hình hệ thống stereo camera 31 Ảnh theo hai trục X, Z (trái) Y, Z (phải) 31 Vị trí hƣớng mong muốn robot di động 31 Hình 3.1 Mạng RBF xấp xỉ hàm f 35 Hình 3.2 Cấu trúc hệ visual servoing điều khiển camera bám mục tiêu di động có nhiều tham số bất định 36 Hình 3.3 Sai lệch tọa độ ảnh mục tiêu (pixel) 37 Hình 3.4 Sai lệch tọa độ ảnh mục tiêu (pixel) điều khiển mạng nơ ron bù ( u1, = ) 37 Hình 3.5 Sai lệch bám tọa độ mục tiêu di chuyển theo đƣờng thẳng 38 Hình 3.6 Sai lệch tọa độ ảnh mục tiêu di chuyển theo đƣờng thẳng 38 Hình 3.7 Sai lệch bám tọa độ mục tiêu di chuyển theo đƣờng thẳng với điều khiển mạng nơ ron bù ( u1, = ) 38 Hình 3.8 Sai lệch tọa độ ảnh mục tiêu di chuyển theo đƣờng thẳng với điều khiển mạng nơ ron bù 38 Hình 3.9 Sai lệch bám quỹ đạo mục tiêu động theo cung tròn 39 Hình 3.10 Sai lệch tọa độ ảnh mục tiêu động theo cung tròn 39 Hình 3.11 Sai lệch bám quỹ đạo với mục tiêu động theo cung tròn điều khiển mạng nơ ron bù 39 Hình 3.12 Sai lệch tọa độ ảnh với mục tiêu động theo cung tròn điều khiển mạng nơ ron bù ( u1, = ) 40 Hình 3.13 Sai lệch bám quỹ đạo mục tiêu di chuyển với vận tốc thay đổi 40 Hình 3.14 Sai lệch tọa độ ảnh mục tiêu di chuyển với vận tốc thay đổi 40 Hình 3.15 Sơ đồ khối hệ thống 44 Hình 3.16 Bám tọa độ ảnh nhìn hệ tọa độ gốc 45 Hình 3.17 Robot di động bám theo mục tiêu mặt phẳng x-y nhìn hệ tọa độ gốc 46 Hình 3.18 Sai số e vận tốc mong muốn vận tốc thực 46 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung - Tên đề tài: Nghiên cứu số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh - Mã số: ĐH2014 –TN08-02 - Chủ nhiệm đề tài: ThS Lê Văn Chung - Tổ chức chủ trì: Trƣờng đại học Công nghệ Thông tin Truyền thông - Thời gian thực hiện: Từ tháng năm 2014 đến tháng 12 năm 2015 (gia hạn thời gian thực đến tháng năm 2016) Mục tiêu Mục tiêu đề tài nghiên cứu phát triển số thuật toán điều khiển rô bốt di chuyển bánh xe sở thông tin hình ảnh từ camera Thuật toán phải đảm bảo có tính bền vững với tham số bất định khả kháng nhiễu với tốc độ xử lý cao Tính sáng tạo Các nghiên cứu hệ robot di động sử dụng camera Việt Nam dùng camera để xử lý ảnh, việc tính khoảng cách sử dụng sensor khác Đề tài nghiên cứu sử dụng camera để vừa thu nhận ảnh, vừa tính toán khoảng cách tới mục tiêu Kết nghiên cứu Kết nghiên cứu đề tài dừng lại việc mô thử nghiệm thuật toán matlab simulink, chƣa cài đặt đƣợc lên robot Tuy nhiên kết phần cho thấy thuật toán đƣa có độ đáp ứng tốt, có tính bền vững với tham số bất định, tối ƣu đƣợc lƣợng tiêu hao sai lệch Sản phẩm 5.1 Sản phẩm khoa học Lê Văn Chung (2014), “Phát triển hệ pan/tilt – nhiều camera bám mục tiêu di động”, Tạp chí KHCN Đại học Thái Nguyên, 116(02), tr 41-46 Lê Văn Chung, Ma Thị Hồng Thu (2016), Thiết kế điều khiển port controller hamilton để điều khiển hệ pan tilt – stereo camera bám mục tiêu di động", Tạp chí KHCN Đại học Thái Nguyên, 155(10), tr 105-111 Le Van Chung, Pham Thuong Cat (2014), “Robust visual tracking control of pan tilt – stereo camera system”, VCM conference, pp.167-173 Le Van Chung, Pham Thuong Cat (2016), “Optimal tracking a moving target for integrated mobile robot – pan tilt – stereo camera”, Advanced Intelligent Mechatronics AIM IEEE Conference, pp 530 - 535 Le Van Chung, Pham Thuong Cat (2015), “A new control method for stereo visual servoing system with pan tilt platform”, Journal of Computer Science and Cybernetics, 31 (2), pp 107 – 122 Le Van Chung, Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for Tracking Target used Mobile Robot-pan tilt-stereo camera system”, International Conference on Advances in Information and Communication Technology, pp 217 – 227 5.2 Sản phẩm đào tạo Nguyễn Thành Công, "Xây dựng chương trình nhận dạng khuôn mặt sử dụng thư viện EmguCV", Đề tài KH&CN cấp Sinh viên năm 2015 Phƣơng thức chuyển giao, địa ứng dụng, tác động lợi ích mang lại kết nghiên cứu Phƣơng thức chuyển giao: Các kết đề tài dạng lý thuyết nên phƣơng thức chuyển giao mô tả chi tiết phƣơng pháp thuật toán điều khiển, thuật toán xử lý ảnh Địa ứng dụng: Viện công nghệ thông tin – Viện Hàn lâm Khoa học Công nghệ Việt Nam Lợi ích đề tài hỗ trợ đào tạo nghiên cứu sinh đƣa số thuật toán điều khiển cho robot di động sử dụng camera nghiên cứu tiếp cài đặt lên robot thực Ngày…… tháng …… năm 2017 Tổ chức chủ trì Chủ nhiệm đề tài (ký, họ tên, đóng dấu) (ký, họ tên) INFORMATION ON RESEARCH RESULTS General information Project title: Research some algorithms to control mobile robot using visual information Code number: ĐH2014 –TN08-02 Coordinator: ThS Le Van Chung Implementing institution: Thai Nguyen University of Information and Communication Technology Duration: from 1/2014 to 12/2015 Objective(s) The objective of this project is researched and developed some control algorithms robots that moved by wheels based on information from images obtained from two cameras The control algorithms ensure sustainability with parameters uncertainty and resistance to interference with high processing speed Creativeness and innovativeness The research on mobile robot using camera in Vietnam only used one camera for image processing, and other sensors for detecting distances This research projects using cameras for both image processing and calculate the distance to the target Research results Research results of the project have just stopped at the simulation and test the algorithm on Matlab Simulink, not installed on the real robot But the results showed that the algorithm also has a good response, sustainability with uncertain parameters, optimize energy consumption and errorDomestic Journal 0.5 points: 02 Products 5.1 Scientific Products Le Van Chung (2014), “Developing pan/tilt - stereo camera to track a moving target”, Jounal of Science and Technology Thai Nguyen University, 116(02), pp 41-46 Le Van Chung, Ma Thi Hong Thu (2016), "Design Port Controller Hamilton to Control pan tilt – stereo camera system track a moving target", Jounal of Science and Technology Thai Nguyen University, 155(10), pp 105-111 Le Van Chung, Pham Thuong Cat (2014), “Robust visual tracking control of pan tilt – stereo camera system” VCM conference, pp.167-173 56 57 57 58 58 59 59 60 60 61 61 62 62 63 63 64 64 65 65 66 66 67 67 68 68 69 69 70 70 ... lc hc h robot di ng-b pan/tilt 41 3.2.2 Thit k b iu khin ti u cho h robot di ng pan tilt stereo camera 42 3.2.3 Mụ phng h thng robot di ng-pantilt- stereo camera bỏm mc tiờu di ng ... cho sinh viờn 1.2 Gii thiu robot di ng Pioner 3DX Robot Pioneer 3DX l robot di ng thụng minh cú c im cu to nh hỡnh vi cỏc thụng s k thut nh sau: 18 Hỡnh 1.3 Robot di ng Pioneer 3DX Mt s tớnh... mụ hỡnh ng hc v ng lc hc h robot di ng b pan/tilt stereo camera 2.2.1 Mụ hỡnh ng hc H kt hp robot di ng pan/tilt camera l mt h gm robot di chuyn bng bỏnh cú mang mt robot pan/tilt hai bc t v