ỨNG DỤNG CÔNG NGHỆ MẠNG KHÔNG DÂY VÀ THỰC TẾ ẢO ĐỂ ĐIỀU KHIỂN TỪ XA MOBILE ROBOT

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐIỆN BỘ MƠN TỰ ĐỘNG HỐ CƠNG NGHIỆP ====o0o==== ĐỒ ÁN TỐT NGHIỆP Hà Nội, 05 - 2018 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐIỆN BỘ MƠN TỰ ĐỘNG HỐ CÔNG NGHIỆP ====o0o==== ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: ỨNG DỤNG CÔNG NGHỆ MẠNG KHÔNG DÂY VÀ THỰC TẾ ẢO ĐỂ ĐIỀU KHIỂN TỪ XA MOBILE ROBOT Trưởng môn : PGS.TS.TrầnTrọng Minh Giáo viên hướng dẫn : ThS Võ Duy Thành Sinh viên thực : Nguyễn Bá Tài Lớp : ĐK – TĐH 05 MSSV : 20133393 Cán duyệt : Hà Nội, 05 - 2018 LỜI CAM ĐOAN Em xin cam đoan đồ án tốt nghiệp: “Ứng dụng công nghệ mạng không dây thực tế ảo để điều khiển từ xa mobile robot” chúng em thực hướng dẫn thầy giáo ThS Võ Duy Thành Các số liệu kết hoàn toàn với thực tế Để hoàn thành đồ án em sử dụng tài liệu ghi danh mục tài liệu tham khảo không chép hay sử dụng tài liệu khác Nếu phát có chép em xin chịu hoàn toàn trách nhiệm Hà Nội, ngày 20 tháng 05 năm 2018 Sinh viên thực Nguyễn Bá Tài MỤC LỤC DANH MỤC HÌNH VẼ i DANH MỤC BẢNG SỐ LIỆU iii DANH MỤC TỪ VIẾT TẮT iv LỜI NÓI ĐẦU CHƯƠNG GIỚI THIỆU CHUNG 1.1 Tổng quan mobile robot 1.1.1 Khái niệm 1.1.2 Ứng dụng mobile robot 1.2 Giới thiệu công nghệ mạng không dây thực tế ảo 1.2.1 Công nghệ mạng không dây 1.2.2 Công nghệ thực tế ảo (Virtual Reality – VR) 10 1.3 Mục tiêu yêu cầu đồ án 11 CHƯƠNG CẤU HÌNH HỆ THỐNG VÀ TÍNH TỐN LỰA CHỌN THIẾT BỊ, CƠNG NGHỆ 13 2.1 Cấu hình hệ thống 13 2.2 Tính toán lựa chọn thiết bị 15 2.2.1 Lựa chọn công nghệ truyền thông không dây 15 2.2.2 Lựa chọn thiết bị điều khiển 16 2.2.3 Lựu chọn thiết bị cho khối mobile robot 17 CHƯƠNG GHÉP NỐI PHẦN CỨNG 21 3.1 Ghép nối phần cứng cho hệ thống 21 3.1.1 Ghép nối dây mạch điều khiển 21 3.1.2 Lắp ráp khí mobile robot 24 3.2 Truyền thông I2C UART 26 3.2.1 Truyền thông I2C 26 3.2.2 Truyền thông UART 27 CHƯƠNG THIẾT KẾ PHẦN MỀM 29 4.1 Thuật tốn xác định góc quay số khái niệm 29 4.1.1 Thuật tốn xác định góc quay 29 4.1.2 Giới thiệu giao tiếp client-server socket TCP/IP 34 4.1.3 Một số khái niệm lập trình android 35 4.2 Phần mềm điều khiển trung tâm 36 4.2.1 Lưu đồ thuật toán 36 4.2.2 Phương thức hoạt động 37 4.2.3 Cách thức nhận liệu 37 4.2.4 Cách thức xử lý liệu 38 4.3 Phần mềm xử lý phụ 40 4.3.1 Lưu đồ thuật toán 40 4.3.2 Phương thức hoạt động 41 4.4 Phần mềm điều khiển chuyển động 42 4.4.1 Lưu đồ thuật toán 43 4.4.2 Phương thức hoạt động 43 4.4.3 Cách xử lý liệu truyền thông 45 4.5 Phần mềm điều khiển góc quay camera 48 4.5.1 Lưu đồ thuật toán 48 4.5.2 Phương thức hoạt động 48 4.5.3 Xử lý truyền thông 50 4.6 Phần mềm hiển thị hình ảnh thực tế ảo 50 4.6.1 Lưu đồ thuật toán 51 4.6.2 Phương thức hoạt động 51 CHƯƠNG GHÉP NỐI VÀ CHẠY THỬ 54 5.1 Ghép nối thiết bị 54 5.1.1 Thiết lập ban đầu cho Intel Edison 54 5.1.2 Ghép nối phần mềm điều khiển với MbR 54 5.2 Tiến hành chạy thử 56 5.2.1 Thử nghiệm với phần hệ thống 57 5.2.2 Thử nghiệm điều khiển phịng thí nghiệm: 59 5.2.3 Thử nghiệm điều khiển trời 60 KẾT LUẬN 62 TÀI LIỆU THAM KHẢO 63 PHỤ LỤC 65 Danh mục hình vẽ DANH MỤC HÌNH VẼ Hình 1.1 Mobile Robot SUMMIT-XL hãng Robotnik Hình 1.2 Smart hospital robot vận chuyển bệnh viện Hình 1.3 Robot lau nhà Neato Botvac D85 Hình 1.4 Thu gom bom mìn địa bàn huyện ALưới Hình 1.5 Cứu hộ sau trận cháy lán trại Tân Mai Hình 1.6 Cơng nghệ thực tế ảo 10 Hình 1.7 Mơ hình hoạt động mobile robot khu vực cần khảo sát 11 Hình 2.1 Cấu hình hệ thống mobile robot 13 Hình 2.2 Sự phát triển công nghệ Wi-Fi 16 Hình 2.3 Kính thực tế ảo điện thoại thông minh 17 Hình 2.4 Bộ xử lý Romeo for Intel Edison 18 Hình 2.5 Module Arduino Nano 19 Hình 2.6 Module cảm biến MPU6050 19 Hình 2.7 Camera, động DC, động servo 20 Hình 2.8 Khung xe Mobile Robot 20 Hình 3.1 Sơ đồ nối chân cho tồn hệ thống mobile robot 23 Hình 3.2 Khung kim loại, bánh xích động DC bên 24 Hình 3.3 Khung đế quay camera 24 Hình 3.4 Mobile Robot 25 Hình 3.5 Sony z3 thiết bị điều khiển quan sát 25 Hình 3.6 Lưu đồ thuật toán truyền nhận liệu 27 Hình 3.7 Giao tiếp UART 28 i Danh mục hình vẽ Hình 4.1 Khái hệ thồng phần mềm mobile robot 29 Hình 4.2 Ba góc Euler 30 Hình 4.3 Sơ đồ khối cho bù 34 Hình 4.4 Sơ đồ khối mô tả cách thức giao tiếp client-server socket 35 Hình 4.5 Lưu đồ thuật tốn cho phần mềm điều khiển trung tâm 36 Hình 4.6 Lưu đồ thuật toán cho Bộ xử lý phụ 40 Hình 4.7 Đồ thị góc pitch xe nằm ngang 41 Hình 4.8 Đồ thị góc pitch xe nghiêng lên xuống 42 Hình 4.9 Lưu đồ thuật toán điều khiển chuyển động 43 Hình 4.10 Giao diện khởi động phần mềm điều khiển chuyển động 44 Hình 4.11 Giao diện điều khiển phần mềm điều khiển chuyển động 45 Hình 4.12 Lưu đồ thuật tốn phần mềm điều khiển góc quay 48 Hình 4.13 Giao diện phần mềm điều khiển góc quay 49 Hình 4.14 Lưu đồ thuật tốn phần mềm hiển thị hình ảnh thực tế ảo 51 Hình 4.15 Sơ đồ khối cho tiến trình nhận hiển thị video 52 Hình 4.16 Giao diện khởi động 52 Hình 4.17 Giao diện cài đặt 53 Hình 4.18 Giao diện xem video 53 Hình 5.1 Thao tác kết nối thiết bị 55 Hình 5.2 Kết nối cho thiết bị 55 Hình 5.3 Kết nối phần mềm xem video 56 Hình 5.4 Thử nghiệm điều khiển camera 57 Hình 5.5 Thử nghiệm quay sát hình ảnh 58 Hình 5.6 Thử nghiệm điều khiển động 58 Hình 5.7 Thử nghiệm bù góc quay camera 59 ii Danh mục hình vẽ Hình 5.8 Thử nghiệm vận hành tổng thể phịng thí nghiệm 60 Hình 5.9 Điều khiển xe điều kiện ngồi trời 61 iii Danh mục bảng số liệu DANH MỤC BẢNG SỐ LIỆU Bảng 2.1 Sự khác hai giao thức TCP UDP 15 Bảng 3.1 Bảng nối chân Romeo for Intel Edison với thiết bị 21 Bảng 3.2 Bảng nối chân Romeo for Intel Edison Arduino Nano 22 Bảng 3.3 Bảng nối chân Arduino Nano với MPU6050 22 Bảng 4.1 Khung tin nhận 37 Bảng 4.2 Tính tốn giá trị nhập vào chiều quay cho motor theo W, G39 Bảng 4.3 Tính tốn giá trị góc quay servo 40 Bảng 4.4 Xử lý liệu W trước truyền thông 47 Bảng 4.5 Bản tin truyền 47 Bảng 4.6 Xử lý giá trị điều khiển góc quay 50 iii Chương Thiết kế phần mềm lại hai luông đủ ngắn để mắt người cảm thấy hình ảnh quan sát chuyển động giống hai khung hình Sơ đồ khối mơ tả hình 4.15 View1 Camera HTTP Dữ liệu đầu vào - Đọc giải mã liệu - Lưu trữ liệu dạng điểm ảnh - Hiển thị điểm ảnh dạng thời gian thực View2 Hình 4.15 Sơ đồ khối cho tiến trình nhận hiển thị video PMHTHA thực tế ảo bao gồm phần (activity): phần khởi động, phần cài đặt, phần xem video Phần giao diện khởi động có giao diện hiển thị hai phím ấn tùy chọn liên kết với file logic để xử lý hai phím ấn này, phím settings để mở phần cài đặt phím show video để mở phần xem video Sau giao diện khởi động (hình 4.16) Hình 4.16 Giao diện khởi động Phần cài đặt thiết kết giao diện bao gồm ô nhập Url cho phép nhập đường link mà web server nơi có hình ảnh trực tiếp mà camera ip MbR gửi đến Ngoài cịn có thêm phần nhập tên đăng nhập mật camera ip yêu cầu tài khoản xem hình ảnh Trong phần có file logic để nhận 52 Chương Thiết kế phần mềm liệu nhập vào lưu lại để sử dụng cho phần xem video Sau hình ảnh cho giao diện cài đặt (hình 4.17) Hình 4.17 Giao diện cài đặt Phần xem video hoạt động sau hồn tất cài đặt có hình ảnh truyền lên Url Tại giao diện hiển thị hai khung hình giống nhau, khung hình liên kết với luồng nhận liệu chạy file java Hình ảnh luân phiên nhận hiển thị lên hai khung hình Đây giao diện xem video (hình 4.18) Hình 4.18 Giao diện xem video Kết luận chương 4: Chương hoàn thành việc thiết kế phần mềm cho toàn hệ thống, giới thiệu số khái niệm trình bày thuật tốn tính góc quay đồng thờinêu q trình xử lý truyền nhận liệu thiết bị hệ thống MbR 53 Chương Ghép nối chạy thử CHƯƠNG GHÉP NỐI VÀ CHẠY THỬ 5.1 Ghép nối thiết bị Phần ghép nối bao gồm việc thiết lập ban đầu cho Intel Edison sau ghép nối truyền liệu thiết bị MbR Mô tả cách khởi động hệ thống MbR 5.1.1 Thiết lập ban đầu cho Intel Edison Đầu tiên thực cài driver Intel Edison cho máy tính mình, cài đặt phần mềm putty dùng putty để xâm nhập sâu vào hệ thống Sử dụng câu lệnh đặc trưng dành riêng cho Intel Edison để kích hoạt cài đặt bo mạch Tiến hành cài đặt Wi-Fi, mạch tích hợp sẵn module Wi-Fi nên thay kết nối Wi-Fi code dùng esp8266 MbR thiết lập kết nối Wi-Fi trước lập trình Sau khởi động Intel Edison tự động đăng nhập vào Wi-Fi kết nối mật từ trước Sau sử dụng Arduino IDE 1.5.3 dành riêng cho Intel nạp code cho bo mạch MbR Giữ nguồn cấp xe nạp code lưu lại Hoàn thành thiết lập ban đầu cho MbR 5.1.2 Ghép nối phần mềm điều khiển với MbR  Khởi động MbR, cấp nguồn cho MbR qua pin lipo chờ xe khởi động Khi bánh xe quay có nghĩa xe sẵn sàng hoạt động chờ kết nối điều khiển, lưu ý thiết bị MbR phải kết nối Wi-Fi  Sau xe sẵn sàng, thiết bị tiến hành kết nối đến MbR theo bước sau Mở PMĐKCĐ tiến hành nhập ip, port cho server mở PMĐKTT, độ phân giải cổng port cho server mở PMĐKCĐ Hồn thành việc nhập thơng tin ấn ‘CONNECT’ phần mềm chuyển sang giao diện điều khiển tạo client kết nối đến server PMĐKTT Tuy nhiên tín hiệu lúc chưa 54 Chương Ghép nối chạy thử truyền cần thêm tín hiệu điều khiển góc quay từ thiết bị Các thao tác cho PMĐKCĐ thể hình 5.1 Hình 5.1 Thao tác kết nối thiết bị  Tiếp tục PMĐKGQ thiết bị khởi động, tiến hành nhập ip, port cho server mở PMĐKCĐ Giữ đầu nhìn thẳng sau đặt điện thoại vng góc với hướng nhìn mắt ấn start Lúc tín góc quay bắt đầu gửi đến thiết bị Thiết bị nhận liệu góc quay đóng gói gửi đến MbR Lúc MbR bánh xe dừng quay báo hiệu cho phép điều khiển thông qua thiết bị Hình 5.2 Kết nối cho thiết bị 55 Chương Ghép nối chạy thử  Tiến hành cài đặt truyền liệu hình ảnh từ camera lên android Thông qua wifi truyền theo giao thức http IP Camera tích hợp sẵn giao diện Web để truy cập dựa địa ip, port xác định thông qua mạng WAN, LAN Internet Sau cài đặt camera thông qua board điều khiển Edison, hình ảnh stream xem thơng qua việc nhập đường đẫn URL với địa ip mơ đun wifi lên trình duyệt Web máy tính điện thoại: theo đường dẫn sau “http://localhost:8080/?action=stream” Việc cài đặt camera thực thông qua Putty  Công việc cuối khởi động PMHTHA thiết bị 1, ấn cài đặt nhập đường link vào URL Sau quay lại ấn chọn xem video để quan sát hình ảnh camera thu đồng thời đặt điện thoại vào kính thực tế ảo tiến hành quan sát điều khiển MbR Các thao tác thực hình 5.3 Hình 5.3 Kết nối phần mềm xem video 5.2 Tiến hành chạy thử Việc chạy thử tiến hành theo phần tổng quan toàn hệ thống điều kiện môi trường khác sau 56 Chương Ghép nối chạy thử 5.2.1 Thử nghiệm với phần hệ thống a) Thử nghiệm điều khiển camera Thử nghiệm điều khiển camera thao tác quay đầu thông qua thiết bị gắn kính thực tế ảo Góc quay camera MbR hoạt động theo góc quay đầu người sử dụng mơ tả hình 5.4 a, Quay Trái b, Quay phải c, Ngẩng lên d, Cúi xuống Hình 5.4 Thử nghiệm điều khiển camera Từ bốn hình ảnh thể bốn hướng nhìn khác ngau người điều khiển, việc điều khiển camera thực Tuy nhiên trình điều khiển gặp độ trễ so với tốc độ quay đầu người, lý xác định phần truyền thông không dây b) Thử nghiệm quan sát hình ảnh thu từ camera thơng qua thiết bị Tiến hành cài đặt camera, thử nghiệm quan sát hình ảnh trực tiếp từ camera PMHTHA sau (hình 5.5) 57 Chương Ghép nối chạy thử Hình 5.5 Thử nghiệm quay sát hình ảnh Có thể thấy rằng, việc phân chia hiển thị hai hình ảnh giống lên hai khung hình thực được, dù hình ảnh thu từ camera bị trễ phụ thuộc nhiều vào độ mạnh Wi-Fi c) Thử nghiệm điều khiển động Tiến hành thử nghiệm điều khiển quay bánh xe với PMĐKCĐ thiết bị với thao tác tay (hình 5.6): Hình 5.6 Thử nghiệm điều khiển động Việc điều khiển động thực với kết khá quan, phần điều khiển động đáp ứng nhanh với thay đổi thao tao tay người điều khiển, việc trễ có xảy không đáng kể 58 Chương Ghép nối chạy thử d) Thử nghiệm bù góc quay camera nghiêng mobile robot Thử nghiệm khả bù góc quay camera với trường hợp thân MbR thay đổi góc nghiêng trình hoạt động, hình MbR thử nghiệm với độ nghiêng cúi đầu phía trước (hình 5.7) Hình 5.7 Thử nghiệm bù góc quay camera Có thể thấy việc bù góc camera thực thành cơng, nhiên khả bù góc trễ, nên thích hợp di chuyển chậm qua chướng ngoại vật 5.2.2 Thử nghiệm điều khiển phịng thí nghiệm: Sau hồn tất thử nghiệm phần, tiến hành thử nghiệm quan sát điều khiển tổng thể MbR mơi trường phịng thí nghiệm để kiểm tra khả vận hành MbR (hình 5.8) 59 Chương Ghép nối chạy thử Hình 5.8 Thử nghiệm vận hành tổng thể phịng thí nghiệm Thử nghiệm phịng thí nghiệm cho số kết tốt, việc điều khiển quan sát phối hợp với giúp người sử dụng điều khiển từ xa mà khơng cần nhìn thấy MbR 5.2.3 Thử nghiệm điều khiển ngồi trời Thử nghiệm cuối thực điều khiển MbR điều kiện trời (video điều khiển có CD): 60 Chương Ghép nối chạy thử Hình 5.9 Điều khiển xe điều kiện ngồi trời Việc điều khiển ngồi trời gặp khó khăn dễ xuất nhiều yếu tố gây nhiễu truyền thơng q trình hoạt động, nhiên thử nghiệm thành cơng, hình ảnh thu cho việc quan sát MbR di chuyển địa hình gồ ghề Kết luận chương 5: Hồn thành việc ghép nối cho thiết bị tiến hành khởi động hệ thống MbR, sau tiến hành chạy thử với phần tổng quan hệ thống điều kiện mơi trường khác nhau, từ đưa nhận xét việc vận hành hệ thống 61 Kết luận KẾT LUẬN Trong thời gian thực đồ án nhóm tác giả làm được:  Lựa chọn ghép nối phần cứng cho MbR phù hợp với yêu cầu đồ án  Trình bày thuật tốn xác định góc quay theo ba trục  Xây dựng phần mềm cho BĐKTT, BXLP, thiết bị điều khiển chuyển động, thiết bị quan sát điều khiển góc quay sử dụng kính thực tế ảo  Chạy thực nghiệm mơi trường phịng thí nghiệm mơi trường trời Hướng phát triển đồ án:  Nghiên cứu cải tiến khả di chuyển cho MbR  Giảm nhiễu, giảm thời gian truyền thông, tăng chất lượng hình ảnh truyền  Nghiên cứu sử dụng thêm cảm biến cho phép MbR đo đạc cung cấp nhiều thông tin đến người sử dụng, ứng dụng vào thám hiểm, cứu hộ, quân sự…  Ứng dụng nguyên lý tìm hiểu cho thiết bị dạng MbR có kích thước to Đề tài số hạn chế khơng thể tránh khỏi thiếu sót Em mong nhận đóng góp ý kiến thầy, bạn đọc để đề tài hồn thiện Em xin chân thành cảm ơn Hà Nội, ngày 20 tháng 05 năm 2018 Sinh viên thực Nguyễn Bá Tài 62 Tài liệu tham khảo TÀI LIỆU THAM KHẢO [1] https://en.wikipedia.org/wiki/Mobile_robot, truy cập cuối ngày 9/6/2018 [2] http://meb.com.vn/cong-nghe-robot-viet-nam-van-con-o-dang-tiem-nang/, truy cập cuối ngày 9/6/2018 [3] https://en.wikipedia.org/wiki/Virtual_reality, truy cập cuối ngày 9/6/2018 [4] https://kienltb.wordpress.com/2015/03/22/giao-tiep-i2c/, truy cập cuối ngày 9/6/2018 [5] http://www.hocavr.com/index.php/lectures/uart, truy cập cuối ngày 9/6/2018 [6] https://www.springwise.com/smart-hospital-robot-autonomous-high-tech-courier/, truy cập cuối ngày 9/6/2018 [7] http://vietnamrobotics.vn/robot/robot-hut-bui-neato-botvac-connected/, truy cập cuối ngày 9/6/2018 [8] https://techtalk.vn/7-khai-niem-chinh-ve-android-ban-can-biet.html, truy cập cuối ngày 9/6/2018 [9] http://tintuc.hues.vn/hoi-sinh-nhung-vung-dat-chet/, truy cập cuối ngày 9/6/2018 [10] http://soha.vn/chuyen-ve-nhung-nguoi-linh-cuu-hoa-khong-so-chet-chi-so-khongcuu-duoc-nguoi-20161004145156852.htm, truy cập cuối ngày 9/6/2018 [11] http://genk.vn/do-choi-so/khai-quat-ve-mang-khong-day-2013011411154296.chn, truy cập cuối ngày 9/6/2018 [12] https://giai-ma.blogspot.com/2016/04/so-sanh-2-giao-thuc-tcp-va-udp.html, truy cập cuối ngày 9/6/2018 [13] Intel Edison Compute Module Hardware Guide, Intel, 2016 [14] A Kheddary, J.G Fontainez, P Coiety, “Mobile Robot Teleoperation in Virtual Reality”, Proc of IEEE/SMC IMACS Multiconference on Computational Engineering in Systems Applications, 1998 63 Tài liệu tham khảo [15] M Mostefa and L K E Boudadi and A Loukil and K Mohamed and D Amine, “Design of mobile robot teleoperation system based on virtual reality”, Proc of the 3rd International Conference on Control, Engineering Information Technology (CEIT), pp 1-6, 2015 [16] Emna Baklouti, Mohamed Jallouli, Lobna Amouri, Nader Ben Amor, “Remote control of mobile robot through 3D virtual reality environment”, Proc of the IEEE International Conference on Individual and Collective Behaviors in Robotics, 2013 [17] MPU-6000 and MPU-6050 Register Map and Descriptions Revision 4.0, Invensense Inc, 2012 64 Phụ lục PHỤ LỤC Sau số hình cho phần mềm lập trình mà đồ án sử dụng: Phần mềm lập trình Android phiên 2.2.2 sử dụng lập trình PMĐKCĐ, PMĐKGQ, PMHTHA điện thoại di động: Hình phụ lục 1: Phần mềm android 2.2.2 Trên hình ảnh phần mềm hiển thị file lập trình điều khiển góc quay, file main.xml file lập trình giao diện cho ứng dụng cịn file java bên cạnh file xử lý logic phần mềm, khung chữ nhật views nơi vẽ xử lý thao tác người sử dụng, 65 Phụ lục Phần mềm Putty sử dụng cho việc cài đặt driver cho Intel Edison camera: Hình phụ lục 2: Phần mềm Putty Cuối phần mềm Arduino IDE sử dụng lập trình BĐKTT BXLP: Hình phụ lục 3: Phần mềm Arduino IDE 66