BÁO CÁO NGHIÊN CỨU KHOA HỌC robot IoRT

SỞ GIÁO DỤC VÀ ĐÀO TẠO TP HỒ CHÍ MINH PHỊNG GIÁO DỤC VÀ ĐÀO TẠO HUYỆN HĨC MƠN TRƢỜNG THCS NGUYỄN AN KHƢƠNG CUỘC THI KHOA HỌC KĨ THUẬT CẤP THÀNH PHỐ DÀNH CHO HỌC SINH TRUNG HỌC Năm học 2018 – 2019 Tên dự án dự thi: ROBOT IoRT THÁM HIỂM Lĩnh vực dự thi: 20 – Robot máy thông minh HỌC SINH THỰC HIỆN: Đinh Quốc Huy GIÁO VIÊN HƢỚNG DẪN: Cô Diệp Thị Thanh Thảo NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS Hà Hoàng Kha ĐỊA ĐIỂM THỰC HIỆN: Trường THCS Nguyễn An Khương Trường Đại Học Bách Khoa TPHCM Tp Hồ Chí Minh, tháng 10 năm 2018 Mục lục LỜI CẢM ƠN TÓM TẮT ĐỀ TÀI Chƣơng GIỚI THIỆU 1.1 Tổng quan Robot IoRTthám hiểm 1.2 Tình hình nghiên cứu 1.3 Mục tiêu đề tài phương pháp thực 1.3.1 Mục tiêu đề tài 1.3.2 Mơ hình thực 1.4 Bảng phân công công việc Chƣơng PHƢƠNG PHÁP THỰC HIỆN 2.1 Giám sát từ xa qua Web RTC 2.2 Thiết kế phần cứng 2.2.1 Sơ đồ tổng quát hệ thống 2.2.2 Thiết kế phần khí 2.2.3 Lựa chọn động DC Encoder 2.2.4 Lựa chọn mạch cầu H 2.2.5 Cảm biến IMU 2.2.6 Kit phát triển TM4C123GXL 2.2.7 Kinect Xbox 360 2.3 Lập trình giao tiếp ngoại vi với vi điều khiển 10 Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 11 3.1 Kết luận 11 3.2 Một số hình ảnh thực tế 12 3.3 Hướng phát triển 15 TÀI LIỆU THAM KHẢO 15 Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO LỜI CẢM ƠN Em xin chân thành gửi lời cảm ơn đến cô Diệp Thị Thanh Thảo tận tình định hướng, khơi dậy niềm đam mê khoa học giúp đỡ suốt trình em thực đề tài Em thật biết ơn thầy, cô giáo trường THCS Nguyễn An Khương giảng dạy chu đáo, cung cấp kiến thức tảng góp phần quan trọng để em hồn thành đề tài Cám ơn bạn bè trường giúp đỡ đóng góp ý tưởng Em xin gửi lời biết ơn đến anh, chị thầy, cô Khoa Điện – Điện tử trường Đại học Bách Khoa Tp Hồ Chí Minh Đặc biệt, hướng dẫn tận tình hai anh Trần Minh Lợi Hà Văn Bơn q trình thực đề tài Sau em xin tri ân đến gia đình ln động lực để vượt qua khó khăn thử thách suốt trình học tập rèn luyện Tp.Hồ Chí Minh, ngày 20 tháng 10 năm 2018 Học sinh Đinh Quốc Huy Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO TÓM TẮT ĐỀ TÀI Ngày với phát triển công nghệ 4.0, việc ứng dụng tảng Internet of Thing (IoT) cho ứng dụng xã hội trở nên phổ biến Do đó, thiết kế Robot kết hợp với IoT cho đời khái niệm The Internet of Robotic Things (IoRT) trở thành xu hướng năm gần trương lai Công việc thiết kế Robot không dừng lại vận hành tự động mà phải dùng để thu thập, truyền liệu từ xa gửi cho người dùng qua Internet, tương tác trực tiếp từ xa để thay người thực nhiệm vụ nơi mà người khơng thể đến Những ứng dụng điển nhà thám hiểm vào nơi chưa đến hay dò địa hình nơi có chất độc hại bom mìn, hay phục vụ cho cơng tác cứu hộ người bị kẹt hang động (điển việc cứu hộ đội bóng thiếu niên kẹt hang động Thái gần đây) v.v Do việc chế tạo Robot IoRT thám hiểm điều cần thiết cho nhu cầu xã hội The Robot IoRT thám hiểm loại robot có khả tự di chuyển, thu thập thơng tin hình ảnh vẽ lại bảng đồ địa hình từ xa livestream hình ảnh chuyển người dùng thơng qua mạng Internet Người dùng quan sát điều khiển từ xa thông qua giao diện người dùng khả kết nối Internet Với Robot IoRT thám hiểm, người dùng tương tác với mơi trường xung quanh di chuyển, nghe nhìn qua môi trường Internet Đề tài tập trung giải yêu cầu Robot IoRT thám hiểm Đầu tiên thiết kế phần cứng hỗ trợ khả di chuyển thị giác máy tính Thứ hai Xử lý ảnh để nhận dạng người vật cản Thứ ba khả xây dựng đồ định vị vị trí robot đồ vẽ Cuối streaming video điều khiển robot từ xa qua mạng Internet thông qua giao diện người dùng Chƣơng GIỚI THIỆU 1.1 Tổng quan Robot IoRTthám hiểm Robot IoRT thám hiểm loại robot có khả thực tác vụ điều khiển người sử dụng từ xa thơng qua giao thức mạng, có khả streaming video hiển thị hình giao diện gắn robot, từ robot trở thành người đại diện cho người dùng vào nơi nguy hiểm để quan sát thu thập dư liệu thay cho người Một số sản phẩm Robot thám hiểm có mặt thị trường hình HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO Hình Một số sản phẩm Robot 1.2 Tình hình nghiên cứu Hiện việc nghiên cứu chế tạo Robot phổ biến cánh tay Robot, Robot tự hành, Robot điếu khiển giọng nói hay sóng não… Robot IoRT thám hiểm hướng phát triển nghiên cứu mẻ Việt Nam Đây sản phẩm hứa hẹn góp phần khơng nhỏ cải thiện chất lượng công việc thám hiểm, làm đa dạng hóa sản phẩm IoT nghiên cứu chế tạo nước ta 1.3 Mục tiêu đề tài phƣơng pháp thực 1.3.1 Mục tiêu đề tài Mục tiêu đề tài xây dựng robot RIoT với khả tự di chuyển đến đích không bị va chạm với khả giám sát điều khiển từ xa qua mạng Internet Robot IoRT áp dụng vào lĩnh vực thám hiểm nên vào nơi nguy hiểm để thay người Yêu cầu khả tự vận hành tránh vật cản Robot di chuyển mơi trường nhiều vật cản nên phải có khả tránh vật cản tự động Dùng camera Kinect với hệ thống cảm biến camera đảm nhiệm vai trò xác định vật cản tính tốn khoảng cách Để giao tiếp từ xa, Robot phải thực chức streaming video audio thời gian thực, máy tính thực xử lý streaming video từ robot đến người dùng qua mạng Đồng thời máy tính nhận lệnh điều khiển từ người dùng truyền xuống robot Do nội dung Robot thám hiểm: Streaming Và Điều khiển từ xa qua Internet Di chuyển tránh vật cản HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Vẽ Bản Đồ Và Định Vị Trang Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO 1.3.2 Mơ hình thực Hình Mơ hình tổng qt hệ thống Robot IoRT Người dùng sử dụng máy tính điện thoại thơng minh điều khiển robot từ xa thông qua WebRTC Trong điều khiển, người dùng xem luồng video stream từ robot thời gian thực Nhóm tự thiết kế lắp ráp khung robot với động cơ, nguồn, vi điều khiển… Khung robot phải chịu tải trọng robot có hình dạng giúp robot dễ dàng di chuyển có Laptop kèm theo Laptop nhận liệu từ camera phát trực tiếp cho người dùng từ xa thông qua WebRTC Đồng thời laptop thực xử lý liệu nhận từ vi điều khiển để tính tốn vị trí robot Laptop thực vẽ đồ mơi trường từ thơng tin vị trí vật cản đo qua Kinect Sau có đồ, robot tự di chuyển đến đích tránh va chạm đường 1.4 Bảng phân công công việc Xây dựng Robot thám hiểm từ phần cứng đến phần mềm nhóm nghiên cứu phân cơng bảng 1: Tháng Tháng Tháng Tháng Tháng Tháng Thiết kế phần cứng, lập trình hệ thống nhúng Streaming video điều khiển với WebRTC Vẽ đồ định vị Robot Thực nghiệm tổng hợp báo cáo Chƣơng 2.1 PHƢƠNG PHÁP THỰC HIỆN Giám sát từ xa qua Web RTC Chức Robot IoRT thám hiểm cho phép người dùng tương tác với môi trường từ xa Người dùng thấy hình ảnh thu từ camera trang bị robot điều khiển robot di chuyển theo HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO mong muốn Streaming video thời gian thực yêu cầu độ trễ thấp, tiết kiệm băng thơng Trong điều khiển từ xa u cầu độ tin cậy trình truyền Để giải tốn điều khiển từ xa, nhóm nghiên cứu cần xây dựng ứng dụng cho phép người dùng tương tác tìm hiểu giao thức mạng phù hợp để truyền liệu người dùng robot WebRTC Web API Google phát triển nhằm hỗ trợ streaming video trực tiếp trình duyệt web Một số trình duyệt web hỗ trợ WebRTC Google Chrome, Mozilla Firefox Opera WebRTC truyền liệu theo mơ hình point-to-point robot người dùng theo mơ hình kết nối hình Có ba bước thực streaming với WebRTC xử lý luồng media robot, báo hiệu trao đổi thông tin cần thiết để streaming cuối stream liệu point-to-point robot người điều khiển Hình Mơ hình kết nối WebRTC robot người dùng 2.2 Thiết kế phần cứng 2.2.1 Sơ đồ tổng quát hệ thống Robot IoRT thám hiểm u cầu hệ thống có khung khí, ngoại vi mạch điều khiển đáp ứng yêu cầu xử lý stream camera, tự hành tránh vật cản, điều khiển tự hành từ xa Từ yêu cầu trên, phần cứng sử dụng gồm: khung xe, camera Kinect, vi điều khiển giao tiếp với ngoại vi máy tính, động DC bao gồm encoder, cầu H để điều khiển động cơ, bo mạch kết nối ngoại vi với vi điều khiển, cảm biến IMU đo góc quay robot, nguồn điện cấp cho hệ thống, máy tính cài đặt hệ thống ROS hệ điều hành Linux hình HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO PC Kinect Motor Encoder1 Mạch đệm Encoder Vi điều khiển Nguồn cấp Cầu H Motor IMU Hình Sơ đồ khối hệ thống 2.2.2 Thiết kế phần khí Với chức robot tự hành tránh vật cản, phần cứng thiết kế với hình dạng khung xe rùa hình Với hình dạng robot dựa vào bán kính khung xe khoảng cách đến vật cản xung quanh, sau máy tính thực thuật tốn tránh vật cản để đưa định di chuyển cho robot Tải trọng robot bảng Hình Phần khung robot dạng xe rùa HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO Bảng Tải trọng robot Bộ phận Nguồn acquy 12V-9Ah Khối lƣợng (kg) 2.78 Kinect Xbox 360 1.5 Laptop ASUS 1.5 Tổng cộng 5.78 2.2.3 Lựa chọn động DC Encoder Với trọng tải robot lên đến 5.78 kg không yêu cầu tốc độ di chuyển nhanh, động DC yêu cầu phải có hộp số giảm tốc để tăng momen xoắn giúp việc kéo tải động điện dễ dàng Ngoài để điều khiển vị trí robot dựa vào số vòng quay bánh xe yêu cầu động cần có phận phản hồi thơng tin số vòng quay mà bánh xe quay được, phận đảm nhận chức gọi encoder Hình Encoder tương đối gồm kênh A B Nhóm nghiên cứu chọn động DC giảm tốc GA37-V1 kèm encoder từ hình Hình Động DC giảm tốc GA37-V1 kèm encoder Thông số kĩ thuật động DC Encoder bảng bảng HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO Bảng Động DC giảm tốc GA37-V1 Đại lƣợng Giá trị Tỉ số truyền hộp số 1:33 Điện áp hoạt động (Vdc) 6-24 Điện áp trung bình (V) 12 Tốc độ cực đại khơng tải (rpm) 303 Dòng điện cực đại có tải (A) Bảng Encoder Đại lƣợng Giá trị Số xung/vòng 11 Điện áp hoạt động (Vdc) 3.3 Loại encoder Encoder tương đối 2.2.4 Lựa chọn mạch cầu H Để điều khiển chiều quay, tốc độ động yêu cầu cần có mạch điện có khả đảo chiều dòng điện điều khiển cường độ dòng điện chảy qua động Hình sơ đồ nguyên lý đơn giản mạch cầu H thực chức trên: Hình Sơ đồ nguyên lý cầu H Lựa chọn cầu H thích hợp yếu tố định đến chất lượng điều khiển hệ thống motor Dựa dòng tải cực đại motor GA37-V1 3A, ta lựa chọn thị trường module cầu H VNH2SP30 hình HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO Hình Cầu H VNH2SP30 2.2.5 Cảm biến IMU IMU thiết bị điện tử kết hợp hai loại cảm biến cảm biến gia tốc cảm biến quay hồi chuyển IMU sản xuất với công nghệ MEMS cho phép xác định góc quay, vận tốc, vị trí hệ thống chuyển động không gian ba chiều cách hiệu Hình Các chiều khơng gian Nhóm sử dụng cảm biến MPU6050 hình 10 tích hợp cảm biến quay hồi chuyển ba trục, cảm biến gia tốc ba trục chip xử lý DMP thu thập xử lý liệu Hình 10 Module cảm biến MPU6050 HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO 2.2.6 Kit phát triển TM4C123GXL Tiva TM4C123GXL kit phát triển tích hợp sẵn vi điều khiển TM4C123GH6PM hãng Texas Instrument Đây dòng vi điều khiển 32 bit 𝐴𝑅𝑀® cortex𝑇𝑀- M4 80MHz Ngoại vi kết nối với vi điều khiển hình 11 Hình 11 Kết nối vi điều khiển với ngoại vi Trong đó:  PD6, PD7: cấu hình để kết nối đến module QEI0  PC5, PC6: cấu hình để kết nối đến module QEI1  PA6, PA7: cấu hình để kết nối đến module I2C1(PA6: SCL PA7: SDA)  PE4, PE5: ngõ module PWM0 khối tạo xung  PB0, PB1: chân điều khiển chế độ hoạt động cầu H thứ VNH2SP30  PD0, PD1: chân điều khiển chế độ hoạt động cầu H thứ hai VNH2SP30 2.2.7 Kinect Xbox 360 Kinect Xbox 360 thiết bị ngoại vi thu chuyển động hãng Microsoft nghiên cứu chế tạo dựa công nghệ cảm biến đo độ sâu dùng hồng ngoại PrimeSense Kinect ứng dụng thiết bị chơi game Xbox 360 để thu chuyển động người chơi chuyển thành lệnh điều khiển game Sau khơng lâu HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO với nhu cầu phát triển ứng dụng sâu cho thiết bị mang công nghệ lạ nhà phát triển, Microsoft tung phiên Kinect hỗ trợ giao tiếp PC qua cáp USB 2.0 hình 12 Hình 12 Camera Kinect Xbox 360 Những thành phần Kinect Xbox 360 gồm có:  Camera RGB có độ phân giải 640x480 pixel 30 khung hình/giây  Cảm biến độ sâu gồm máy chiếu chùm tia hồng ngoại camera thực chức thu hồng ngoại có độ phân giải 320x240 pixel  Dãy đa microphone dọc theo thân Kinect gồm bốn microphone để ứng dụng điều khiển giọng nói  Động DC điều khiển góc ngẩng gắn thân đế Kinect giúp thay đổi góc quan sát camera 2.3 Lập trình giao tiếp ngoại vi với vi điều khiển Giới thiệu thƣ viện Tivaware Tivaware thư viện viết Texas Instrument cho phép truy cập đến module ngoại vi dòng vi điều khiển Tiva cách dễ dàng Những điểm bậc thư viện là:  Được viết hoàn toàn ngôn ngữ C với cấu trúc hàm dễ hiểu, gợi nhớ  Sách hướng dẫn chi tiết cách sử dụng ngoại vi chế độ thông dụng  Được thiết kế để sử dụng hiệu nhớ luồng xử lý  Được cập nhật thường xuyên để tối ưu hóa việc sử dụng phần cứng dòng Tiva Từ đặc điểm trên, việc lập trình giao tiếp module ngoại HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang 10 Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO vi hệ thống dựa hàm thư viện Tivaware Ví dụ code Điều khiển động DC void pid_vel_cal(pid* pid_vel_motor, float vel, float max_response, uint16_t T_sample) { pid_vel_motor->pid_err = pid_vel_motor->setpoint - vel; pid_vel_motor->p_part = pid_vel_motor->Kp * pid_vel_motor>pid_err; pid_vel_motor->i_part += pid_vel_motor->Ki * pid_vel_motor>pid_err * T_sample; pid_vel_motor->d_part = pid_vel_motor->Kd * (pid_vel_motor>pid_err - pid_vel_motor->pid_err_prev) / T_sample; pid_vel_motor->pid_result += pid_vel_motor->p_part + pid_vel_motor>i_part + pid_vel_motor->d_part; // limit output if (pid_vel_motor->pid_result > max_response) pid_vel_motor>pid_result = max_response; else if (pid_vel_motor->pid_result < -1 * max_response) pid_vel_motor->pid_result = -1 * max_response; pid_vel_motor->pid_err_prev = pid_vel_motor->pid_err; } Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 3.1 Kết luận Nhóm nghiên cứu hồn thành thiết kế Robot thám hiểm dựa tảng IoT với kết sau:  Về thiết kế phần cứng, nhóm hoàn thành thiết kế khung robot với hệ thống nhúng giúp robot di chuyển nhà  Người dùng điều khiển di chuyển robot xem luồng video stream từ robot thông qua WebRTC  Vẽ lại mơ hình thực tế  Robot tự di chuyển tìm đường tránh vật cản để đến đích bám theo đối tượng HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang 11 Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO 3.2 Một số hình ảnh thực tế Robot Control - Streaming video điều khiển Hình 13 Stream video điều khiển robot - Đo vẽ địa hình thực tế Hình 14 Địa hình thực tế HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang 12 Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO Hình 15 Kết vẽ địa hình thực tế - Tự động tìm đường tránh vật cản để di chuyển đế đích Hình 16 Tự động tìm đường đén đích tránh vật cản HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang 13 Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO - Hình ảnh trình học tập, nghiên cứu chế tạo Robot Hình 17 Quá trình học tập-nghiên cứu chế tạo Robot Hình 18 Quá trình thử nghiệm Robot HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang 14 Trường THCS Nguyễn An Khương 3.1 GVHD: DIỆP THỊ THANH THẢO Hƣớng phát triển Để hồn thiện Robot thám hiểm cần thực hiện:  Tích hợp server chuyển tiếp để người dùng điều khiển robot từ xa thơng qua Internet Đồng thời nhóm nghiên cứu cần phát triển thêm nhiều tính tương tác người dùng robot thông qua giao diện ứng dụng  Giảm kích thước robot Nhóm nghiên cứu tiến hành thu nhỏ kích thước khung robot cách thay laptop xử lý máy tính nhúng Rasberry Pi3 nhóm chọn sử dụng có kích thước nhỏ gọn hoạt động hệ điều hành  Thiết kế Robot phù hợp với môi trường sử dụng thực tế  Phát triển để thành Telepresence Robot để phục vụ cho quan sát theo dõi người già nhà tương tác với người xa qua Internet TÀI LIỆU THAM KHẢO [1] Nguyễn Hồng Đức, Nguyễn Văn Đức, "Robot tự hành tránh vật cản sử dụng thiết bị Kinect," Đại Học Bách Khoa TP Hồ Chí Minh, Hồ Chí Minh, 2012 [2] Trần Minh Lợi, Hồ Văn Bơn, “Ứng dụng kinect webrtc để phát triển telepresence robot, Đại Học Bách Khoa TP Hồ Chí Minh, Hồ Chí Minh, 2018 [3] Tìm hiểu WebRTC, chuẩn web giúp gọi điện video, chơi game từ trình duyệt web https://tinhte.vn/threads/tim-hieu-ve-webrtc-chuan-web-giup-goi-dien-video-choigame-tu-trinh-duyet-ma-khong-can-cai-gi-them.2464886 [4] Hướng dẫn lập trình TIVA C https://hocarm.org/huong-dan-lap-trinh-tiva-c-tren-linux/ [5] The Internet of Robotic Things (IoRT)… https://www.i-scoop.eu/internet-of-things-guide/internet-robotic-things-iort/ [6] What is IoRT? When Robotics met IOT https://iot.telefonica.com/blog/what-is-iort-when-robotics-met-iot HS: Đinh Quốc Huy | The Internet of Robotic Things (IoRT) Trang 15 ... Internet of Robotic Things (IoRT) Trang 13 Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO - Hình ảnh trình học tập, nghiên cứu chế tạo Robot Hình 17 Quá trình học tập -nghiên cứu chế tạo Robot. .. of Robotic Things (IoRT) Trang Trường THCS Nguyễn An Khương GVHD: DIỆP THỊ THANH THẢO Hình Một số sản phẩm Robot 1.2 Tình hình nghiên cứu Hiện việc nghiên cứu chế tạo Robot phổ biến cánh tay Robot, ... trí robot đồ vẽ Cuối streaming video điều khiển robot từ xa qua mạng Internet thông qua giao diện người dùng Chƣơng GIỚI THIỆU 1.1 Tổng quan Robot IoRTthám hiểm Robot IoRT thám hiểm loại robot