(Đồ án hcmute) design and development of receptionist robot

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA CƠ KHÍ CHẾ TẠO MÁY ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ DESIGN AND DEVELOPMENT OF RECEPTIONIST ROBOT GVHD: PGS TS NGUYỄN NGỌC PHƯƠNG SVTH: ÐẶNG HẢI ÐĂNG MSSV: 12146040 NGUYỄN TRỌNG TUẤN MSSV: 12146223 NGUYỄN CÔNG LUẬT MSSV: 12146105 PHÙ TRUNG MƠ MSSV: 12146113 S KL 0 Tp Hồ Chí Minh, tháng 07 năm 2016 an MINISTRY OF EDUCATION AND TRAINING HCMC UNIVERSITY OF TECHNOLOGY AND EDUCATION  FACULTY OF MECHANICAL ENGINEERING CAPSTONE PROJECT “DESIGN AND DEVELOPMENT OF RECEPTIONIST ROBOT” Advisor: Assoc Pr Dr NGUYỄN NGỌC PHƯƠNG Students: ĐẶNG HẢI ĐĂNG ID: 12146040 NGUYỄN TRỌNG TUẤN 12146223 NGUYỄN CÔNG LUẬT 12146105 PHÙ TRUNG MƠ 12146113 Class: 121462 Academic years: 2012 - 2016 HO CHI MINH CITY, JULY 2016 an MINISTRY OF EDUCATION AND TRAINING HCMC UNIVERSITY OF TECHNOLOGY AND EDUCATION  MECHATRONIC DEPARTMENT CAPSTONE PROJECT “DESIGN AND DEVELOPMENT OF RECEPTIONIST ROBOT” Advisor: Assoc Pr Dr NGUYỄN NGỌC PHƯƠNG Students: ĐẶNG HẢI ĐĂNG ID: 12146040 NGUYỄN TRỌNG TUẤN 12146223 NGUYỄN CÔNG LUẬT 12146105 PHÙ TRUNG MƠ 12146113 Class: 121462 Academic years: 2012 - 2016 HO CHI MINH CITY, JULY 2016 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập - Tự – Hạnh phúc Bộ môn Cơ điện tử NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Giảng viên hướng dẫn: PGS TS NGUYỄN NGỌC PHƯƠNG Sinh viên thực hiện: ĐẶNG HẢI ĐĂNG MSSV: 12146040 NGUYỄN TRỌNG TUẤN 12146223 NGUYỄN CÔNG LUẬT 12146105 PHÙ TRUNG MƠ 12146113 Tên đề tài: Thiết kế, chế tạo điều khiển robot tiếp tân Các số liệu, tài liệu ban đầu: Robot tiếp tân tự hành, có khả di chuyển, cung cấp thơng tin giao tiếp với người dùng thơng qua hình cảm ứng hệ thống nhận diện giọng nói Nội dung đồ án: - Tính tốn thiết kế khí - Tính tốn động học động lực học robot Hệ thống điện – điện tử - Thiết kế hệ thống điều khiển Các sản phẩm dự kiến Robot tiếp tân Ngày giao đồ án: Ngày nộp đồ án: TRƯỞNG BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên)  Được phép bảo vệ ………………………………………… (GVHD ký, ghi rõ họ tên) an LỜI CAM KẾT - Tên đề tài: Thiết kế, chế tạo điều khiển robot tiếp tân - GVHD: PGS TS NGUYỄN NGỌC PHƯƠNG - Sinh viên thực hiện: ĐẶNG HẢI ĐĂNG - MSSV: 12146040 NGUYỄN TRỌNG TUẤN 12146223 NGUYỄN CÔNG LUẬT 12146105 PHÙ TRUNG MƠ 12146113 Lớp: 121462 - Địa sinh viên: Openlab - Số điện thoại liên lạc: 01264655234 - Email: whitebot.openlab@gmail.com - Ngày nộp khoá luận tốt nghiệp (ĐATN): - Lời cam kết: “Tơi xin cam đoan khố luận tốt nghiệp (ĐATN) cơng trình tơi nghiên cứu thực Tôi không chép từ viết công bố mà khơng trích dẫn nguồn gốc Nếu có vi phạm nào, tơi xin chịu hồn tồn trách nhiệm” Tp Hồ Chí Minh, ngày … tháng … năm 20… Ký tên an ACKNOWLEDGMENTS Firstly, we would like to acknowledge our thesis supervisor Assoc Pr Dr Nguyễn Ngọc Phương and Assoc Pr Dr Nguyễn Trường Thinh ̣ for the continuous support of our project and related research, for their patience, motivation, and immense knowledge Their guidance helped us in all the time of research and writing of this thesis We could not have imagined having better advisors and mentors for our project Besides our advisors, we would like to thank to our thesis committee ME Lê Thanh Tùng, for his insightful comments and encouragement, but also for the hard question which incented me to widen my research from various perspectives We would also thank to the members of OPENLAB who have supported us throughout our time in laboratory Finally, we would like to thank the Department of Mechanical Engineering, for giving us the best opportunity to work on our final project Đặng Hải Đăng Nguyễn Trọng Tuấn Nguyễn Cơng Luật Phù Trung Mơ an TĨM TẮT ĐỒ ÁN THIẾT KẾ, CHẾ TẠO VÀ ĐIỀU KHIỂN ROBOT TIẾP TÂN Đặng Hải Đăng Nguyễn Trọng Tuấn Nguyễn Công Luật Phù Trung Mơ Trải qua biến động thăng trầm lịch sử, xã hội lồi người có tiến vượt bậc đặc biệt lĩnh vực khoa học kỹ thuật như: Cơ khí hóa, Tự động hóa, Cơ điện tử… Sự thay đổi chóng mặt công nghiệp kinh tế dẫn đến nhu cầu nguồn lực nhân tạo, điển hình robot Robot giúp ích người nhiều lĩnh vực dịch vụ, công nghiệp, y tế, … Sự đời chúng mở kỷ nguyên mới, kỷ nguyên khoa học kỹ thuật, thơng minh sáng tạo, sức lao động bắp dần thay sức lao động máy móc thiết bị Những cơng việc khó khăn, yêu cầu độ xác cao mà trước cần đến vài ngày để hồn tất robot thực vài phút Với độ xác cao, khả hoạt động khơng ngừng nghỉ, với tiềm lực đa tác vụ tốt, robot dần giúp người lĩnh vực sống Chính ưu điểm vượt trội nêu trên, nhóm chúng em định triển khai đề tài “Thiết kế, chế tạo điều khiển robot tiếp tân” Đây lĩnh vực phát triển mạnh giới nước ta, hy vọng qua đề tài này, nhóm góp phần xây dựng tảng phát triển robot dịch vụ Việt Nam Trong phần báo cáo chúng em trình bày về: Tình hình phát triển cơng nghệ robot giới, giải thích chọn phương án thiết kế phù hợp, q trình gia cơng, thử nghiệm độ bền vỏ composite đế robot, tính tốn tốn động học động lực học robot, thiết kế bố trí mạch điện, tảng lập trình xử lý tín hiệu robot, … an ABSTRACT DESIGN AND DEVELOPMENT OF RECEPTIONIST ROBOT Through the ups and downs change of history, human communities have been having great progresses especially in the field of science and technology such as mechanization, automation, mechatronics The rapid changes of the industry and the economy led to the demand for artificial resources, especially robots Robot has been helping people in many fields such as service, industrial, medical, The exist of them opens a new era, the era of science and technology, the creative intelligence , in which the muscular labor was gradually replaced by the labor of machinery The hard work, requiring high accuracy that previously required several days to complete, robot can it in just a few minutes With high accuracy, the ability to operate non-stop, with good multi-tasking capabilities, the robot can gradually help people in all areas of life Because of the above advantages, we decided to implement the project "Designing, manufacturing and controlling robot receptionist" This is a fast growing sector in the world but is relatively new in our country, hopefully through the project, we can contribute to build the platform for developing service robot in Vietnam In the report we presented to: The development of robotics technology on the world, explain and choose the appropriate design, processing, testing the strength of platform and composite shell of robot, calculate dynamical and kinematic math, design and circuit layout, programming background and signal processing of robot, We also present about the combination between the hardware and software and the testing process Base on the result of testing, we know about the strong point and weak point of the method that we have used, from that make plans for the future development an CONTENT CHAPTER 1: INTRODUCTION 1.1 DESCRIPTION 1.2 SEVERAL SERVICE ROBOTS 1.2.1 Robot Fetch 1.2.2 Robot Relay 1.2.3 OSHbot 1.2.4 Robot Techi 1.2.5 ENON 1.3 OBJECTIVES 1.4 PROCEDURES 1.5 SYSTEM OVERVIEW 1.6 PROJECT TIMELINE (By week) CHAPTER 2: MECHANICAL DESIGN 10 2.1 PLATFORM DESIGN 10 2.1.1 Design requirement 10 2.2 MAKING MOLD AND COMPOSITE 12 2.2.1 Design requirement 12 2.2.2 Choosing and making robot cover 13 2.3 ROBOT’s ARM 15 CHAPTER 3: KINEMATICS AND DYNAMICS 16 3.1 KINEMATICS MODEL 16 3.1.1 Introduction 16 3.1.2 Kinematics 16 3.1.2.1 Representing Robot's Position 16 3.1.2.2 Kinematic Wheel Model 17 3.1.3 Kinematics Robot arm 22 3.2 DYNAMIC MODEL 26 CHAPTER 4: ELECTRONICS AND ELECTRICAL SYSTEM 29 an 4.1 CALCULATE MOTORS 29 4.1.1 Introduction 29 4.1.2 Calculate the electric motor 29 4.1.3 The shoulder motor 32 4.2 ELECTRONICS 34 4.2.1 Encoder 34 4.2.2 Driver 34 4.3 CALCULATE THE BATTERIES 35 4.4 AUTOMATION CHARGING DOCK 37 5.1 SOFTWARE OF CONTROL 39 5.1.1 Communications 39 5.1.3 PID controller 41 5.2 IMAGE PROCESSING 42 5.2.1 EmguCV: Face detection using Haar Cascades 43 5.2.1.1 About Haar Cascades 43 5.2.1.2 Result 43 5.2.2 Face Identify and Emotion Recognition 43 5.2.2.1 Microsoft Cognitive Services (Project Oxford) 43 5.2.2.2 Face API: Face Identification 43 5.2.2.3 Emotion API 44 5.2.2.4 Result 44 5.2.3 Face Recognition and Emotion Detection Programming Logic Graphic 45 5.2.4 Detect and track object by color using AForge.NET Framework: 46 5.3 MAPPING TRAJECTORY PLANNING 49 5.4 OBSTACLE AVOIDING 50 5.4.1 Ultrasonic sensors 50 5.4.2 Kinect 51 5.5 HUMAN COMMUNICATION 52 an 5.2.6 Tracking and Picking Object Programming Logic Graphic Start Get the value of the depth stream Move to objects Scan target Caculate real world coordinate Close to the target Pick object Moving robot arm to object End Figure 5.11 Tracking and Picking Object Programming Logic Graphic 5.3 MAPPING TRAJECTORY PLANNING Trajectory tracking generates the control commands for the robot to follow the previously defined path by taking into account the actual position and orientation, linear and angular velocities, nonholonomic constraint and dynamic constraints imposed by the robot The changes in the terrain topography, texture or in wheel properties due to wear, contamination or deformation play a major role in the robot motion These variations can easily affect the traction properties and hence the robot movement may cause slippage This requires some learning mechanism which will try to adapt the trajectory planning strategy to cope with any condition 49 an 5.4 OBSTACLE AVOIDING Robot use ultrasonic sensors and Kinect depth sensor, robot can detect and locate the obstacle to choose the best solution avoid them 5.4.1 Ultrasonic sensors In this project we use SRF05 ultrasonic sensor with maximum range is meter The equation to calculate the distance: d  v t With: d: Distance for the sensor to object t: The time between emitted and collected wave v: Speed of wave, v = 343m/s Robot has sonic sensor at the front and at the back That allows robot ability to detect the obstacle at both side Work space of Ultrasonic Sensor Figure 5.12 Ultrasonic sensor on robot 50 an However, ultrasonic sensors encounter the noise problems, environmental noise, caused by physical properties and shape of the obstacle:  Environmental noise: usually happens when robots near the engine or certain machine, airflow emitted at high pressure This type of noise can be constant and intense, stop the operation of ultrasonic sensors  Noises from other ultrasonic sensors: occurs when a device is operating with ultrasonic sensors located in its own environment 5.4.2 Kinect Kinect province us depth stream - the depth data stream is made up of pixels that contain the distance (in millimeters) from the camera plane to the nearest object An application can use depth data to track an object’s motion or identify background objects to ignore We use depth stream to scan all the object near the robot, then the algorithm will navigate robot to avoid obstacles Figure 5.13 Depth stream in image 51 an 5.5 HUMAN COMMUNICATION To be friendly and efficient in communication with human is one of the most important function of service robot The purpose is to develop the awareness level of communication with voice recognition, signs and feelings as the main media Image processing: Extract necessary information in real time from the images captured by the camera in order to improve the interaction with people and the environment around the robot Robots may receive requests for information from the user such as: people they need to see, rooms, location, information or define information processing through a barcode or tag worn Person identification and ondemand operation is imperative things that the robots have to when interacting with people Audio and voice processing: Using Google Speech service, robot can convert speech of user into text After receive the text, the program start to analyze the sentence to understand the requirement of user Display on the touch screen: different information can be communicated through devices such as getting information from the user by using interactive menus, graphic information display information such as the dimensional map of space around, express a feeling using virtual face (Figure 5.12.) Figure 5.14 Main program and virtual face 52 an Robot Interactions * Selection on the screen * Detect users * Follow users Locate * Map * Markers * Odometry Users Intermediate materials Touch screen Voice recognition Image recognition Gesture Sound Interactions * Touch * Handset * Body Users Users Figure 5.15 Interaction between robots and humans 5.5.1 Google Speech API Google Cloud Speech API enables developers to convert audio to text by applying powerful neural network models in an easy to use API The API recognizes over 80 languages and variants, includes Vietnamese 5.5.2 Stanford Parser for NET The Stanford NLP Group makes parts of Natural Language Processing software available to everyone These are statistical NLP toolkits for various major computational linguistics problems They can be incorporated into applications with human language technology needs A natural language parser is a program that works out the grammatical structure of sentences, for instance, which groups of words go together (as "phrases") and which words are the subject or object of a verb Probabilistic parsers use knowledge of language gained from hand-parsed sentences to try to produce the most likely analysis of new sentences These statistical parsers still make some mistakes, but commonly work rather well 53 an Figure 5.16 Stanford Parser 54 an 5.5.3 Voice Processing Programming Logic Graphic Figure 5.17 Voice Processing Programming Logic Graphic 55 an CHAPTER 7: EXPERIMENTS, DISCUSSION & CONCLUSION 7.1 STRAIGHT MOVEMENT TEST From the Zero-point (0; 0), we let the robot to go to the point (5000; 0) then get back to (0; 0), the errors are shown in the table 7.1 Table 7.1 Error for each 10 meter distance (Unit: mm) Average X 30.5 -0.89 0.05 68.38 48.9 29.388 Y -150.7 -280.3 -387 -342.7 -280.5 -288.24 7.2 45 DEGREE MOVEMENT TEST From the Zero-point (0; 0), we let the robot to go to the point (3000; 3000) then get back to (0; 0), the errors are shown in the table 7.2 Table 7.2 Error of 45 degree movement test (Unit: mm) Average X 236.6 159.6 31.8 179.8 115.2 144.6 Y 32.6 103.2 10.9 -200.2 -3.4 -11.38 7.3 FREE MOVEMENT TEST From the Zero-point (0; 0), we let the robot to go free 20 meter by them self then get back to (0; 0), the errors are shown in the table 7.3 Table 7.3 Error of free movement test (Unit: mm) Average X 543.3 359.6 102.4 279.8 152.4 287.5 Y -1201 -609.5 504.2 -210.4 -1021.7 -507.68 56 an Figure 7.1 Experiment at the central building 7.4 DISCUSSION After a week of experiments, we have the result:      Battery: hours running Obstacle avoiding in crowed environment: Good Image processing system in the indoor environment: Good Voice processing system in crowed environment: Has noise Position calculating still have error Position calculating by encoder has a big error, it may be caused by noise of the signal and the gliding of the wheels 7.5 SUMMARY OF PROJECT Whitebot has the ability to work as a receptionist It province information to the customer using voice recognition and touch screen With the object tracking system and body tracking system, Whitebot can also some simple task like press the button, shack hand or even hold some small things 57 an The face recognition and emotion detection features help Whitebot to communicate more friendly with human It shows that robot now can work independently and they are getting more intelligent day by day with their own memories 7.6 FUTURE WORK  Research and apply the indoor GPS to improve the position calculating task  Design software to simulate the robot’s activity in virtual environment  Design control system using the monitor pc through internet  Develop the online database 58 an REFERENCES English [1] E Trul ls , A Corominas Murtra, J P´erez-Ibarz, G Ferrer D Vasquez, Josep M Mirats-Tur, A Sanfeliu, Autonomous Navigation for Mobile Service Rob ots in Urban Pedestrian Environments, Institut de Robotica I, Informatica Industrial CSIC-UPC, Barcelona, Spain [2] Gerard Medioni, Alexandre R.J Franc¸ois, Matheen Siddiqui , Kwangsu Kim, Hosub Yoon, Robust real-time vision for a personal service robot, Computer Vision and Image Understanding 108 (2007) 196–203 [3] Masao Takizawa, Yasushi Makihara, Nobutaka Shimada, Jun Miura and Yoshiaki Shirai, A Service Robot with Interactive Vision - Object Recognition Using Dialog with User, Osaka University, 2-1 Yamadaoka, Suita, Osaka 565-0871, Japan [4] Matthias Nieuwenhuisen, Jörg Stückler, and Sven Behnke, Intuitive Multimodal Interaction for Domestic Service Robots, In Proceedings of Joint 41th International Symposium on Robotics and 6th German Conference on Robotics, Munich, June 2010 [5] Nicholas Roy, Gregory Baltus, Dieter Fox, Francine Gemperle, Jennifer Goetz, Tad Hirsch, Dimitris Margaritis, Mike Montemerlo, Joelle Pineau, Jamie Schulte, Sebastian Thrun, Towards Personal Service Robots for the Elderly Computer Science and Robotics, Carnegie Mellon University [6] Niklas Karlsson, Mario E Munich, Luis Goncalves,Jim Ostrowski, Enrico Di Bernardo, and Paolo Pirjanian, Core Technologies for Service Robotics, Published in Proc of Int Conf on Intelligent Robots and Systems (IROS) 2004 [7] Jordi-Ysard Puigbo, Albert Pumarola, and Ricardo Tellez, Controlling a General Purpose Service Robot By Means Of a Cognitive Architecture, Technical University of Catalonia [8] Özkil, Ali Gürcan, Service Robots for Hospitals: Key Technical Issues, Technical University of Denmark [9] Peter Biber, Tom Duckett, Dynamic Maps for Long-Term Operation of Mobile Service Robots, Wilhelm Schickard Institute for Computer Science, University of Tubingen, Germany.… 59 an Another Sources [1] http://www.emgu.com/ [2] https://www.microsoft.com/cognitive-services 60 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập - Tự – Hạnh phúc Bộ môn …………………………… PHIẾU CHẤM ĐIỂM ĐỒ ÁN TỐT NGHIỆP Tên đề tài: Tên sinh viên: …………………………………… MSSV: ………………….…… A ĐÁNH GIÁ Điểm đa TT Mục đánh giá Hình thức kết cấu ĐATN 20 Đúng format với đầ y đủ cả hình thức và nội dung của các mục Mục tiêu, nhiệm vụ, tổng quan đề tài 10 Tính cấp thiết đề tài Nội dung ĐATN 50 Khả ứng dụng kiến thức toán học, khoa học kỹ thuật, khoa học xã hội… Khả thực hiện/phân tích/tổng hợp/đánh giá 10 Khả thiết kế chế tạo hệ thống, thành phần, 15 quy trình đáp ứng yêu cầu đưa với ràng buộc thực tế Khả cải tiến phát triển 15 Khả sử dụng công cụ kỹ thuật, phần mềm chuyên ngành… Kỹ thuyết trình 30 61 an tối Điểm chấm Thuyết trình hiệu quả, tự tin, trình bày rõ ràng, mạch lạc, 10 truyền cảm hứng cho người nghe,có khả làm viê ̣c nhóm,… Trả lời câu hỏi phản biê ̣n với kiến thức vấn đề liên 15 quan, hiểu ảnh hưởng giải pháp Hiểu trách nhiệm nghề nghiệp đạo đức nghề nghiệp Trang phục chỉnh tề và nghiêm túc TỔNG ĐIỂM 100 B CÁC Ý KIẾN NHẬN XÉT KHÁC (Nếu có) C KẾT LUẬN (Ghi rõ cần phải bổ sung, chỉnh sửa mục ĐATN) Ngày tháng năm 20… Người nhận xét (Ký ghi rõ họ tên) 62 an an