NGHIÊN cứu, THIẾT kế và CHẾ tạo MOBILE ROBOT bám đối TƯỢNG sử DỤNG CÔNG NGHỆ học sâu

TRƯỜNG ĐẠI HỌC CƠNG NGHIỆP HÀ NỘI KHOA CƠ KHÍ BÁO CÁO ĐỒ ÁN MÔN: ĐỒ ÁN MÔN CƠ ĐIỆN TỬ ĐỀ TÀI : NGHIÊN CỨU, THIẾT KẾ VÀ CHẾ TẠO MOBILE ROBOT BÁM ĐỐI TƯỢNG SỬ DỤNG CÔNG NGHỆ HỌC SÂU Giáo viên hướng dẫn: Ts.Trần Ngọc Tiến Các thành viên: 1.Phùng Việt Khánh MSV:2018601531 Đỗ Hữu Tuấn MSV:2018604775 Giáp Văn Tuấn MSV:2018603390 Nguyễn Anh Tuấn MSV:2018603974 Khóa 13 Hà Nội - 2022 MỤC LỤC MỤC LỤC DANH MỤC HÌNH ẢNH DANH MỤC BẢNG BIỂU LỜI NÓI ĐẦU 10 Chương Tổng quan Mobile robot trí tuệ nhân tạo (AI) 12 1.1 Tổng quan Mobile Robot 12 1.1.1 Khái niệm Mobile Robot 12 1.1.2 Ứng dụng Mobile Robot 12 1.1.2.1 Robot di động sở y tế 12 1.1.2.2 Khách sạn dịch vụ khách hàng 12 1.1.2.3 Nông nghiệp 13 1.1.2.4 Lưu kho thực đơn hàng 13 1.1.2.5 Giao hàng trọn gói 14 1.1.2.6 Robot di động cho giáo dục 15 1.1.2.7 Phục hồi thiên tai ứng phó khẩn cấp 15 1.2 Tổng quan trí nhân tạo (AI) 16 1.2.1 Khái niệm trí nhân tạo (AI) 16 1.2.2 Ứng dụng trí nhân tạo (AI) 16 1.2.2.1 AI Thiên văn học 16 1.2.2.2 AI Chăm sóc sức khỏe 17 1.2.2.3 AI trò chơi 17 1.2.2.4 AI Tài 17 1.2.2.5 AI bảo mật liệu 17 1.2.2.6 AI Truyền thông xã hội 17 1.2.2.7 AI Du lịch & Giao thông vận tải 18 1.2.2.8 AI ngành công nghiệp ô tô 18 1.2.2.9 AI Robotics 18 1.2.2.10 AI giải trí 18 1.2.2.11 AI nông nghiệp 19 1.2.2.12 AI thương mại điện tử 19 1.2.2.13 AI giáo dục 19 1.2.2.14 Nhà thông minh 19 Chương Cơ sở lý thuyết 20 2.1 Thuật toán Yolo 20 2.1.1 Giới thiệu 20 2.1.2 Phát hợp 20 2.1.3 Đào tạo 22 2.1.4 Hạn chế YOLO 23 2.1.5 Thí nghiệm 23 2.1.6 So sánh với hệ thống thời gian thực khác 24 2.1.7 Phát thời gian thực môi trường hoang dã 26 2.1.8 Phần kết luận 26 2.2 Động học kiểu vi sai 27 2.3 Detect đối tượng (người) 28 2.4 Thuật toán PID 30 Chương Tính tốn, thiết kế mobile robot kiểu vi sai 32 3.1 Tính tốn, thiết kế hệ thống Robot 32 3.1.1 Cấu tạo tổng quát mobile robot 32 3.1.2 Thiết kế phần khung, vỏ cho mobile robot 32 3.2 Thiết kế hệ thống điều khiển tính tốn khí 33 3.2.1 Thiết kế hệ thống điều khiển mobie robot 33 3.2.2 Tính tốn khí 36 3.2.2.1 Tính chọn bánh xe 36 3.2.2.2 Tính chọn động 37 3.2.2.3 Phân tích chân hệ thống điều khiển truyền nhận tín hiệu 40 3.2.2.4 Arduino Uno 40 3.2.2.5 Module NRF24L01 41 3.2.2.6 Module L298 41 3.2.3 Thiết lập sơ đồ tín hiệu giao tiếp vs mobie robot 42 3.3 Xây dựng đo khoảng cách từ người đến camera 43 3.3.1 Tính khoảng cách từ Camera đến đối tượng với OpenCV 43 3.4 Xây dựng giới hạn đối tượng khung ảnh để robot hoạt động 45 3.4.1 Giới hạn trái, phải khoảng cách đối tượng 45 3.4.2 Robot di chuyển từ điều kiện giới hạn 45 3.5 Phần mềm Iriun Webcam 46 3.5.1 Giới thiệu 46 3.5.2 Các đặc điểm Iriun: 46 3.6 Lập trình điều khiển hệ thống 47 3.6.1 Chương trình Python 47 3.6.2 Chương trình Arduino 55 3.6.2.1 Chương trình ardunio để gửi liệu từ máy tính đến robot 55 3.6.2.2 Chương trình ardunio nhận liệu điều khiển cấu chấp hành 58 Chương Chế tạo, chạy thử đánh giá hoạt động mobile robot 65 4.1 Chế tạo Mobile Robot 65 4.1.1 Phần khí mạch điều khiển 65 4.1.1.1 Phần khí 65 4.1.1.2 Phần mạch điều khiển 68 4.2 Chạy thử đánh giá kết đạt 71 Kết luận 75 Bản vẽ lưu đồ thuận toán 85 DANH MỤC HÌNH ẢNH Hình 1.1 Robot phịng thí nghiệm di động ABB 12 Hình 1.2 Charmin's Rollbot 13 Hình 1.3 Robot tự động Mamut Cambridge Consultants 13 Hình 1.4 River Systems—Collaborative Mobile Robots for Faster Warehouse Fulfillment 14 Hình 1.5 Amazon Scout 14 Hình 1.6 Bộ công cụ lớp học Evo 15 Hình 1.7 Robot tìm kiếm người sống sót sau trận động đất 15 Hình 1.8 Ứng dụng AI 16 Hình 1.9 Nhà thơng minh 19 Hình 2.1 Hệ thống phát YOLO 20 Hình 2.2 Mơ hình 21 Bảng 2-1 Hệ thống thời gian thực PASCAL VOC 2007 25 Hình 2.3 Kết Định tính 26 Hình 2.5.Hộp giới hạn thể đường viền màu vàng 29 Hình 3.1 Module truyền liệu 33 Hình 3.2 Module nhận liệu 34 Hình 3.3 Bánh xe robot lựa chọn 36 Hình 3.4 Bánh xe đa hướng 36 Hình 3.5 Sơ đồ phân tích lực 37 Hình 3.6 Động DC giảm tốc GA25 39 Hình 3.2.4 Động sử dụng 40 Hình 3.8 Module NRF24L01 41 Hình 3.9 Module L298 41 Hình 3.10 Sơ đồ tín hiệu giao tiếp với mobie robot 42 Hình 3.17 Giới hạn trái, phải 45 Hình 3.18 Phần mềm iriun Webcam 46 Hình 4.1 Khung robot 65 Hình 4.2 Khối pin 66 Hình 4.3 Gía đỡ động 66 Hình 4.4 Bánh xe chuyển động bánh xe đa hướng động lựa chọn 67 Hình 4.5 Khớp lục giác 67 Hình 4.6 Gía đỡ điện thoại 68 Hình 4.7 Mobile Robot bánh 68 Hình 4.8 Arduino Nano 69 Hình 4.9 Module NRF24L01+ 69 Hình 4.10 Module L298 70 Hình 4.11 Module truyền liệu 70 Hình 4.12 Module nhận liệu 71 Hình 4.13 Hình ảnh detect trình chạy 71 72 Hình 4.14 Hình ảnh chạy thực tế 72 Hình 4.15 Biểu đồ tốc độ bánh xe theo khỏng cách 73 Hình 4.16 Biểu đồ tốc độ bánh xe theo độ lệch 74 TÀI LIỆU THAM KHẢO 76 DANH MỤC BẢNG BIỂU Bảng 2-1 Hệ thống thời gian thực PASCAL VOC 2007 25 [40]“Neural Network toolbox user’s guide.” (2005) The Math Works, Natick, Massachusetts, USA [41] “Fuzzy Logic toolbox user’s guide.” (2005) The Math Works, Natick, Massachusetts, USA [42] Gonzalez R, R.E Woods and S.L Eddins (2004): Digital Image Processing Using MATLAB, Pearson Prentice Hall, ISBN 0-13-0085197 [43] Jang J S R, (1992) ``Neuro-Fuzzy Modeling: Architectures, Analyses, and Applications.'' Ph.D.Dissertation, EECS Department, Univ of California at Berkeley [44] Armstrong K and R Barrett (1998): Care and Repair of Advanced Composites, SAE International, ISBN: 0768000475 [45] M B Blaschko and C H Lampert Learning to localize objects with structured output regression In Computer Vision–ECCV 2008, pages 2–15 Springer, 2008 [46] L Bourdev and J Malik Poselets: Body part detectors trained using 3d human pose annotations In International Conference on Computer Vision (ICCV), 2009 [47] H Cai, Q Wu, T Corradi, and P Hall The crossdepiction problem: Computer vision algorithms for recognising objects in artwork and in photographs arXiv preprint arXiv:1505.00110, 2015 [48] N Dalal and B Triggs Histograms of oriented gradients for human detection In Computer Vision and Pattern Recognition, 2005 CVPR 2005 IEEE Computer Society Conference on, volume 1, pages 886–893 IEEE, 2005 4, [49] T Dean, M Ruzon, M Segal, J Shlens, S Vijayanarasimhan, J Yagnik, et al Fast, accurate detection of 100,000 object classes on a single 80 machine In Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on, pages 1814–1821 IEEE, 2013 [50] J Donahue, Y Jia, O Vinyals, J Hoffman, N Zhang, E Tzeng, and T Darrell Decaf: A deep convolutional activation feature for generic visual recognition arXiv preprint arXiv:1310.1531, 2013 [51] J Dong, Q Chen, S Yan, and A Yuille Towards unified object detection and semantic segmentation In Computer Vision–ECCV 2014, pages 299–314 Springer, 2014 [52] D Erhan, C Szegedy, A Toshev, and D Anguelov Scalable object detection using deep neural networks In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 2155–2162 IEEE, 2014 5, [53] M Everingham, S M A Eslami, L Van Gool, C K I.Williams, J Winn, and A Zisserman The pascal visual object classes challenge: A retrospective International Journal of Computer Vision, 111(1):98–136, Jan 2015 [54] P F Felzenszwalb, R B Girshick, D McAllester, and D Ramanan Object detection with discriminatively trained part based models IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(9):1627–1645, 2010 1, [55] S Gidaris and N Komodakis Object detection via a multiregion & semantic segmentation-aware CNN model CoRR, abs/1505.01749, 2015 [56] S Ginosar, D Haas, T Brown, and J Malik Detecting people in cubist art In Computer Vision-ECCV 2014 Workshops, pages 101–116 Springer, 2014 [57] R Girshick, J Donahue, T Darrell, and J Malik Rich feature hierarchies for accurate object detection and semantic segmentation In 81 Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 580–587 IEEE, 2014 1, 4, [58] R B Girshick Fast R-CNN CoRR, abs/1504.08083, 2015 2, 5, 6, [59] S Gould, T Gao, and D Koller Region-based segmentation and object detection In Advances in neural information processing systems, pages 655–663, 2009 [60] B Hariharan, P Arbelaez, R Girshick, and J Malik Simul- ´ taneous detection and segmentation In Computer Vision– ECCV 2014, pages 297–312 Springer, 2014 [61] K He, X Zhang, S Ren, and J Sun Spatial pyramid pooling in deep convolutional networks for visual recognition arXiv preprint arXiv:1406.4729, 2014 [62] G E Hinton, N Srivastava, A Krizhevsky, I Sutskever, and R R Salakhutdinov Improving neural networks by preventing co-adaptation of feature detectors arXiv preprint arXiv:1207.0580, 2012 [63] D Hoiem, Y Chodpathumwan, and Q Dai Diagnosing error in object detectors In Computer Vision–ECCV 2012, pages 340–353 Springer, 2012 [64] K Lenc and A Vedaldi R-cnn minus r arXiv preprint arXiv:1506.06981, 2015 5, [65] R Lienhart and J Maydt An extended set of haar-like features for rapid object detection In Image Processing 2002 Proceedings 2002 International Conference on, volume 1, pages I–900 IEEE, 2002 [66] M Lin, Q Chen, and S Yan Network in network CoRR, abs/1312.4400, 2013 [67] D G Lowe Object recognition from local scale-invariant features In Computer vision, 1999 The proceedings of the seventh IEEE international conference on, volume 2, pages 1150–1157 Ieee, 1999 82 [68] D Mishkin Models accuracy on imagenet 2012 val https://github.com/BVLC/caffe/wiki/Models-accuracy-on-ImageNet-2012-val Accessed: 2015-10-2 [69] C P Papageorgiou, M Oren, and T Poggio A general framework for object detection In Computer vision, 1998 sixth international conference on, pages 555–562 IEEE, 1998 [70] J Redmon Darknet: Open source neural networks in c http://pjreddie.com/darknet/, 2013–2016 [71] J Redmon and A Angelova Real-time grasp detection using convolutional neural networks CoRR, abs/1412.3128, 2014.5 [72] S Ren, K He, R Girshick, and J Sun Faster r-cnn: Towards realtime object detection with region proposal networks arXiv preprint arXiv:1506.01497, 2015 5, 6, [73] S Ren, K He, R B Girshick, X Zhang, and J Sun Object detection networks on convolutional feature maps CoRR, abs/1504.06066, 2015 3, [74] O Russakovsky, J Deng, H Su, J Krause, S Satheesh, S Ma, Z Huang, A Karpathy, A Khosla, M Bernstein, A C Berg, and L Fei-Fei ImageNet Large Scale Visua Recognition Challenge International Journal of Computer Vision (IJCV), 2015 [75] M A Sadeghi and D Forsyth 30hz object detection with dpm v5 In Computer Vision–ECCV 2014, pages 65–79 Springer, 2014 5, [76] P Sermanet, D Eigen, X Zhang, M Mathieu, R Fergus, and Y LeCun Overfeat: Integrated recognition, localization and detection using convolutional networks CoRR, abs/1312.6229, 2013 4, [77] Z Shen and X Xue Do more dropouts in pool5 feature maps for better object detection arXiv preprint arXiv:1409.6911, 2014 83 [78] C Szegedy, W Liu, Y Jia, P Sermanet, S Reed, D Anguelov, D Erhan, V Vanhoucke, and A Rabinovich Going deeper with convolutions CoRR, abs/1409.4842, 2014 [79] J R Uijlings, K E van de Sande, T Gevers, and A W Smeulders Selective search for object recognition International journal of computer vision, 104(2):154–171, 2013.4 [80] P Viola and M Jones Robust real-time object detection International Journal of Computer Vision, 4:34–47, 2001 [81] P Viola and M J Jones Robust real-time face detection International journal of computer vision, 57(2):137–154,2004 [82] J Yan, Z Lei, L Wen, and S Z Li The fastest deformable part model for object detection In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 2497–2504 IEEE, 2014 5, [83] C L Zitnick and P Dollar Edge boxes: Locating object pro- ´ posals from edges In Computer Vision–ECCV 2014, pages 391–405 Springer, 2014 84 BẢN VẼ VÀ LƯU ĐỒ THUẬN TOÁN 85 86 87 88 89 90 91 92 ... 3.1 Tính toán, thiết kế hệ thống Robot 3.1.1 Cấu tạo tổng quát mobile robot Mobile robot thiết kế gồm có phận sau: - Bộ phận khung, vỏ: Phần khung, vỏ có tác dụng liên kết phận khác robot Đồng thời,... sai 32 3.1 Tính tốn, thiết kế hệ thống Robot 32 3.1.1 Cấu tạo tổng quát mobile robot 32 3.1.2 Thiết kế phần khung, vỏ cho mobile robot 32 3.2 Thiết kế hệ thống điều khiển tính... Chương Tổng quan Mobile robot trí tuệ nhân tạo (AI) 12 1.1 Tổng quan Mobile Robot 12 1.1.1 Khái niệm Mobile Robot 12 1.1.2 Ứng dụng Mobile Robot 12 1.1.2.1 Robot di động