Đồ án ứng dụng học sâu điều khiển robot robotino

BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH - ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ VIỄN THÔNG ĐỀ TÀI: ỨNG DỤNG HỌC SÂU ĐIỀU KHIỂN ROBOT ROBOTINO GVHD: TS Nguyễn Mạnh Hùng SVTH 1: Nguyễn Thành Đạt MSSV 1: 19161219 SVTH 2: Đặng Thế Hiển MSSV 2: 19161233 Tp Hồ Chí Minh – 06/2023 TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT KHOA ĐIỆN-ĐIỆN TỬ NAM BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ĐỘC LẬP - TỰ DO - HẠNH PHÚC o0o -Tp HCM, ngày 20 tháng 06 năm 2023 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Chuyên ngành: Hệ đào tạo: Khóa: Nguyễn Thành Đạt Đặng Thế Hiển Kỹ thuật Điện tử cơng nghiệp Đại học quy 2019 MSSV: 19161219 MSSV: 19161233 Mã ngành: 141 Mã hệ: Lớp: 19161ĐTCN I TÊN ĐỀ TÀI: ỨNG DỤNG HỌC SÂU ĐIỀU KHIỂN ROBOT ROBOTINO II NHIỆM VỤ Các số liệu ban đầu: - Robot Robotino 4.0, sản xuất Festo Các số liệu quan trọng Robot: + Kích thước: cao 345mm, đường kính 450mm + Cân nặng 20kg + Động DC + cảm biến quang xung quanh vành robot + pin “Hot-swap” 18V, 5.2A + Hệ điều hành Ubuntu (Linux) + Website điều khiển (Webinterface) cung cấp nhà sản xuất - Camera RGBD Intel Realsense D435 - Ngơn ngữ lập trình Python 3.10 Nội dung thực hiện: - Nghiên cứu, tìm hiểu nguyên lý hoạt động cảm biến, camera hệ thống lái - Tìm hiểu Deep Learning, PyTorch, - Tìm hiểu ngrok Webinterface (website điều khiển Robotino) - Dùng ngrok tạo đường hầm kết nối điều khiển từ máy tính cá nhân đến - Áp dụng lập trình API với Python để tương tác với Robotino ii - Xây dựng mã nguồn (source code) để điều khiển, thu thập xử lý liệu - Xây dựng sở liệu để phục vụ việc huấn luyện Robotino - Thiết kế Deep Learning Model (mơ hình học sâu) để giúp Robotino tự hành - Đào tạo Deep Learning Model tốt - Thiết kế chương trình, mã nguồn (source code) để triển khai Model - Chạy thử nghiệm hệ thống, đánh giá hiệu chỉnh - Viết báo cáo luận văn - Bảo vệ đề tài tốt nghiệp III NGÀY GIAO NHIỆM VỤ: 20/02/2023 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 20/06/2023 V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN:TS NGUYỄN MẠNH HÙNG CÁN BỘ HƯỚNG DẪN BM ĐIỆN TỬ CÔNG NGHIỆP – Y SINH TS Nguyễn Mạnh Hùng iii TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT KHOA ĐIỆN-ĐIỆN TỬ NAM BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ĐỘC LẬP - TỰ DO - HẠNH PHÚC o0o -Tp HCM, ngày 20 tháng 06 năm 2023 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Nguyễn Thành Đạt Lớp: 19161ĐTCNC MSSV: 19161219 Họ tên sinh viên 2: Đặng Thế Hiển Lớp:19161ĐTCNC MSSV: 19161233 Tên đề tài: ỨNG DỤNG HỌC SÂU ĐIỀU KHIỂN ROBOT ROBOTINO Tuần/ngày Tuần Từ 20/02/2023 đến 26/02/2023 Tuần Từ 27/02/2023 đến 05/03/2023 Tuần Từ 06/03/2023 đến 12/03/2023 Tuần Từ 13/03/2023 đến 19/03/2023 Tuần Từ 20/03/2023 đến 26/03/2023 Tuần Từ 27/03/2023 đến 02/04/2023 Tuần Từ 03/04/2023 đến 09/04/2023 Tuần Từ 10/04/2023 đến 16/04/2023 Nội dung Xác nhận GVHD - Gặp GVHD khái quát triển khai đề tài - Viết đề cương chi tiết - Tìm hiểu, nghiên cứu tài liệu Robotino - Tìm hiểu đề tài nghiên cứu có liên quan - Báo cáo với GVHD hướng thực đề tài - Tìm hiểu phần cứng Robotino (cảm biến, camera, ) - Tìm hiểu ngrok - Tìm hiểu phần mềm Robotino (Hệ điều hành, Website điều khiển) - Tìm hiểu Deep Learning - Tìm hiểu Pytorch, Transfer Learning - Tìm hiểu mạng Neural Network - Tìm hiểu mạng Vgg16 - Báo cáo tiến độ với GVHD - Xây dựng việc kết nối từ máy tính cá nhân đến Website điều khiển dựa ngrok - Thiết lập tự động tạo đường hầm kết nối ngrok Robotino khởi động nguồn - Báo cáo tiến độ với GVHD - Lập trình điều khiển Robotino Python thơng qua API ngrok - Viết tính thu thập xử lý liệu thu - Báo cáo tiến độ với GVHD - Tiến hành thu thập liệu phục vụ cho trình đào tạo iv Tuần Từ 17/04/2023 đến 23/04/2023 Tuần 10 Từ 24/04/2023 đến 30/04/2023 Tuần 11 Từ 01/05/2023 đến 07/05/2023 Tuần 12 Từ 08/05/2023 đến 14/05/2023 Tuần 13 Từ 15/05/2023 đến 21/05/2023 Tuần 14 Từ 22/05/2023 đến 28/05/2023 Tuần 15 Từ 29/05/2023 đến 04/06/2023 Tuần 16 Từ 05/06/2023 đến 11/06/2023 Tuần 17 Từ 12/0/2023 đến 20/06/2023 - Báo cáo tiến độ với GVHD - Lập trình xây dựng sở liệu để phục vụ cho trình đào tạo Robotino sau - Báo cáo tiến độ với GVHD - Xây dựng Deep Learning Model để đào tạo cho Robot - Đào tạo (training) thẩm định (validation) model với dataset dành cho training validation - Báo cáo tiến độ với GVHD - Chỉnh sửa, tối ưu hóa model để có số Loss Accuracy tốt - Báo cáo tiến độ với GVHD - Kiểm định (verification) model với dataset dành cho verification - Báo cáo tiến độ với GVHD - Tiến hành triển khai phần mềm để Robotino hoạt động tự né vật cản - Báo cáo tiến độ với GVHD - Chạy thử nghiệm, hiệu chỉnh đánh giá - Báo cáo tiến độ với GVHD - Hoàn thành đề tài - Viết báo cáo, thiết kế poster - Báo cáo tiến độ với GVHD - Chỉnh sửa báo cáo - Thiết kế slide báo cáo - Hoàn thành báo cáo chuẩn bị gặp giảng viên phản biện GV HƯỚNG DẪN (Ký ghi rõ họ tên) TS Nguyễn Mạnh Hùng v LỜI CAM ĐOAN Đề tài bọn em tự nghiên cứu thực dựa vào số tài liệu cơng trình nghiên cứu có, cam đoan khơng chép từ tài liệu hay cơng trình nghiên cứu khác trước Nếu có hành vi chép nào, bọn em xin hoàn toàn chịu trách nhiệm trước nhà trường pháp luật Người thực đề tài Nguyễn Thành Đạt Đặng Thế Hiển vi LỜI CẢM ƠN Ơng bà ta có câu “Không thầy đố mày làm nên” Trong trình nghiên cứu thực khóa luận này, khơng lần bọn em gặp khó khăn, hiểu lầm, điểm khuất mắt hay chí vào bế tắt Những lúc bọn em thấy hỗ trợ tận tình đến từ thầy TS Nguyễn Mạnh Hùng, nên bọn em xin dành lời cảm ơn chân thành sâu sắc đến thầy Bọn em xin gửi lời cảm ơn chân thành đến giảng viên trường Đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh đặc biệt q Thầy Cơ Bộ môn Điện tử công nghiệp - Y sinh dày công dạy dỗ, trao cho bọn em kiến thức quý báu tạo điều kiện để bọn em hồn thành khóa luận tốt nghiệp Khơng thể qn gửi lời cảm ơn đến cha mẹ, gia đình bên động viên, hỗ trợ tạo điểm tựa vững để bọn em hoàn thành tốt đề tài Cảm ơn bạn học lớp 19161ĐTCN đồng hành suốt năm đại học, chia sẻ kiến thức, kinh nghiệm q trình thực khóa luận Mặc dù trãi qua gần nửa năm ròng rã nghiên cứu thực hiện, thật khó để bọn em tránh hồn tồn sai sót q trình thực vốn kiến thức hạn hẹp cịn kinh nghiệm ỏi Vậy nên nhóm mong nhận thông cảm thứ lỗi từ quý Thầy Cô, nhận dạy, đóng góp quý báu từ q Thầy Cơ để lấy làm hành trang đường nghiệp sau Một lần nữa, xin chân thành cảm ơn! Người thực đề tài Nguyễn Thành Đạt Đặng Thế Hiển vii MỤC LỤC BÌA TRONG i NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ii LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP iv LỜI CAM ĐOAN vi LỜI CẢM ƠN vii MỤC LỤC viii LIỆT KÊ HÌNH ẢNH xi LIỆT KÊ BẢNG xiv TÓM TẮT xv CHƯƠNG TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU 1.3 NỘI DUNG NGHIÊN CỨU 1.4 GIỚI HẠN 1.5 BỐ CỤC CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 GIỚI THIỆU VỀ ROBOTINO 2.1.1 Robotino – Robot di động dành cho nghiên cứu đào tạo 2.1.2 Phần cứng Robotino 2.1.3 Phần mềm 11 2.2 NGƠN NGỮ LẬP TRÌNH PYTHON 12 2.3 DEEP LEARNING 13 2.3.1 Khái niệm AI – Machine Learning – Deep Learing 13 2.3.2 Mạng Neural Network 16 2.3.3 Mạng Vgg16 16 2.4 GIỚI THIỆU VỀ API 18 2.4.1 Khái niệm 18 2.4.2 Cách thức hoạt động 18 2.5 GIỚI THIỆU VỀ NGROK 19 2.5.1 Khái niệm 19 viii 2.5.2 Cách thức hoạt động 20 2.6 CÁC PHƯƠNG PHÁP VÀ THUẬT TOÁN ĐƯỢC SỬ DỤNG 20 2.6.1 Phương pháp Maxpooling 20 2.6.2 Thuật toán Fully Connected 20 CHƯƠNG TÍNH TỐN VÀ THIẾT KẾ 22 3.1 GIỚI THIỆU 22 3.2 THIẾT KẾ HỆ THỐNG 22 3.2.1 Sơ đồ khối hệ thống phần cứng Robotino 22 3.2.2 Thiết kế phần cứng 24 3.2.3 Thiết kế phần mềm 25 CHƯƠNG THI CÔNG HỆ THỐNG 33 4.1 GIỚI THIỆU 33 4.2 TẠO ĐƯỜNG HẦM NGROK CHO ROBOTINO 33 4.3 QUÁ TRÌNH THU THẬP DỮ LIỆU 35 4.3.1 Quá trình thu thập liệu 35 4.3.2 Kết thu thập liệu 37 4.4 LẬP TRÌNH HỆ THỐNG - CÁC BƯỚC XÂY DỰNG MODEL .38 4.4.1 Tiền xử lý ảnh 38 4.4.2 Tạo Dataset 39 4.4.3 Tạo Data Loader 42 4.4.4 Xây dựng Neural Network 43 4.4.5 Định nghĩa hàm Loss 44 4.4.6 Định nghĩa thuật toán tối ưu hóa Optimizer 45 4.4.7 Đào tạo Model 45 4.4.8 Triển khai Model vào sử dụng Robotino 49 4.5 TÀI LIỆU HƯỚNG DẪN SỬ DỤNG VÀ THAO TÁC 52 4.5.1 Hướng dẫn sử dụng chương trình đào tạo Model 52 4.5.2 Hướng dẫn sử dụng chương trình cho Robotino tự hành 53 CHƯƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ 55 5.1 GIỚI THIỆU 55 5.2 KẾT QUẢ 55 ix 5.2.1 Kết đào tạo Model 55 5.2.2 Testing 57 5.3 NHẬN XÉT VÀ ĐÁNH GIÁ 69 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 70 6.1 KẾT LUẬN 70 6.2 HƯỚNG PHÁT TRIỂN 70 TÀI LIỆU THAM KHẢO 71 PHỤ LỤC 72 x