Ứng dụng học sâu điều khiển robot robotino

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHĨA LUẬN TỐT NGHIỆP NGÀNH CNKT ĐIỆN TỬ - VIỄN THÔNG ỨNG DỤNG HỌC SÂU ĐIỀU KHIỂN ROBOT ROBOTINO GVHD: TS NGUYỄN MẠNH HÙNG SVTH: NGUYỄN THÀNH ĐẠT ĐẶNG THẾ HIỂN SKL010857 Tp Hồ Chí Minh, tháng 6/2023 BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH - ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ VIỄN THÔNG ĐỀ TÀI: ỨNG DỤNG HỌC SÂU ĐIỀU KHIỂN ROBOT ROBOTINO GVHD: TS Nguyễn Mạnh Hùng SVTH 1: Nguyễn Thành Đạt MSSV 1: 19161219 SVTH 2: Đặng Thế Hiển MSSV 2: 19161233 Tp Hồ Chí Minh – 06/2023 TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC o0o -Tp HCM, ngày 20 tháng 06 năm 2023 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Chuyên ngành: Hệ đào tạo: Khóa: Nguyễn Thành Đạt Đặng Thế Hiển Kỹ thuật Điện tử công nghiệp Đại học quy 2019 MSSV: 19161219 MSSV: 19161233 Mã ngành: 141 Mã hệ: Lớp: 19161ĐTCN I TÊN ĐỀ TÀI: ỨNG DỤNG HỌC SÂU ĐIỀU KHIỂN ROBOT ROBOTINO II NHIỆM VỤ Các số liệu ban đầu: - Robot Robotino 4.0, sản xuất Festo Các số liệu quan trọng Robot: + Kích thước: cao 345mm, đường kính 450mm + Cân nặng 20kg + Động DC + cảm biến quang xung quanh vành robot + pin “Hot-swap” 18V, 5.2A + Hệ điều hành Ubuntu (Linux) + Website điều khiển (Webinterface) cung cấp nhà sản xuất - Camera RGBD Intel Realsense D435 - Ngơn ngữ lập trình Python 3.10 Nội dung thực hiện: - Nghiên cứu, tìm hiểu nguyên lý hoạt động cảm biến, camera hệ thống lái Robotino - Tìm hiểu Deep Learning, PyTorch, - Tìm hiểu ngrok Webinterface (website điều khiển Robotino) - Dùng ngrok tạo đường hầm kết nối điều khiển từ máy tính cá nhân đến Webinterface (website điều khiển Robotino) - Áp dụng lập trình API với Python để tương tác với Robotino ii - Xây dựng mã nguồn (source code) để điều khiển, thu thập xử lý liệu - Xây dựng sở liệu để phục vụ việc huấn luyện Robotino - Thiết kế Deep Learning Model (mơ hình học sâu) để giúp Robotino tự hành - Đào tạo Deep Learning Model tốt - Thiết kế chương trình, mã nguồn (source code) để triển khai Model - Chạy thử nghiệm hệ thống, đánh giá hiệu chỉnh - Viết báo cáo luận văn - Bảo vệ đề tài tốt nghiệp III NGÀY GIAO NHIỆM VỤ: 20/02/2023 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 20/06/2023 V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: TS NGUYỄN MẠNH HÙNG CÁN BỘ HƯỚNG DẪN BM ĐIỆN TỬ CÔNG NGHIỆP – Y SINH TS Nguyễn Mạnh Hùng iii TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC o0o -Tp HCM, ngày 20 tháng 06 năm 2023 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Nguyễn Thành Đạt Lớp: 19161ĐTCNC MSSV: 19161219 Họ tên sinh viên 2: Đặng Thế Hiển Lớp:19161ĐTCNC MSSV: 19161233 Tên đề tài: ỨNG DỤNG HỌC SÂU ĐIỀU KHIỂN ROBOT ROBOTINO Tuần/ngày Tuần Từ 20/02/2023 đến 26/02/2023 Tuần Từ 27/02/2023 đến 05/03/2023 Tuần Từ 06/03/2023 đến 12/03/2023 Tuần Từ 13/03/2023 đến 19/03/2023 Tuần Từ 20/03/2023 đến 26/03/2023 Tuần Từ 27/03/2023 đến 02/04/2023 Tuần Từ 03/04/2023 đến 09/04/2023 Tuần Từ 10/04/2023 đến 16/04/2023 Nội dung Xác nhận GVHD - Gặp GVHD khái quát triển khai đề tài - Viết đề cương chi tiết - Tìm hiểu, nghiên cứu tài liệu Robotino - Tìm hiểu đề tài nghiên cứu có liên quan - Báo cáo với GVHD hướng thực đề tài - Tìm hiểu phần cứng Robotino (cảm biến, camera, ) - Tìm hiểu ngrok - Tìm hiểu phần mềm Robotino (Hệ điều hành, Website điều khiển) - Tìm hiểu Deep Learning - Tìm hiểu Pytorch, Transfer Learning - Tìm hiểu mạng Neural Network - Tìm hiểu mạng Vgg16 - Báo cáo tiến độ với GVHD - Xây dựng việc kết nối từ máy tính cá nhân đến Website điều khiển dựa ngrok - Thiết lập tự động tạo đường hầm kết nối ngrok Robotino khởi động nguồn - Báo cáo tiến độ với GVHD - Lập trình điều khiển Robotino Python thông qua API ngrok - Viết tính thu thập xử lý liệu thu - Báo cáo tiến độ với GVHD - Tiến hành thu thập liệu phục vụ cho trình đào tạo iv Tuần Từ 17/04/2023 đến 23/04/2023 Tuần 10 Từ 24/04/2023 đến 30/04/2023 Tuần 11 Từ 01/05/2023 đến 07/05/2023 Tuần 12 Từ 08/05/2023 đến 14/05/2023 Tuần 13 Từ 15/05/2023 đến 21/05/2023 Tuần 14 Từ 22/05/2023 đến 28/05/2023 Tuần 15 Từ 29/05/2023 đến 04/06/2023 Tuần 16 Từ 05/06/2023 đến 11/06/2023 Tuần 17 Từ 12/0/2023 đến 20/06/2023 - Báo cáo tiến độ với GVHD - Lập trình xây dựng sở liệu để phục vụ cho trình đào tạo Robotino sau - Báo cáo tiến độ với GVHD - Xây dựng Deep Learning Model để đào tạo cho Robot - Đào tạo (training) thẩm định (validation) model với dataset dành cho training validation - Báo cáo tiến độ với GVHD - Chỉnh sửa, tối ưu hóa model để có số Loss Accuracy tốt - Báo cáo tiến độ với GVHD - Kiểm định (verification) model với dataset dành cho verification - Báo cáo tiến độ với GVHD - Tiến hành triển khai phần mềm để Robotino hoạt động tự né vật cản - Báo cáo tiến độ với GVHD - Chạy thử nghiệm, hiệu chỉnh đánh giá - Báo cáo tiến độ với GVHD - Hoàn thành đề tài - Viết báo cáo, thiết kế poster - Báo cáo tiến độ với GVHD - Chỉnh sửa báo cáo - Thiết kế slide báo cáo - Hoàn thành báo cáo chuẩn bị gặp giảng viên phản biện GV HƯỚNG DẪN (Ký ghi rõ họ tên) TS Nguyễn Mạnh Hùng v LỜI CAM ĐOAN Đề tài bọn em tự nghiên cứu thực dựa vào số tài liệu công trình nghiên cứu có, cam đoan khơng chép từ tài liệu hay cơng trình nghiên cứu khác trước Nếu có hành vi chép nào, bọn em xin hoàn toàn chịu trách nhiệm trước nhà trường pháp luật Người thực đề tài Nguyễn Thành Đạt Đặng Thế Hiển vi LỜI CẢM ƠN Ơng bà ta có câu “Khơng thầy đố mày làm nên” Trong trình nghiên cứu thực khóa luận này, khơng lần bọn em gặp khó khăn, hiểu lầm, điểm khuất mắt hay chí vào bế tắt Những lúc bọn em thấy hỗ trợ tận tình đến từ thầy TS Nguyễn Mạnh Hùng, nên bọn em xin dành lời cảm ơn chân thành sâu sắc đến thầy Bọn em xin gửi lời cảm ơn chân thành đến giảng viên trường Đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh đặc biệt quý Thầy Cô Bộ môn Điện tử công nghiệp Y sinh dày công dạy dỗ, trao cho bọn em kiến thức quý báu tạo điều kiện để bọn em hồn thành khóa luận tốt nghiệp Không thể quên gửi lời cảm ơn đến cha mẹ, gia đình ln bên động viên, hỗ trợ tạo điểm tựa vững để bọn em hoàn thành tốt đề tài Cảm ơn bạn học lớp 19161ĐTCN đồng hành suốt năm đại học, chia sẻ kiến thức, kinh nghiệm q trình thực khóa luận Mặc dù trãi qua gần nửa năm ròng rã nghiên cứu thực hiện, thật khó để bọn em tránh hồn tồn sai sót q trình thực vốn kiến thức hạn hẹp cịn kinh nghiệm ỏi Vậy nên nhóm mong nhận thông cảm thứ lỗi từ quý Thầy Cô, nhận dạy, đóng góp q báu từ q Thầy Cơ để lấy làm hành trang đường nghiệp sau Một lần nữa, xin chân thành cảm ơn! Người thực đề tài Nguyễn Thành Đạt Đặng Thế Hiển vii MỤC LỤC BÌA TRONG i NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ii LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP iv LỜI CAM ĐOAN vi LỜI CẢM ƠN vii MỤC LỤC viii LIỆT KÊ HÌNH ẢNH xi LIỆT KÊ BẢNG xiv TÓM TẮT xv CHƯƠNG TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU 1.3 NỘI DUNG NGHIÊN CỨU .2 1.4 GIỚI HẠN 1.5 BỐ CỤC .3 CHƯƠNG CƠ SỞ LÝ THUYẾT .5 2.1 GIỚI THIỆU VỀ ROBOTINO 2.1.1 Robotino – Robot di động dành cho nghiên cứu đào tạo .5 2.1.2 Phần cứng Robotino 2.1.3 Phần mềm 11 2.2 NGƠN NGỮ LẬP TRÌNH PYTHON .12 2.3 DEEP LEARNING 13 2.3.1 Khái niệm AI – Machine Learning – Deep Learing 13 2.3.2 Mạng Neural Network 16 2.3.3 Mạng Vgg16 .16 2.4 GIỚI THIỆU VỀ API .18 2.4.1 Khái niệm 18 2.4.2 Cách thức hoạt động 18 2.5 GIỚI THIỆU VỀ NGROK .19 2.5.1 Khái niệm 19 viii 2.5.2 Cách thức hoạt động 20 2.6 CÁC PHƯƠNG PHÁP VÀ THUẬT TOÁN ĐƯỢC SỬ DỤNG 20 2.6.1 Phương pháp Maxpooling 20 2.6.2 Thuật toán Fully Connected 20 CHƯƠNG TÍNH TỐN VÀ THIẾT KẾ 22 3.1 GIỚI THIỆU 22 3.2 THIẾT KẾ HỆ THỐNG 22 3.2.1 Sơ đồ khối hệ thống phần cứng Robotino 22 3.2.2 Thiết kế phần cứng .24 3.2.3 Thiết kế phần mềm .25 CHƯƠNG THI CÔNG HỆ THỐNG .33 4.1 GIỚI THIỆU 33 4.2 TẠO ĐƯỜNG HẦM NGROK CHO ROBOTINO 33 4.3 QUÁ TRÌNH THU THẬP DỮ LIỆU 35 4.3.1 Quá trình thu thập liệu 35 4.3.2 Kết thu thập liệu 37 4.4 LẬP TRÌNH HỆ THỐNG - CÁC BƯỚC XÂY DỰNG MODEL 38 4.4.1 Tiền xử lý ảnh 38 4.4.2 Tạo Dataset 39 4.4.3 Tạo Data Loader 42 4.4.4 Xây dựng Neural Network 43 4.4.5 Định nghĩa hàm Loss 44 4.4.6 Định nghĩa thuật tốn tối ưu hóa Optimizer 45 4.4.7 Đào tạo Model .45 4.4.8 Triển khai Model vào sử dụng Robotino 49 4.5 TÀI LIỆU HƯỚNG DẪN SỬ DỤNG VÀ THAO TÁC 52 4.5.1 Hướng dẫn sử dụng chương trình đào tạo Model 52 4.5.2 Hướng dẫn sử dụng chương trình cho Robotino tự hành 53 CHƯƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ .55 5.1 GIỚI THIỆU 55 5.2 KẾT QUẢ 55 ix CHƯƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ vật cản Sau Robotino thực qua vật cản quay lại đường tốt, có lần Robotino bị phương hướng sau vượt qua vật cản dẫn đến không quay đường (2 tổng số 20 lần, tương đương 10%) + Robotino nhận diện tốt vật cản 2, tổng cố 20 lần gặp vật cản 2, Robotino nhận diện 20 lần, sau qua vật cản quay đường tốt mà không lần gặp lỗi 5.2.2.4 Testcase 04- Thêm vật cản khơng có tập liệu đào tạo Bảng 5.10 Mục đích bố trí Testcase 04 Mục đích Testcase Bố trí Testcase Kiểm tra khả thích ứng Sử dụng vật cản chưa Model ngoại lệ (những loại vật thu thập liệu chưa dùng để cản mới) đào tạo Model + Vật cản tổ hợp ghép tủ chuyên dụng (kích thước lớn 60x60cm) + Vật cản bình chữa cháy (kích thước nhỏ 40x40cm) Hình 5-6 Bố trí Testcase 04 63 CHƯƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Bảng 5.11 Kết Testcase 04 Kết Số lần thực Vật cản Tỉ lệ vượt qua Tỉ lệ quay lại Tỉ lệ né sang vật cản đường phải vật cản Vật cản 80% 75% 100% Vật cản 75% 65% 100% 20 Kết luận: Sau thực Testcase 04, thu kết sau: + Đối với vật cản 3, Robotino làm nhóm bất ngờ với có lần Robotino không vượt qua vật cản đứng im xoay qua xoay lại (như kiểu người bị phương hướng) đạt tỷ lệ 80% vượt qua vật cản Sau vượt qua vật cản, Robotino quay lại đường 15 lần (75%) + Đối với vật cản 4, Robotino cho khả nhận diện tốt, 20 lần gặp vật cản, có lần Robotino tơng vật cản với lần đứng im (25%), 15 lần qua vật cản có 13 lần (65%) quay đường thành cơng 5.2.2.5 Testcase 05 – Khơng có vật cản, đường rẽ nhánh Bảng 5.12 Mục đích bố trí Testcase 05 Mục đích Testcase Bố trí Testcase Kiểm tra khả chọn lựa đường Bố trí đoạn rẽ khác như, Robotino trường hợp đường khơng có vật cản rẽ nhánh Dù trường hợp ưu tiên rẽ vào đường có góc rẽ nhỏ (Đi thẳng 180 độ, góc rẽ giảm dần bên phải) 64 CHƯƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5-7 Bố trí Testcase 05 Bảng 5.13 Kết Testcase 05 Kết Số lần thực Tỉ lệ rẽ vào khúc cua có góc nhỏ 10 100% Kết luận: Dựa vào kết Testcase 05 thể Bảng 5-13, thấy Robotino ln ln rẽ vào khúc cua có góc nhỏ với 100% kết đáp ứng yêu cầu ban đầu nhóm đề 5.2.2.6 Testcase 06 – Khơng có vật cản, đường rẽ nhánh Bảng 5.14 Mục đích bố trí Testcase 06 Mục đích Testcase Bố trí Testcase Kiểm tra khả chọn lựa đường Robotino trường hợp đường rẽ nhánh Dù trường hợp ưu tiên rẽ phải Model lập trình theo hướng để chắn Robotino hoạt động theo kiểu giúp người dùng dễ kiểm sốt 65 Bố trí đoạn rẽ nhánh CHƯƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5-8 Bố trí Testcase 06 Bảng 5.15 Kết Testcase 06 Kết Số lần thực 20 Tỉ lệ rẽ phải Tỉ lệ rẽ trái Tỉ lệ thẳng 70% 10% 20% Kết luận: Dựa vào kết Bảng 5.15, Robotino có 70% đường rẽ bên phải, 20% Robotino thẳng 10% rẽ trái Có thể thấy Model chưa tối ưu gặp phải tình khó 5.2.2.7 Testcase 07 – Vật cản nằm góc đường Bảng 5.16 Mục đích bố trí Testcase 07 Mục đích Testcase Bố trí Testcase Kiểm tra khả thích nghi Model mơi trường khắc nghiệt/đặc biệt 66 Vật cản đặt góc khúc cua CHƯƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5-9 Bố trí Testcase 07 Bảng 5.17 Kết Testcase 07 Kết Số lần thực Tỉ lệ vượt qua Tỉ lệ quay lại Tỉ lệ né sang phải vật cản đường vật cản 100% 0% 100% 10 Kết luận: Dựa vào kết Testcase 07 Bảng 5.17, ta thấy Model đáp ứng yêu cầu với kết lần trở đường đi, thấy Model ưu tiên cho liệu từ cảm biến dẫn đến xử lý trường hợp này, mấu chốt nằm logic người thu liệu dựa vào liệu cảm biến nhiều lần né vật cản 5.2.2.8 Testcase 08 – Kiểm tra tốc độ Robotino Bảng 5.18 Mục đích bố trí Testcase 08 Mục đích Testcase Bố trí Testcase Đánh giá tốc độ tối đa Robotino Bố trí Testcase 01, khơng có vật Độ ổn đinh, tránh nghẹn mạng yếu cản, Robotino theo chiều chiều đồng hồ tố chủ quan (người lập trình) 67 CHƯƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Tốc độ Robotino bị ảnh hưởng yêu cầu sau đây: + Độ dài bước đi, để Robotino bước xa ảnh hưởng đến khả xử lý liệu tính tốn cho bước Cho nên độ dài bước nhóm cố định lệnh POST/data/omnidrive cho trường hợp thẳng, cho trường hợp xoay trái/phải + Tốc độ truyền nhận liệu thông qua Communication Protocol Trong Testcase 08 này, nhóm thay đổi thời gian Delay lần truyền lệnh API Càng giảm thời gian Delay, tốc độ tăng tốc độ cao ảnh hưởng đến đường truyền, gây nghẽn mạng Cho nên nhóm tìm mức tốt + Tốc độ internet Nhóm khơng thể cải thiện điều Bảng 5.19 Kết Testcase 08 STT Thời gian delay Thời gian hoàn Xảy nghẽn Tốc độ trung (giây) thành (giây) mạng bình 1 8457 Không 1.66cm/s 0.9 7723 Không 1.81cm/s 0.8 6701 Không 2.1cm/s 0.7 5977 Không 2.34cm/s 0.6 4935 Không 2.84cm/s 0.5 4257 Không 3.29cm/s 0.4 3781 Không 3.7cm/s 0.3 3102 Không 4.5cm/s 0.2 2522 Khơng 5.6cm/s 10 0.1 7120 Có (17 lần) 1.97cm/s Kết luận: Nhìn vào Bảng 5.19, thấy, với thời gian delay khoảng từ 0.2 đến giây, xung đột hay nghẽn mạng xảy Đồng thời tốc độ Robotino thời gian delay 0.2 giây 5.6cm/s 0.3 giây 4.5cm/s, đạt yêu cầu 68 CHƯƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Bên cạnh đó, điều chỉnh thời gian delay xuống 0.1, liên tục xảy tượng nghẽn mạng, việc truyền nhận lệnh API xảy với tần số lớn 5.3 NHẬN XÉT VÀ ĐÁNH GIÁ Đầu tiên, khả đào tạo Model, kết đào tạo thể Bảng 5.1, Hình 5-1, 5-2 thể tốt cho thấy tin cậy, số chưa đẹp mắt, chưa tối ưu nằm khoảng chấp nhận kết đào tạo mức độ thông minh Deep Learning Model Thứ hai, thơng qua Testcase thực hiện, thấy khả hoạt động, Model hoạt động cực tốt q trình theo đường khơng có vật cản, có khả rẽ khúc cua mượt mà, lựa chọn đường theo yêu cầu đặt tốt Ngoài đạt tốc độ u cầu khơng xảy tình trạng nghẽn mạng thời gian delay lớn 0.2 giây Thứ 3, khả né vật cản, Model cho thấy khả hoạt động tốt với vật cản đặt vị trí bình thường, khơng nhận diện vật cản đào tạo, hoạt động mức độ với vật cản có kích thước lớn hay nhỏ Tuy nhiên, xảy sai sót làm cho Robotino đâm vào vật cản hay phương hướng làm dẫn đến khơng thể tiếp khơng hồn thành đường Đặc biệt trường hợp vật cản nằm góc rẽ, Model khơng thể xử lý trường hợp Điều xảy trình thu thập liệu, người thu thập liệu để sót trường hợp trọng giá trị cảm biến, giá trị cảm biến khơng cịn Model xử lý hình ảnh tìm đường Tổng quan lại thấy, đề tài bước tiến nhóm với khả tạo Deep Learing Model giúp cho Robotino tự hành Tuy nhiên, khả né vật cản Robotino hoạt động chưa ổn định, đặc biệt vật cản lạ vật cản nằm vị trí khó Điều xảy số lượng liệu tệp liệu đào tạo chưa đủ nhiều, có xung đột bên liệu ảnh liệu cảm biến, kiểu liệu mang tính đặc trưng cao, 69 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 KẾT LUẬN Về bản, đề tài “Ứng dụng học sâu điều khiển robot Robotino” đạt mục tiêu đề ban đầu Đã áp dụng kiến thức chuyên ngành xử lý ảnh, cơng nghệ cảm biến, ngồi cịn kết hợp thêm kiến thức phân tích xử lý liệu, trí thơng minh nhân tạo, học sâu, để tạo Deep Learning Model giúp Robotino di chuyển theo đường định sẵn với tốc độ mong muốn né vật cản có kích thước từ 40x40(cm) đến 60x60(cm) đường với Model tạo dựa tảng Python PyTorch Bên cạnh đó, nhóm chưa thể tạo hệ thống hoạt động ổn định bền bỉ giới hạn kiến thức lập trình trí tuệ nhân tạo, chưa thể giải hết trường hợp xảy để tối ưu Model Kết luận chung, nhóm đánh giá đề tài hoàn thành mức tốt chưa thật hoàn hảo 6.2 HƯỚNG PHÁT TRIỂN Sau hoàn thành đề tài, kết hợp kiến thức, điểm làm mặt hạn chế đề tài, nhóm xin phép đề số hướng phát triển cho đề tài sau: + Tăng số lượng mẫu liệu tối ưu mạng Neural Network để Model học nhiều + Đào tạo Robotino môi trường khác (đường khác, vật cản khác ) + Thiết kế thêm giao diện người dùng để việc điều khiển sử dụng dễ dàng + Kết hợp thêm cảm biến cấu chấp hành khác Robotino để tạo nên hệ thống đa hữu ích 70 TÀI LIỆU THAM KHẢO TÀI LIỆU THAM KHẢO [1] Trần Thanh Bảo, Trần Chí Việt, “Xây dựng Website giám sát điều khiển Robotino”, Đồ án tốt nghiệp, trường ĐHSPKT, Tp.HCM, 2022 [2] Chung Thị Diệu Hiền, Phạm Thị Thanh Thư, “Lập trình Robot Robotino thực mơ hình nhận dạng vận chuyển thuốc khu cách ly bệnh truyền nhiễm”, Đồ án tốt nghiệp, trường ĐHSPKT, Tp.HCM, 2022 [3] Aleksi Sairanen, “Installation of Robotino 4.0”, NXB LAB University of Applied Sciences, Phần Lan, 2021 [4] PGS.TS Nguyễn Thanh Hải, “Giáo Trình: Xử Lý Ảnh”, NXB ĐH Quốc Gia, 2014 71 PHỤ LỤC PHỤ LỤC PHỤ LỤC REPOSITORY CỦA ĐỀ TÀI Do phần source code đề tài có nhiều thư mục tệp, để dễ dàng cho việc sử dụng sau này, nhóm xin đính kèm link Ropository GitHub phần source đây, Repository nhóm sử dụng xun suốt q trình nghiên cứu làm việc để phát triển đề tài Bên Repository có số thư mục sau: + Thư mục Robotino_Collect_Data: file code dùng để điều khiển Robotino thu thập liệu (Hãy chạy file main.py) + Thư mục dataCollect: tệp data đuôi csv thu thập + Thư mục Training_Deep_Learning_Model chứa: - File code đào tạo Model: trainingModel.py - File code đào tạo lại Model: retrain_Model.py - File code xác minh Model đào tạo: test_Model.py - File code vận hành Model Robotino: deployment.py Link: https://github.com/Datflamingo/FINALThesis_2022_2023 PHỤ LỤC CÀI ĐẶT NGROK Cài đặt ngrok Bước 1: Truy cập vào trang chủ ngrok dashboard.ngrok.com Bước 2: Lựa chọn tải phiên phù hợp với hệ điều hành Đối với Robotino sử dụng hệ điều hành Ubuntu (Linux), chọn phiên Linux x86-64 Hình 4-1 Tải phiên ngrok cho hệ điều hành Linux Bước 3: Sau tải hoàn tất tiến hành giải nén tập tin TGZ, có tập tin có tên ngrok.exe Chạy tập tin ngrok.exe để cài đặt ngrok 72 PHỤ LỤC Giao diện sau chạy ngrok.exe Đăng nhập ngrok Đăng nhập vào trang chủ ngrok: dashboard.ngrok.com Chúng ta đăng nhập tài khoản GitHub, Google,… tạo tài khoản ngrok Ở đây, nhóm sử dụng tài khoản GitHub Đăng nhập vào ngrok 73 PHỤ LỤC Sử dụng phiên ngrok nâng cấp ngrok cho phép người dùng sử dụng phiên miễn phí để tạo đường hầm Nhưng việc lại kèm theo số hạn chế như: + Chỉ hỗ trợ HTTP TCP + Subdomain ngẫu nhiên + Chỉ chạy proccess ngrok thời điểm + Giới hạn tunnel / process + Giới hạn 40 connections / phút Để khắc phục hạn chế đặc biệt việc địa URL bị thay đổi lần tạo đường hầm, nhóm định sử dụng phiên nâng cao (Personal License Limited) với giá 10 đô la/tháng Giá chức gói ngrok Personal License Limited 74 PHỤ LỤC PHỤ LỤC 3: CÀI ĐẶT AUTO RUN NGROK TRÊN ROBOTINO Bước 1: Chạy lệnh gnome-session-properties Terminal Robotino Hộp thoại Startup Applications Preferences Hộp thoại Startup Applications Preferences Bước 2: Chọn Add để mở hộp thoại Add Startup Program Hộp thoại Add Startup Program Bước 3: Gõ lệnh gnone-terminal ngrok http subdomain= 80 vào Command, nhập tên chương trình vào Name (không bắt buộc) mô tả vào ô Comment (khơng bắt buộc) Sau đó, nhấn Save để hồn tất việc khởi tạo 75 PHỤ LỤC Nhập thông tin cần thiết vào hộp thoại Edit Startup Program Bước 4: Cho phép tạo đường hầm tự động cách tick vào vng trước dịng Ngrok Auto Startup hộp thoại Startup Applications Preferences Hoàn thành việc tự động tạo đường hầm khởi động Robotino 76 S K L 0