(Đồ án tốt nghiệp) thiết kế và thi công mô hình robot thu thập ảnh và vẽ bản đồ môi trường trong nhà dùng camera 3d

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG THIẾT KẾ VÀ THI CƠNG MƠ HÌNH ROBOT THU THẬP ẢNH VÀ VẼ BẢN ĐỒ MÔI TRƯỜNG TRONG NHÀ DÙNG CAMERA 3D GVHD: NGÔ BÁ VIỆT SVTH: ĐÀO NGUYỄN DU SVTH: NGUYỄN ĐỨC LÂM SKL007356 Tp Hồ Chí Minh, tháng 08/2020 BỘ GIÁO DỤC & ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH - ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: THIẾT KẾ VÀ THI CƠNG MƠ HÌNH ROBOT THU THẬP ẢNH VÀ VẼ BẢN ĐỒ MÔI TRƢỜNG TRONG NHÀ DÙNG CAMERA 3D GVHD: ThS Ngô Bá Việt SVTH1: Đào Nguyễn Du MSSV1: 13141035 SVTH2: Nguyễn Đức Lâm MSSV2: 14141159 Tp Hồ Chí Minh - 08/2020 BỘ GIÁO DỤC & ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH - ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: THIẾT KẾ VÀ THI CƠNG MƠ HÌNH ROBOT THU THẬP ẢNH VÀ VẼ BẢN ĐỒ MÔI TRƢỜNG TRONG NHÀ DÙNG CAMERA 3D GVHD: ThS Ngô Bá Việt SVTH1: Đào Nguyễn Du MSSV1: 13141035 SVTH2: Nguyễn Đức Lâm MSSV2: 14141159 Tp Hồ Chí Minh - 08/2020 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Họ tên sinh viên 2: Tên đề tài: THIẾT KẾ VÀ THI CÔNG ROBOT THU THẬP ẢNH VÀ VẼ BẢN ĐỒ MÔI TRƢỜNG TRONG NHÀ DÙNG CAMERA 3D Tuần/ngày Tuần (26/04 - 03/05) Tuần (04/05 - 17/05) Tuần - (11/05 - 24/05) Tuần (25/05 - 31/05) Tuần - (01/06 - 14/06) Tuần (15/06 - 21/06) Tuần - 10 (22/06 - 05/07) Tuần 11 (06/07 - 12/07) Tuần 12 - 13 (13/07 - 26/07) Tuần 14 (27/7- 02/08) Tuần 15 (03/08 - 09/08) GV HƢỚNG DẪN (Ký ghi rõ họ tên) i NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Chuyên ngành: Hệ đào tạo: Khóa: I TÊN ĐỀ TÀI: THIẾT KẾ VÀ THI CƠNG MƠ HÌNH ROBOT THU THẬP ẢNH VÀ VẼ BẢN ĐỒ MÔI TRƢỜNG TRONG NHÀ DÙNG CAMERA 3D II NHIỆM VỤ Các số liệu ban đầu: - Ngôn ngữ sử dụng: Python, thƣ viện OpenCV, Giáo trình Xử lý ảnh - Các tài liệu Arduino thƣ viện Arduino Nội dung thực hiện: - Tìm hiểu cơng nghệ qt 3D - Tìm hiểu camera 3D Module liên quan - Xây dựng chƣơng trình điều khiển Robot - Xây dựng chƣơng trình Python - Hồn thành mơ hình - Đánh giá kết thực III NGÀY GIAO NHIỆM VỤ: ii IV NGÀY HOÀN THÀNH NHIỆM VỤ: 03/08/2020 V HỌ VÀ TÊN CÁN BỘ HƢỚNG DẪN: CÁN BỘ HƢỚNG DẪN ThS Ngô Bá Việt BM ĐIỆN TỬ CÔNG NGHIỆP – Y SINH iii LỜI CAM ĐOAN Đề tài nhóm tự thực dựa vào số tài liệu có sẵn dƣới hƣớng dẫn Th.S Ngô Bá Việt khơng chép từ tài liệu hay cơng trình có trƣớc Nếu phát gian dối nhóm hoàn toàn chịu trách nhiệm Ngƣời thực đề tài Đào Nguyễn Du – Nguyễn Đức Lâm iv LỜI CẢM ƠN Đầu tiên, xin đƣợc gửi lời cảm ơn chân thành tới Thầy Ngô Bá Việt, Thầy tận tình hƣớng dẫn chúng tơi để hồn thành tốt đề tài Chúng tơi xin gửi lời cảm ơn chân thành tới Thầy Cô Khoa Điện – Điện tử tạo điều kiện tốt cho chúng tơi hồn thành đề tài Những kiến thức bổ ích mà Thầy Cơ truyền đạt, đƣợc áp dụng vào đề tài Đồ Án Tốt Nghiệp nhiều, từ kiến thức nhỏ nhặt học lớn Một lần xin đƣợc gửi lời cảm ơn đến tất Thầy Cơ, khơng có Thầy Cơ chúng tơi khó hồn thành đƣợc đề tài Tiếp theo xin cảm ơn tới Anh, Chị khóa bạn sinh viên tạo điều kiện giúp đỡ, từ tài liệu liên quan tới đề tài kinh nghiệm sống thực tế Nhờ họ mà chúng tơi phát triển đƣợc đề tài Cuối lời cảm ơn đến Cha, Mẹ khơng có hai đấng sinh thành ngày hơm khơng có diện đâu để thực việc muốn, học tạo điều kiện để giúp hƣớng tới tƣơng lai tốt đẹp Một lần xin gửi lời cảm ơn chân thành đến tất cả! Ngƣời thực đề tài Đào Nguyễn Du – Nguyễn Đức Lâm v CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 4.10: Giao diện ứng dụng Android Khi ta nhấn nút điều khiển giao diện, ứng dụng chuyển thành mã ascii đƣợc thiết lập sẵn tƣng ứng gửi chúng lên module HC-05 Hình 4.11: Giao diện ứng dụng Android 4.5 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC 4.5.1 Hƣớng dẫn sử dụng ArduinoBluetooth Robot Car - Bƣớc 1: Đặt mơ hình robot khu vực cần vẽ thu thập ảnh - Bƣớc 2: Kết nối jack cắm theo sơ đồ nguyên lý - Bƣớc 3: Mở ứng dụng Arduino Bluetooth Robot Car smart phone tiến hành tìm kiếm kết nối Bluetooth với modul HC-05 - Bƣớc 4: Bắt đầu nhấn phím điều khiển trền hình ứng dụng để điều khiển xe lên xuống chạy dừng 4.5.2 Hƣớng dẫn tạo đồ 3D Sau khởi động chƣơng trình, hình xuất cửa sổ RTABMap* (ROS), trình robot thu thập liệu hình ảnh đƣợc thể cửa sổ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 38 CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 4.12: Cửa sổ RTAB-Map* (ROS) Khi robot vòng xung quanh phòng, nhấn Pause để tạo đám mây điểm Vào File -> Export 3D Cloud chọn thƣ mục để lƣu Hình 4.13: Lƣu đồ 3D Dùng phần mềm MeshLab để xem lại đồ vừa vẽ Hình 4.14: Phần mềm MeshLab BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 39 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ CHƢƠNG 5: KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ 5.1 KẾT QUẢ THI CƠNG MƠ HÌNH 5.1.1 Mơ hình robot thu thập ảnh Robot thu thập hình ảnh đƣợc điều khiểu thơng qua Bluetooth Robot có tác vụ di chuyển xung quanh phòng nhằm thu thập hình ảnh, qua biết đƣợc vật thể môi trƣờng xung quanh Camera Kinect đƣợc gắn cố định phía trƣớc robot cách bề mặt sàn 50cm giúp robot thu thập đầy đủ hình ảnh vật thể nơi mà robot qua Hình 5.1 mơ hình robot thu thập hình ảnh với linh kiện thiết bị đƣợc kết nối hoàn chỉnh Chất liệu làm gỗ khơ có độ dày 5mm Trên rơt lắp đặt laptop có cấu hình dùng vi xử lý Core i3, tốc độ xử lý CPU 2.0GHz, RAM tích hợp laptop có dung lƣợng 4Gbyte Camera Kinect Arduino UNO kết nối với laptop cổng USB để chƣơng tình thu thập ảnh RGB ảnh độ sâu tƣơng ứng, ngồi cịn dùng để cấp nguồn cho Arduino module liên quan Hình 5.1: Mơ hình robot thu thập ảnh điều khiển Bluetooth Mơ hình có kích thƣớc 240mm x 300mm x 290mm (dài x rộng x cao) Robot có bốn bánh xe, hai bánh lớn có bán kính R = 100mm, hai bánh nhỏ có bán kính r = 50mm Khoảng cách hai bánh xe lớn L = 295mm, hai bánh xe nhỏ l = 235mm Các bánh xe đƣợc gắn cố định vào giá Khối lƣợng robot 4,5 kg, tốc độ di chuyển đƣợc thiết kế không đổi 1.7 m/phút 5.1.2 Đánh giá kết thu đƣợc Camera Kinect có độ phân giải cao giá thành không đắt, với chất lƣợng ảnh quay ảnh phù hợp với việc xử lý ảnh Việc tái đồ 3D nhà BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ chƣa xác tuyệt đối yếu tố tác động từ bên nhƣ: tốc độ xử lý laptop, ánh sáng, bề mặt phản chiếu vật thể Mục tiêu luận án tạo đồ 3D xác so với thực tế Camera tiến hành thu thập hình ảnh ngồi thực tế cách nhận diện điểm đặc trƣng vật thể sau ghép nối chúng lại với để đƣợc đồ hoàn chỉnh Tuy nhiên, để thực đƣợc điều phụ thuộc nhiều vào yếu tố môi trƣờng bề mặt ánh xạ vật thể camera sử dụng cảm biến hồng ngoại, mà tia hồng ngoại bị nhiễu ánh sáng không tốt Sau kiểm tra thực tế, khả hoạt động thiết bị nhƣ sau: - Thời gian đáp ứng nhanh điều kiện lý tƣởng làm khả sát - Khi hoạt động môi trƣờng ánh sáng, bề mặt vật thể ánh xạ kém, việc nhận đáp ứng chậm hơn, thu nhận hình ảnh tái hình ảnh khơng đầy đủ xác Thiết bị thể đƣợc gần nhƣ 95% hình ảnh vật thể, vẽ đƣợc đồ môi trƣờng nhà Bảng 5.1: Bảng so sánh kích thước số vật thể phòng STT Vật thể Kệ dép Kệ để dụng cụ Chiều cao tủ lạnh Chiều cao thùng rác Chiều cao tủ đứng nhỏ Từ bảng rút đƣợc kết luận hình ảnh vật thể mà camera tái lại môi trƣờng đầu đủ ánh sáng gần giống với hình ảnh thực tế Tuy nhiên có sai lệch bề mặt vật thể chƣa ánh xạ hoàn toàn 5.2 KẾT QUẢ THU THẬP ẢNH 3D MÔI TRƢỜNG Khi vật thể rơi vào tầm nhìn camera “thủ tục” vịng lặp đóng có tên Loop Closure Detection xuất hiện, có nhiệm vụ xem xét vị trí BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 41 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ qua hay chƣa hệ thống SLAM Nó cập nhật lại đồ vị trí trùng với vị trí qua tạo vị trí Loop Closure Detection đƣợc thực liên tục kết thúc khơng cịn pháp vị trí Hình 5.2: Loop Closure Detection Cùng với trình cập nhật đồ, việc thu thập điểm đặc trƣng vật thể vô quan trọng Odometry tạo nhờ trình sử dụng liệu thu thập đƣợc từ camera để ƣớc tính thay đổi vị trí theo thời gian Odometry đƣợc sử dụng để ƣớc tính tƣơng đối vị trí vật thể so với vị trí bắt đầu – vị trí mốc Trong hình 5.3 thấy chất màu xanh màu vàng chủ yếu tập trung cạnh vật thể, màu đỏ nằm góc Càng thu thập đƣợc nhiều điểm đặc trƣng việc tái lại thể đồ dễ dàng chi tiết Hình 5.3: Các điểm đặc trưng BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.4: 3D Map Một đồ đám mây 3D đƣợc dựng lên nhằm tái lại hình ảnh thực tế Để thể đƣợc hình ảnh cách xác 3D Map thành phần thiếu quan trọng Trong hình 5.4, hệ trục tọa độ đƣợc xem hệ trục tọa độ gốc, hình ảnh đƣợc quy hệ trục tọa độ gốc Tƣơng tự nhƣ Loop Closure Detection 3D Loop Closure có chức cập nhật lại vị trí đồ nhƣng dƣới dạng 3D, hình ảnh đƣợc thể rõ nét hơn, không đƣợc lƣớt điểm đặc trƣng vật thể Hình 5.5: 3D Loop Closure Graph View cơng cụ hữu ích để xem lại diễn trình tạo đồ 3D Ở vị trí có vật thể đƣợc thể hình ảnh mang tính khái quát, giúp ta hình đƣợc hình dạng vật thể mơi trƣờng BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.6: GraphView 5.3 KẾT QUẢ VẼ BẢN ĐỒ 3D MƠI TRƢỜNG Hình 5.7 ảnh 2D đƣờng robot mơi trƣờng phịng Robot di chuyển xung quanh phịng dọc theo vị trí tƣờng phịng để chụp hình ảnh 2D mơi trƣờng cho chuyển đổi thành đám mây 3D tiến hình ghép để vẽ thành đồ 3D khơng gian phịng Hình 5.7: Bản đồ 2D với chuyển động robot để lập đồ 3D Phòng có hình L nên góc nhìn thứ quan sát số vị trí camera khơng thu đƣợc hình ảnh dẫn đến việc tái thiết lại hình ảnh khơng đầy đủ Vẫn cịn số góc khuất mà camera khơng thu đƣợc BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 44 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.8: Bản đồ 3D phịng góc nhìn thứ Ở góc nhìn thứ hai thứ ba, thấy rõ đồ khơng thu đƣợc hình ảnh gạch phịng vị trí đặt camera cách mặt đất 0.5m, diện tích phịng nhỏ nên nhà vị trí trung tâm khơng nằm tầm nhìn camera khơng thể thu đƣợc đầy đủ hình ảnh phịng Một số vật thể phịng có bề mặt ánh xạ không thật tốt làm cho đồ bị nhiễu Hình 5.9: Bản đồ 3D phịng góc nhìn thứ hai BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH 45 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.10: Bản đồ 3D phịng góc nhìn thứ ba Tổng qng đƣờng mà robot di chuyển 6.2m, với 285 lần chụp ảnh RGB ảnh độ sâu xác định đƣợc 285 vị trí tọa độ khác robot, vị trí cách 2.1cm BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH 46 CHƢƠNG KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Chƣơng 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 6.1 KẾT LUẬN Hệ thống đáp ứng tƣơng đối đầy đủ mục tiêu nhƣ: thu thập đƣợc hình ảnh trƣớc camera phạm vi 1.5m; tái đƣợc vật thể mà camera thu đƣợc đầu vào; Robot di chuyển với tốc độ ổn định; hoạt động ổn định điều kiện đủ ánh sáng bề mặt vật thể ánh xạ tốt Ngoài kết thu đƣợc hệ thống cịn hạn chế nhƣ khả thu nhận hình ảnh cịn bị ảnh hƣởng yếu tố từ môi trƣờng nhƣ: ánh sáng, bề mặt ánh xạ cần có nhiều đặc trƣng thu đƣợc vật thể nằm khoảng cách ngắn Chƣa xây dựng đƣợc mơ hình hồn chỉnh, mang tính nghiên cứu 6.2 HƢỚNG PHÁT TRIỂN Từ mặt hạn chế đề tài, để đề tài hoạt động tốt áp dụng vào thực tế sau này, nhóm đề hƣớng phát triển nhƣ sau: - Thay camera tốt để tốc độ xử lý chất lƣợng hình ảnh thu đƣợc tốt - Sử dụng thiết bị có cấu hình cao mạnh mẽ để đáp ứng đƣợc khản xử lý tốt - Tìm kiếm giải thuật, thuật toán để nhằm nâng cao tốc độ xử lý ảnh nhanh xác BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 47 TÀI LIỆU THAM KHẢO TÀI LIỆU THAM KHẢO [1] Lê Văn Thái, “Ứng dụng camera 3D việc phân loại sản phẩm theo hình dạng kích thước”, Đồ án tốt nghiệp, trƣờng ĐHSPKT, Tp.HCM, 2019 [2] “Công nghệ quét 3D ứng dụng máy quét 3D Einscan Pro Seri”, taomaunhanh.com, 2018 (https://taomaunhanh.com/cong-nghe-quet-3d-va-ung-dung-may-quet-3d-einscan-proseri.html) [3] “Công nghệ quét 3D ứng dụng máy quét 3D Einscan Pro Seri”, taomaunhanh.com, 2018 (https://taomaunhanh.com/cong-nghe-quet-3d-va-ung-dung-may-quet-3d-einscan-proseri.html) [4] Huỳnh Tấn Cƣờng, “Thiết kế thi cơng mơ hình robot tự hành nhà dùng camera 3d”, Đồ án tốt nghiệp, trƣờng ĐHSPKT, Tp.HCM, 2019 [5] “Giới thiệu tổng quát SLAM”, stdio.vn, 2017 (https://www.stdio.vn/dien-tu-ung-dung/gioi-thieu-tong-quat-ve-slam-xHu14) [6] “Chụp ảnh 3D gì? Cách chụp ảnh 3D điện thoại, máy ảnh đơn giản”, dienmayxanh.com,2018 (https://www.dienmayxanh.com/kinh-nghiem-hay/chup-anh-3d-la-gi-cach-chup-anh3d-bang-dien-thoai-1218860) [7] “3D projection”,wikipedia.org (https://en.wikipedia.org/wiki/3D_projection) [8] “Thiết kế Robot thu thập dư liệu cho vẽ đồ”, Đồ án tốt nghiệp, trƣờng ĐHSPKT, Tp.HCM, 2018 [9] “Ứng dụng công nghệ quét quang học” , 3d-smartsolutions.com, 2020 (https://3d-smartsolutions.com/tips-tricks/quet-3d-la-gi-loi-ich-mang-lai-tu-scan-3d/) [10] “Các loại công nghệ quét scan 3D”, vietmachine.com, 2019 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH TÀI LIỆU THAM KHẢO (https://vietmachine.com.vn/cac-loai-cong-nghe-quet-scan-3d.html) [11] “Phép quang trắc”, vi.wikipedia.org, 2020 (https://vi.wikipedia.org/wiki/Ph%C3%A9p_quang_tr%E1%BA%AFc) [12] “Sơ lƣợc Robot Operating System(ROS)” thanhnguyensite.net,2018 (https://thanhnguyensite.net/category/robotics/) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 49 PHỤ LỤC PHỤ LỤC BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 50 ... VÀ THI? ??T KẾ Chƣơng TÍNH TỐN VÀ THI? ??T KẾ 3.1 GIỚI THI? ??U Để thực đề tài: ? ?Thi? ??t kế thi công mô hình robot thu thập ảnh vẽ đồ mơi trƣờng nhà dùng camera 3D? ??, cần phải tính tốn thi? ??t kế đƣợc mơ hình. .. HẠN Với đề tài: ? ?Thi? ??t kế thi cơng mơ hình robot thu thập ảnh vẽ đồ môi trường nhà dùng camera 3D? ?? có giới hạn bao gồm: - Thi? ??t kế mơ hình sử dụng camera 3D để thu thập hình ảnh đồ khơng gian nhỏ... LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Họ tên sinh viên 2: Tên đề tài: THI? ??T KẾ VÀ THI CÔNG ROBOT THU THẬP ẢNH VÀ VẼ BẢN ĐỒ MÔI TRƢỜNG TRONG NHÀ DÙNG CAMERA 3D Tuần/ngày Tuần