Thiết kế và thi công mô hình robot thu thập ảnh và vẽ bản đồ môi trường trong nhà dùng camera 3D

Công nghệ quét 2D và 3D đang phổ biến hơn bao giờ hết và các doanh nghiệptrên toàn thế giới đang nắm lấy công nghệ đa năng này để tăng năng suất, loại bỏ cácchi phí không cần thiết để tạo ra các sản phẩm và dịch vụ mới lạ, thú vị nhằm kíchthích sự tò mò của ngƣời tiêu dùng.Hiện nay, công nghệ quét 2D và 3D đƣợc sử dụng rộng rãi trong thiết kế côngnghiệp, kỹ thuật, sản xuất, do khả năng nắm bắt nhanh chóng và chính xác các dữ liệucần thiết. Nếu không có các thiết bị công nghệ 3D tiên tiến này, các phép đo sẽ phảiđƣợc thu thập bằng các phƣơng pháp thủ công lỗi thời, có thể tốn kém về chi phí vàmất thời gian. Các công nghệ quét 3D mạnh mẽ giúp tăng tốc đáng kể quy trình làmviệc, giúp tránh những sai lầm và nâng cao năng suất.Với đề tài “Thiết kế mô hình robot thu thập ảnh và vẽ bản đồ môi trƣờng trongnhà dùng camera 3D” nhóm muốn thu thập và vẽ lại bản đồ môi trƣờng xung quanhgóp phần ứng dụng vào nhiều lĩnh vực khác. Nhóm thu thập hình ảnh và vẽ lại bản đồdựa trên phƣơng pháp SLAM, đây là một vấn đề phổ biến trong lĩnh vực điều khiển tựđộng.Kết quả cuối cùng mà nhóm thu đƣợc là một bản đồ 3D môi trƣờng xung quanhtƣơng đối hoàn chỉnh và chi tiết, thể hiện đƣợc các vật thể trong nhà. Bên cạnh đó,nhóm cũng kết hợp việc vẽ bản đồ với điều khiển robot góp phần làm cho ứng dụngmang tính thực tế nhiều hơn.

BỘ GIÁO DỤC & ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH - ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: THIẾT KẾ VÀ THI CƠNG MƠ HÌNH ROBOT THU THẬP ẢNH VÀ VẼ BẢN ĐỒ MÔI TRƢỜNG TRONG NHÀ DÙNG CAMERA 3D GVHD: ThS Ngô Bá Việt SVTH1: Đào Nguyễn Du MSSV1: 13141035 SVTH2: Nguyễn Đức Lâm MSSV2: 14141159 Tp Hồ Chí Minh - 08/2020 BỘ GIÁO DỤC & ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH - ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: THIẾT KẾ VÀ THI CƠNG MƠ HÌNH ROBOT THU THẬP ẢNH VÀ VẼ BẢN ĐỒ MÔI TRƢỜNG TRONG NHÀ DÙNG CAMERA 3D GVHD: ThS Ngô Bá Việt SVTH1: Đào Nguyễn Du MSSV1: 13141035 SVTH2: Nguyễn Đức Lâm MSSV2: 14141159 Tp Hồ Chí Minh - 08/2020 TRƢỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HÕA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN-ĐIỆN TỬ ĐỘC LẬP - TỰ DO - HẠNH PHƯC BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH o0o Tp HCM, ngày tháng năm 2020 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Đào Nguyễn Du Lớp: 113141DT1C MSSV: 13141035 Họ tên sinh viên 2: Nguyễn Đức Lâm Lớp: 14141DT1A MSSV: 14141159 Tên đề tài: THIẾT KẾ VÀ THI CÔNG ROBOT THU THẬP ẢNH VÀ VẼ BẢN ĐỒ MÔI TRƢỜNG TRONG NHÀ DÙNG CAMERA 3D Tuần/ngày Xác nhận GVHD Nội dung Tuần (26/04 - 03/05) Gặp GVHD để nghe phổ biến yêu cầu làm đồ án, tiến hành chọn đề tài, GVHD tiến hành xét duyệt đề tài Tuần (04/05 - 17/05) Viết đề cƣơng tóm tắt nội dung đồ án Tuần - (11/05 - 24/05) Tìm hiểu phƣơng pháp thu thập ảnh Camera 3D Tuần (25/05 - 31/05) Tuần - (01/06 - 14/06) Tuần (15/06 - 21/06) Nghiên cứu tìm hiểu ngơn ngữ Python Tuần - 10 (22/06 - 05/07) Thi công phần cứng, chạy thử nghiệm Tuần 11 (06/07 - 12/07) Tuần 12 - 13 (13/07 - 26/07) Tuần 14 (27/7- 02/08) Hiệu chỉnh hệ thống, hoàn thiện đồ Tuần 15 (03/08 - 09/08) Nộp báo cáo báo cáo đề tài, thiết kế Slide báo cáo Thiết kế mơ hình robot Viết chƣơng trình Python Viết báo cáo nội dung làm Hoàn thiện báo cáo gởi cho GVHD để xem xét góp ý lần cuối trƣớc in báo cáo GV HƢỚNG DẪN (Ký ghi rõ họ tên) i TRƢỜNG ĐH SPKT TP HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CỘNG HÕA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÖC o0o -Tp HCM, ngày tháng năm 2020 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Đào Nguyễn Du MSSV: 13141035 Nguyễn Đức Lâm MSSV: 14141159 Chuyên ngành: Kỹ thuật Điện - Điện tử Mã ngành: 01 Hệ đào tạo: Đại học quy Mã hệ: Khóa: 2015 Lớp: 13141-14141 I TÊN ĐỀ TÀI: THIẾT KẾ VÀ THI CƠNG MƠ HÌNH ROBOT THU THẬP ẢNH VÀ VẼ BẢN ĐỒ MÔI TRƢỜNG TRONG NHÀ DÙNG CAMERA 3D II NHIỆM VỤ Các số liệu ban đầu: - Ngôn ngữ sử dụng: Python, thƣ viện OpenCV, Giáo trình Xử lý ảnh - Các tài liệu Arduino thƣ viện Arduino Nội dung thực hiện: - Tìm hiểu cơng nghệ qt 3D - Tìm hiểu camera 3D Module liên quan - Xây dựng chƣơng trình điều khiển Robot - Xây dựng chƣơng trình Python - Hồn thành mơ hình - Đánh giá kết thực III NGÀY GIAO NHIỆM VỤ: 02/03/2020 ii IV NGÀY HOÀN THÀNH NHIỆM VỤ: 03/08/2020 V HỌ VÀ TÊN CÁN BỘ HƢỚNG DẪN: CÁN BỘ HƢỚNG DẪN ThS Ngơ Bá Việt BM ĐIỆN TỬ CƠNG NGHIỆP – Y SINH iii LỜI CAM ĐOAN Đề tài nhóm tự thực dựa vào số tài liệu có sẵn dƣới hƣớng dẫn Th.S Ngơ Bá Việt không chép từ tài liệu hay công trình có trƣớc Nếu phát gian dối nhóm hồn tồn chịu trách nhiệm Ngƣời thực đề tài Đào Nguyễn Du – Nguyễn Đức Lâm iv LỜI CẢM ƠN Đầu tiên, xin đƣợc gửi lời cảm ơn chân thành tới Thầy Ngô Bá Việt, Thầy tận tình hƣớng dẫn chúng tơi để hồn thành tốt đề tài Chúng tơi xin gửi lời cảm ơn chân thành tới Thầy Cô Khoa Điện – Điện tử tạo điều kiện tốt cho chúng tơi hồn thành đề tài Những kiến thức bổ ích mà Thầy Cơ truyền đạt, đƣợc áp dụng vào đề tài Đồ Án Tốt Nghiệp nhiều, từ kiến thức nhỏ nhặt học lớn Một lần xin đƣợc gửi lời cảm ơn đến tất Thầy Cơ, khơng có Thầy Cơ chúng tơi khó hồn thành đƣợc đề tài Tiếp theo xin cảm ơn tới Anh, Chị khóa bạn sinh viên tạo điều kiện giúp đỡ, từ tài liệu liên quan tới đề tài kinh nghiệm sống thực tế Nhờ họ mà phát triển đƣợc đề tài Cuối lời cảm ơn đến Cha, Mẹ khơng có hai đấng sinh thành ngày hơm khơng có diện đâu để thực việc muốn, học tạo điều kiện để giúp hƣớng tới tƣơng lai tốt đẹp Một lần xin gửi lời cảm ơn chân thành đến tất cả! Ngƣời thực đề tài Đào Nguyễn Du – Nguyễn Đức Lâm v MỤC LỤC LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP ii NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ii LỜI CAM ĐOAN iv LỜI CẢM ƠN v MỤC LỤC vii LIỆT KÊ HÌNH VẼ ixx LIỆT KÊ BẢNG xii BẢNG LIỆT KÊ TỪ VIẾT TẮT xiii TÓM TẮT xiii Chƣơng TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU 1.3 NỘI DUNG NGHIÊN CỨU 1.4 GIỚI HẠN 1.5 BỐ CỤC Chƣơng CƠ SỞ LÝ THUYẾT 2.1 CÁC PHƢƠNG PHÁP XÂY DỰNG BẢN ĐỒ 2.1.1 SLAM 2.1.2 3D Structured Light 2.1.3 Xây dựng đồ phƣơng pháp quét Laser 2.1.4 Xây dựng đồ cách chụp ảnh từ nhiều vị trí khác nhau………….7 2.2 HỆ ĐIỀU HÀNH ROS 2.3 ẢNH 3D VÀ PHƢƠNG PHÁP HIỆU CHỈNH 11 2.3.1 Ảnh 3D 11 2.3.2 Phƣơng pháp hiệu chỉnh 13 CHƢƠNG TÍNH TỐN VÀ THIẾT KẾ 15 3.1 GIỚI THIỆU 15 3.2 SƠ ĐỒ KHỐI HỆ THỐNG 15 3.3 THIẾT KẾ HỆ THỐNG PHẦN CỨNG 16 3.3.1 Khối xử lý hiển thị 16 vi 3.3.2 Khối thu tín hiệu hình ảnh 16 3.3.3 Khối điều khiển 17 3.3.4 Khối giao tiếp không dây 19 3.3.5 Khối động lực 19 3.3.6 Khối nguồn 21 3.3.7 Sơ đồ nguyên lý 22 3.4 PHƢƠNG PHÁP XÂY DỰNG BẢN ĐỒ 3D MÔI TRƢỜNG TỪ CAMERA KINECT 23 3.4.1 Khối thu thập liệu tiền xử lý 24 3.4.2 Nhận dạng cặp điểm tƣơng đồng ảnh 2D 25 3.4.3 Ghép đám mây 3D 28 3.4.4 Xây dựng đồ 3D 38 Chƣơng THI CÔNG HỆ THỐNG 30 4.1 GIỚI THIỆU 30 4.2 THI CÔNG HỆ THỐNG 30 4.2.1 Các linh kiện, thiết bị cần thiết cho mơ hình 30 4.2.2 Lắp ráp kiểm tra 30 4.3 ĐĨNG GĨI VÀ THI CƠNG MƠ HÌNH 31 4.3.1 Đóng gói điều khiển 31 4.3.2 Kết nối phận điều khiển với nguồn motor 32 4.3.3 Kết nối cảm biến với laptop 33 4.4 LẬP TRÌNH HỆ THỐNG 33 4.4.1 Lƣu đồ giải thuật hệ thống thu thập ảnh vẽ đồ 33 4.4.2 Lập trình Arduino với Arduino IDE 37 4.4.3 Ứng dụng Arduino Bluetooth Robot Car 37 4.5 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC 38 4.5.1 Hƣớng dẫn sử dụng Arduino Bluetooth Robot Car 38 4.5.2 Hƣớng dẫn tạo đồ 3D 38 Chƣơng KẾT LUẬN – NHẬN XÉT – ĐÁNH GIÁ 40 5.1 KẾT QUẢ THI CƠNG MƠ HÌNH 40 5.1.1 Mơ hình robot thu thập ảnh 40 5.1.2 Đánh giá kết thu đƣợc 40 vii 5.2 KẾT QUẢ THU THẬP ẢNH 3D MÔI TRƢỜNG 41 5.3 KẾT QUẢ VẼ BẢN ĐỒ 3D MÔI TRƢỜNG 44 Chƣơng 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 47 6.1 KẾT LUẬN 47 6.2 HƢỚNG PHÁT TRIỂN 47 TÀI LIỆU THAM KHẢO .489 PHỤ LỤC 50 viii CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Lƣu đồ giải thuật chƣơng trình điều khiển robot: Hình 4.7: Lưu đồ giải thuật điều khiển robot Các lệnh điều khiển từ smart phone kí tự chữ đƣợc mã hóa thành dạng mã ascii sau đƣợc arduino ghi lại kiểm tra để thực thi chƣơng trình điều khiển robot tƣng ứng Bên chƣơng trình điều khiển robot lệnh để arduino xuất tín hiệu điều khiển moto robot giúp xe di chuyển theo ý muốn, cụ thể nhƣ sau: Robot thằng: xuất tín hiệu điều khiển moto quay thuận Robot đứng yên: xuất tín hiệu diều khiển moto dừng Robot rẽ phải: xuất tín hiệu diều khiển moto phải dừng, moto trái quay thuận Robot rẽ trái: xuất tín hiệu diều khiển moto trái dừng, moto phải quay thuận Robot lùi: xuất tín hiệu diều khiển moto quay ngƣợc BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 36 CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 4.4.2 Lập trình Arduino với Arduino IDE  Thiết lập board Arduino Vào menu Tool  Board  Chọn Arduino Nano Hình 4.8: Giao diện Arduino IDE  Thiết lập cổng truyền liệu Vào menu Tool  Port  chọn cổng COM Hình 4.9: Giao diện Arduino IDE 4.4.3 Ứng dụng Arduino Bluetooth Robot Car Ứng dụng Arduino Bluetooth Robot Car ứng dụng có sẵn Google Store , giúp ta dễ dàng thao tác truyền giữ liệu qua bluetooth từ điện thoại qua module HC-05 Giao diện ứng dụng: BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 37 CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 4.10: Giao diện ứng dụng Android Khi ta nhấn nút điều khiển giao diện, ứng dụng chuyển thành mã ascii đƣợc thiết lập sẵn tƣng ứng gửi chúng lên module HC-05 Hình 4.11: Giao diện ứng dụng Android 4.5 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC 4.5.1 Hƣớng dẫn sử dụng ArduinoBluetooth Robot Car - Bƣớc 1: Đặt mơ hình robot khu vực cần vẽ thu thập ảnh - Bƣớc 2: Kết nối jack cắm theo sơ đồ nguyên lý - Bƣớc 3: Mở ứng dụng Arduino Bluetooth Robot Car smart phone tiến hành tìm kiếm kết nối Bluetooth với modul HC-05 - Bƣớc 4: Bắt đầu nhấn phím điều khiển trền hình ứng dụng để điều khiển xe lên xuống chạy dừng 4.5.2 Hƣớng dẫn tạo đồ 3D Sau khởi động chƣơng trình, hình xuất cửa sổ RTABMap* (ROS), trình robot thu thập liệu hình ảnh đƣợc thể cửa sổ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 38 CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 4.12: Cửa sổ RTAB-Map* (ROS) Khi robot vòng xung quanh phòng, nhấn Pause để tạo đám mây điểm Vào File -> Export 3D Cloud chọn thƣ mục để lƣu Hình 4.13: Lƣu đồ 3D Dùng phần mềm MeshLab để xem lại đồ vừa vẽ Hình 4.14: Phần mềm MeshLab BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 39 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ CHƢƠNG 5: KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ 5.1 KẾT QUẢ THI CÔNG MÔ HÌNH 5.1.1 Mơ hình robot thu thập ảnh Robot thu thập hình ảnh đƣợc điều khiểu thơng qua Bluetooth Robot có tác vụ di chuyển xung quanh phịng nhằm thu thập hình ảnh, qua biết đƣợc vật thể môi trƣờng xung quanh Camera Kinect đƣợc gắn cố định phía trƣớc robot cách bề mặt sàn 50cm giúp robot thu thập đầy đủ hình ảnh vật thể nơi mà robot qua Hình 5.1 mơ hình robot thu thập hình ảnh với linh kiện thiết bị đƣợc kết nối hồn chỉnh Chất liệu làm gỗ khơ có độ dày 5mm Trên rơt lắp đặt laptop có cấu hình dùng vi xử lý Core i3, tốc độ xử lý CPU 2.0GHz, RAM tích hợp laptop có dung lƣợng 4Gbyte Camera Kinect Arduino UNO kết nối với laptop cổng USB để chƣơng tình thu thập ảnh RGB ảnh độ sâu tƣơng ứng, ngồi cịn dùng để cấp nguồn cho Arduino module liên quan Hình 5.1: Mơ hình robot thu thập ảnh điều khiển Bluetooth Mơ hình có kích thƣớc 240mm x 300mm x 290mm (dài x rộng x cao) Robot có bốn bánh xe, hai bánh lớn có bán kính R = 100mm, hai bánh nhỏ có bán kính r = 50mm Khoảng cách hai bánh xe lớn L = 295mm, hai bánh xe nhỏ l = 235mm Các bánh xe đƣợc gắn cố định vào giá Khối lƣợng robot 4,5 kg, tốc độ di chuyển đƣợc thiết kế không đổi 1.7 m/phút 5.1.2 Đánh giá kết thu đƣợc Camera Kinect có độ phân giải cao giá thành không đắt, với chất lƣợng ảnh quay ảnh phù hợp với việc xử lý ảnh Việc tái đồ 3D nhà BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 40 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ chƣa xác tuyệt đối yếu tố tác động từ bên nhƣ: tốc độ xử lý laptop, ánh sáng, bề mặt phản chiếu vật thể Mục tiêu luận án tạo đồ 3D xác so với thực tế Camera tiến hành thu thập hình ảnh ngồi thực tế cách nhận diện điểm đặc trƣng vật thể sau ghép nối chúng lại với để đƣợc đồ hoàn chỉnh Tuy nhiên, để thực đƣợc điều phụ thuộc nhiều vào yếu tố môi trƣờng bề mặt ánh xạ vật thể camera sử dụng cảm biến hồng ngoại, mà tia hồng ngoại bị nhiễu ánh sáng không tốt Sau kiểm tra thực tế, khả hoạt động thiết bị nhƣ sau: - Thời gian đáp ứng nhanh điều kiện lý tƣởng làm khả sát - Khi hoạt động môi trƣờng ánh sáng, bề mặt vật thể ánh xạ kém, việc nhận đáp ứng chậm hơn, thu nhận hình ảnh tái hình ảnh khơng đầy đủ xác - Thiết bị thể đƣợc gần nhƣ 95% hình ảnh vật thể, vẽ đƣợc đồ mơi trƣờng nhà Bảng 5.1: Bảng so sánh kích thước số vật thể phòng Vật thể STT Kệ dép Kệ để dụng cụ Chiều cao tủ lạnh Chiều cao thùng rác Chiều cao tủ đứng nhỏ Kích thƣớt thực tế (mm) Kích thƣớt thu đƣợc (mm) Sai lệch (mm) Tỉ lệ sai số (%) 803 1190 1500 710 819 1106 1432 751 16 -84 68 41 1.99 7.0 4.5 5.8 945 925 -20 2.11 Từ bảng rút đƣợc kết luận hình ảnh vật thể mà camera tái lại môi trƣờng đầu đủ ánh sáng gần giống với hình ảnh thực tế Tuy nhiên có sai lệch bề mặt vật thể chƣa ánh xạ hoàn toàn 5.2 KẾT QUẢ THU THẬP ẢNH 3D MÔI TRƢỜNG Khi vật thể rơi vào tầm nhìn camera “thủ tục” vịng lặp đóng có tên Loop Closure Detection xuất hiện, có nhiệm vụ xem xét vị trí BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 41 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ qua hay chƣa hệ thống SLAM Nó cập nhật lại đồ vị trí trùng với vị trí qua tạo vị trí Loop Closure Detection đƣợc thực liên tục kết thúc khơng cịn pháp vị trí Hình 5.2: Loop Closure Detection Cùng với trình cập nhật đồ, việc thu thập điểm đặc trƣng vật thể vô quan trọng Odometry tạo nhờ trình sử dụng liệu thu thập đƣợc từ camera để ƣớc tính thay đổi vị trí theo thời gian Odometry đƣợc sử dụng để ƣớc tính tƣơng đối vị trí vật thể so với vị trí bắt đầu – vị trí mốc Trong hình 5.3 thấy chất màu xanh màu vàng chủ yếu tập trung cạnh vật thể, màu đỏ nằm góc Càng thu thập đƣợc nhiều điểm đặc trƣng việc tái lại thể đồ dễ dàng chi tiết Hình 5.3: Các điểm đặc trưng BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 42 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.4: 3D Map Một đồ đám mây 3D đƣợc dựng lên nhằm tái lại hình ảnh thực tế Để thể đƣợc hình ảnh cách xác 3D Map thành phần khơng thể thiếu quan trọng Trong hình 5.4, hệ trục tọa độ đƣợc xem hệ trục tọa độ gốc, hình ảnh đƣợc quy hệ trục tọa độ gốc Tƣơng tự nhƣ Loop Closure Detection 3D Loop Closure có chức cập nhật lại vị trí đồ nhƣng dƣới dạng 3D, hình ảnh đƣợc thể rõ nét hơn, khơng cịn đƣợc lƣớt điểm đặc trƣng vật thể Hình 5.5: 3D Loop Closure Graph View cơng cụ hữu ích để xem lại diễn trình tạo đồ 3D Ở vị trí có vật thể đƣợc thể hình ảnh mang tính khái qt, giúp ta hình đƣợc hình dạng vật thể mơi trƣờng BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 43 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.6: GraphView 5.3 KẾT QUẢ VẼ BẢN ĐỒ 3D MƠI TRƢỜNG Hình 5.7 ảnh 2D đƣờng robot môi trƣờng phòng Robot di chuyển xung quanh phòng dọc theo vị trí tƣờng phịng để chụp hình ảnh 2D môi trƣờng cho chuyển đổi thành đám mây 3D tiến hình ghép để vẽ thành đồ 3D khơng gian phịng Hình 5.7: Bản đồ 2D với chuyển động robot để lập đồ 3D Phịng có hình L nên góc nhìn thứ quan sát số vị trí camera khơng thu đƣợc hình ảnh dẫn đến việc tái thiết lại hình ảnh khơng đầy đủ Vẫn cịn số góc khuất mà camera khơng thu đƣợc BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 44 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.8: Bản đồ 3D phịng góc nhìn thứ Ở góc nhìn thứ hai thứ ba, thấy rõ đồ khơng thu đƣợc hình ảnh gạch phịng vị trí đặt camera cách mặt đất 0.5m, diện tích phịng nhỏ nên nhà vị trí trung tâm khơng nằm tầm nhìn camera khơng thể thu đƣợc đầy đủ hình ảnh phịng Một số vật thể phịng có bề mặt ánh xạ khơng thật tốt làm cho đồ bị nhiễu Hình 5.9: Bản đồ 3D phịng góc nhìn thứ hai BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 45 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.10: Bản đồ 3D phịng góc nhìn thứ ba Tổng quãng đƣờng mà robot di chuyển 6.2m, với 285 lần chụp ảnh RGB ảnh độ sâu xác định đƣợc 285 vị trí tọa độ khác robot, vị trí cách 2.1cm BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 46 CHƢƠNG KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Chƣơng 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 6.1 KẾT LUẬN Hệ thống đáp ứng tƣơng đối đầy đủ mục tiêu nhƣ: thu thập đƣợc hình ảnh trƣớc camera phạm vi 1.5m; tái đƣợc vật thể mà camera thu đƣợc đầu vào; Robot di chuyển với tốc độ ổn định; hoạt động ổn định điều kiện đủ ánh sáng bề mặt vật thể ánh xạ tốt Ngoài kết thu đƣợc hệ thống cịn hạn chế nhƣ khả thu nhận hình ảnh cịn bị ảnh hƣởng yếu tố từ môi trƣờng nhƣ: ánh sáng, bề mặt ánh xạ cần có nhiều đặc trƣng thu đƣợc vật thể nằm khoảng cách ngắn Chƣa xây dựng đƣợc mơ hình hồn chỉnh, mang tính nghiên cứu 6.2 HƢỚNG PHÁT TRIỂN Từ mặt hạn chế đề tài, để đề tài hoạt động tốt áp dụng vào thực tế sau này, nhóm đề hƣớng phát triển nhƣ sau: - Thay camera tốt để tốc độ xử lý chất lƣợng hình ảnh thu đƣợc tốt - Sử dụng thiết bị có cấu hình cao mạnh mẽ để đáp ứng đƣợc khản xử lý tốt - Tìm kiếm giải thuật, thuật toán để nhằm nâng cao tốc độ xử lý ảnh nhanh xác BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 47 TÀI LIỆU THAM KHẢO TÀI LIỆU THAM KHẢO [1] Lê Văn Thái, “Ứng dụng camera 3D việc phân loại sản phẩm theo hình dạng kích thước”, Đồ án tốt nghiệp, trƣờng ĐHSPKT, Tp.HCM, 2019 [2] “Công nghệ quét 3D ứng dụng máy quét 3D Einscan Pro Seri”, taomaunhanh.com, 2018 (https://taomaunhanh.com/cong-nghe-quet-3d-va-ung-dung-may-quet-3d-einscan-proseri.html) [3] “Công nghệ quét 3D ứng dụng máy quét 3D Einscan Pro Seri”, taomaunhanh.com, 2018 (https://taomaunhanh.com/cong-nghe-quet-3d-va-ung-dung-may-quet-3d-einscan-proseri.html) [4] Huỳnh Tấn Cƣờng, “Thiết kế thi công mơ hình robot tự hành nhà dùng camera 3d”, Đồ án tốt nghiệp, trƣờng ĐHSPKT, Tp.HCM, 2019 [5] “Giới thiệu tổng quát SLAM”, stdio.vn, 2017 (https://www.stdio.vn/dien-tu-ung-dung/gioi-thieu-tong-quat-ve-slam-xHu14) [6] “Chụp ảnh 3D gì? Cách chụp ảnh 3D điện thoại, máy ảnh đơn giản”, dienmayxanh.com,2018 (https://www.dienmayxanh.com/kinh-nghiem-hay/chup-anh-3d-la-gi-cach-chup-anh3d-bang-dien-thoai-1218860) [7] “3D projection”,wikipedia.org (https://en.wikipedia.org/wiki/3D_projection) [8] “Thiết kế Robot thu thập dư liệu cho vẽ đồ”, Đồ án tốt nghiệp, trƣờng ĐHSPKT, Tp.HCM, 2018 [9] “Ứng dụng công nghệ quét quang học” , 3d-smartsolutions.com, 2020 (https://3d-smartsolutions.com/tips-tricks/quet-3d-la-gi-loi-ich-mang-lai-tu-scan-3d/) [10] “Các loại công nghệ quét scan 3D”, vietmachine.com, 2019 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 48 TÀI LIỆU THAM KHẢO (https://vietmachine.com.vn/cac-loai-cong-nghe-quet-scan-3d.html) [11] “Phép quang trắc”, vi.wikipedia.org, 2020 (https://vi.wikipedia.org/wiki/Ph%C3%A9p_quang_tr%E1%BA%AFc) [12] “Sơ lƣợc Robot Operating System(ROS)” thanhnguyensite.net,2018 (https://thanhnguyensite.net/category/robotics/) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 49 PHỤ LỤC PHỤ LỤC BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 50 ... VÀ THI? ??T KẾ Chƣơng 3.1 TÍNH TỐN VÀ THI? ??T KẾ GIỚI THI? ??U Để thực đề tài: ? ?Thi? ??t kế thi cơng mơ hình robot thu thập ảnh vẽ đồ môi trƣờng nhà dùng camera 3D? ??, cần phải tính tốn thi? ??t kế đƣợc mơ hình. .. HẠN Với đề tài: ? ?Thi? ??t kế thi cơng mơ hình robot thu thập ảnh vẽ đồ môi trường nhà dùng camera 3D? ?? có giới hạn bao gồm: - Thi? ??t kế mơ hình sử dụng camera 3D để thu thập hình ảnh đồ không gian nhỏ... thập hình ảnh tái lại đồ môi trƣờng xung quanh dựa thông tin đƣợc thu thập từ camera 3D 1.2 MỤC TIÊU Mục tiêu đề tài thi? ??t kế mơ hình robot thu thập ảnh vẽ đồ môi trƣờng nhà sử dụng camera 3D Kinect,