Thiết kế và thi công mô hình robot thu thập ảnh và vẽ bản đồ môi trường trong nhà dùng camera 3d

MỤC LỤC LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP ii NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ii LỜI CAM ĐOAN iv LỜI CẢM ƠN v MỤC LỤC vii LIỆT KÊ HÌNH VẼ ixx LIỆT KÊ BẢNG xii BẢNG LIỆT KÊ TỪ VIẾT TẮT xiii TÓM TẮT xiii Chƣơng TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU 1.3 NỘI DUNG NGHIÊN CỨU 1.4 GIỚI HẠN 1.5 BỐ CỤC Chƣơng CƠ SỞ LÝ THUYẾT 2.1 CÁC PHƢƠNG PHÁP XÂY DỰNG BẢN ĐỒ 2.1.1 SLAM 2.1.2 3D Structured Light 2.1.3 Xây dựng đồ phƣơng pháp quét Laser 2.1.4 Xây dựng đồ cách chụp ảnh từ nhiều vị trí khác nhau………….7 2.2 HỆ ĐIỀU HÀNH ROS 2.3 ẢNH 3D VÀ PHƢƠNG PHÁP HIỆU CHỈNH 11 2.3.1 Ảnh 3D 11 2.3.2 Phƣơng pháp hiệu chỉnh 13 CHƢƠNG TÍNH TỐN VÀ THIẾT KẾ 15 3.1 GIỚI THIỆU 15 3.2 SƠ ĐỒ KHỐI HỆ THỐNG 15 3.3 THIẾT KẾ HỆ THỐNG PHẦN CỨNG 16 3.3.1 Khối xử lý hiển thị 16 vi 3.3.2 Khối thu tín hiệu hình ảnh 16 3.3.3 Khối điều khiển 17 3.3.4 Khối giao tiếp không dây 19 3.3.5 Khối động lực 19 3.3.6 Khối nguồn 21 3.3.7 Sơ đồ nguyên lý 22 3.4 PHƢƠNG PHÁP XÂY DỰNG BẢN ĐỒ 3D MÔI TRƢỜNG TỪ CAMERA KINECT 23 3.4.1 Khối thu thập liệu tiền xử lý 24 3.4.2 Nhận dạng cặp điểm tƣơng đồng ảnh 2D 25 3.4.3 Ghép đám mây 3D 28 3.4.4 Xây dựng đồ 3D 38 Chƣơng THI CÔNG HỆ THỐNG 30 4.1 GIỚI THIỆU 30 4.2 THI CÔNG HỆ THỐNG 30 4.2.1 Các linh kiện, thiết bị cần thiết cho mơ hình 30 4.2.2 Lắp ráp kiểm tra 30 4.3 ĐĨNG GĨI VÀ THI CƠNG MƠ HÌNH 31 4.3.1 Đóng gói điều khiển 31 4.3.2 Kết nối phận điều khiển với nguồn motor 32 4.3.3 Kết nối cảm biến với laptop 33 4.4 LẬP TRÌNH HỆ THỐNG 33 4.4.1 Lƣu đồ giải thuật hệ thống thu thập ảnh vẽ đồ 33 4.4.2 Lập trình Arduino với Arduino IDE 37 4.4.3 Ứng dụng Arduino Bluetooth Robot Car 37 4.5 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC 38 4.5.1 Hƣớng dẫn sử dụng Arduino Bluetooth Robot Car 38 4.5.2 Hƣớng dẫn tạo đồ 3D 38 Chƣơng KẾT LUẬN – NHẬN XÉT – ĐÁNH GIÁ 40 5.1 KẾT QUẢ THI CÔNG MÔ HÌNH 40 5.1.1 Mơ hình robot thu thập ảnh 40 5.1.2 Đánh giá kết thu đƣợc 40 vii 5.2 KẾT QUẢ THU THẬP ẢNH 3D MÔI TRƢỜNG 41 5.3 KẾT QUẢ VẼ BẢN ĐỒ 3D MÔI TRƢỜNG 44 Chƣơng 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 47 6.1 KẾT LUẬN 47 6.2 HƢỚNG PHÁT TRIỂN 47 TÀI LIỆU THAM KHẢO .489 PHỤ LỤC 50 viii LIỆT KÊ HÌNH VẼ Hình Trang Hình 2.1 Bản đồ vẽ phƣơng pháp SLAM Hình 2.2 Bản đồ vẽ phƣơng pháp Structured Light Hình 2.3 Bản đồ vẽ phƣơng pháp quét laser Hình 2.4 Bản đồ vẽ phƣơng pháp quang trắc Hình 2.5 ROS điều khiển Robot Hình 2.6 Cách thức hoạt động ROS Hình 2.7 ROS Computation Graph 10 Hình 2.8 Ảnh 3D môi trƣờng 11 Hình 2.9 Các phép xoay 3D 12 Hình 2.10 Mơ hình thơng số camera 14 Hình 3.1 Sơ đồ hệ thống 15 Hình 3.2 Thiết bị dùng để xử lý hiển thị 16 Hình 3.3 Cảm biến Kinect 16 Hình 3.4 Sơ đồ cấu tạo cảm biến Kinect 17 Hình 3.5 Arduino Nano 17 Hình 3.6 Sơ đồ chân Arduino Nano 18 Hình 3.7 Module bluetooth HC-05 19 Hình 3.8 Ảnh sơ đồ chân module HC-05 19 Hình 3.9 Mạch điều khiển động DC HW39 20 Hình 3.10 Sơ đồ chân mạch điều khiển động DC HW39 20 Hình 3.11 Động robot 21 Hình 3.12 Sơ đồ nguyên lý mơ hình robot thu thập ảnh 23 Hình 3.13 Sơ đồ khối mơ tả trình vẽ đồ robot 24 Hình 3.14 Ảnh RGB ảnh chiều sâu chụp từ camera Kinect 24 Hình 3.15 Mơ tả 26 vị trí đƣợc so sánh với X để tìm giá trị cực đại cực tiểu 26 Hình 3.16 Cách mơ tả điểm đặc trƣng dùng SIFT 27 Hình 3.17 Các điểm đặc trƣng tƣơng đồng hai ảnh RGB 28 Hình 4.1 Ảnh bên điều khiển 31 Hình 4.2 Ảnh bên ngồi điều khiển 32 Hình 4.3 Ảnh bên robot 32 ix Hình 4.4 Ảnh dƣới robot 32 Hình 4.5 Kết nối cảm biến Kinect với laptop 33 Hình 4.6 Lƣu đồ giải thuật thu thập ảnh vẽ đồ 35 Hình 4.7 Lƣu đồ giải thuật chƣơng trình điều khển robot 36 Hình 4.8 Giao diện Arduino IDE 37 Hình 4.9 Giao diện Arduino IDE 37 Hình 4.10 Giao diện ứng dụng Android 38 Hình 4.11 Giao diện ứng dụng Android 38 Hình 4.12 Cửa sổ RTB-Map* (ROS) 39 Hình 4.13 Lƣu đồ 3D 39 Hình 4.14 Phần mềm MeshLab 39 Hình 5.1: Mơ hình robot thu thập ảnh vẽ đồ 3D 40 Hình 5.2: Loop Closure Detection 42 Hình 5.3: Các điểm đặc trƣng 42 Hình 5.4: 3D Map 43 Hình 5.5: 3D Loop Closure 43 Hình 5.6: GraphView 44 Hình 5.7: Bản đồ 2D với chuyển động robot để lập đồ 3D 44 Hình 5.8: Bản đồ 3D phịng góc nhìn thứ 45 Hình 5.9: Bản đồ 3D phịng góc nhìn thứ hai 45 Hình 5.10: Bản đồ 3D phịng góc nhìn thứ ba 46 x LIỆT KÊ BẢNG Bảng Trang Bảng 3.1: Bảng thống kê thực nghiệm tầm nhìn camera Kinect … 17 Bảng 3.2: Liệt kê công suất tải dùng điệp áp 5V 22 Bảng 4.1: Danh sách linh kiện,thiết bị 30 Bảng 5.1: Bảng so sánh kích thƣớt số vật thể 41 xi BẢNG LIỆT KÊ TỪ VIẾT TẮT SLAM Simultaneous Localization And Mapping ROS Robot Operating System SIFT Scale-Invariant Feature Transform 2D Two - Dimensional 3D Three – Dimensional RGB Red – Green - Blue xii TĨM TẮT Cơng nghệ quét 2D 3D phổ biến hết doanh nghiệp toàn giới nắm lấy công nghệ đa để tăng suất, loại bỏ chi phí khơng cần thiết để tạo sản phẩm dịch vụ lạ, thú vị nhằm kích thích tị mị ngƣời tiêu dùng Hiện nay, công nghệ quét 2D 3D đƣợc sử dụng rộng rãi thiết kế công nghiệp, kỹ thuật, sản xuất, khả nắm bắt nhanh chóng xác liệu cần thiết Nếu khơng có thiết bị cơng nghệ 3D tiên tiến này, phép đo phải đƣợc thu thập phƣơng pháp thủ cơng lỗi thời, tốn chi phí thời gian Các công nghệ quét 3D mạnh mẽ giúp tăng tốc đáng kể quy trình làm việc, giúp tránh sai lầm nâng cao suất Với đề tài “Thiết kế mơ hình robot thu thập ảnh vẽ đồ mơi trƣờng nhà dùng camera 3D” nhóm muốn thu thập vẽ lại đồ môi trƣờng xung quanh góp phần ứng dụng vào nhiều lĩnh vực khác Nhóm thu thập hình ảnh vẽ lại đồ dựa phƣơng pháp SLAM, vấn đề phổ biến lĩnh vực điều khiển tự động Kết cuối mà nhóm thu đƣợc đồ 3D mơi trƣờng xung quanh tƣơng đối hồn chỉnh chi tiết, thể đƣợc vật thể nhà Bên cạnh đó, nhóm kết hợp việc vẽ đồ với điều khiển robot góp phần làm cho ứng dụng mang tính thực tế nhiều xiii CHƢƠNG TỔNG QUAN CHƢƠNG 1: TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ Cùng với phát triển ngày mạnh mẽ khoa học kỹ thuật vài thập kỷ gần đây, xử lý ảnh ngành khoa học tƣơng đối mẻ so với ngành khoa học khác nhƣng lĩnh vực phát triển nhanh thu hút quan tâm đặc biệt từ nhà khoa học, thúc đẩy trung tâm nghiên cứu, ứng dụng lĩnh vực hấp dẫn [1] Xử lý ảnh đóng vai trò quan trọng nhiều ứng dụng thực tế khoa học kỹ thuật nhƣ sống ngày nhƣ: di chuyển Robot, phƣơng tiện lại tự trị, công cụ hƣớng dẫn cho ngƣời khuyết tật [2] Công nghệ quét 3D trình xác định hình dạng bề mặt vật thể khơng gian ba chiều để tạo mơ hình kỹ thuật số 3D [3] Quét 3D mở bƣớc ngoặt công nghệ 3D, mơ hình vật chất tồn trái đất mơ hình hóa liệu kỹ thuật số vài đồng hồ Công nghệ đƣợc ứng dụng nhiều lĩnh vực từ sản xuất khí, khảo cổ học, y tế đến giao thông xây dựng [4] Ứng dụng công nghệ quét 3D giúp tiết kiệm thời gian, giảm chi phí nâng cao chất lƣợng sản phẩm Camera 3D đƣợc xem loại camera có độ ứng dụng cao khoa học kỹ thuật camera có khả ghi nhận chiều sâu đối tƣợng, tƣơng tự nhƣ mắt ngƣời [5] Dựa nghiên cứu với hoạt động thực tiễn nay, nhận cơng nghệ qt 2D 3D phổ biến hết, đƣợc ứng dụng lĩnh vực, mặt đời sống Đề tài: “Thiết kế mơ hình robot thu thập ảnh vẽ đồ môi trường nhà dùng camera 3D” đƣợc lựa chọn thực có chức thu thập hình ảnh tái lại đồ môi trƣờng xung quanh dựa thông tin đƣợc thu thập từ camera 3D 1.2 MỤC TIÊU Mục tiêu đề tài thiết kế mơ hình robot thu thập ảnh vẽ đồ môi trƣờng nhà sử dụng camera 3D Kinect, cụ thể là: - Thiết kế mơ hình robot đƣợc điều khiển thơng qua Bluetooth BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH CHƢƠNG TỔNG QUAN - Ứng dụng hệ thống ROS tảng thƣ viện có sẵn để thu thập, xử lý hình ảnh 3D, sở vẽ đƣợc đồ mơi trƣờng nhà 1.3 NỘI DUNG NGHIÊN CỨU Đề tài: “Thiết kế mơ hình robot thu thập ảnh vẽ đồ mơi trường nhà dùng camera 3D” có nội dung sau:  NỘI DUNG 1: Tìm hiểu cơng nghệ qt 3D  NỘI DUNG 2: Tìm hiểu camera 3D Module liên quan  NỘI DUNG 3: Xây dựng mơ hình chƣơng trình điều khiển Robot  NỘI DUNG 4: Xây dựng chƣơng trình Python  NỘI DUNG 5: Hồn thành mơ hình  NỘI DUNG 6: Đánh giá kết thực 1.4 GIỚI HẠN Với đề tài: “Thiết kế thi cơng mơ hình robot thu thập ảnh vẽ đồ mơi trường nhà dùng camera 3D” có giới hạn bao gồm: - Thiết kế mơ hình sử dụng camera 3D để thu thập hình ảnh đồ không gian nhỏ - Sử dụng ngôn ngữ lập trình Python - Mộ hình hoạt động điều kiện ánh sang đầy đủ, bề mặt ánh xạ tốt 1.5 BỐ CỤC  Chƣơng 1: Tổng quan Chƣơng trình bày vấn đề dẫn nhập lý chọn đề tài, mục tiêu, nội dung nghiên cứu, giới hạn thông số bố cục đồ án  Chƣơng 2: Cơ sở lý thuyết Chƣơng trình bày công nghệ quét 3D, thuật ngữ liên quan, giới thiệu camera 3D thƣ viện liên quan  Chƣơng 3: Thiết kế tính tốn Chƣơng tìm hiểu kỹ thuật toán biến đổi tọa độ, ma trận chuyển đổi thiết kế mơ hình Robot  Chƣơng 4: Thi công hệ thống Nội dung chƣơng q trình thi cơng với việc chạy chƣơng trình thu thập hình ảnh vẽ lại đồ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 4.6: Lưu đồ giải thuật thu thập ảnh vẽ đồ  Ghép đám mây điểm Các đám mây điểm đƣợc chỉnh ƣớc lƣợng vị trí tƣơng đối khơng gian Hai đám mây điểm liên tiếp có nhiều điểm đặc trƣng tƣơng đồng đƣợc kết nối lại với để tạo đám mây Nhƣ lần lƣợt đám mây điểm đƣợc ghép lại với  Vẽ đồ 3D Các đám mây điểm đƣợc xếp ghép nối lại với tạo đồ 3D môi trƣờng hồn chỉnh BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH 35 CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Lƣu đồ giải thuật chƣơng trình điều khiển robot: Hình 4.7: Lưu đồ giải thuật điều khiển robot Các lệnh điều khiển từ smart phone kí tự chữ đƣợc mã hóa thành dạng mã ascii sau đƣợc arduino ghi lại kiểm tra để thực thi chƣơng trình điều khiển robot tƣng ứng Bên chƣơng trình điều khiển robot lệnh để arduino xuất tín hiệu điều khiển moto robot giúp xe di chuyển theo ý muốn, cụ thể nhƣ sau: Robot thằng: xuất tín hiệu điều khiển moto quay thuận Robot đứng yên: xuất tín hiệu diều khiển moto dừng Robot rẽ phải: xuất tín hiệu diều khiển moto phải dừng, moto trái quay thuận Robot rẽ trái: xuất tín hiệu diều khiển moto trái dừng, moto phải quay thuận Robot lùi: xuất tín hiệu diều khiển moto quay ngƣợc BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 36 CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 4.4.2 Lập trình Arduino với Arduino IDE  Thiết lập board Arduino Vào menu Tool  Board  Chọn Arduino Nano Hình 4.8: Giao diện Arduino IDE  Thiết lập cổng truyền liệu Vào menu Tool  Port  chọn cổng COM Hình 4.9: Giao diện Arduino IDE 4.4.3 Ứng dụng Arduino Bluetooth Robot Car Ứng dụng Arduino Bluetooth Robot Car ứng dụng có sẵn Google Store , giúp ta dễ dàng thao tác truyền giữ liệu qua bluetooth từ điện thoại qua module HC-05 Giao diện ứng dụng: BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH 37 CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 4.10: Giao diện ứng dụng Android Khi ta nhấn nút điều khiển giao diện, ứng dụng chuyển thành mã ascii đƣợc thiết lập sẵn tƣng ứng gửi chúng lên module HC-05 Hình 4.11: Giao diện ứng dụng Android 4.5 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC 4.5.1 Hƣớng dẫn sử dụng ArduinoBluetooth Robot Car - Bƣớc 1: Đặt mơ hình robot khu vực cần vẽ thu thập ảnh - Bƣớc 2: Kết nối jack cắm theo sơ đồ nguyên lý - Bƣớc 3: Mở ứng dụng Arduino Bluetooth Robot Car smart phone tiến hành tìm kiếm kết nối Bluetooth với modul HC-05 - Bƣớc 4: Bắt đầu nhấn phím điều khiển trền hình ứng dụng để điều khiển xe lên xuống chạy dừng 4.5.2 Hƣớng dẫn tạo đồ 3D Sau khởi động chƣơng trình, hình xuất cửa sổ RTABMap* (ROS), trình robot thu thập liệu hình ảnh đƣợc thể cửa sổ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 38 CHƢƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 4.12: Cửa sổ RTAB-Map* (ROS) Khi robot vòng xung quanh phòng, nhấn Pause để tạo đám mây điểm Vào File -> Export 3D Cloud chọn thƣ mục để lƣu Hình 4.13: Lƣu đồ 3D Dùng phần mềm MeshLab để xem lại đồ vừa vẽ Hình 4.14: Phần mềm MeshLab BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 39 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ CHƢƠNG 5: KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ 5.1 KẾT QUẢ THI CƠNG MƠ HÌNH 5.1.1 Mơ hình robot thu thập ảnh Robot thu thập hình ảnh đƣợc điều khiểu thơng qua Bluetooth Robot có tác vụ di chuyển xung quanh phịng nhằm thu thập hình ảnh, qua biết đƣợc vật thể môi trƣờng xung quanh Camera Kinect đƣợc gắn cố định phía trƣớc robot cách bề mặt sàn 50cm giúp robot thu thập đầy đủ hình ảnh vật thể nơi mà robot qua Hình 5.1 mơ hình robot thu thập hình ảnh với linh kiện thiết bị đƣợc kết nối hoàn chỉnh Chất liệu làm gỗ khơ có độ dày 5mm Trên rơt lắp đặt laptop có cấu hình dùng vi xử lý Core i3, tốc độ xử lý CPU 2.0GHz, RAM tích hợp laptop có dung lƣợng 4Gbyte Camera Kinect Arduino UNO kết nối với laptop cổng USB để chƣơng tình thu thập ảnh RGB ảnh độ sâu tƣơng ứng, ngồi cịn dùng để cấp nguồn cho Arduino module liên quan Hình 5.1: Mơ hình robot thu thập ảnh điều khiển Bluetooth Mơ hình có kích thƣớc 240mm x 300mm x 290mm (dài x rộng x cao) Robot có bốn bánh xe, hai bánh lớn có bán kính R = 100mm, hai bánh nhỏ có bán kính r = 50mm Khoảng cách hai bánh xe lớn L = 295mm, hai bánh xe nhỏ l = 235mm Các bánh xe đƣợc gắn cố định vào giá Khối lƣợng robot 4,5 kg, tốc độ di chuyển đƣợc thiết kế không đổi 1.7 m/phút 5.1.2 Đánh giá kết thu đƣợc Camera Kinect có độ phân giải cao giá thành không đắt, với chất lƣợng ảnh quay ảnh phù hợp với việc xử lý ảnh Việc tái đồ 3D nhà BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 40 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ chƣa xác tuyệt đối yếu tố tác động từ bên nhƣ: tốc độ xử lý laptop, ánh sáng, bề mặt phản chiếu vật thể Mục tiêu luận án tạo đồ 3D xác so với thực tế Camera tiến hành thu thập hình ảnh ngồi thực tế cách nhận diện điểm đặc trƣng vật thể sau ghép nối chúng lại với để đƣợc đồ hoàn chỉnh Tuy nhiên, để thực đƣợc điều phụ thuộc nhiều vào yếu tố môi trƣờng bề mặt ánh xạ vật thể camera sử dụng cảm biến hồng ngoại, mà tia hồng ngoại bị nhiễu ánh sáng không tốt Sau kiểm tra thực tế, khả hoạt động thiết bị nhƣ sau: - Thời gian đáp ứng nhanh điều kiện lý tƣởng làm khả sát - Khi hoạt động môi trƣờng ánh sáng, bề mặt vật thể ánh xạ kém, việc nhận đáp ứng chậm hơn, thu nhận hình ảnh tái hình ảnh khơng đầy đủ xác - Thiết bị thể đƣợc gần nhƣ 95% hình ảnh vật thể, vẽ đƣợc đồ môi trƣờng nhà Bảng 5.1: Bảng so sánh kích thước số vật thể phòng Vật thể STT Kệ dép Kệ để dụng cụ Chiều cao tủ lạnh Chiều cao thùng rác Chiều cao tủ đứng nhỏ Kích thƣớt thực tế (mm) Kích thƣớt thu đƣợc (mm) Sai lệch (mm) Tỉ lệ sai số (%) 803 1190 1500 710 819 1106 1432 751 16 -84 68 41 1.99 7.0 4.5 5.8 945 925 -20 2.11 Từ bảng rút đƣợc kết luận hình ảnh vật thể mà camera tái lại môi trƣờng đầu đủ ánh sáng gần giống với hình ảnh thực tế Tuy nhiên có sai lệch bề mặt vật thể chƣa ánh xạ hoàn toàn 5.2 KẾT QUẢ THU THẬP ẢNH 3D MÔI TRƢỜNG Khi vật thể rơi vào tầm nhìn camera “thủ tục” vịng lặp đóng có tên Loop Closure Detection xuất hiện, có nhiệm vụ xem xét vị trí BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH 41 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ qua hay chƣa hệ thống SLAM Nó cập nhật lại đồ vị trí trùng với vị trí qua tạo vị trí Loop Closure Detection đƣợc thực liên tục kết thúc khơng cịn pháp vị trí Hình 5.2: Loop Closure Detection Cùng với trình cập nhật đồ, việc thu thập điểm đặc trƣng vật thể vô quan trọng Odometry tạo nhờ trình sử dụng liệu thu thập đƣợc từ camera để ƣớc tính thay đổi vị trí theo thời gian Odometry đƣợc sử dụng để ƣớc tính tƣơng đối vị trí vật thể so với vị trí bắt đầu – vị trí mốc Trong hình 5.3 thấy chất màu xanh màu vàng chủ yếu tập trung cạnh vật thể, màu đỏ nằm góc Càng thu thập đƣợc nhiều điểm đặc trƣng việc tái lại thể đồ dễ dàng chi tiết Hình 5.3: Các điểm đặc trưng BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 42 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.4: 3D Map Một đồ đám mây 3D đƣợc dựng lên nhằm tái lại hình ảnh thực tế Để thể đƣợc hình ảnh cách xác 3D Map thành phần khơng thể thiếu quan trọng Trong hình 5.4, hệ trục tọa độ đƣợc xem hệ trục tọa độ gốc, hình ảnh đƣợc quy hệ trục tọa độ gốc Tƣơng tự nhƣ Loop Closure Detection 3D Loop Closure có chức cập nhật lại vị trí đồ nhƣng dƣới dạng 3D, hình ảnh đƣợc thể rõ nét hơn, khơng cịn đƣợc lƣớt điểm đặc trƣng vật thể Hình 5.5: 3D Loop Closure Graph View công cụ hữu ích để xem lại diễn trình tạo đồ 3D Ở vị trí có vật thể đƣợc thể hình ảnh mang tính khái qt, giúp ta hình đƣợc hình dạng vật thể mơi trƣờng BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 43 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.6: GraphView 5.3 KẾT QUẢ VẼ BẢN ĐỒ 3D MƠI TRƢỜNG Hình 5.7 ảnh 2D đƣờng robot mơi trƣờng phịng Robot di chuyển xung quanh phịng dọc theo vị trí tƣờng phịng để chụp hình ảnh 2D mơi trƣờng cho chuyển đổi thành đám mây 3D tiến hình ghép để vẽ thành đồ 3D khơng gian phịng Hình 5.7: Bản đồ 2D với chuyển động robot để lập đồ 3D Phịng có hình L nên góc nhìn thứ quan sát số vị trí camera khơng thu đƣợc hình ảnh dẫn đến việc tái thiết lại hình ảnh khơng đầy đủ Vẫn cịn số góc khuất mà camera khơng thu đƣợc BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH 44 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.8: Bản đồ 3D phịng góc nhìn thứ Ở góc nhìn thứ hai thứ ba, thấy rõ đồ khơng thu đƣợc hình ảnh gạch phịng vị trí đặt camera cách mặt đất 0.5m, diện tích phịng nhỏ nên nhà vị trí trung tâm khơng nằm tầm nhìn camera khơng thể thu đƣợc đầy đủ hình ảnh phịng Một số vật thể phịng có bề mặt ánh xạ không thật tốt làm cho đồ bị nhiễu Hình 5.9: Bản đồ 3D phịng góc nhìn thứ hai BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 45 CHƢƠNG KẾT QUẢ - NHẬN XÉT – ĐÁNH GIÁ Hình 5.10: Bản đồ 3D phịng góc nhìn thứ ba Tổng quãng đƣờng mà robot di chuyển 6.2m, với 285 lần chụp ảnh RGB ảnh độ sâu xác định đƣợc 285 vị trí tọa độ khác robot, vị trí cách 2.1cm BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 46 CHƢƠNG KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Chƣơng 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 6.1 KẾT LUẬN Hệ thống đáp ứng tƣơng đối đầy đủ mục tiêu nhƣ: thu thập đƣợc hình ảnh trƣớc camera phạm vi 1.5m; tái đƣợc vật thể mà camera thu đƣợc đầu vào; Robot di chuyển với tốc độ ổn định; hoạt động ổn định điều kiện đủ ánh sáng bề mặt vật thể ánh xạ tốt Ngồi kết thu đƣợc hệ thống hạn chế nhƣ khả thu nhận hình ảnh cịn bị ảnh hƣởng yếu tố từ môi trƣờng nhƣ: ánh sáng, bề mặt ánh xạ cần có nhiều đặc trƣng thu đƣợc vật thể nằm khoảng cách ngắn Chƣa xây dựng đƣợc mơ hình hồn chỉnh, mang tính nghiên cứu 6.2 HƢỚNG PHÁT TRIỂN Từ mặt hạn chế đề tài, để đề tài hoạt động tốt áp dụng vào thực tế sau này, nhóm đề hƣớng phát triển nhƣ sau: - Thay camera tốt để tốc độ xử lý chất lƣợng hình ảnh thu đƣợc tốt - Sử dụng thiết bị có cấu hình cao mạnh mẽ để đáp ứng đƣợc khản xử lý tốt - Tìm kiếm giải thuật, thuật tốn để nhằm nâng cao tốc độ xử lý ảnh nhanh xác BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH 47 TÀI LIỆU THAM KHẢO TÀI LIỆU THAM KHẢO [1] Lê Văn Thái, “Ứng dụng camera 3D việc phân loại sản phẩm theo hình dạng kích thước”, Đồ án tốt nghiệp, trƣờng ĐHSPKT, Tp.HCM, 2019 [2] “Công nghệ quét 3D ứng dụng máy quét 3D Einscan Pro Seri”, taomaunhanh.com, 2018 (https://taomaunhanh.com/cong-nghe-quet-3d-va-ung-dung-may-quet-3d-einscan-proseri.html) [3] “Công nghệ quét 3D ứng dụng máy quét 3D Einscan Pro Seri”, taomaunhanh.com, 2018 (https://taomaunhanh.com/cong-nghe-quet-3d-va-ung-dung-may-quet-3d-einscan-proseri.html) [4] Huỳnh Tấn Cƣờng, “Thiết kế thi cơng mơ hình robot tự hành nhà dùng camera 3d”, Đồ án tốt nghiệp, trƣờng ĐHSPKT, Tp.HCM, 2019 [5] “Giới thiệu tổng quát SLAM”, stdio.vn, 2017 (https://www.stdio.vn/dien-tu-ung-dung/gioi-thieu-tong-quat-ve-slam-xHu14) [6] “Chụp ảnh 3D gì? Cách chụp ảnh 3D điện thoại, máy ảnh đơn giản”, dienmayxanh.com,2018 (https://www.dienmayxanh.com/kinh-nghiem-hay/chup-anh-3d-la-gi-cach-chup-anh3d-bang-dien-thoai-1218860) [7] “3D projection”,wikipedia.org (https://en.wikipedia.org/wiki/3D_projection) [8] “Thiết kế Robot thu thập dư liệu cho vẽ đồ”, Đồ án tốt nghiệp, trƣờng ĐHSPKT, Tp.HCM, 2018 [9] “Ứng dụng công nghệ quét quang học” , 3d-smartsolutions.com, 2020 (https://3d-smartsolutions.com/tips-tricks/quet-3d-la-gi-loi-ich-mang-lai-tu-scan-3d/) [10] “Các loại cơng nghệ qt scan 3D”, vietmachine.com, 2019 BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 48 TÀI LIỆU THAM KHẢO (https://vietmachine.com.vn/cac-loai-cong-nghe-quet-scan-3d.html) [11] “Phép quang trắc”, vi.wikipedia.org, 2020 (https://vi.wikipedia.org/wiki/Ph%C3%A9p_quang_tr%E1%BA%AFc) [12] “Sơ lƣợc Robot Operating System(ROS)” thanhnguyensite.net,2018 (https://thanhnguyensite.net/category/robotics/) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 49 ... VÀ THI? ??T KẾ Chƣơng 3.1 TÍNH TỐN VÀ THI? ??T KẾ GIỚI THI? ??U Để thực đề tài: ? ?Thi? ??t kế thi công mơ hình robot thu thập ảnh vẽ đồ môi trƣờng nhà dùng camera 3D? ??, cần phải tính tốn thi? ??t kế đƣợc mơ hình. .. HẠN Với đề tài: ? ?Thi? ??t kế thi cơng mơ hình robot thu thập ảnh vẽ đồ môi trường nhà dùng camera 3D? ?? có giới hạn bao gồm: - Thi? ??t kế mơ hình sử dụng camera 3D để thu thập hình ảnh đồ không gian nhỏ... mơ hình robot thu thập ảnh vẽ đồ mơi trƣờng nhà dùng camera 3D? ?? nhóm muốn thu thập vẽ lại đồ môi trƣờng xung quanh góp phần ứng dụng vào nhiều lĩnh vực khác Nhóm thu thập hình ảnh vẽ lại đồ dựa