Xác định vị trí cho robot trong nhà sử dụng một camera

Nhan đề : Xác định vị trí cho robot trong nhà sử dụng một camera Tác giả : Dương Quốc Hùng Người hướng dẫn: Ngô Lam Trung Từ khoá : Robot; PTAM; Hệ thống theo dõi và lập bản đồ Năm xuất bản : 2020 Nhà xuất bản : Trường đại học Bách Khoa Hà Nội Tóm tắt : Tổng quan cơ sở lí thuyết xác định vị trí, PTAM với hệ điều hành ROS, xây dựng và thử nghiệm định vị cho robot trong nhà dùng PTAM.

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Xác định vị trí cho robot nhà sử dụng camera DƯƠNG QUỐC HÙNG hungduongquoc45@gmail.com Ngành Kỹ thuật máy tính Giảng viên hướng dẫn: TS Ngơ Lam Trung Viện: Công Nghệ Thông Tin Và Truyền Thông HÀ NỘI, 6/2020 Chữ ký GVHD CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Dương Quốc Hùng Đề tài luận văn: Xác định vị trí cho robot sử dụng camera Chuyên ngành: Kỹ thuật máy tính Mã số HV: CA170383 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 20/06/2020 với nội dung sau:  Chỉnh sửa lỗi tả luận văn  Bổ sung Danh mục từ viết tắt  Chỉnh sửa tên tiêu đề chương Ngày Giáo viên hướng dẫn tháng năm Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ĐỀ TÀI LUẬN VĂN Xác định vị trí cho robot nhà sử dụng camera Giáo viên hướng dẫn Ký ghi rõ họ tên LỜI CẢM ƠN Trước hết em xin gửi lời cám ơn chân thành tới thầy cô cán giảng dạy trường đại học Bách Khoa Hà Nội, thầy cô môn kỹ thuật máy tính khoa kỹ thuật máy tính truyền thơng tận tình bảo, giúp đỡ em trình học tập nghiên cứu khoa học trường Các thầy cô không dạy kiến thức, phương pháp làm việc nghiên cứu khoa học, mà giúp đỡ chúng em trưởng thành sống Em xin gửi lời tri ân chân thành tới thầy Ngô Lam Trung ln nhiệt tình giúp đỡ, hướng dẫn tạo điều kiện tốt giúp em nghiên cứu suốt q trình thực tập phịng thí nghiệm CSLAB 505 – Tòa nhà B1 đại học Bách Khoa Hà Nội Cuối cùng, em xin gửi lời cám ơn tới gia đình, bạn bè giúp đỡ, động viên thời gian em học tập nghiên cứu trường Hà Nội, tháng năm 2020 Dương Quốc Hùng Viện CNTT&TT ĐH Bách Khoa Hà Nội TÓM TẮT LUẬN VĂN THẠC SĨ Đề tài: Xác định vị trí cho robot nhà sử dụng camera Tác giả luận văn: Dương Quốc Hùng Khóa: 2017A Người hướng dẫn: TS Ngơ Lam Trung Nội dung tóm tắt: Luận văn thực tìm hiểu, nghiên cứu thuật tốn PTAM (Parallel Tracking and Mapping) Xây dựng thử nghiệm định vị vị trí cho robot nhà (vị trí camera gắn robot nhà) sử dụng camera Mục đích nghiên cứu Tìm hiểu thuật tốn PTAM (Parallel Tracking and Mapping) thử nghiệm định vị cho robot nhà sử dụng camera Luận văn có hai mục tiêu: - Tìm hiểu thuật tốn PTAM Xây dựng thử nghiệm PTAM việc định vị robot nhà dùng camera Đối tượng phạm vi nghiên cứu -  Đối tượng: thuật toán PTAM  Phạm vi: cài đặt thuật tốn mơi trường ROS, thử nghiệm với mơi trường nhà Phương pháp nghiên cứu  Nghiên cứu cơng nghệ xác định vị trí robot ưu nhược điểm phương pháp  Nghiên cứu thuật toán PTAM  Nghiên cứu hệ điều hành ROS với PTAM  Áp dụng PTAM xây dựng thử nghiệm định vị robot nhà sử dụng camera  Đánh giá thử nghiệm Luận văn chia thành phần tương ứng với giai đoạn làm làm luận văn:  Tìm hiểu nghiên cứu thuật tốn PTAM cách thức thuật toán hoạt động cách thức triển khai thuật tốn  Tìm hiểu nghiên cứu thuật tốn SLAM (Simultaneous localization and mapping)  Tìm hiểu hệ điều hành ROS  Tìm hiểu thuật tốn PTAM với hệ điều hành ROS (ethzasl_ptam gói phần mềm mã nguồn mở)  Tải build gói phần mềm mã nguồn mở ethzasl_ptam gói phần mềm kèm theo  Xây dựng thử nghiệm định vị di chuyển camera với điều kiện nhà  Đánh giá kết mà thuật toán PTAM thực HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC LỜI CẢM ƠN DANH MỤC HÌNH ẢNH DANH MỤC TỪ VIẾT TẮT CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI 1.1 Đặt vấn đề 1.2 Mục đích nghiên cứu 1.3 Đối tượng phạm vi nghiên cứu 10 1.4 Phương pháp nghiên cứu 10 CHƯƠNG LÍ THUYẾT XÁC ĐỊNH VỊ TRÍ VÀ THUẬT TỐN PTAM 11 2.1 Cơ sở lí thuyết xác định vị trí 11 2.2 Hệ thống PTAM 11 2.2.1 Giới thiệu hệ thống PTAM 11 2.2.2 Thuật toán SLAM PTAM 11 2.2.3 Bản Đồ 12 2.2.4 Theo dõi (Tracking) 12 2.2.5 Ánh xạ 15 2.3 PTAM với hệ điều hành ROS 18 2.3.1 Hệ điều hành ROS 18 2.3.2 Cấu trúc ROS 21 2.3.3 PTAM với ROS (Ethzasl_ptam) 24 2.4 Xây dựng thử nghiệm định vị cho robot nhà dùng PTAM 30 2.4.1 Cài đặt PTAM 30 2.4.2 Xây dựng node camera cho PTAM 34 2.4.3 Hiệu chuẩn Camera 38 2.4.4 Thử nghiệm PTAM xác định vị trí camera 41 2.4.5 Thử nghiệm dùng node remote_ptam điều khiển node ptam 45 2.4.6 Đánh giá 47 CHƯƠNG KẾT LUẬN 52 3.1 Những cơng việc hồn thành 52 3.2 Kết thử nghiệm 52 3.3 Những hạn chế thuật toán PTAM 52 3.4 Chú ý sử dụng ethzasl_ptam 53 3.5 Hướng phát triển đồ án tương lai 53 TÀI LIỆU THAM KHẢO 54 DANH MỤC HÌNH ẢNH Hình 2.2.1: Hoạt động luồng ánh xạ 15 Hình 2.3.1: Sơ đồ khối hệ điều hành ROS 19 Hình 2.3.2: Sơ đồ tương tác node topic 20 Hình 2.4.1: Camera yokoo 35 Hình 2.4.2: Thơng tin bus usb camera 35 Hình 2.4.3: Thông tin camera 36 Hình 2.4.4: Danh sách topic 37 Hình 2.4.5: Hình ảnh rgb từ camera 37 Hình 2.4.6: Hình ảnh đa mức xám từ camera 38 Hình 2.4.7: Hình ảnh hiệu chỉnh camera 39 Hình 2.4.8: Giao diện hiệu chỉnh camera 39 Hình 2.4.9: Hiệu chỉnh camera 40 Hình 2.4.10: Kết hiệu chỉnh camera 40 Hình 2.4.11: Chạy node ptam 41 Hình 2.4.12: node rqt_reconfigure 42 Hình 2.4.13: Khởi tạo khung hình 42 Hình 2.4.14: Khởi tạo khung hình 43 Hình 2.4.15: Bản đồ Feature mặt phẳng 43 Hình 2.4.16: Vị trí mặt phẳng di chuyển camera 44 Hình 2.4.17: Bản đồ 3D vị trí camera features 44 Hình 2.4.18: Cửa sổ vlsam/preview 46 Hình 2.4.19: Hiển thị đường rViz 47 Hình 2.4.20: Khoảng cách đơn vị đồ 48 Hình 2.4.21: Bản đồ 3D vị trí 48 Hình 2.4.22: Vị trí camera điểm 48 Hình 2.4.23: Bản đồ features map trường hợp camera hướng lên trần 49 Hình 2.4.24: Bản đồ 3D vị trí camera điểm 50 Hình 2.4.25: Bản đồ 3D vị trí camera vị trí 50 DANH MỤC TỪ VIẾT TẮT ROS Ros Operating System Hệ điều hành Robot GPS Global Positioning System Hệ thống định vị vệ tinh toàn cầu GNSS Global System IPS Indoor Positioning System Hệ thống định vị nhà PTAM Parallel Tracking And Mapping Hệ thống theo dõi tạo lập đồ SLAM Simultaneous Localization And Hệ thống sử dụng thông tin ảnh thu Mapping từ camera để tái tạo mơi trường bên ngồi CPU Central Processing Unit Navigation Satellite Hệ thống dẫn đường sử dụng vệ tinh Đơn vị sử lí trung tâm CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI Đặt vấn đề Cuộc cách mạng công nghiệp bước phát triển vượt bậc người, cách mạng cho phép ứng dụng rộng rãi robot nhiều lĩnh vực sống Yếu tố phù hợp với nhận thức vấn đề an tồn cơng việc, robot thay cho người sản xuất, lao động, nhà máy… điều góp phần vào xuất nhu cầu sử dụng robot Để robot hoạt động cần có hệ thống định vị để dẫn đường cho robot hoạt động Ngày công nghệ định vị ngày phát triển độ xác tăng lên nhiều Nói đến định vị khơng thể khơng nhắc đến GPS (Global Positioning System) GPS hệ thống xác định vị trí dựa vị trí vệ tinh nhân tạo, Bộ quốc 1.1 phòng Hoa Kỳ thiết kế, xây dựng, vận hành quản lý Trong thời điểm, tọa độ điểm mặt đất xác định xác định khoảng cách từ điểm đến ba vệ tinh Tuy hệ thống GPS xác định vị trí xác thiết bị GPS khơng thể vận hành chưa nhận tín hiệu trực tiếp từ vệ tinh nên người ta thường phải sử dụng ngồi trời Hơn nữa, GPS khơng đủ xác dùng để tìm kiếm phịng người địa điểm Các tín hiệu vệ tinh bị suy yếu phân tán nhiều vật cản mái nhà, tường đối tượng khác Còn riêng hệ thống vệ tinh dẫn đường toàn cầu (GNSS) đáp ứng nhiều nhu cầu GPS Tuy nhiên, GNSS lại khơng tương thích nhiều với phần cứng thiết kế với hoạt động nhà Ngồi sai số trung bình cho hệ thống GNSS thường lớn nhiều lĩnh vực địi hỏi độ xác cao Vì vậy, công nghệ định vị nhà đời (Indoor Positioning System - IPS) Hiện có nhiều phương pháp định vị cho môi trường nhà, dùng cảm biến siêu âm, cảm biến laser, camera đo độ sâu, đánh dấu marker xung quanh tường Những phương pháp có chung đặc điểm sử dụng cảm biến chuyên dụng nên phần cứng phức tạp, chi phí đắt đỏ Luận văn lựa chọn phương pháp định vị dùng camera ưu điểm: phần cứng đơn giản (chỉ cần camera) Kết đề tài sử dụng để phát triển robot dịch vụ có khả di chuyển nhà dựa đồ xây dựng từ hình ảnh mà camera gắn robot thu được, ứng dụng robot hút bụi, robot dẫn đường, robot vận chuyển hàng … Mục đích nghiên cứu Mục đích nghiên cứu tìm hiểu thuật tốn định vị cho robot mơi trường nhà Luận văn có hai mục tiêu: 1.2  Tìm hiểu thuật tốn PTAM  Xây dựng thử nghiệm PTAM việc định vị robot nhà dùng camera Sau tinh chỉnh thành cơng có tham số Cam_fx, Cam_fy, Cam_cx, Cam_cy, Cam_s đặt file parameter sử dụng node PTAM 2.4.4 Thử nghiệm PTAM xác định vị trí camera Để PTAM hoạt động cần đảm bảo:  Node camera chạy  Hình ảnh từ camera chuyển sang ảnh đa mức xám  Roscore chạy Mở file ptam.launch chọn nguồn ảnh /my_camera/image_mono sau: Lưu file ptam.launch chạy ptam: cd catkin_ws source devel/setup.bash roslaunch ptam ptam.launch Một hình hiển thị hình ảnh camera bật lên Hình 2.4.11: Chạy node ptam Nếu hình khơng hiển thị, mở file PtamFixParams.yaml đặt tham “số gui: True” 41 Khởi chạy giao diện cấu hình động để có quyền truy cập vào tất tham số động: rosrun rqt_reconfigure rqt_reconfigure Hình 2.4.12: node rqt_reconfigure ethzasl_ptam cơng cụ ước tính tư trực quan dựa khung hình Đó là, cần hai khung hình để bắt đầu xây dựng đồ (cục bộ) máy ảnh địa hóa Có hai chế độ khác để khởi tạo hai khung hình đầu tiên: thủ cơng tự động Sau khởi tạo đồ thủ cơng cách lấy hai khung hình Lấy khung hình thứ cách nhấn phím cách (space) bàn phím bấm nút spacebar cửa sổ ptam Hình 2.4.13: Khởi tạo khung hình 42 Các đặc trưng điểm màu hình ảnh Các đặc trưng theo dõi liên tục camera di chuyển Hình 2.4.14: Khởi tạo khung hình Khởi tạo khung hình thứ hai cách nhấn space bàn phím nút Spacebar cửa sổ Khung hình thứ hai có khoảng cách tối thiểu 1/10 độ sâu cảnh so với khung hình thứ Khơng xoay camera so với khung hình thứ Sau khởi tạo thành cơng xuất mặt phẳng hình Hình 2.4.15: Bản đồ Feature mặt phẳng 43 Khi khởi tạo xong di chuyển sang camera sang vị trí khác mặt phẳng khởi tạo khơng nằm khung hình quay lại vị trí có chứa mặt phẳng mặt phẳng vị trí cũ Hình 2.4.16: Vị trí mặt phẳng di chuyển camera Nhấn nút View Map cửa sổ để chuyển sang chế độ 3D hiển thị vị trí camera đồ đặc trưng Hình 2.4.17: Bản đồ 3D vị trí camera features 44 Bản đồ bị hỏng bị Điều xảy khu vực khơng có đặc trưng số đặc trưng sai Có hai hành vi khác ethzasl_ptam đồ: hệ thống chế độ thất bại thiết lập lại đồ thủ cơng cố gắng khởi tạo lại đồ bật "AutoInit" Nếu "AutoInit" bị vơ hiệu hóa đồ xảy Nó cố gắng địa hóa lại đồ xây dựng hiển thị "attempt recovery" dạng tin nhắn người dùng Giới hạn số lượng khung hình thường dẫn đến tình khơng thể phục hồi đồ bị Người dùng đặt lại đồ cách nhấn "r" cửa sổ PTAM Sau đó, khởi tạo hồn tồn thực Bằng cách nhấn "a", người dùng đặt lại đồ lưu trữ vị trí máy ảnh ước tính tốt độ sâu cảnh (được đánh dấu với chất lượng theo dõi "tốt") Với thông tin này, đồ khởi tạo chỉnh lại thu nhỏ lại so với đồ cũ Tỷ lệ lan truyền tư làm giảm tư nhảy đồ, sau khởi tạo lại Thuật toán lan truyền giả định máy ảnh không di chuyển đồ khởi tạo khung hình đồ Nếu "AutoInit" bật, thuật toán tự động định đồ cần loại bỏ khởi tạo lại Điều xảy điều sau đúng:  PTAM đánh dấu chất lượng theo dõi "bad" (nghĩa tỷ lệ tính tìm thấy so với tổng số tính tìm thấy thấp "TrackingQualityLost")  Tổng số đặc trưng theo dõi tốt giảm xuống "Tracking QualityFoundPixels" Nếu điều đúng, thuật tốn loại bỏ đồ, lưu trữ vị trí camera độ sâu cảnh theo dõi tốt cuối cùng, cố gắng tự động khởi tạo đồ chỉnh đồ với đồ cũ Do lan truyền này, trường hợp tốt nhất, người dung khơng nhận thấy đồ nhìn vào máy ảnh đặt thủ tục Quy trình tự động tương ứng với nhấn "a" khởi tạo lại đồ chế độ thủ công 2.4.5 Thử nghiệm dùng node remote_ptam điều khiển node ptam Để điều khiển camera node ptam chạy robot ethzasl_ptam có node remote_ptam dùng để điều khiển trực tiếp node ptam để khởi chạy node remote_ptam thực câu lệnh sau: rosrun ptam remote_ptam Một cửa sổ có tên vslam / preview hiển thị nguồn cấp liệu camera xuất Cửa sổ hoạt động tương tự cửa sổ PTAM học hướng dẫn trước 45 Chế độ xem 3D không khả dụng cửa sổ tính theo dõi khơng vẽ Tuy nhiên, lưới đồ hiển thị tất tương tác bàn phím có hiệu lực Hình 2.4.18: Cửa sổ vlsam/preview Vì remote_ptam bị giới hạn việc hiển thị tất thông tin, sử dụng node ptam_visualizer để chuyển đặc trưng 3D, khung hình đường dẫn camera đến rViz Sau khởi tạo đồ start ptam_visualizer: rosrun ptam ptam_visualizer Trong giao diện cấu hình chọn /ptam_visualizer start rViz: rosrun rqt_rviz rqt_rviz Trong giao diện cấu hình động, bật "ShowPC" Trong rViz, thêm topic PointCloud2 ánh xạ tới / vslam / pc2 Chọn "Billboard Spheres làm kiểu hiển thị, tăng thời gian phân rã thành 10000 giây (sử dụng muốn hiển thị số đọc nhất) chọn" RGB8 "làm không gian màu Đám mây điểm 3D hiển rViz Trong giao diện cấu hình động, bật "ShowKFs" Trong rViz, thêm topic MarkerArray ánh xạ tới / vslam / kf_visualization_array Bây thấy tất khung hình giữ lại đồ Số lượng khung hình hiển thị xác định tham số ethzasl_ptam "MaxKF" Nếu "KFFlags" cấu hình động đặt thành giá trị âm -N, N khung 46 hình cuối hiển thị giá trị "MaxKF" "KFFlags" = hiển thị tất khung khóa "MaxKF" "KFFlags" = hiển thị khung hình cuối Theo mặc định, mảng đánh dấu (nghĩa khung hình chính) có thời gian tồn giây Để tăng thời gian này, tăng "KFLifetime" cấu hình Để hiển thị tất khung hình tạo kể từ lần đặt lại đồ cuối cùng, bật "ShowAllKFs" cấu hình Các khung hình ngồi "MaxKF" khơng sử dụng ethzasl_ptam, chúng lưu trữ cho mục đích trực quan hóa Đơi khi, hiển thị tất khung hình làm q tải khu vực hiển thị Để nhìn rõ hơn, hiển thị quỹ đạo cách bật "ShowPath" cấu hình Trong rViz, thêm topic Marker ánh xạ tới / vslam / path_visualization Bây thấy đường hiển thị đường lưu lại vị trí máy ảnh Hình 2.4.19: Hiển thị đường rViz 2.4.6 Đánh giá Chúng ta đánh giá PTAM qua trường hợp:  Camera hướng xuống sàn nhà  Camera hướng lên trần nhà Trường hợp camera hướng xuống nên nhà: theo dõi camera dựa vào nhà xây dựng đồ dựa vào đặc trưng camera thu từ nhà, điều kiện ánh sáng tương đối tốt đặc trưng ổn định không thay đổi 47 Để đánh giá sai số bước xác định độ dài đơn vị đồ (tức độ dài thực tế đơn vị đồ) cách di chuyển camera độ dài đơn vị đồ đo chiều dài thực tế Hình 2.4.20: Khoảng cách đơn vị đồ Di chuyển camera đến vị trí đánh dấu vị trí camera vị trí sàn nhà Hình 2.4.21: Bản đồ 3D vị trí Di chuyển camera đến vị trí đồ đánh dấu lại vị trí camera điểm Hình 2.4.22: Vị trí camera điểm 48 Thực lặp lặp lại việc di chuyển camera đến vị trí cố định khác thu kết sau: Lần thử nghiệm Khoảng cách Khoảng cách thực Sai số(cm) đồ (cm) tế (cm) 171.4 162 9.4 234.5 220 14.5 90 97 270.9 254 16.9 305.5 330 24.5 258.3 240 18.3 148 160 12 87 95 150 138 12 10 350 370 20 Đánh giá sai số:  Sai số trung bình sau 10 lần đo  14,26 cm Trường hợp camera hướng lên trần nhà: theo dõi camera dựa vào trần nhà xây dựng đồ dựa vào đặc trưng camera thu từ trần nhà, điều kiện ánh sáng tương đối tốt đặc trưng ổn định không thay đổi Tương tự trường hợp để đánh giá sai số bước xác định độ dài đơn vị đồ (tức độ dài thực tế đơn vị đồ) cách di chuyển camera độ dài đơn vị đồ đo chiều dài thực tế Hình 2.4.23: Bản đồ features map trường hợp camera hướng lên trần 49 Di chuyển camera khoảng khoảng cách đơn vị đồ Hình 2.4.24: Bản đồ 3D vị trí camera điểm Di chuyển camera đến vị trí đồ đánh dấu lại vị trí camera điểm Hình 2.4.25: Bản đồ 3D vị trí camera vị trí 50 Thực lặp lặp lại việc di chuyển camera đến vị trí cố định khác thu kết sau: Lần thử nghiệm Khoảng cách Khoảng cách thực Sai số(cm) đồ (cm) tế (cm) 134.4 125.5 9.4 87.5 76 11.5 178.7 153 25.7 238.6 210 28.6 145,3 160 14.7 89,2 100 10.8 139 128 11 285.8 250.5 35.3 263 240 23 10 164,5 150 14.5 Đánh giá sai số:  Sai số trung bình sau 10 lần đo là: 18,5 cm Cấu hình thử nghiệm  CPU dual core 2.4 gHz  Ram 4Gb Đánh giá:  PTAM chạy tương đối xác trường hợp điều kiện ánh sáng tốt, không gian có nhiều đặc trưng, đặc trưng khơng thay đổi nhiều  Trong điều kiện ánh sáng không tốt đồ bị hỏng dẫn tới định vị sai  Trong điều kiện khơng gian đặc trưng khởi tạo đồ  Sai số trung bình là:  16.38 cm 51 CHƯƠNG KẾT LUẬN 3.1 Những cơng việc hồn thành  Tìm hiểu nghiên cứu thuật tốn PTAM  Tìm hiểu nghiên cứu hệ điều hành ROS  Cài đặt xây dựng node camera ROS  Cài đặt thuật toán PTAM với phần mềm mã nguồn mở ethzesl_ptam môi trường ROS  Thử nghiệm PTAM môi trường nhà với điều kiện khác 3.2 Kết thử nghiệm Thuật toán PTAM môi trường ROS thử nghiệm môi trường nhà với điều kiện khác như:  Camera hướng xuống mặt đất, điều kiện ánh sáng tốt, môi trường nhiều đặc trưng, đặc trưng thay đổi  Camera hướng xuống mặt đất, điều kiện ánh sáng tốt, mơi trường đặc trưng, đặc trưng thay đổi  Camera hướng xuống mặt đất, điều kiện ánh sáng không tốt  Camera hướng lên trần nhà, điều kiện ánh sáng tốt, môi trường nhiều đặc trưng, đặc trưng thay đổi  Camera hướng lên trần nhà, điều kiện ánh sáng tốt, mơi trường đặc trưng, đặc trưng thay đổi  Camera hướng lên trần nhà, điều kiện ánh sáng không tốt Sau thử nghiệm có kết sau:  Với điều kiện môi trường tốt (điều kiện ánh sáng tốt, môi trường có nhiều đặc trưng, đặc trưng thay đổi) thuật tốn PTAM hoạt động cách tương đối xác với kết sai số  16.38 cm  Với điều kiện môi trường không tốt (điều kiện ánh sáng khơng tốt, mơi trường có q đặc trưng đặc trưng thay đổi) thuật toán hoạt động không ổn định, đồ không tạo không ổn định thay đổi liên tục 3.3 Những hạn chế thuật tốn PTAM  Thuật tốn khơng hoạt động với mơi trường q đặc trưng sàn nhà trống khơng có vật thể hay trần nhà trắng khơng có hoa văn gì…  Thuật tốn hoạt động thiêú xác khơng ổn định điều kiện môi trường ánh sáng không tốt  Mức độ xác thuật tốn dừng lại mức trung bình áp dụng cho tốn khơng cần độ xác q cao 52 3.4 Chú ý sử dụng ethzasl_ptam Ethzasl_ptam không phù hợp với tất chuyển động mà thực với máy ảnh cầm tay Sử dụng ethzasl_ptam cần ý điểm sau:  Tránh xoay  Di chuyển chậm theo tốc độ khung hình máy ảnh Ví dụ, chồng chéo 50% hai khung hình camera liên tiếp cho thấy chuyển động nhanh với tốc độ khung hình camera Mục tiêu chồng chéo 90% nhiều  Quan sát mờ chuyển động hình ảnh Nếu cần, giảm tốc độ trập thêm nguồn sáng Sự chồng chéo hai hình ảnh camera liên tiếp quan trọng Quá chồng chéo có tác dụng sau: khung máy ảnh có khả kích hoạt việc tạo khung hình khóa Điều kích hoạt tồn trình xử lý đồ hoạt động (bao gồm điều chỉnh gói cục bổ sung tính đồ mới), thủ tục tính tốn tốn so với theo dõi túy Hơn nữa, khoảng trống lớn khung máy ảnh làm giảm chất lượng mơ hình chuyển động, dẫn đến cửa sổ tìm kiếm lớn khơng xác cấu trúc tự tương tự 3.5 Hướng phát triển đồ án tương lai  Áp dụng thuật toán PTAM cho drone bay ngồi trời  Cải thiện độ xác thuật toán  Áp dụng thuật toán vào robot hút bụi, robot dẫn đường… 53 TÀI LIỆU THAM KHẢO [1] B Williams, G Klein, and I Reid Real-time SLAM relocalisa- tion In Proc 11th IEEE International Conference on Computer Vision (ICCV’ 07), Rio de Janeiro, October 2007 [2] Stephan Weiss Vision Based Navigation for Micro Helicopters PhD Thesis, 2012 [3] Stephan Weiss, Markus W Achtelik, Simon Lynen, Margarita Chli and Roland Siegwart Real-time Onboard Visual-Inertial State Estimation and Self-Calibration of MAVs in Unknown Environments in IEEE International Conference on Robotics and Automation (ICRA), 2012 [4] Stephan Weiss, Davide Scaramuzza and Roland Siegwart, Monocular-SLAM–based navigation for autonomous micro helicopters in GPS-denied environments, Journal of Field Robotics (JFR), Vol 28, No 6, 2011, 854-874 [5] Markus W Achtelik, Michael Achtelik, Stephan Weiss, and Roland Siegwart Onboard IMU and Monocular Vision Based Control for MAVs in Unknown In- and Outdoor Environments in IEEE International Conference on Robotics and Automation (ICRA), 2011 [6] C Engels, H Stewe nius, and D Niste r Bundle adjustment rules In Photogrammetric Computer Vision (PCV’ 06), 2006 [7] M Fischler and R Bolles Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography Communcations of the ACM, 24(6):381–395, June 1981 [8] Y Genc, S Riedel, F Souvannavong, C Akinlar, and N Navab Marker-less tracking for AR: A learning-based approach In Proc IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR’ 02), Darmstadt, Germany, September 2002 [9] R I Hartley and A Zisserman Multiple View Geometry in Computer Vision Cambridge University Press, second edition, 2004 [10] P Huber Robust Statistics Wiley, 1981 [11] B Jiang and U Neumann Extendible tracking by line auto- calibration In Proc IEEE and ACM International Symposium on Aug- mented Reality (ISAR’01), pages 97–103, New York, October 2001 [12] R Koch, K Koeser, B Streckel, and J.-F Evers-Senne Markerless image-based 3d tracking for real-time augmented reality applications In WIAMIS, Montreux, 2005 [13] T Kurata, N Sakata, M Kourogi, H Kuzuoka, and M Billinghurst Remote collaboration using a shoulder-worn active camera/laser In 8th International Symposium on Wearable Computers (ISWC’04), pages 62–69, Arlington, VA, USA, 2004 [14] M Montemerlo, S Thrun, D Koller, and B Wegbreit FastSLAM 2.0: An improved particle filtering algorithm for simultaneous localization and mapping that 54 provably converges In Proc International Joint Conference on Artificial Intelligence, pages 1151–1156, 2003 [15] E Mouragnon, F Dekeyser, P Sayd, M Lhuillier, and M Dhome Real time localization and 3d reconstruction In Proc IEEE Intl Conference on Computer Vision and Pattern Recognition (CVPR ’06), pages 363–370, New York, NY, 2006 [16] J Neira and J Tardos Data association in stochastic mapping using the joint compatibility test In IEEE Trans on Robotics and Automa- tion, 2001 [17] D Niste r, O Naroditsky, and J R Bergen Visual odometry In Proc IEEE Intl Conference on Computer Vision and Pattern Recogni- tion (CVPR ’04), pages 652–659, Washington, D.C., June 2005 IEEE Computer Society [18] B Williams, G Klein, and I Reid Real-time SLAM relocalisa- tion In Proc 11th IEEE International Conference on Computer Vision (ICCV’ 07), Rio de Janeiro, October 2007 55 ... THUYẾT XÁC ĐỊNH VỊ TRÍ VÀ THUẬT TỐN PTAM Cơ sở lí thuyết xác định vị trí Xác định vị trí robot việc tìm trạng thái (bao gồm vị trí định hướng) robot mơi trường Trong đó, xác định vị trí đồ cho trước... nghiệm định vị vị trí cho robot nhà (vị trí camera gắn robot nhà) sử dụng camera Mục đích nghiên cứu Tìm hiểu thuật toán PTAM (Parallel Tracking and Mapping) thử nghiệm định vị cho robot nhà sử dụng. .. sàn nhà Hình 2.4.21: Bản đồ 3D vị trí Di chuyển camera đến vị trí đồ đánh dấu lại vị trí camera điểm Hình 2.4.22: Vị trí camera điểm 48 Thực lặp lặp lại việc di chuyển camera đến vị trí cố định