Tối ưu hóa bản đồ 2d với bộ lọc kalman dùng camera nổi

Tối ưu hóa bản đồ 2d với bộ lọc kalman dùng camera nổi Tối ưu hóa bản đồ 2d với bộ lọc kalman dùng camera nổi Tối ưu hóa bản đồ 2d với bộ lọc kalman dùng camera nổi Tối ưu hóa bản đồ 2d với bộ lọc kalman dùng camera nổi Tối ưu hóa bản đồ 2d với bộ lọc kalman dùng camera nổi

TĨM TẮT Để robot tự hành hoạt động phịng cần đồ 3D phịng Nên trước tiên việc xây dựng đồ 3D cho phòng quan trọng điều kiện tiên Camera 3D Kinect cho ta liệu ảnh RGB ảnh độ sâu khung cảnh, từ hai liệu ta chuyển thành liệu mây điểm 3D khung cảnh Với ảnh RGB khung cảnh tìm điểm đặc trưng mơ tả đặc trưng thuật toán SIFT Ta thực thuật toán SIFT hai góc khác khung cảnh Sau ta tìm cặp điểm tương đồng hai ảnh RGB Ta xác định cặp điểm tương đồng hai mây điểm 3D tương ứng với hai ảnh RGB Tiếp theo ta xác định ma trận chuyển đổi để ghép cặp điểm tương đồng lại với nhau, ghép hai đám mây 3D khung cảnh lại thành đám mây khung cảnh lớn Tương tự ta chụp nhiều góc khung cảnh phòng ghép nhiều đám mây 3D lại với để tạo thành đồ 3D phòng Trang v SUMMARY The paper proposes an application of RGB-D camera systems in 3D indoor mapping In order to reconstruct the 3D model of an indoor space where the robot is located, a RGB-D camera system is installed in the robot's cage to continuously capture the separate 2D image frames and 3D point clouds All corresponding 2D points between the two consecutive image frames are firstly estimated based on the algorithm of SIFT After that, all pixel coordinates of these matching points are projected to the respective 3D space based on the depth information from the RGBD camera at each pixel The outputs of this stage are currently the 3D points in the two successive point clouds that are applied to find out the transformation matrix from the second to the first point cloud's coordination system Finally, the two point clouds are merged together by transforming the second point cloud to the first one's coordination system The result after repeating the above process with other pair of image frames and point clouds is the 3D model of the robot's navigational space The aimed method is relatively low cost compared to the other one when using laser scanners; moreover, its accuracy is still acceptable with the indoor robot applications Trang vi MỤC LỤC TRANG Lý lịch cá nhân i Lời cam đoan iii Lời cảm tạ iv Tóm tắt v Summary vi Mục lục vii Danh sách bảng x Danh sách hình xi Các thuật ngữ viết tắt, ký hiệu khoa học, tiếng Anh-Việt xv Chương 1: TỔNG QUAN 16 1.1 Tổng quan hướng nghiên cứu 16 1.2 Tính cấp thiết đề tài, ý nghĩa khoa học thực tiễn đề tài 17 1.3 Mục đích nghiên cứu đối tượng nghiên cứu đề tài 18 1.4 Nhiệm vụ giới hạn 19 1.4.1 Nhiệm vụ 19 1.4.2 Giới hạn 19 1.5 Phương pháp nghiên cứu .20 1.6 Kế hoạch thực đề tài 20 Chương 2: CƠ SỞ LÝ THUYẾT 22 2.1 Khoảng cách Euclid hai điểm hệ toạ độ Descartes 22 2.2 Các phép biến đổi tọa độ ba chiều 23 2.2.1 Phép tịnh tiến 24 Trang vii 2.2.2 Phép xoay 24 2.3 Bộ lọc Kalman 25 Chương 3: SƠ ĐỒ KHỐI VÀ THU THẬP, XỬ LÝ DỮ LIỆU LẤY TỪ CAMERA KINECT 28 3.1 Sơ đồ khối .28 3.2 Camera Kinect 30 3.2.1 Những thành phần cảm biến Kinect 31 3.2.2 Thông số kỹ thuật camera Kinect 32 3.2.3 Nguyên lý đo độ sâu camera Kinect 33 3.3 Chuyển đổi liệu ảnh 2D có từ cảm biến Kinect thành ảnh 3D 34 Chương 4: NHẬN DẠNG ĐIỂM ĐẶC TRƯNG VÀ CẶP ĐIỂM TƯƠNG ĐỒNG TRÊN ẢNH 2D 38 4.1 Nhận dạng điểm đặc trưng ảnh 2D dùng thuật toán SIFT 38 4.1.1 Xác định vị trí điểm đặc trưng 38 4.1.2 Mô tả đặc tính điểm đặc trưng 41 4.2 Nhận dạng cặp điểm tương đồng ảnh 2D 43 Chương 5: GHÉP CÁC CẶP ĐIỂM TƯƠNG ĐỒNG CỦA MÂY 3D 46 5.1 Ghép cặp điểm tương đồng hai đám mây 3D .46 5.2 Ghép cặp điểm tương đồng nhiều đám mây 3D: .50 5.3 Xác định ma trận chuyển đổi từ encoder robot tự hành 53 Chương 6: KẾT QUẢ THỰC HIỆN VÀ ĐÁNH GIÁ .57 6.1 Thi cơng mơ hình robot 57 6.2 Chuyển đổi liệu ảnh 2D có từ cảm biến Kinect thành ảnh 3D 58 Trang viii 6.3 Nhận dạng điểm đặc trưng vật thể ảnh RGB dùng thuật toán SIFT .59 6.4 Tìm cặp điểm đặc trưng tương đồng ảnh RGB .61 6.5 Xác định cặp tương đồng đám mây 3D tương ứng với cặp điểm tương đồng ảnh RGB liên tiếp .62 6.6 Ghép cặp điểm tương đồng hai đám mây 3D lại với .62 6.7 Ghép cặp điểm tương đồng nhiều đám mây 3D lại với 63 6.7.1 Kết với lối có chi tiết 64 6.7.2 Kết với lối có nhiều chi tiết 69 6.8 Tối ưu hóa đồ 3D lọc Kalman 73 Chương 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 80 7.1 KẾT LUẬN .80 7.2 HƯỚNG PHÁT TRIỂN 81 TÀI LIỆU THAM KHẢO 82 Trang ix DANH SÁCH CÁC BẢNG BẢNG TRANG Bảng 1.1: Kế hoạch thực đề tài .20 Bảng 3.1: Bảng thống kê thực nghiệm tầm nhìn camera Kinect 32 Trang x DANH SÁCH CÁC HÌNH HÌNH TRANG Hình 2.1: Hệ toạ độ Descartes Oxy với hai điểm A,B .22 Hình 2.2: Hệ toạ độ Descartes Oxyz với hai điểm A,B 22 Hình 2.3:Hai hệ tọa độ Descartes 𝑂𝑥𝑦𝑧 𝑂′𝑥′𝑦′𝑧′ 23 Hình 2.4: Mật độ xác suất kết hợp hai ước lượng .27 Hình 3.1: Ba tác vụ robot tự hành 28 Hình 3.2: Sơ đồ khối hệ thống vẽ đồ 3D cho robot tự hành 29 Hình 3.3: Hình ảnh camera Kinect 31 Hình 3.4:Các thành phần cảm biến Kinect 32 Hình 3.5: Lược đồ thể mối quan hệ độ sâu với độ sai lệch 33 Hình 3.6: Dữ liệu ảnh 2D thu từ camera Kinect .35 Hình 3.7: Camera Kinect lấy thông tin độ sâu điểm ảnh 35 Hình 3.8: Hệ trục tọa độ Descartes ảnh 3D .36 Hình 3.9: Ảnh RGB khung cảnh phịng học chụp từ hai góc khác camera Kinect 37 Hình 3.10: Ảnh hai đám mây 3D chụp từ hai góc máy tương ứng khác phòng học 37 Hình 4.1:Các phiên ảnh vật mẫu tương ứng với hệ số 𝑘 σ 39 Hình 4.2:Các phiên ảnh sai khác𝐷𝑥, 𝑦, 𝑘𝜎 tương ứng với hệ số 𝑘 σ .40 Hình 4.3:Hai mươi sáu vị trí so sánh với vị trí X để tìm 40 Hình 4.4:16x16 điểm ảnh xung quanh điểm đặc trưng vector Gradient tương ứng cho điểm ảnh 41 Hình 4.5:Các vector Gradient thống kê thành giá trị góc quay khác 42 Hình 4.6: Các điểm đặc trưng khung cảnh phịng học xác định thuật tốn SIFT 43 Hình 4.7: Các điểm đặc trưng tương đồng hai ảnh RGB chụp từ hai góc khác phịng học 45 Trang xi Hình 5.1: Hai đám mây nằm hai hệ trục tọa độ khác có điểm x tương đồng 46 Hình 5.2: Hai đám mây có điểm tương đồng x ghép với .48 Hình 5.3:Các cặp điểm đặc trưng tương đồng hai đám mây 3D chụp từ hai góc khác phòng học 49 Hình 5.4: Các điểm tương đồng mây 3D ghép với ma trận chuyển đổi 49 Hình 5.5: Cách ghép cặp điểm tương đồng bốn đám mây 3D lại với 50 Hình 5.6: Bản đồ 3D góc phịng học bị lỗi sai số cộng dồn 51 Hình 5.7: Bản đồ 3D góc phịng học giảm thiểu sai số cộng dồn lọc Kalman với tín hiệu encoder giả lập 53 Hình 5.8: Mơ hình khái qt robot chuyển động với hai bánh xe 53 Hình 6.1: Ảnh mặt trước mơ hình robot 57 Hình 6.2: Ảnh mặt bên mơ hình robot .58 Hình 6.3: Ảnh RGB phịng chụp từ hai góc khác 58 Hình 6.4: Ảnh mây 3D kết hợp từ ảnh RGB ảnh độ sâu phòng 59 Hình 6.5: Các điểm đặc trưng ảnh RGB bên trái 60 Hình 6.6: Điểm đặc trưng ảnh RGB bên phải 60 Hình 6.7: Điểm đặc trưng ảnh RGB kết hợp hai ảnh RGB bên trái bên phải 61 Hình 6.8: Các cặp điểm tương đồng hai ảnh RGB 61 Hình 6.9: Các cặp điểm tương đồng hai đám mây điểm 3D .62 Hình 6.10: Các cặp điểm tương đồng ghép với để tạo đám mây 3D lớn .63 Hình 6.11: Ma trận chuyển đổi tính tốn để dịch đám mây bên phải đến đám mây bên trái .63 Hình 6.12: Bản đồ 3D đường chi tiết robot di chuyển phịng phịng thí nghiệm 64 Hình 6.13: Khơng gian đường thẳng chi tiết robot 65 Trang xii Hình 6.14: So sánh số lượng cặp điểm đặc trưng tương đồng ảnh RGB mây 3D robot di chuyển thẳng khơng gian chi tiết 66 Hình 6.15: Thống kê thời gian xử lý thuật tốn tính từ lúc kết hợp hai ảnh RGB ảnh độ sâu tới lúc ghép xong cặp mây 3D robot di chuyển thẳng không gian chi tiết 66 Hình 6.16: Khơng gian di chuyển đường cong chi tiết robot 67 Hình 6.17: So sánh số lượng cặp điểm đặc trưng tương đồng ảnh RGB mây 3D robot di chuyển cong không gian chi tiết 68 Hình 6.18: Thống kê thời gian xử lý thuật toán tính từ lúc kết hợp hai ảnh RGB ảnh độ sâu tới lúc ghép xong cặp mây 3D robot di chuyển cong khơng gian chi tiết 68 Hình 6.19: Bản đồ 3D đường nhiều chi tiết robot di chuyển phịng phịng thí nghiệm .69 Hình 6.20: Khơng gian đường thẳng nhiều chi tiết robot 70 Hình 6.21: So sánh số lượng cặp điểm đặc trưng tương đồng ảnh RGB mây 3D robot di chuyển thẳng không gian nhiều chi tiết 70 Hình 6.22: Thống kê thời gian xử lý thuật tốn tính từ lúc kết hợp hai ảnh RGB ảnh độ sâu tới lúc ghép xong cặp mây 3D robot di chuyển thẳng không gian nhiều chi tiết 71 Hình 6.23: Khơng gian đường cong nhiều chi tiết robot .71 Hình 6.24: So sánh số lượng cặp điểm đặc trưng tương đồng ảnh RGB mây 3D robot di chuyển cong không gian nhiều chi tiết 72 Hình 6.25: Thống kê thời gian xử lý thuật tốn tính từ lúc kết hợp hai ảnh RGB ảnh độ sâu tới lúc ghép xong cặp mây 3D robot di chuyển thẳng không gian nhiều chi tiết 72 Hình 6.26: Bản đồ 3D đường robot di chuyển phịng khơng dùng lọc Kalman 73 Hình 6.27: Bản đồ 3D đường robot di chuyển phịng có dùng lọc Kalman góc thứ 74 Trang xiii Hình 6.28: Bản đồ 3D đường robot di chuyển phòng có dùng lọc Kalman góc thứ hai 74 Hình 6.29: Bản đồ 3D đường robot di chuyển phịng có dùng lọc Kalman góc thứ ba 75 Hình 6.30: Thống kê giá trị tọa độ X robot .76 Hình 6.31: Thống kê giá trị tọa độ Y robot .76 Hình 6.32: Thống kê giá trị tọa độ Z robot 77 Hình 6.33: Bản đồ 3D phịng kín góc nhìn thứ 78 Hình 6.34: Bản đồ 3D phịng kín góc nhìn thứ hai 78 Hình 6.35: Bản đồ 3D phịng kín góc nhìn thứ ba 79 Hình 6.36: Bản đồ 3D phịng kín góc nhìn thứ tư 79 Trang xiv So sánh số lượng điểm đặc trưng hai ảnh RGB hai đám mây 3D liên tiếp Số lượng điểm đặc trưng 300 250 200 150 100 50 Các cặp ảnh mây 3D liên tiếp Điểm đặc trưng ảnh RGB Điểm đặc trưng mây 3D Hình 6.17: So sánh số lượng cặp điểm đặc trưng tương đồng ảnh RGB mây 3D robot di chuyển cong khơng gian chi tiết S O S Á N H TH Ờ I G I A N G H É P H A I Đ Á M MÂ Y Thời gian (ms) 6570 4850 418041804030 3920 3820 3780 3640358035503520350035103530 35803550 3520350035103530 Số lượng điểm đặc trưng ảnh RGB Hình 6.18: Thống kê thời gian xử lý thuật tốn tính từ lúc kết hợp hai ảnh RGB ảnh độ sâu tới lúc ghép xong cặp mây 3D robot di chuyển cong không gian chi tiết Trang 68 6.7.2 Kết với lối có nhiều chi tiết Đối với khơng gian di chuyển lối có nhiều chi tiết cách thêm vật dụng vào lối đồ không gian lối xây dựng lên hình 6.19 Ta di chuyển robot di chuyển theo hai phương pháp tịnh tiến xoay đồ có hai phần tương ứng với hai phương pháp di chuyển Ta thấy phần đồ robot di chuyển tịnh tiến chất lượng ghép trì tốt phần đồ robot di chuyển xoay khắc phục lỗi tường bị gãy Hình 6.19: Bản đồ 3D đường nhiều chi tiết robot di chuyển phịng phịng thí nghiệm Với lối thẳng nhiều chi tiết hình 2.20 người đo đạt chụp 21 ảnh RGB 21 ảnh độ sâu tương ứng Thuật tốn SIFT tìm điểm đặc trưng ảnh RGB mây 3D thống kê hình 6.21 Các cặp điểm đặc trưng tương đồng mây 3D hai mây liên tiếp dao động từ 16 cặp điểm đến 89 cặp điểm Số điểm đặc trưng cặp ảnh RGB liên tiếp dao động từ 1824 điểm đến 3650 điểm, lớn nhiều trường hợp lối chi tiết Tổng số lượng điểm đặc trưng 54869 điểm Thời gian xử lý thuật toán lâu hơn, dao động từ 4660 ms đến 6110 ms, tổng thời gian xử lý 112.970 ms Trang 69 Hình 6.20: Khơng gian đường thẳng nhiều chi tiết robot So sánh số lượng điểm đặc trưng hai ảnh RGB hai đám mây 3D liên tiếp Số lượng điểm đặc trưng 400 350 300 250 200 150 100 50 Các cặp ảnh mây 3D liên tiếp Điểm đặc trưng ảnh RGB Điểm đặc trưng mây 3D Hình 6.21: So sánh số lượng cặp điểm đặc trưng tương đồng ảnh RGB mây 3D robot di chuyển thẳng không gian nhiều chi tiết Khi robot di chuyển xoay khơng gian nhiều chi tiết hình 6.23 camera Kinect chụp 21 ảnh RGB 21 ảnh độ sâu tương ứng Số lượng cặp điểm đặc trưng tương đồng mây 3D theo thống kê hình 6.24 dao động từ 97 điểm Trang 70 S O S Á N H TH Ờ I G I A N G H É P H A I Đ Á M MÂ Y Thời gian (ms) 5710 4730466047204840 50905110 5530 526053905400 5770 6070 5630 5370532053505410 56805820 6110 Số lượng điểm đặc trưng ảnh RGB Hình 6.22: Thống kê thời gian xử lý thuật tốn tính từ lúc kết hợp hai ảnh RGB ảnh độ sâu tới lúc ghép xong cặp mây 3D robot di chuyển thẳng khơng gian nhiều chi tiết đến 287 điểm Ta thấy số lượng cặp điểm tương đồng tăng lên so với khơng gian chi tiết nên tường xây dựng bị lỗi khắc phục Số lượng điểm đặc trưng hai ảnh RGB liên tiếp nằm khoảng từ 918 điểm đến 1292 điểm tổng điểm đặc trưng 19.327 điểm Thời gian xử lý thuật toán nằm khoảng từ 4020 ms đến 4840 ms tổng thời gian xử lý 92.300 Hình 6.23: Khơng gian đường cong nhiều chi tiết robot Trang 71 So sánh số lượng điểm đặc trưng hai ảnh RGB hai đám mây 3D liên tiếp Số lượng điểm đặc trưng 350 300 250 200 150 100 50 Các cặp ảnh RGB mây 3D liên tiếp Điểm đặc trưng ảnh RGB Điểm đặc trưng mây 3D Hình 6.24: So sánh số lượng cặp điểm đặc trưng tương đồng ảnh RGB mây 3D robot di chuyển cong không gian nhiều chi tiết S O S Á N H TH Ờ I G I A N G H É P H A I Đ Á M MÂ Y 4770 473048404690 4710 44404450 43804230428042604280444045404430 4370 4230 4210 41004020 Thời gian (ms) 4820 Số lượng điểm đặc trưng ảnh RGB Hình 6.25: Thống kê thời gian xử lý thuật toán tính từ lúc kết hợp hai ảnh RGB ảnh độ sâu tới lúc ghép xong cặp mây 3D robot di chuyển thẳng không gian nhiều chi tiết Trang 72 6.8 Tối ưu hóa đồ 3D lọc Kalman Hình 6.26 ảnh đồ 3D đường robot mơi trường phịng khơng sử dụng lọc Kalman Ta thấy phần robot dịch chuyển xoay đồ xảy lỗi trình ghép Bức tường bên phải bị gãy phần bên trái phòng ghép sai tọa độ Nguyên nhân lổi số lượng điểm tương đồng hai đám mây liên tiếp vị trí xảy lỗi khơng đủ để tính tốn ma trận chuyển đổi Các giá trị phần tử ma trận xác định dẫn đến việc ghép hai đám mây không gần Giá trị sai ma trận chuyển đổi ảnh hưởng đến toàn ma trận chuyển đổi tính tốn sau nên ta thấy phần tường bên trái ghép thẳng lại hướng xuống Để tránh trường hợp lọc Kalman áp dụng với vị trí robot giả lập tín hiệu encoder Hình 6.27, 6.28, 6.29 đồ đường áp dụng lọc Kalman góc khác Ta thấy lỗi bị ghép sai khắc phục Khi số cặp điểm tương đồng 3D không đủ để tính tốn ma trận chuyển đổi lọc Kalman dung ma trận chuyển đổi lấy từ tín hiệu giả lập encoder Hình 6.26: Bản đồ 3D đường robot di chuyển phịng khơng dùng lọc Kalman Trang 73 Hình 6.27: Bản đồ 3D đường robot di chuyển phòng có dùng lọc Kalman góc thứ Hình 6.28: Bản đồ 3D đường robot di chuyển phịng có dùng lọc Kalman góc thứ hai Trang 74 Hình 6.29: Bản đồ 3D đường robot di chuyển phịng có dùng lọc Kalman góc thứ ba Ngồi lọc Kalman cịn khắc phục lỗi sai số tích lũy q trình tính tốn ma trận chuyển đổi Hình 6.30 thống kê giá trị tọa độ x robot di chuyển theo đường thẳng, lần robot dịch chuyển 30 cm theo hướng phía trước camera Kinect Với 21 lần chụp ảnh RGB ảnh độ sâu ta xác định 21 tọa độ khác robot ứng với vị trí khác Đường màu nâu tọa độ chuẩn robot di chuyển theo đường thẳng người thực nghiệm quy định Vì robot di chuyển thẳng phía trước camera Kinect theo hướng trục Z nên tọa độ X robot có giá trị vị trí Đường màu xanh giá trị tọa độ X robot tính tín hiệu giả lập encoder Đường màu xanh dương giá trị tọa độ X robot tính từ tọa độ điểm tương đồng Ta thấy đường màu xanh dương có xu hướng xa đường màu nâu sai số cộng dồn Đường màu tím với lọc Kalman tối ưu hóa đường màu xanh dương đường màu xanh ta thấy gần Trang 75 đường màu nâu Chứng tỏ sai số vị trí cùa robot giảm thiểu nhờ lọc Kalman tín hiệu encoder Thống kê tọa độ X robot 0.4 0.3 Giá trị tọa độ X 0.2 0.1 -0.1 -0.2 -0.3 Tính điểm tương đồng Tọa độ chuẩn Tính encoder Tối ưu Kalman Hình 6.30: Thống kê giá trị tọa độ X robot Thống kê tọa độ Y robot 0.6 Giá trị tọa dộ Y 0.5 0.4 0.3 0.2 0.1 -0.1 Tính điểm tương đồng Tọa độ chuẩn Tính encoder Tối ưu Kalman Hình 6.31: Thống kê giá trị tọa độ Y robot Trang 76 Tương tự ta có đồ thị thống kê tọa độ Y robot vị trí tương ứng tính từ tọa điểm tương đồng đường màu xanh dương, tín hiệu encoder đường màu xanh thuật toán lọc Kalman đường màu tím hình 6.31 Vì robot di chuyển mặt phẳng sàn phòng nên độ cao robot di chuyển không đổi, mà giá trị tọa độ Y robot vị trí đo đạt Ta thấy đường màu tím có nằm gần với đường màu nâu vị trí tốt robot Trong hình 6.32 thống kê tọa độ Z robot, robot dich chuyển thẳng qua 21 vị trí theo hướng trục Z, vị trí cách 30 cm nên giá trị tọa độ Z robot thống kê đường thẳng biến thiên liên tục màu nâu Ta thấy đường màu xanh dương có khoảng cách xa đường màu nâu đường màu tím Qua ba đồ thị ta thấy lọc Kalman giảm thiểu sai số cộng dồn tính tốn ma trận chuyển đổi đám mây 3D Hình 6.33, 6.34, 6.35, 6.36 ảnh đồ 3D với góc nhìn khác phịng kín Thống kê tọa độ Z robot Giá trại tọa độ Z Tính điểm tương đồng Tọa độ chuẩn Tính encoder Tối ưu Kalman Hình 6.32: Thống kê giá trị tọa độ Z robot Trang 77 Hình 6.33: Bản đồ 3D phịng kín góc nhìn thứ Hình 6.34: Bản đồ 3D phịng kín góc nhìn thứ hai Trang 78 Hình 6.35: Bản đồ 3D phịng kín góc nhìn thứ ba Hình 6.36: Bản đồ 3D phịng kín góc nhìn thứ tư Trang 79 Chương 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 7.1 KẾT LUẬN Hiện đề tài xây dựng xong phần khí mơ hình robot có gắn camera Kinect để phục vụ cho việc di chuyển đo đạt thực tế Đề tài trình bày sở lý thuyết bước chi tiết thực việc phương pháp vẽ đồ 3D sử dụng camera RGB-D Từng khung ảnh 2D xử lý thuật tốn SIFT để tìm điểm tương đồng xác định cặp điểm đặc trưng tương ảnh RGB mây 3D liên tiếp Các mây 3D ghép với thành khơng gian 3D hồn chỉnh khơng gian di chuyển nhà Cảm biến RGB-D có giá thành rẻ nhiều so với cảm biến 3D loại, có khả quan sát tương tự mắt người, thuật tốn sử dụng cảm biến RGB-D để xác định không gian di chuyển có ứng dụng rộng rãi lĩnh vực nhận dạng định vị không gian robot tự hành Đề tài đề xuất phương pháp tối ưu hóa độ xác việc tính tốn ma trận chuyển đổi lọc Kalman với tín hiệu encoder giả lập Với phương pháp sai số cộng dồn q trình tính tốn ma trân chuyển đổi nhiều đám mây liên tiếp giảm thiểu Tọa độ robot xác định cách xác chất lượng ghép đám mây lại với nâng cao Ngoài với lọc Kalman tín hiệu encoder phương pháp cịn khắc phục trường hợp camera Kinect khơng tìm tối thiểu cặp điểm mây 3D đặc trưng tương đồng để tính tốn ma trận chuyển đổi hai đám mây 3D trình bày Đề tài thực nghiệm vẽ đồ 3D cho phòng học chi tiết nhiều chi tiết Với lần thực nghiệm người nghiên cứu đo đạt robot di chuyển tịnh tiến theo đường thẳng di chuyển xoay để khảo sát hết chuyển động phổ biến mơ hình robot Qua thực nghiệm ta thấy chất lượng đồ vẽ lên tốt với thuật tốn trình bày Trang 80 7.2 HƯỚNG PHÁT TRIỂN Qua trình thực nghiệm người nghiên cứu nhận thấy tổng thời gian tính từ lúc thu thập liệu đến lúc ghép hoàn chỉnh cặp mây 20s Nên đề tài chưa đáp ứng thời gian thực để áp dụng vào điều khiển robot Thời gian xử lý chương trình chủ yếu tập trung thời gian đọc ghi tập tin liệu lên ổ cứng từ, thời gian lâu nên cải tiến dùng máy tính trang bị ổ cứng SSD có dung lượng RAM lớn để cải thiện thời gian đọc ghi tập tin Như trình bày phần kết đánh giá thời gian xử lý thuật toán chủ yếu tập trung bước tìm điểm đặc trưng thuật tốn SIFT ảnh RGB nên ta dùng phương pháp tìm điểm đặc trưng khác có tốc độ xử lý nhanh thuật toán SURF Bản đồ vẽ lên số điểm mây nhiễu, điểm mây sai Kinect chụp trình thu thập Các điểm mây lỗi cần lọc bỏ nên tương lai người nghiên cứu tìm hiểu phương pháp lọc điểm mây Hiện đề tài dùng tín hiệu giả lập encoder để áp dụng cho lọc Kalman nên để hoàn thiện ứng dụng vẽ đồ người nghiên cứu phát triển thêm mô đun đọc encoder áp dụng phương trình động lực học cho hai bánh xe robot để tìm vị trí robot Trang 81 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] Peter Henry, M.K., Evan Herbst, Xiaofeng Ren, Dieter Fox, RGB-D Mapping: Using depth cameras for dense 3D modeling of indoor environments the 12th International Symposium on Experimental Robotics, 2010 Chen, L.C., N.V Thai, and H.I Lin Real-time 3-D feature detection and correspondence refinement for indoor environment-mapping using RGB-D cameras in Industrial Electronics (ISIE), 2013 IEEE International Symposium on 2013 Thai, N.V and L.C Chen In-situ indoor 3-D land mapping and radioactive source localization in 2013 IEEE/ASME International Conference on Advanced Intelligent Mechatronics 2013 Stephen Se, D.L., Jim Little, Local and Global Localization for Mobile Robots using Visual Landmarks International Conference on Intelligent Robots and Systems, 2001: p Yin-Tien Wang, C.-A.S., Jr-Syu Yang, Calibrated Kinect Sensors for Robot Simultaneous Localization and Mapping International Conference on Sensing Technology, 2014: p 104 Kamarulzaman Kamarudin, S.M.M., Ali Yeon Md Shakaff, Shaharil Mad Saad, Ammar Zakaria, Abu Hassan Abdullah and Latifah Munirah Kamarudin, Method to Convert Kinect’s 3D Depth Data to a 2D Map for Indoor SLAM Centre of Excellence for Advanced Sensor Technology, 2013: p 15 Pbarrett, Euclidean Distance The Technical Whitepaper Vol 2005: Pbarrett Greg Welch, G.B., An Introduction to the Kalman Filter 2006 Nourbakhsh, R.S.a.I.R., Introduction to Autonomous Mobile Robots 2004: A Bradford Book The MIT Press Cambridge, Massachusetts London, England Stachniss, C., Robotic Mapping and Exploration Springer Tracts in Advanced Robotics, ed B.S.O.K.F Groen Vol 55 2009: Springer 206 M.R Andersen, T.J., P Lisouski, A.K Mortensen, M.K Hansen, T Gregersen and P Ahrendt, Kinect Depth Sensor Evaluation for Computer Vision Applications Technical report ECE-TR-6, 2012: p 37 Khoshelham, K., ACCURACY ANALYSIS OF KINECT DEPTH DATA International Archives of the Photogrammetry, 2011 38: p 134 Nguyen Tan Nhu, N.T.H., Nguyen Thi Lưong, Landmark-Based Robot Localization Using a Stereo Camera System American Journal of Signal Processing, 2015: p 40 Lowe, D.G., Distinctive Image Features from Scale-Invariant Keypoints International Journal of Computer Vision, 2004: p Jenkin, G.D.a.M., Computational Principles of Mobile Robotics Vol 2010: United States of America 39 Trang 82 ... nghiên cứu đề tài Với tính cấp thiết đề tài người nghiên cứu lựa chọn đề tài ? ?Tối ưu hóa đồ 2D với lọc Kalman dùng camera nổi? ?? làm đề tài tốt nghiệp thạc sĩ chuyên ngành Điện-Điện Tử Với mục đích... lên nên hội tụ ưu điểm đồ 2D riêng rẻ mà cịn có ưu điểm việc kết hợp đồ 2D với Và thực tế đồ 3D có ứng dụng đồ 2D nên cụ thể đề tài xây dựng hệ thống đồ 3D cho robot tự hành thay đồ 2D Người nghiên... lại với Để giảm thiểu sai số cộng dồn vị trí ta dùng lọc Kalman để tối ưu hóa vị trí robot tối ưu hóa ma Trang 51 trận chuyển đổi Giúp ma trận chuyển đổi xác kết ghép mây xác Áp dụng lọc Kalman