Khôi phục không gian 3d trong nhà sử dụng cảm biến kinnect

MỤC LỤC Danh sách bảng i Danh sách hình ii CHƯƠNG DẪN NHẬP 1.1 Đặt vấn đề 1.2 Lý chọn đề tài 1.3 Nội dung nghiên cứu 10 1.4 Giới hạn đề tài 10 1.5 Bố cục 11 CHƯƠNG CƠ SỞ LÍ THUYẾT 12 2.1 Kinect 12 2.1.1 Giới thiệu chung 12 2.1.2 Những thành phần Kinect 13 2.1.3 Tính toán độ sâu 14 2.1.4 Một số đặc tính khác 17 2.2 Tổng quan Robot Operating System (ROS) 19 2.3 Tổng quan Point Cloud Library (PCL) 20 2.4 Mô tả 3D 21 2.5 Thuật toán voxel and downsampling 22 2.6 Thuật toán NARF 23 2.7 Thuật toán normal 25 2.8 Thuật tốn mơ tả FPH 26 2.9 Thuật toán K-d tree FLANN 28 CHƯƠNG PHƯƠNG PHÁP – KẾT QUẢ THỰC HIỆN 30 3.1 Sơ đồ khối 30 3.2 Thu thập liệu 31 3.3 Lọc giảm mẫu 33 3.4 Tìm điểm đặc trưng 35 3.5Mô tả đám mây điểm 37 3.6 Tìm – kết nối điểm tương đồng 37 3.7 Dịch chuyển xoay để ghép đám mây điểm với 38 CHƯƠNG KẾT LUẬN - HƯỚNG PHÁT TRIỂN 42 4.1 Kết luận 42 4.2 Hướng phát triển 42 TÀI LIỆU THAM KHẢO 43 DANH SÁCH CÁC BẢNG BẢNG TRANG Bảng 2.1 Bảng thông số so sánh tiêu chuẩn hai camera 18 Bảng 2.2 Bảng công suất adapter 18 i DANH SÁCH CÁC BẢNG HÌNH TRANG Hình 2.1 Thiết bị Kinect 12 Hình 2.2 Những thành phần Kinect 13 Hình 2.3 Bên Kinect 14 Hình 2.4 Quá trình thu đồ độ sâu ảnh 14 Hình 2.5 Mẫu hình chiếu projecter chụp lại camera hồng ngoại 15 Hình 2.6 Tính tốn khoảng cách tới điểm chiếu từ Projector 16 Hình 2.7 Kinect adapter 18 Hình 2.8 Hệ thống ROS đơn giản 19 Hình 2.9 Biểu tượng PCL 20 Hình 2.10 Tìm kiếm tính mơ tả 3D 22 Hình 2.11.a Trước lọc 23 Hình 2.11.b Sau lọc 23 Hình 2.12 Biểu đồ biểu diễn lượng điểm trước sau lọc 23 Hình 2.13 Ảnh trước sau tìm điểm đặc trưng sử dụng thuật tốn NARF 24 Hình 2.14 Vector normal biễu diễn hướng mặt phẳng 25 Hình 2.15 Vector normal mặt phẳng 26 Hình 2.16 Các đặc tính góc, cạnh cặp điểm ps pt 27 Hình 2.17 Sơ đồ tác động điểm FPH 27 Hình 2.18 Ví dụ FPH hai điểm đại diện đám mây 28 Hình 2.19 Khơng gian biểu diễn thuật toán K-d tree FLANN 29 Hình 3.1 Kết nối Kinect với máy tính adapter 31 Hình 3.2 Kết nối Kinect với máy tính thành cơng 31 Hình 3.3 Giao diện chụp ảnh Kinect 32 Hình 3.4 Khơng gian làm việc tảng ROS 32 Hình 3.5 Hình ảnh chụp từ Kinect 33 Hình 3.6 Bức ảnh gốc trước lọc giảm mẫu với 322171 điểm 34 Hình 3.7 Ảnh sau lọc giảm mẫu 121878 điểm 34 Hình 3.8 Ảnh sau lọc giảm mẫu 10931 35 Hình 3.9 Keypoint ảnh 36 Hình 3.10 Điểm đặc trưng ảnh 36 Hình 3.11Mơ tả điểm đám mây thuật toán FPH 37 ii Hình 3.12 Các điểm đặc trưng ghép cặp với 37 Hình 3.13 Đám mây điểm ảnh 38 Hình 3.14 Đám mây điểm ảnh giảm mẫu 39 Hình 3.15 Hai đám mây điểm hệ tọa độ 39 Hình 3.16 Ma trận chuyển tọa độ 40 Hình 3.17 Hai đám mây điểm trình ghép với 40 Hình 3.18 Kết trình ghép hai ảnh 41 iii TĨM TẮT Theo dự đốn tương lai, robot tâm điểm cách mạng lớn sau Internet Con người có nhu cầu sở hữu robot cá nhân nhu cầu máy tính Với xu hướng này, ứng dụng truyền thống khác robot công nghiệp, y tế, giáo dục đào tạo, giải trí đặc biệt an ninh quốc gia thị trường robot vô to lớn Đề tài luận văn hướng đến việc ứng dụng cơng nghệ xử lí ảnh 3D cho robot tự hành, tạo tiền đề cho việc xây đồ không gian 3D phục vụ lĩnh vực cần thiết công nghiệp sống Trong thời gian nghiên cứu có giới hạn nên đề tài thực phần trọng tâm để đến kết sớm Thứ nhất, phần sở lý thuyết, trình bày trọng tâm phần có liên quan đến việc tạo khơng gian 3D nhằm giúp cho người đọc tiếp thu hiểu nhanh lý thuyết mà nhóm sinh viên chúng tơi chọn lọc lại tìm hiểu Bao gồm: sơ lược cấu tạo hoạt động cảm biến Kinect, hệ điều hành robot - Robot Operating System (ROS), thư viện xử lý ảnh 3D Point Cloud Library (PCL), thuật tốn mơ tả 3D, SHOT, NARF, RIFT, FPH… Thứ hai trình bày bước thực cụ thể q trình xây dựng khơng gian 3D với kết trực quan mà nhóm thực Trong phần này, định hướng cách xây dựng không gian 3D thông qua sơ đồ khối Sau đó, thu thập liệu kinect để tạo liệu đầu vào cho q trình phân tích: lọc giảm mẫu, tìm điểm đặc trưng, mơ tả đám mây điểm để tạo sở nhận diện kết nối điểm tương đồng cuối dịch chuyển xoay để ghép đám mây điểm với sở để tạo không gian 3D liền lạc từ khung ảnh 3D rời rạc Cuối cùng, phần kết luận hướng phát triển đề tài để tự rút kết thực được, chưa thực được, hạn chế khuyết điểm q trình nghiên cứu từ hồn thiện đề tài có phát triển cao nhằm phục vụ cho người Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Chương 1: DẪN NHẬP 1.1 ĐẶT VẤN ĐỀ Trước tiên cần xét số đề tài liên quan: Đề tài 1: Implementing Kinect Sensor for Building 3D Map Indoor Environment [1] Ưu điểm đề tài khôi phục không gian phịng nhà, giải thích cặn kẽ bước thực cần làm làm nào, thích hợp cho người tìm hiểu Kinect Nhược điểm: đề tài chưa xử lý khơng gian phịng phức tạp, chứa đựng nhiều vật dụng khơng gian phịng nhiều hạn chế khoảng cách Đề tài 2: Robot tự hành tránh vật cản sử dụng thiết bị Kinect [7] Ưu điểm: sử dụng công dụng Kinect đưa vào mơ hình thực tiễn, có tính thực tiễn cao Nhược điểm: cịn khó khăn q trình vận hành chưa có phương hướng cụ thể tầm nhìn cho robot tránh vật cản, cịn hạn chế việc dò đường Đề tài 3: Ứng dụng Kinect nhận dạng vật thể sử dụng nhà Ưu điểm: nhận dạng vật thể cốc, sách, bình hoa khơng gian xác định Nhược điểm: chưa nhận dạng vật thể có kích thước lớn, lần nhận dạng vật thể nhiều vật thể 1.2 LÝ DO CHỌN ĐỀ TÀI Kế thừa có từ đề tài lấy làm tài liệu để nghiên cứu nhóm tiến hành chọn đề tài “Khôi phục không gian 3D nhà sử dụng cảm biến Kinect” Mục đích đề tài khơi phục hình ảnh 3D nhà từ hình ảnh chụp trước lấy làm cộng cụ để phục vụ sống SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Nhóm tiến hành thiết kế xây dựng mơ hình khơng gian 3D nhà.Thiết lập mơ hình kết nối Kinect với máy tính Kinect tiến hành thu thập liệu từ mơi trường mà cụ thể qt tồn khơng gian nhà Sau thơng qua việc kết nối truyền liệu máy tính tiến hành phân tích, ghép ảnh 3D từ liệu thu thập xây dựng mơ hình khơng gian 3D nhà Hình ảnh 3D vật phục hồi cơng nghệ xử lý Point Cloud 1.3 NỘI DUNG NGHIÊN CỨU Trong q trình nghiên cứu, nhóm thực bước cụ thể sau: 1- Tìm hiểu KINECT - thiết bị cảm biến ngoại vi sử dụng Point Cloud 2- Tìm hiểu ROS 3- Tìm hiểu Point Cloud 4- Thiết kế giao diện xây dựng mơ hình khơng gian 3D nhà lập trình xử lý 5- Kết nối Kinect với chương trình điều khiển 6- Lập trình kết nối Kinect để nhận dạng vật thể 7- Điều khiển thử nghiệm Kinect qt tồn khơng gian nhà 8- Chỉnh sửa lỗi điều khiển, lỗi lập trình gặp phải chương trình 9- Viết báo cáo luận văn 10- Báo cáo đề tài tốt nghiệp 1.4 GIỚI HẠN CỦA ĐỀ TÀI Đề tài dừng lại việc xây dựng mơ hình khơng gian 3D nhà nên cịn hạn chế việc tự động hóa di chuyển KINECT để qt tồn khơng gian nhà Đề tài dừng lại việc khơi phục hình ảnh nhà điều kiện ánh sáng tốt số lượng vật thể không nhiều 10 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect 1.5 BỐ CỤC Chương 1: Đặt vấn đề liên quan đến đề tài Tìm hiểu lý để chọn thực đề tài, hướng từ đến cụ thể mà nhóm sinh viên thực trình nghiên cứu đề tài Chương 2: Cơ sở lý thuyết Việc nghiên cứu cấu tạo phần cứng Kinect nguyên lý tạo ảnh 3D góp phần lớn vào việc thu thập liệu xử lý ảnh cho đề tài Cùng với việc tìm hiểu thư viện hỗ trợ Kinect đồng thời nắm rõ số câu lệnh thường sử dụng thư viện giúp cho việc hoàn chỉnh chương trình trở nên dễ dàng Chương 3: Phương pháp kết thực Các bước thực chi tiết, cụ thể trình bày rõ ràng tồn đề tài mà nhóm thực suốt thời gian qua Từ lí thuyết đến kết mà nhóm thực trải qua tìm tịi, lọc mang đến tảng tương đối vững cho người xem khái niệm ban đầu 3D Map Chương 4: Kết luận hướng phát triển Các kết đạt được, chưa đạt hướng phát triển 11 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Chương 2: CƠ SỞ LÍ THUYẾT 2.1 KINECT 2.1.1 Giới thiệu chung Hình 2.1 Thiết bị Kinect Kinect [3] sản phẩm Microsoft dựa công nghệ camera phát triển PrimeSense, sản phẩm bán Bắc Mỹ vào ngày tháng 11 năm 2010 Kinect coi thiết bị ngoại vi cho Xbox 360, cho phép giao tiếp với người thông qua cử chỉ, đem lại cảm giác thú vị cho người chơi game Xbox Khả hiểu cử người Kinect dựa hai đặc tính sau: thơng tin độ sâu (depth map), khả phát bám theo đặc tính thể người (body skeleton tracking) Bên cạnh phục vụ cho mục đích chơi game, sản phẩm Kinect cịn dùng vào mục đích nghiên cứu xử lý ảnh 3D, phát cử (gesture recognition), bám theo người (body tracking) nhiều mục đích khác Lý cho thành công sản phẩm Kinect giá rẻ (khoảng 140$ sản phẩm) cho thiết bị có khả cung cấp thông tin 3D với chất lượng chấp nhận 12 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Trong trường hợp vậy, mặt phẳng thiết lập giá trị x điểm Hình 2.19 Khơng gian biểu diễn thuật toán K-d tree FLANN 29 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Chương 3: PHƯƠNG PHÁP–KẾT QUẢ THỰC HIỆN 3.1 SƠ ĐỒ KHỐI Có thể tóm tắt q trình sau: Đầu tiên từ Kinect liệu lấy từ môi trường bên ngồi, cụ thể khơng gian nhà Sau có liệu đầu vào kích thước đám mây nhiều điểm nên khó cho việc xử lý xem không gian nên có khâu lọc giảm mẫu đám mây điểm Mục đích để giảm số lượng đám mây điểm lọc bỏ điểm không cần thiết Sau lọc giảm mẫu bước tìm điểm liệu, mục đích để xác định hướng liệu dễ dàng ghép nối liệu lại với Sau mơ tả điểm để làm bật điểm lên để dù có bị thay đổi hồn cảnh khơng bị Sau mơ tả để ghép nối liệu cần có 30 SVTH: Huỳnh Ln Đơ Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect tương đồng liệu, điểm đặc trưng bị thay đổi tọa độ, thực chất điểm Sau cùng, dùng ma trận dịch xoay để ghép điểm tương đồng lại với Cứ ta khơng gian hồn chỉnh việc ghép nối hình ảnh lại với nhau, toàn nội dung luận văn 3.2 THU THẬP DỮ LIỆU Do Kinect máy ảnh thông thường nên việc chụp ảnh cần số yêu cầu như: Cấp nguồn kết nối Kinect với máy tính Hình 3.1 Kết nối Kinect với máy tính adapter Sau kết nối phần cứng ta cần sử dụng dịng lệnh [3] kết nối thành cơng Kinect với máy tính Hình 3.2 giao diện thông báo kết nối thành cơng máy tính với Kinect Kinect sẵn sàng hoạt động Hình 3.2 Kết nối Kinect với máy tính thành công 31 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Sau kết nối thành công, ta tiến hành chụp ảnh nguồn thông qua chương trình chụp ảnh máy tính với tương tác nhấn nút máy tính mà ta đặt sẵn (ở phím R) Như Hình 3.3, cửa sổ 3D Viewer cửa sổ để xem hình ảnh thu từ Kinect, dùng để điều chỉnh góc khung cảnh cần chụp Cửa sổ my_cloud_viewer cửa sổ dùng để tương tác nhấn nút lưu khung cảnh từ máy tính sau chọn khung cảnh phù hợp Hình 3.3 Giao diện chụp ảnh Kinect Sau tiến hành chụp liệu lưu dạng file pcd nằm không gian làm việc ROS Hình 3.4 Khơng gian làm việc tảng ROS 32 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Dữ liệu hình ảnh khác phải có điểm chung định chụp vị trí khác phòng phải đảm bảo đủ điều kiện phải bao qt hết tồn phịng Ảnh từ liệu ảnh màu thực tế, nhiên hạn chế với vật thể có cường độ ánh sáng lớn điểm mà ảnh chụp nơi có ánh sáng lớn khơng nhìn rõ Hình 3.5 Hình ảnh chụp từ Kinect Dữ liệu thu thập không gian phịng trống Từ cảm biến Kinect nhóm sinh viên tiến hành chụp khơng gian xung quanh phịng để làm liệu đầu vào Hình 3.5 liệu đầu vào sau chụp Thuật tốn mơ tả 3D thực việc để đảm bảo tính chất liệu không gian 3.3 LỌC VÀ GIẢM MẪU Sau có liệu đầu vào, việc lọc giảm mẫu cho hình ảnh mà chụp Mục đích giảm bớt điểm thừa không cần thiết làm cho đám mây điểm cịn lại để tiện lợi cho việc xử lý ảnh sau 33 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Những đám mây điểm chụp từ Kinect liệu nguồn vào chương trình chúng ta, sau thơng qua bước xử lý hàm voxel and downsampling loại bỏ điểm không cần thiết.ta dùng thuật toán voxel and downsampling để làm việc Hình 3.6 Bức ảnh gốc trước lọc giảm mẫu với 322171 điểm Sau lọc giảm mẫu đám mây điểm với số lượng điểm giảm nhìn thấy rõ Những điểm nhỏ hình điểm ảnh Hình 3.7 Ảnh sau lọc giảm mẫu cịn 121878 điểm 34 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Kích thước lấy mẫu điểm ảnh thay đổi Ví dụ Hình 3.7 trên, kích thước lấy mẫu khoảng cách điểm 3mm tương ứng với khoảng cách trục tọa độ khơng gian Với Hình 3.8 ta lấy mẫu với kích thước 5mm Hình 3.8 Ảnh sau lọc giảm mẫu 10931 điểm Như vậy, ta thấy lấy mẫu vật thể thay đổi tùy thuộc vào việc xử lý người mà lấy mẫu cho phù hợp.Khoảng cách điểm lớn số lượng điểm đám mây nhỏ 3.4 TÌM ĐIỂM ĐẶC TRƯNG Sau lọc giảm mẫu tìm điểm đặc trưng Một vật thể có điểm đặc trưng để tạo nên tính chất đặc trưng ảnh việc cần làm tìm điểm để tiến hành mơ tả Trong q trình tìm kiếm điểm đặc trưng tất điểm không bị không thay đổi tính chất Thuật tốn riêng NARF giúp giải vấn đề cách tối ưu Khi đó, điểm đặc trưng xác định cách tính khoảng cách từ cảm biến đến vật Mỗi khoảng cách tập hợp nhiều điểm mặt phẳng tập hợp nhiều điểm cần thống lại điểm có tính chất phương chiều độ lớn điểm điểm đặc trưng ảnh 35 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Tương tự xét cho điểm có chung khoảng cách đến cảm biến ta có nhiều điểm đặc trưng cho ảnh Hình 3.9 Keypoint ảnh Mỗi chấm trịn đỏ Hình 3.9 điểm đặc trưng ta tìm thuật tốn NARF Hình 3.10 Điểm đặc trưng ảnh Từ ta thấy kích thước hình cầu điểm đặc trưng khác Những hình cầu điểm đặc trung có kích thước nhỏ có đặc trưng mang tính xác cao 36 SVTH: Huỳnh Ln Đơ Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect 3.5 MÔ TẢ ĐÁM MÂY ĐIỂM Mơ tả điểm đặc trưng tìm tương đồng vật thể sau tìm điểm đặc trưng vật thể, điều thực thuật tốn FPH Hình 3.11: Mơ tả điểm đám mây thuật toán FPH 3.6 TÌM – KẾT NỐI ĐIỂM TƯƠNG ĐỒNG Sau thực việc mơ tả tính tốn cho điểm đặc trưng đám mây, phải tìm kiếm điểm tương ứng phù hợp với điểm đó, việc tìm kiếm điểm tương ứng lưu trữ sở liệu đối tượng máy tính Hình 3.12 Các điểm đặc trưng ghép cặp với Kd-tree cấu tìm kiếm tương đối hữu ích để sử dụng cho việc tìm kiếm đối tượng gần keypoint Mỗi mô tả khung cảnh nên kết hợp với mô tả mơ hình để giải thích cho việc xuất nhiều lần khung cảnh mô 37 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect hình khung cảnh khơng cơng nhận cố tình làm khác mơ hình chứa đựng khung cảnh Phải có tập hợp tập tin để có trao đổi khung cảnh mơ hình Trong q trình xoay dịch chuyển khung cảnh có thay đổi khoảng cách điểm đặc trưng làm cho điểm đặc trưng khơng cịn giống Sai số điểm đặc trưng nhỏ việc mô tả trở nên dễ dàng Những đường line hình cho ta thấy trùng việc tìm điểm đặc trưng hai khung cảnh để ghép nối điểm đặc trưng lại với ta cần phải tìm phương trình ma trận xác để dịch xoay khung cảnh 3.7 DỊCH CHUYỂN VÀ XOAY ĐỂ GHÉP CÁC ĐÁM MÂY ĐIỂM VỚI NHAU Đầu tiên xét nguồn vào để thực việc ghép ảnh với hai đám mây điểm chụp Kinect Hai đám mây điểm cần có phần giống để trình xử lý, chương trình tìm điểm đặc trưng tương đồng với để làm sở cho bước sau Hình 3.13 Đám mây điểm ảnh 38 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Để xử lý xác nhanh nên sử dụng đám mây điểm thơng qua bước xử lý giảm mẫu Hình 3.14 Đám mây điểm ảnh giảm mẫu Sau chuẩn bị nguồn đầu vào sẵn sàng (đã bao gồm tất bước trình phần trên) tiến hành ghép cặp ảnh với để liên kết thành đồ không gian Thông qua ICP [1], thuật toán chuyển đổi tọa độ để chuyển đổi hai đám mây điểm chụp hai tọa độ khác tọa độ thông qua ma trận chuyển tọa độ trình bày mục Trong thuật tốn ICP tính tốn ma trận chuyển tọa độ mà ta cần tìm.Ta hai đám mây điểm chung hệ tọa độ Hình 3.15 Hai đám mây điểm hệ tọa độ 39 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Hai đám mây điểm chuyển tọa độ thông qua ma trận chuyển tọa độ Hình 3.16 Ma trận chuyển tọa độ Sau tọa độ, hai đám mây bắt đầu ghép với Hình 3.17 Hai đám mây điểm trình ghép với Hình ảnh bên phía tay trái hình hai ảnh mẫu đưa tọa độ Hình ảnh bên phía tay phải diễn q trình ghép hai đám mây điểm với 40 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Sau kết thúc trình ghép hai đám mây với ta đám mây lưu với định dạng pcd Hình 3.18 Kết trình ghép hai ảnh Quá trình lặp lại ta chuyển toàn khung ảnh khơng gian phịng mà ta chụp tọa độ tiến hành ghép không gian đám mây với để tạo thành không gian 3D phịng hồn chỉnh 41 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Chương 4: KẾT LUẬN - HƯỚNG PHÁT TRIỂN 4.1 KẾT LUẬN Qua khoảng thời gian thực nghiên cứu đề tài này, đạt số kết khả quan sau: 1- Thu thập phân tích nguồn ảnh không gian 3D từ cảm biến Kinect 2- Sử dụng lệnh khả nghiên cứu câu lệnh Point Cloud Library 3- Tìm hướng giải để hình thành nên mơ hình khơng gian 3D Tuy xây dựng thành công không gian 3D nhà đạt 80% mục đích ban đầu đề Tuy nhiên phần khơng hồn thiện chủ yếu rơi vào chất lượng không gian 3D mà xây dựng: 1- Các khung ảnh ghép lại với độ chênh lệch lớn, làm cho tổng quan không gian 3D xây dựng chưa đạt độ thẩm mĩ cao 2- Màu sắc khơng gian 3D cịn lộn xộn nên nhận dạng theo chiều sâu ảnh Ngoài cịn số sai sót nhỏ q trình hoàn thiện đề tài 4.2 HƯỚNG PHÁT TRIỂN Như mục đích hết mà nhóm định hướng, sử dụng kiến thức, tảng có để xây dựng đồ 3D cho hệ thống robot tự động, tránh vật thể cản trở cách tốt nhất, lại người bình thường, Ngồi ra, từ tảng quét vật thể để phục hồi lại ảnh 3D, tạo thành liệu đầu vào cho máy in 3D ngày phát triển 42 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect TÀI LIỆU THAM KHẢO [1] Radu Bogdan Rusu, “Sematic 3D Object Maps for Everyday Manipulation in Human Living Environments”, PhD Dissertation Technische Universitat Munchen [2] Andreas Nuechter, “3D Robotic Mapping, Springer Tracts in Advanced Robotics”, volume 52, Springer Berlin/ Heidelberg, 2009 [3] Microsoft Kinect for XBox 360 - Xbox.com Dec-2013, Website: http://www.xbox.com/en-GB/kinect [4] Silvio Filipe, Luis A.Alexandre, “A Comparative Evaluation of 3D Keypoint Detectors in RGB-D Object Dataset, 9th International Conference on Com-puter Vision Theory and Applications” Poturgal, January 2014 [5] Bas des Bouvrie, '' Improving RGBD Indoor Mapping with IMU data'', Delft University of Technology, Master’s Thesis in Embedded Systems, 2012 [6] Shahram Izadi, David Kim, Otmar Hilliges, ''KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera'', ACM Symposium on User Interface Software and Technology, October 16-19/ 2011 [7] Jamie Shotton, Steve Hodges, 'Pioneer mobile robot operation manual', 2007 [8] Openni, Dec-2013, Website: http://www.openni.org/ [9] Peter Henry, Michael Krainin, Evan Herbst, Xiaofeng Ren, Dieter Fox, '' RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments'', The International Journal of Robotics Research, 5-April- 2012 [10] Jason M O’Kane, “A Gentle Introduction to ROS”, http://www.cse.sc.edu/~jokane [11] robotica.unileon.es/mediawiki/index.php/PCL/ 43 SVTH: Huỳnh Luân Đô ... gian phòng mà ta chụp tọa độ tiến hành ghép không gian đám mây với để tạo thành không gian 3D phịng hồn chỉnh 41 SVTH: Huỳnh Ln Đơ Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến. .. “Khơi phục không gian 3D nhà sử dụng cảm biến Kinect” Mục đích đề tài khơi phục hình ảnh 3D nhà từ hình ảnh chụp trước lấy làm cộng cụ để phục vụ sống SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục. .. án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect FLANN: (Fast Library for Approximate Nearest Neighbors) hỗ trợ cho việc tìm kiếm nhanh điểm lân cận không gian 3D Boost: giúp