(Đồ án hcmute) khôi phục không gian 3d trong nhà sử dụng cảm biến kinnect

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN - ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN - ĐIỆN TỬ KHÔI PHỤC KHÔNG GIAN 3D TRONG NHÀ SỬ DỤNG CẢM BIẾN KINNECT GVHD: ThS NGUYỄN TẤN NHƯ SVTH: HUỲNH LN ĐƠ MSSV: 10901084 SVTH:NGUYỄN HỒNG PHƯƠNG SKL 0 2 Tp Hồ Chí Minh, tháng 2/2016 an BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ-CÔNG NGHIỆP - ĐỒ ÁN TỐT NGHIỆP NGÀNH SƯ PHẠM KỸ THUẬT ĐIỆN TỬ ĐỀ TÀI: KHÔI PHỤC KHÔNG GIAN 3D TRONG NHÀ SỬ DỤNG CẢM BIẾN KINNECT GVHD: ThS Nguyễn Tấn Như SVTH : Huỳnh Luân Đô Lớp : 10901084 MSSV : 109010C Tp Hồ Chí Minh - 2/2016 an PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Thông tin sinh viên Họ tên: Nguyễn Hoàng Phương MSSV: 10901057 Tel: 0941838367 Email: 10901057@student.hcmute.edu.vn Họ tên: Huỳnh Luân Đô MSSV: 10901084 Tel: 0946384642 Email: 10901084@ student.hcmute.edu.vn Thông tin đề tài Tên đề tài: Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Mục đích đề tài: Khôi phục không gian 3D nhà từ việc ghép đám mây điểm thu thập từ môi trường thực tế với Đồ án tốt nghiệp thực tại: Bộ môn Điện Tử Viễn Thông, Khoa Điện Điện Tử, Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh Thời gian thực hiện: Từ ngày 10/10/2015 đến 20/01/2016 Các nhiệm vụ cụ thể đề tài - Kết nối Kinect máy vi tính - Tiến hành chụp ảnh phòng mẫu để sử dụng làm liệu đầu vào - Xử lý nguồn liệu ảnh chương trình có máy tính - Hồn thiện kết cuối Lời cam đoan sinh viên Tôi – Huỳnh Luân Đô cam đoan ĐATN cơng trình nghiên cứu thân hướng dẫn thạc sỹ Nguyễn Tấn Như Các kết công bố ĐATN trung thực không chép từ công trình khác Tp.HCM, ngày tháng năm 2016 SV thực đồ án Huỳnh Luân Đô Tp.HCM, ngày tháng năm 2016 Giáo viên hướng dẫn (Ký ghi rõ họ tên học hàm học vị) Xác nhận Bộ Môn an TRƯỜNG ĐẠI HỌC SPKT TPHCM Khoa Điện - Điện Tử Bộ Mơn Điện Tử Cơng Nghiệp CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc Tp Hồ Chí Minh, ngày 10 tháng 10 năm 2015 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1:Huỳnh Luân Đô Lớp: 10901C MSSV: 10901084 Họ tên sinh viên 2:Nguyễn Hoàng Phương Lớp: 10901C MSSV: 10901057 Tên đề tài:Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Tuần/ngày Tuần 10/10/2015 Tuần 12/10/2015 14-16/10/2015 Tuần 21-23/10/2015 Tuần 27-30/10/2015 Tuần 02/11/2015 03/11/2015 04/11/2015 05/11/2015 Tuần 09/11/2015 10-11/11/2015 12/11/2015 Tuần 16-17/11/2015 18/11/2015 Tuần 23-24/11/2015 25/11/2015 Nội dung Gặp giáo viên hướng dẫn, chọn đề tài Cài đặt chương trình sử dụng đề tài (Ubuntu 14.04, ROS Indigo) Tìm hiểu ROS cấp độ (filesystem, stack, package, service ) Tìm hiểu ROS cấp độ (Computation Graph, node, message, topic, Bags ) Hồn thành thuật tốn Nghiên cứu visuazilation (cloudviewer) Nghiên cứu lọc, passthrough, voxelgrid Nghiên cứu lọc extract indices, remove outdier Nghiên cứu thuật toán tìm mặt phẳng vector điểm Cài đặt gói hỗ trợ driver cho Kinect (OpenNI), chụp ảnh vật mẫu Nghiên cứu tài liệu hình học khơng gian Tìm hiểu điểm đặc trưng (keypoint) Nghiên cứu thuật tốn tìm điểm đặc trưng NARF Nghiên cứu thuật toán Kd-tree Tìm hiểu thuật tốn mơ tả FPH Tìm hiểu thuật toán ICP an Xác nhận GVHD Tuần 04/12/2015 Tuân 10 11/12/2015 13/12/2015 Tuần 11 18/12/2015 19/12/2015 Tuần 12 26/12/2015 Tìm hiểu ma trận dịch chuyển tìm tương quan hai đám mây điểm Tiến hành chụp ảnh xử lý ghép lọc vật mẫu, thu thập vật mẫu Tiến hành lọc tìm mặt phẳng vector điểm Tiến hành viết luận văn (nội dung sở lý thuyết) Tiến hành tìm điểm mơ tả điểm đặc trưng Tuần 13 Tiến hành tìm điểm tương đồng, ma trận dịch chuyển, ghép liệu lại với Viết luận văn Tuần 14 Chỉnh sửa luận văn Tuần 15 Hoàn thành luận văn GV HƯỚNG DẪN (Ký ghi rõ họ tên) an LỜI CẢM ƠN Lời đầu tiên, chúng em xin gửi đến Thầy, ThS Nguyễn Tấn Như lời cảm ơn chân thành sâu sắc Nhờ có hướng dẫn giúp đỡ tận tình Thầy suốt thời gian qua, chúng em thực hoàn thành Đồ Án Tốt Nghiệp Những lời nhận xét, góp ý hướng dẫn tận tình Thầy giúp chúng em có định hướng đắn suốt trình thực đề tài, giúp chúng em nhìn ưu khuyết điểm đề tài bước hoàn thiện Đồng thời, chúng em xin trân trọng cảm ơn Thầy Cô Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh nói chung khoa Điện – Điện tử nói riêng dạy dỗ chúng em suốt quãng thời gian ngồi ghế giảng đường Đại học Những lời giảng Thầy Cô bục giảng trang bị cho chúng em kiến thức giúp chúng em tích lũy thêm kinh nghiệm Bên cạnh đó, xin cảm ơn hỗ trợ giúp đỡ bạn bè thời gian học tập Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh q trình hồn thành luận văn tốt nghiệp Cuối cùng, chúng chân thành cảm ơn động viên hỗ trợ gia đình cha mẹ suốt thời gian học tập Đặc biệt, chúng xin gửi lời cảm ơn trân trọng đến cha mẹ, người sinh nuôi dưỡng chúng nên người Sự quan tâm, lo lắng hy sinh lớn lao cha mẹ động lực cho chúng cố gắng phấn đấu đường học tập Một lần nữa, chúng xin gửi đến cha mẹ biết ơn sâu sắc Hồ Chí Minh, ngày 20 tháng 01 năm 2016 Huỳnh Luân Đô an MỤC LỤC Danh sách bảng i Danh sách hình ii CHƯƠNG DẪN NHẬP 1.1 Đặt vấn đề 1.2 Lý chọn đề tài 1.3 Nội dung nghiên cứu 10 1.4 Giới hạn đề tài 10 1.5 Bố cục 11 CHƯƠNG CƠ SỞ LÍ THUYẾT 12 2.1 Kinect 12 2.1.1 Giới thiệu chung 12 2.1.2 Những thành phần Kinect 13 2.1.3 Tính tốn độ sâu 14 2.1.4 Một số đặc tính khác 17 2.2 Tổng quan Robot Operating System (ROS) 19 2.3 Tổng quan Point Cloud Library (PCL) 20 2.4 Mô tả 3D 21 2.5 Thuật toán voxel and downsampling 22 2.6 Thuật toán NARF 23 2.7 Thuật toán normal 25 2.8 Thuật tốn mơ tả FPH 26 2.9 Thuật toán K-d tree FLANN 28 CHƯƠNG PHƯƠNG PHÁP – KẾT QUẢ THỰC HIỆN 30 3.1 Sơ đồ khối 30 3.2 Thu thập liệu 31 3.3 Lọc giảm mẫu 33 3.4 Tìm điểm đặc trưng 35 an 3.5Mô tả đám mây điểm 37 3.6 Tìm – kết nối điểm tương đồng 37 3.7 Dịch chuyển xoay để ghép đám mây điểm với 38 CHƯƠNG KẾT LUẬN - HƯỚNG PHÁT TRIỂN 42 4.1 Kết luận 42 4.2 Hướng phát triển 42 TÀI LIỆU THAM KHẢO 43 an DANH SÁCH CÁC BẢNG BẢNG TRANG Bảng 2.1 Bảng thông số so sánh tiêu chuẩn hai camera 18 Bảng 2.2 Bảng công suất adapter 18 i an DANH SÁCH CÁC BẢNG HÌNH TRANG Hình 2.1 Thiết bị Kinect 12 Hình 2.2 Những thành phần Kinect 13 Hình 2.3 Bên Kinect 14 Hình 2.4 Quá trình thu đồ độ sâu ảnh 14 Hình 2.5 Mẫu hình chiếu projecter chụp lại camera hồng ngoại 15 Hình 2.6 Tính tốn khoảng cách tới điểm chiếu từ Projector 16 Hình 2.7 Kinect adapter 18 Hình 2.8 Hệ thống ROS đơn giản 19 Hình 2.9 Biểu tượng PCL 20 Hình 2.10 Tìm kiếm tính mơ tả 3D 22 Hình 2.11.a Trước lọc 23 Hình 2.11.b Sau lọc 23 Hình 2.12 Biểu đồ biểu diễn lượng điểm trước sau lọc 23 Hình 2.13 Ảnh trước sau tìm điểm đặc trưng sử dụng thuật tốn NARF 24 Hình 2.14 Vector normal biễu diễn hướng mặt phẳng 25 Hình 2.15 Vector normal mặt phẳng 26 Hình 2.16 Các đặc tính góc, cạnh cặp điểm ps pt 27 Hình 2.17 Sơ đồ tác động điểm FPH 27 Hình 2.18 Ví dụ FPH hai điểm đại diện đám mây 28 Hình 2.19 Khơng gian biểu diễn thuật tốn K-d tree FLANN 29 Hình 3.1 Kết nối Kinect với máy tính adapter 31 Hình 3.2 Kết nối Kinect với máy tính thành cơng 31 Hình 3.3 Giao diện chụp ảnh Kinect 32 Hình 3.4 Không gian làm việc tảng ROS 32 Hình 3.5 Hình ảnh chụp từ Kinect 33 Hình 3.6 Bức ảnh gốc trước lọc giảm mẫu với 322171 điểm 34 Hình 3.7 Ảnh sau lọc giảm mẫu 121878 điểm 34 Hình 3.8 Ảnh sau lọc giảm mẫu 10931 35 Hình 3.9 Keypoint ảnh 36 Hình 3.10 Điểm đặc trưng ảnh 36 Hình 3.11Mơ tả điểm đám mây thuật toán FPH 37 ii an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Chương 3: PHƯƠNG PHÁP–KẾT QUẢ THỰC HIỆN 3.1 SƠ ĐỒ KHỐI Có thể tóm tắt q trình sau: Đầu tiên từ Kinect liệu lấy từ mơi trường bên ngồi, cụ thể khơng gian nhà Sau có liệu đầu vào kích thước đám mây nhiều điểm nên khó cho việc xử lý xem khơng gian nên có khâu lọc giảm mẫu đám mây điểm Mục đích để giảm số lượng đám mây điểm lọc bỏ điểm không cần thiết Sau lọc giảm mẫu bước tìm điểm liệu, mục đích để xác định hướng liệu dễ dàng ghép nối liệu lại với Sau mơ tả điểm để làm bật điểm lên để dù có bị thay đổi hồn cảnh khơng bị Sau mơ tả để ghép nối liệu cần có 30 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect tương đồng liệu, điểm đặc trưng bị thay đổi tọa độ, thực chất điểm Sau cùng, dùng ma trận dịch xoay để ghép điểm tương đồng lại với Cứ ta khơng gian hồn chỉnh việc ghép nối hình ảnh lại với nhau, tồn nội dung luận văn 3.2 THU THẬP DỮ LIỆU Do Kinect máy ảnh thông thường nên việc chụp ảnh cần số yêu cầu như: Cấp nguồn kết nối Kinect với máy tính Hình 3.1 Kết nối Kinect với máy tính adapter Sau kết nối phần cứng ta cần sử dụng dịng lệnh [3] kết nối thành cơng Kinect với máy tính Hình 3.2 giao diện thơng báo kết nối thành cơng máy tính với Kinect Kinect sẵn sàng hoạt động Hình 3.2 Kết nối Kinect với máy tính thành cơng 31 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Sau kết nối thành công, ta tiến hành chụp ảnh nguồn thơng qua chương trình chụp ảnh máy tính với tương tác nhấn nút máy tính mà ta đặt sẵn (ở phím R) Như Hình 3.3, cửa sổ 3D Viewer cửa sổ để xem hình ảnh thu từ Kinect, dùng để điều chỉnh góc khung cảnh cần chụp Cửa sổ my_cloud_viewer cửa sổ dùng để tương tác nhấn nút lưu khung cảnh từ máy tính sau chọn khung cảnh phù hợp Hình 3.3 Giao diện chụp ảnh Kinect Sau tiến hành chụp liệu lưu dạng file pcd nằm không gian làm việc ROS Hình 3.4 Khơng gian làm việc tảng ROS 32 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Dữ liệu hình ảnh khác phải có điểm chung định chụp vị trí khác phòng phải đảm bảo đủ điều kiện phải bao qt hết tồn phịng Ảnh từ liệu ảnh màu thực tế, nhiên hạn chế với vật thể có cường độ ánh sáng lớn điểm mà ảnh chụp nơi có ánh sáng lớn khơng nhìn rõ Hình 3.5 Hình ảnh chụp từ Kinect Dữ liệu thu thập không gian phịng trống Từ cảm biến Kinect nhóm sinh viên tiến hành chụp khơng gian xung quanh phịng để làm liệu đầu vào Hình 3.5 liệu đầu vào sau chụp Thuật tốn mơ tả 3D thực việc để đảm bảo tính chất liệu không gian 3.3 LỌC VÀ GIẢM MẪU Sau có liệu đầu vào, việc lọc giảm mẫu cho hình ảnh mà chụp Mục đích giảm bớt điểm thừa không cần thiết làm cho đám mây điểm cịn lại để tiện lợi cho việc xử lý ảnh sau 33 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Những đám mây điểm chụp từ Kinect liệu nguồn vào chương trình chúng ta, sau thơng qua bước xử lý hàm voxel and downsampling loại bỏ điểm không cần thiết.ta dùng thuật toán voxel and downsampling để làm việc Hình 3.6 Bức ảnh gốc trước lọc giảm mẫu với 322171 điểm Sau lọc giảm mẫu đám mây điểm với số lượng điểm giảm nhìn thấy rõ Những điểm nhỏ hình điểm ảnh Hình 3.7 Ảnh sau lọc giảm mẫu cịn 121878 điểm 34 SVTH: Huỳnh Ln Đơ an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Kích thước lấy mẫu điểm ảnh thay đổi Ví dụ Hình 3.7 trên, kích thước lấy mẫu khoảng cách điểm 3mm tương ứng với khoảng cách trục tọa độ không gian Với Hình 3.8 ta lấy mẫu với kích thước 5mm Hình 3.8 Ảnh sau lọc giảm mẫu cịn 10931 điểm Như vậy, ta thấy lấy mẫu vật thể thay đổi tùy thuộc vào việc xử lý người mà lấy mẫu cho phù hợp.Khoảng cách điểm lớn số lượng điểm đám mây nhỏ 3.4 TÌM ĐIỂM ĐẶC TRƯNG Sau lọc giảm mẫu tìm điểm đặc trưng Một vật thể có điểm đặc trưng để tạo nên tính chất đặc trưng ảnh việc cần làm tìm điểm để tiến hành mơ tả Trong trình tìm kiếm điểm đặc trưng tất điểm khơng bị khơng thay đổi tính chất Thuật tốn riêng NARF giúp giải vấn đề cách tối ưu Khi đó, điểm đặc trưng xác định cách tính khoảng cách từ cảm biến đến vật Mỗi khoảng cách tập hợp nhiều điểm mặt phẳng tập hợp nhiều điểm cần thống lại điểm có tính chất phương chiều độ lớn điểm điểm đặc trưng ảnh 35 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Tương tự xét cho điểm có chung khoảng cách đến cảm biến ta có nhiều điểm đặc trưng cho ảnh Hình 3.9 Keypoint ảnh Mỗi chấm trịn đỏ Hình 3.9 điểm đặc trưng ta tìm thuật tốn NARF Hình 3.10 Điểm đặc trưng ảnh Từ ta thấy kích thước hình cầu điểm đặc trưng khác Những hình cầu điểm đặc trung có kích thước nhỏ có đặc trưng mang tính xác cao 36 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect 3.5 MÔ TẢ ĐÁM MÂY ĐIỂM Mơ tả điểm đặc trưng tìm tương đồng vật thể sau tìm điểm đặc trưng vật thể, điều thực thuật tốn FPH Hình 3.11: Mơ tả điểm đám mây thuật tốn FPH 3.6 TÌM – KẾT NỐI ĐIỂM TƯƠNG ĐỒNG Sau thực việc mơ tả tính tốn cho điểm đặc trưng đám mây, phải tìm kiếm điểm tương ứng phù hợp với điểm đó, việc tìm kiếm điểm tương ứng lưu trữ sở liệu đối tượng máy tính Hình 3.12 Các điểm đặc trưng ghép cặp với Kd-tree cấu tìm kiếm tương đối hữu ích để sử dụng cho việc tìm kiếm đối tượng gần keypoint Mỗi mô tả khung cảnh nên kết hợp với mô tả mơ hình để giải thích cho việc xuất nhiều lần khung cảnh mô 37 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect hình khung cảnh khơng cơng nhận cố tình làm khác mơ hình chứa đựng khung cảnh Phải có tập hợp tập tin để có trao đổi khung cảnh mơ hình Trong q trình xoay dịch chuyển khung cảnh có thay đổi khoảng cách điểm đặc trưng làm cho điểm đặc trưng khơng cịn giống Sai số điểm đặc trưng nhỏ việc mô tả trở nên dễ dàng Những đường line hình cho ta thấy trùng việc tìm điểm đặc trưng hai khung cảnh để ghép nối điểm đặc trưng lại với ta cần phải tìm phương trình ma trận xác để dịch xoay khung cảnh 3.7 DỊCH CHUYỂN VÀ XOAY ĐỂ GHÉP CÁC ĐÁM MÂY ĐIỂM VỚI NHAU Đầu tiên xét nguồn vào để thực việc ghép ảnh với hai đám mây điểm chụp Kinect Hai đám mây điểm cần có phần giống để trình xử lý, chương trình tìm điểm đặc trưng tương đồng với để làm sở cho bước sau Hình 3.13 Đám mây điểm ảnh 38 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Để xử lý xác nhanh nên sử dụng đám mây điểm thơng qua bước xử lý giảm mẫu Hình 3.14 Đám mây điểm ảnh giảm mẫu Sau chuẩn bị nguồn đầu vào sẵn sàng (đã bao gồm tất bước trình phần trên) tiến hành ghép cặp ảnh với để liên kết thành đồ không gian Thông qua ICP [1], thuật toán chuyển đổi tọa độ để chuyển đổi hai đám mây điểm chụp hai tọa độ khác tọa độ thông qua ma trận chuyển tọa độ trình bày mục Trong thuật tốn ICP tính tốn ma trận chuyển tọa độ mà ta cần tìm.Ta hai đám mây điểm chung hệ tọa độ Hình 3.15 Hai đám mây điểm hệ tọa độ 39 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Hai đám mây điểm chuyển tọa độ thơng qua ma trận chuyển tọa độ Hình 3.16 Ma trận chuyển tọa độ Sau tọa độ, hai đám mây bắt đầu ghép với Hình 3.17 Hai đám mây điểm trình ghép với Hình ảnh bên phía tay trái hình hai ảnh mẫu đưa tọa độ Hình ảnh bên phía tay phải diễn trình ghép hai đám mây điểm với 40 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Sau kết thúc trình ghép hai đám mây với ta đám mây lưu với định dạng pcd Hình 3.18 Kết trình ghép hai ảnh Quá trình lặp lại ta chuyển tồn khung ảnh khơng gian phịng mà ta chụp tọa độ tiến hành ghép không gian đám mây với để tạo thành không gian 3D phịng hồn chỉnh 41 SVTH: Huỳnh Ln Đơ an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Chương 4: KẾT LUẬN - HƯỚNG PHÁT TRIỂN 4.1 KẾT LUẬN Qua khoảng thời gian thực nghiên cứu đề tài này, đạt số kết khả quan sau: 1- Thu thập phân tích nguồn ảnh không gian 3D từ cảm biến Kinect 2- Sử dụng lệnh khả nghiên cứu câu lệnh Point Cloud Library 3- Tìm hướng giải để hình thành nên mơ hình khơng gian 3D Tuy xây dựng thành công không gian 3D nhà đạt 80% mục đích ban đầu đề Tuy nhiên phần khơng hồn thiện chủ yếu rơi vào chất lượng không gian 3D mà xây dựng: 1- Các khung ảnh ghép lại với độ chênh lệch lớn, làm cho tổng quan không gian 3D xây dựng chưa đạt độ thẩm mĩ cao 2- Màu sắc không gian 3D cịn lộn xộn nên nhận dạng theo chiều sâu ảnh Ngồi cịn số sai sót nhỏ q trình hồn thiện đề tài 4.2 HƯỚNG PHÁT TRIỂN Như mục đích hết mà nhóm định hướng, sử dụng kiến thức, tảng có để xây dựng đồ 3D cho hệ thống robot tự động, tránh vật thể cản trở cách tốt nhất, lại người bình thường, Ngồi ra, từ tảng quét vật thể để phục hồi lại ảnh 3D, tạo thành liệu đầu vào cho máy in 3D ngày phát triển 42 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect TÀI LIỆU THAM KHẢO [1] Radu Bogdan Rusu, “Sematic 3D Object Maps for Everyday Manipulation in Human Living Environments”, PhD Dissertation Technische Universitat Munchen [2] Andreas Nuechter, “3D Robotic Mapping, Springer Tracts in Advanced Robotics”, volume 52, Springer Berlin/ Heidelberg, 2009 [3] Microsoft Kinect for XBox 360 - Xbox.com Dec-2013, Website: http://www.xbox.com/en-GB/kinect [4] Silvio Filipe, Luis A.Alexandre, “A Comparative Evaluation of 3D Keypoint Detectors in RGB-D Object Dataset, 9th International Conference on Com-puter Vision Theory and Applications” Poturgal, January 2014 [5] Bas des Bouvrie, '' Improving RGBD Indoor Mapping with IMU data'', Delft University of Technology, Master’s Thesis in Embedded Systems, 2012 [6] Shahram Izadi, David Kim, Otmar Hilliges, ''KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera'', ACM Symposium on User Interface Software and Technology, October 16-19/ 2011 [7] Jamie Shotton, Steve Hodges, 'Pioneer mobile robot operation manual', 2007 [8] Openni, Dec-2013, Website: http://www.openni.org/ [9] Peter Henry, Michael Krainin, Evan Herbst, Xiaofeng Ren, Dieter Fox, '' RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments'', The International Journal of Robotics Research, 5-April- 2012 [10] Jason M O’Kane, “A Gentle Introduction to ROS”, http://www.cse.sc.edu/~jokane [11] robotica.unileon.es/mediawiki/index.php/PCL/ 43 SVTH: Huỳnh Luân Đô an S an K L 0 ... tài Tên đề tài: Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Mục đích đề tài: Khơi phục khơng gian 3D nhà từ việc ghép đám mây điểm thu thập từ môi trường thực tế với Đồ án tốt nghiệp thực... trước sau tìm điểm đặc trưng sử dụng thuật toán NARF 24 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect 2.7 THUẬT TOÁN NORMAL Normal định nghĩa vector... khơng gian phịng mà ta chụp tọa độ tiến hành ghép không gian đám mây với để tạo thành không gian 3D phịng hồn chỉnh 41 SVTH: Huỳnh Luân Đô an Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng