(Đồ án tốt nghiệp) khôi phục không gian 3d trong nhà sử dụng cảm biến kinnect

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN - ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN - ĐIỆN TỬ KHÔI PHỤC KHÔNG GIAN 3D TRONG NHÀ SỬ DỤNG CẢM BIẾN KINNECT GVHD: ThS NGUYỄN TẤN NHƯ SVTH: HUỲNH LN ĐƠ MSSV: 10901084 SVTH:NGUYỄN HỒNG PHƯƠNG SKL004229 Tp Hồ Chí Minh, tháng 2/2016 BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MƠN ĐIỆN TỬ-CÔNG NGHIỆP - ĐỒ ÁN TỐT NGHIỆP NGÀNH SƯ PHẠM KỸ THUẬT ĐIỆN TỬ ĐỀ TÀI: KHÔI PHỤC KHÔNG GIAN 3D TRONG NHÀ SỬ DỤNG CẢM BIẾN KINNECT GVHD: ThS Nguyễn Tấn Như SVTH : Huỳnh Luân Đô Lớp : 10901084 MSSV : 109010C Tp Hồ Chí Minh - 2/2016 PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Thông tin sinh viên Họ tên: Nguyễn Hoàng Phương Tel: 0941838367 Họ tên: Huỳnh Luân Đô Tel: 0946384642 Thông tin đề tài Tên đề tài: Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Mục đích đề tài: Khôi phục không gian 3D nhà từ việc ghép đám mây điểm thu thập từ môi trường thực tế với Đồ án tốt nghiệp thực tại: Bộ môn Điện Tử Viễn Thông, Khoa Điện Điện Tử, Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh Thời gian thực hiện: Từ ngày 10/10/2015 đến 20/01/2016 3.Các nhiệm vụ cụ thể đề tài - Kết nối Kinect máy vi tính - Tiến hành chụp ảnh phòng mẫu để sử dụng làm liệu đầu vào - Xử lý nguồn liệu ảnh chương trình có máy tính - Hồn thiện kết cuối 4.Lời cam đoan sinh viên Tôi – Huỳnh Luân Đô cam đoan ĐATN cơng trình nghiên cứu thân hướng dẫn thạc sỹ Nguyễn Tấn Như Các kết công bố ĐATN trung thực khơng chép từ cơng trình khác Tp.HCM, ngày tháng năm 2016 SV thực đồ án Huỳnh Luân Đô Xác nhận Bộ Môn Tp.HCM, ngày tháng năm 2016 Giáo viên hướng dẫn (Ký ghi rõ họ tên học hàm học vị) TRƯỜNG ĐẠI HỌC SPKT TPHCM LỊCH TRÌN Họ tên sinh viên 1:Huỳnh Luân Đô Lớp: 10901C Họ tên sinh viên 2:Nguyễn Hồng Phương Lớp: 10901C Tên đề tài:Khơi phục khơng gian 3D nhà sử dụng cảm biến Kinect Tuần/ngày Tuần 10/10/2015 Tuần 12/10/2015 14-16/10/2015 Tuần 21-23/10/2015 Tuần 27-30/10/2015 Tuần 02/11/2015 03/11/2015 04/11/2015 05/11/2015 Tuần 09/11/2015 10-11/11/2015 12/11/2015 Tuần 16-17/11/2015 18/11/2015 Tuần 23-24/11/2015 25/11/2015 Tuần 04/12/2015 Tuân 10 11/12/2015 13/12/2015 Tuần 11 18/12/2015 19/12/2015 Tuần 12 26/12/2015 Tuần 13 Tuần 14 Tuần 15 GV HƯỚNG DẪN (Ký ghi rõ họ tên) LỜI CẢM ƠN Lời đầu tiên, chúng em xin gửi đến Thầy, ThS Nguyễn Tấn Như lời cảm ơn chân thành sâu sắc Nhờ có hướng dẫn giúp đỡ tận tình Thầy suốt thời gian qua, chúng em thực hoàn thành Đồ Án Tốt Nghiệp Những lời nhận xét, góp ý hướng dẫn tận tình Thầy giúp chúng em có định hướng đắn suốt trình thực đề tài, giúp chúng em nhìn ưu khuyết điểm đề tài bước hoàn thiện Đồng thời, chúng em xin trân trọng cảm ơn Thầy Cô Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh nói chung khoa Điện – Điện tử nói riêng dạy dỗ chúng em suốt quãng thời gian ngồi ghế giảng đường Đại học Những lời giảng Thầy Cô bục giảng trang bị cho chúng em kiến thức giúp chúng em tích lũy thêm kinh nghiệm Bên cạnh đó, xin cảm ơn hỗ trợ giúp đỡ bạn bè thời gian học tập Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh q trình hồn thành luận văn tốt nghiệp Cuối cùng, chúng chân thành cảm ơn động viên hỗ trợ gia đình cha mẹ suốt thời gian học tập Đặc biệt, chúng xin gửi lời cảm ơn trân trọng đến cha mẹ, người sinh nuôi dưỡng chúng nên người Sự quan tâm, lo lắng hy sinh lớn lao cha mẹ động lực cho chúng cố gắng phấn đấu đường học tập Một lần nữa, chúng xin gửi đến cha mẹ biết ơn sâu sắc Hồ Chí Minh, ngày 20 tháng 01 năm 2016 Huỳnh Luân Đô MỤC LỤC Danh sách bảng i Danh sách hình ii CHƯƠNG DẪN NHẬP 1.1 Đặt vấn đề 1.2 Lý chọn đề tài 1.3 Nội dung nghiên cứu 10 1.4 Giới hạn đề tài 10 1.5 Bố cục 11 CHƯƠNG CƠ SỞ LÍ THUYẾT 12 2.1 Kinect 12 2.1.1 Giới thiệu chung 12 2.1.2 Những thành phần Kinect 13 2.1.3 Tính tốn độ sâu 14 2.1.4 Một số đặc tính khác 17 2.2 Tổng quan Robot Operating System (ROS) 19 2.3 Tổng quan Point Cloud Library (PCL) 20 2.4 Mô tả 3D 21 2.5 Thuật toán voxel and downsampling 22 2.6 Thuật toán NARF 23 2.7 Thuật toán normal 25 2.8 Thuật tốn mơ tả FPH 26 2.9 Thuật toán K-d tree FLANN 28 CHƯƠNG PHƯƠNG PHÁP – KẾT QUẢ THỰC HIỆN 30 3.1 Sơ đồ khối 30 3.2 Thu thập liệu 31 3.3 Lọc giảm mẫu 33 3.4 Tìm điểm đặc trưng 35 3.5Mô tả đám mây điểm 37 3.6 Tìm – kết nối điểm tương đồng 37 3.7 Dịch chuyển xoay để ghép đám mây điểm với 38 CHƯƠNG KẾT LUẬN - HƯỚNG PHÁT TRIỂN 42 4.1 Kết luận 42 4.2 Hướng phát triển 42 TÀI LIỆU THAM KHẢO 43 DANH SÁCH CÁC BẢNG BẢNG TRANG Bảng 2.1 Bảng thông số so sánh tiêu chuẩn hai camera 18 Bảng 2.2 Bảng công suất adapter 18 i Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect tương đồng liệu, điểm đặc trưng bị thay đổi tọa độ, thực chất điểm Sau cùng, dùng ma trận dịch xoay để ghép điểm tương đồng lại với Cứ ta khơng gian hồn chỉnh việc ghép nối hình ảnh lại với nhau, toàn nội dung luận văn 3.2 THU THẬP DỮ LIỆU Do Kinect máy ảnh thông thường nên việc chụp ảnh cần số yêu cầu như: Cấp nguồn kết nối Kinect với máy tính Hình 3.1 Kết nối Kinect với máy tính adapter Sau kết nối phần cứng ta cần sử dụng dịng lệnh [3] kết nối thành cơng Kinect với máy tính Hình 3.2 giao diện thông báo kết nối thành công máy tính với Kinect Kinect sẵn sàng hoạt động Hình 3.2 Kết nối Kinect với máy tính thành cơng 31 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Sau kết nối thành công, ta tiến hành chụp ảnh nguồn thơng qua chương trình chụp ảnh máy tính với tương tác nhấn nút máy tính mà ta đặt sẵn (ở phím R) Như Hình 3.3, cửa sổ 3D Viewer cửa sổ để xem hình ảnh thu từ Kinect, dùng để điều chỉnh góc khung cảnh cần chụp Cửa sổ my_cloud_viewer cửa sổ dùng để tương tác nhấn nút lưu khung cảnh từ máy tính sau chọn khung cảnh phù hợp Hình 3.3 Giao diện chụp ảnh Kinect Sau tiến hành chụp liệu lưu dạng file pcd nằm không gian làm việc ROS Hình 3.4 Khơng gian làm việc tảng ROS 32 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Dữ liệu hình ảnh khác phải có điểm chung định chụp vị trí khác phòng phải đảm bảo đủ điều kiện phải bao qt hết tồn phịng Ảnh từ liệu ảnh màu thực tế, nhiên hạn chế với vật thể có cường độ ánh sáng lớn điểm mà ảnh chụp nơi có ánh sáng lớn khơng nhìn rõ Hình 3.5 Hình ảnh chụp từ Kinect Dữ liệu thu thập khơng gian phịng trống Từ cảm biến Kinect nhóm sinh viên tiến hành chụp khơng gian xung quanh phịng để làm liệu đầu vào Hình 3.5 liệu đầu vào sau chụp Thuật tốn mơ tả 3D thực việc để đảm bảo tính chất liệu không gian 3.3 LỌC VÀ GIẢM MẪU Sau có liệu đầu vào, việc lọc giảm mẫu cho hình ảnh mà chụp Mục đích giảm bớt điểm thừa không cần thiết làm cho đám mây điểm cịn lại để tiện lợi cho việc xử lý ảnh sau 33 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Những đám mây điểm chụp từ Kinect liệu nguồn vào chương trình chúng ta, sau thơng qua bước xử lý hàm voxel and downsampling loại bỏ điểm không cần thiết.ta dùng thuật tốn voxel and downsampling để làm việc Hình 3.6 Bức ảnh gốc trước lọc giảm mẫu với 322171 điểm Sau lọc giảm mẫu đám mây điểm với số lượng điểm giảm nhìn thấy rõ Những điểm nhỏ hình điểm ảnh Hình 3.7 Ảnh sau lọc giảm mẫu 121878 điểm 34 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Kích thước lấy mẫu điểm ảnh thay đổi Ví dụ Hình 3.7 trên, kích thước lấy mẫu khoảng cách điểm 3mm tương ứng với khoảng cách trục tọa độ khơng gian Với Hình 3.8 ta lấy mẫu với kích thước 5mm Hình 3.8 Ảnh sau lọc giảm mẫu 10931 điểm Như vậy, ta thấy lấy mẫu vật thể thay đổi tùy thuộc vào việc xử lý người mà lấy mẫu cho phù hợp.Khoảng cách điểm lớn số lượng điểm đám mây nhỏ 3.4 TÌM ĐIỂM ĐẶC TRƯNG Sau lọc giảm mẫu tìm điểm đặc trưng Một vật thể có điểm đặc trưng để tạo nên tính chất đặc trưng ảnh việc cần làm tìm điểm để tiến hành mơ tả Trong q trình tìm kiếm điểm đặc trưng tất điểm khơng bị khơng thay đổi tính chất Thuật tốn riêng NARF giúp giải vấn đề cách tối ưu Khi đó, điểm đặc trưng xác định cách tính khoảng cách từ cảm biến đến vật Mỗi khoảng cách tập hợp nhiều điểm mặt phẳng tập hợp nhiều điểm cần thống lại điểm có tính chất phương chiều độ lớn điểm điểm đặc trưng ảnh 35 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Tương tự xét cho điểm có chung khoảng cách đến cảm biến ta có nhiều điểm đặc trưng cho ảnh Hình 3.9 Keypoint ảnh Mỗi chấm trịn đỏ Hình 3.9 điểm đặc trưng ta tìm thuật tốn NARF Hình 3.10 Điểm đặc trưng ảnh Từ ta thấy kích thước hình cầu điểm đặc trưng khác Những hình cầu điểm đặc trung có kích thước nhỏ có đặc trưng mang tính xác cao 36 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect 3.5 MÔ TẢ ĐÁM MÂY ĐIỂM Mơ tả điểm đặc trưng tìm tương đồng vật thể sau tìm điểm đặc trưng vật thể, điều thực thuật tốn FPH Hình 3.11: Mơ tả điểm đám mây thuật tốn FPH 3.6 TÌM – KẾT NỐI ĐIỂM TƯƠNG ĐỒNG Sau thực việc mơ tả tính tốn cho điểm đặc trưng đám mây, phải tìm kiếm điểm tương ứng phù hợp với điểm đó, việc tìm kiếm điểm tương ứng lưu trữ sở liệu đối tượng máy tính Hình 3.12 Các điểm đặc trưng ghép cặp với Kd-tree cấu tìm kiếm tương đối hữu ích để sử dụng cho việc tìm kiếm đối tượng gần keypoint Mỗi mô tả khung cảnh nên kết hợp với mô tả mơ hình để giải thích cho việc xuất nhiều lần khung cảnh mô 37 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect hình khung cảnh khơng cơng nhận cố tình làm khác mơ hình chứa đựng khung cảnh Phải có tập hợp tập tin để có trao đổi khung cảnh mơ hình Trong q trình xoay dịch chuyển khung cảnh có thay đổi khoảng cách điểm đặc trưng làm cho điểm đặc trưng khơng cịn giống Sai số điểm đặc trưng nhỏ việc mơ tả trở nên dễ dàng Những đường line hình cho ta thấy trùng việc tìm điểm đặc trưng hai khung cảnh để ghép nối điểm đặc trưng lại với ta cần phải tìm phương trình ma trận xác để dịch xoay khung cảnh 3.7 DỊCH CHUYỂN VÀ XOAY ĐỂ GHÉP CÁC ĐÁM MÂY ĐIỂM VỚI NHAU Đầu tiên xét nguồn vào để thực việc ghép ảnh với hai đám mây điểm chụp Kinect Hai đám mây điểm cần có phần giống để q trình xử lý, chương trình tìm điểm đặc trưng tương đồng với để làm sở cho bước sau Hình 3.13 Đám mây điểm ảnh 38 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Để xử lý xác nhanh nên sử dụng đám mây điểm thông qua bước xử lý giảm mẫu Hình 3.14 Đám mây điểm ảnh giảm mẫu Sau chuẩn bị nguồn đầu vào sẵn sàng (đã bao gồm tất bước trình phần trên) tiến hành ghép cặp ảnh với để liên kết thành đồ khơng gian Thơng qua ICP [1], thuật tốn chuyển đổi tọa độ để chuyển đổi hai đám mây điểm chụp hai tọa độ khác tọa độ thông qua ma trận chuyển tọa độ trình bày mục Trong thuật tốn ICP tính tốn ma trận chuyển tọa độ mà ta cần tìm.Ta hai đám mây điểm chung hệ tọa độ Hình 3.15 Hai đám mây điểm hệ tọa độ 39 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Hai đám mây điểm chuyển tọa độ thông qua ma trận chuyển tọa độ Hình 3.16 Ma trận chuyển tọa độ Sau tọa độ, hai đám mây bắt đầu ghép với Hình 3.17 Hai đám mây điểm trình ghép với Hình ảnh bên phía tay trái hình hai ảnh mẫu đưa tọa độ Hình ảnh bên phía tay phải diễn q trình ghép hai đám mây điểm với 40 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Sau kết thúc trình ghép hai đám mây với ta đám mây lưu với định dạng pcd Hình 3.18 Kết trình ghép hai ảnh Quá trình lặp lại ta chuyển tồn khung ảnh khơng gian phòng mà ta chụp tọa độ tiến hành ghép không gian đám mây với để tạo thành không gian 3D phịng hồn chỉnh 41 SVTH: Huỳnh Ln Đơ Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect Chương 4: KẾT LUẬN - HƯỚNG PHÁT TRIỂN 4.1 KẾT LUẬN Qua khoảng thời gian thực nghiên cứu đề tài này, đạt số kết khả quan sau: 1- Thu thập phân tích nguồn ảnh không gian 3D từ cảm biến Kinect 2- Sử dụng lệnh khả nghiên cứu câu lệnh Point Cloud Library 3- Tìm hướng giải để hình thành nên mơ hình khơng gian 3D Tuy xây dựng thành công không gian 3D nhà đạt 80% mục đích ban đầu đề Tuy nhiên phần khơng hồn thiện chủ yếu rơi vào chất lượng không gian 3D mà xây dựng: 1- Các khung ảnh ghép lại với độ chênh lệch lớn, làm cho tổng quan không gian 3D xây dựng chưa đạt độ thẩm mĩ cao 2- Màu sắc không gian 3D cịn lộn xộn nên nhận dạng theo chiều sâu ảnh Ngồi cịn số sai sót nhỏ q trình hồn thiện đề tài 4.2 HƯỚNG PHÁT TRIỂN Như mục đích hết mà nhóm định hướng, sử dụng kiến thức, tảng có để xây dựng đồ 3D cho hệ thống robot tự động, tránh vật thể cản trở cách tốt nhất, lại người bình thường, Ngồi ra, từ tảng quét vật thể để phục hồi lại ảnh 3D, tạo thành liệu đầu vào cho máy in 3D ngày phát triển 42 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect TÀI LIỆU THAM KHẢO [1] Radu Bogdan Rusu, “Sematic 3D Object Maps for Everyday Manipulation in Human Living Environments”, PhD Dissertation Technische Universitat Munchen [2] Andreas Nuechter, “3D Robotic Mapping, Springer Tracts in Advanced Robotics”, volume 52, Springer Berlin/ Heidelberg, 2009 [3] Microsoft Kinect for XBox 360 - Xbox.com Dec-2013, Website: http://www.xbox.com/en-GB/kinect [4] Silvio Filipe, Luis A.Alexandre, “A Comparative Evaluation of 3D Keypoint th Detectors in RGB-D Object Dataset, International Conference on Com-puter Vision Theory and Applications” Poturgal, January 2014 [5] Bas des Bouvrie, '' Improving RGBD Indoor Mapping with IMU data'', Delft University of Technology, Master’s Thesis in Embedded Systems, 2012 [6] Shahram Izadi, David Kim, Otmar Hilliges, ''KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera'', ACM Symposium on User Interface Software and Technology, October 16-19/ 2011 [7] Jamie Shotton, Steve Hodges, 'Pioneer mobile robot operation manual', 2007 [8] Openni, Dec-2013, Website: http://www.openni.org/ [9] Peter Henry, Michael Krainin, Evan Herbst, Xiaofeng Ren, Dieter Fox, '' RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments'', The International Journal of Robotics Research, 5-April- 2012 [10] Jason M O’Kane, “A Gentle Introduction to ROS”, http://www.cse.sc.edu/~jokane [11] robotica.unileon.es/mediawiki/index.php/PCL/ 43 SVTH: Huỳnh Luân Đô ... dừng lại việc khôi phục hình ảnh nhà điều kiện ánh sáng tốt số lượng vật thể không nhiều 10 SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến Kinect 1.5 BỐ CỤC... gian phòng mà ta chụp tọa độ tiến hành ghép không gian đám mây với để tạo thành không gian 3D phịng hồn chỉnh 41 SVTH: Huỳnh Ln Đô Đồ án tốt nghiệp - Khôi phục không gian 3D nhà sử dụng cảm biến. .. ? ?Khôi phục không gian 3D nhà sử dụng cảm biến Kinect” Mục đích đề tài khơi phục hình ảnh 3D nhà từ hình ảnh chụp trước lấy làm cộng cụ để phục vụ sống SVTH: Huỳnh Luân Đô Đồ án tốt nghiệp - Khôi