Nhận dạng vật thể 3d sử dụng cảm biến kinect

MỤC LỤC Trang bìa Nhiệm vụ đồ án i Lịch trình ii Cam đoan iii Lời cảm ơn iv Mục lục v Liệt kê hình vẽ vii Các từ viết tắt viii Tóm tắt ix CHƢƠNG DẪN NHẬP 1.1 Đặt vấn đề 1.2 Lý chọn đề tài 1.3 Nội dung nghiên cứu 1.4 Giới hạn 1.5 Bố cục CHƢƠNG CƠ SỞ LÝ THUYẾT 2.1 Tổng quan Kinect 2.1.1 Giới thiệu Kinect 2.1.2 Cấu tạo nguyên lý hoạt động 2.2 Thuật toán Cylinder 2.3 Thuật toán Euclidean Segmentation 2.4 Thuật toán Normal 2.5 Bộ lọc Voxel-Grid 2.6 Thuật toán NARF 10 2.7 Thuật toán SHOT 11 2.8 Thuật toán Kdtree-FLANN 12 2.9 Thuật toán Hough 3D Grouping 13 vi CHƢƠNG PHƢƠNG PHÁP THỰC HIỆN 14 Sơ đồ khối hệ thống 14 3.1 Thu thập vật mẫu 14 3.2 Học vật mẫu 15 3.3 Nhận dạng vật mẫu 17 Bước 1: Tìm mặt phẳng vector điểm 17 Bước 2: Giãm mẫu 17 Bước 3: Tìm điểm đặc trưng 18 Bước 4: Tìm thuật tốn mơ tả điểm đặc trưng 18 Bước 5: Tìm điểm tương đồng 19 Bước 6: Tìm ma trận dịch chuyển 19 CHƢƠNG KẾT QUẢ VÀ THẢO LUẬN 21 4.1 Kết 21 4.2 Thảo luận 22 CHƢƠNG KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 24 5.1 Kết luận 24 5.2 Hướng phát triển 24 TÀI LIỆU THAM KHẢO PHU LỤC 25 vii viii LIỆT KÊ HÌNH VẼ Hình Trang Hình 2.1: Hình ảnh KinectXbox 360 Hình 2.2: Cấu tạo Kinect Hình 2.3: Hình ảnh từ Camera RGB-D Hình 2.4: Khoảng cách đo cảm biến Hình 2.5: Vùng hoạt động cảm biến Hình2.6: Sơ đồ khối cảm biến Hình 2.7: Ảnh đám mây điểm ly tách khỏi mặt bàn Hình 2.8: Mơ tả thuật tốn Euclidean Segmentation Hình 2.9: (a) ảnh đám mây điểm trước dùng Euclidean Segmentation (b) ảnh đám mây điểm sau dùng Euclidean Segmentation Hình 2.10: Vector nomal tìm thấy Hình 2.11: Mơ tảVoxel_Grid Hình 2.12: Điểm đặc trưng vật mẫu 11 Hình 2.13: Mơ tả SHOT 12 Hình 2.14: Kd tree khơng gian 3D 13 Hình 2.15: Dịch chuyển điểm tương đồng 13 Hình 3.1: Giải thuật nhân dạng 14 Hình 3.2: vật mẫu (hộp sữa) sau tách lọc 14 Hình 3.3: Khung cảnh chứa vật mẫu 15 Hình 3.4: Vector định hướng vật mẫu 15 Hình 3.5: Vật mẫu sau giảm mẫu 16 Hình 3.6: Keypoint vật mẫu 16 Hình 3.7: Các bước nhận dạng vật mẫu 17 Hình 3.8: Vector định hướng khung cảnh 17 Hình 3.9: Khung cảnh sau giảm mẫu 18 Hình 3.10: Keypoint khung cảnh 18 Hình 3.11: vật mẩu sau dịch chuyển 19 ix Hình 3.12: Ma trận dịch chuyển R tìm thấy 20 Hình 3.13: Ảnh đám mây điểm vật mẫu dịch chuyển tới vị trí vật cần nhận dạng khung cảnh đường nối điểm tương đồng sau nhân với ma trận dịch 20 Hình 4.1: Thu thập đám mây điểm vật mẫu 21 Hình 4.2: Đám mây điểm vật mẫu sau tách 21 Hình 4.3: Đám mây điểm vật mẫu với vật khác 22 Hình 4.4: Các điểm đặc trưng vật mẫu khung cảnh chứa vật mẫu 22 Hình 4.5: Đám mây điểm vật mẫu dịch chuyển tới vị trí vật cần nhận dạng khung cảnh đường nối điểm dịch chuyễn 22 Hình 4.6: Các số liệu thuật tốn tìm 23 x CÁC TỪ VIẾT TẮT NARF Normal Aligned Radial Feature SHOT Signature of Histograms of OrienTations xi TÓM TẮT -Đề tài ứng dụng cảm biến KINECT để nhận dạng vật thể 3D không gian chén, ly, bóng, … Ưu điểm đề tài so với đề tài nhận dạng 2D khác nhận biết xác vật khơng gian so với ảnh vật hình 2D - Các bước thực đề tài: 1- Tìm hiểu cảm biến KINECT 2- Nghiên cứu cài đặt chương trình sử dụng đề tài 3- Tìm hiểu thuật tốn sử dụng đề tài 4- Sử dụng cảm biến KINECT để chụp hình vật mẫu 5- Xử lý cắt vật mẫu, loại bỏ thành phần khác vật mẫu 6- Chụp ảnh khung cảnh có chứa vật mẫu để nhận dạng 7- Xử lý nhận dạng vật mẫu khung cảnh chụp - Kết đạt được: Đã nhận dạng thành công vật thể không gian (khơng gian đơn giản, nhiễu ánh sáng) ly, chai, ấm nước … Đề tài mang lại ứng dụng thực tế việc nhận dạng vật chất hữu ví dụ người vật thể Nhiều nước giới thực đề tài theo nhiều hướng khác như: Nhận dạng người (trong sân bay, siêu thị …), nhận dạng cử bàn tay (ứng dụng game đồ họa cao …), camera an ninh … Và ứng dụng nhiều việc phát mô phổng đặc điểm vật thể, theo chuyễn động người ứng dụng việc xử lý đồ họa 3D, phim ảnh,… xii ĐỒ ÁN TỐT NGHIỆP 2016 Chƣơng DẪN NHẬP 1.1 ĐẶT VẤN ĐỀ Đây đề tài nhỏ ứng dụng điều khiển robot tự hành gấp vật thể Hình 2.0, nhóm xây dựng khối nhận dạng vật thể 3D sử dụng cảm biến Kinect để xác định vị trí vật thể khơng gian, cảm biến Kinect thu thập liệu hình ảnh từ cảm biến đến vật thể, thơng qua thuật tốn xử lý ảnh xác định vị trí vật thể khơng gian Hình 2.0: Mơ hình robot 1.2 LÝ DO CHỌN ĐỀ TÀI Hiện nay, việc xây dựng khối nhận dạng hình ảnh thường sử dụng thiết bị chuyên biệt cho cơng việc phân tích hình ảnh camera, webcam, cảm biến chuyển động kết hợp thuật toán xử lý ảnh Các phương pháp nhận dạng thông thường dựa vào tương đồng màu sắc, nhiên, vật có màu sắc tương tự không vật thể phần đối tượng có màu khác nhau,do gây khó khăn q trình nhận dạng Trong đó, với thơng tin độ sâu, vật thể phân biệt với thơng qua vị trí Những điểm có khoảng cách gần có xu hướng đối tượng mà không phân biệt màu sắc Chỉ độ sâu giảm đột ngột cạnh số phần nhỏ đối tượng đó, hình ảnh đồ độ sâu có thay đổi Từ phân tích ta thấy ưu điểm đồ độ sâu thích hợp để ứng dụng đề tài nhận dạng cho robot tự hành ĐỒ ÁN TỐT NGHIỆP 2016 Xuất phát từ yêu cầu đó, nhóm chọn đề tài nghiên cứu là: “ NHẬN DẠNG VẬT THỂ 3D SỬ DỤNG CẢM BIẾN KINECT” 1.3 NỘI DUNG NGHIÊN CỨU Các bước thực đề tài  Tìm hiểu cảm biến KINECT  Nghiên cứu cài đặt chương trình sử dụng đề tài  Tìm hiểu thuật toán sử dụng đề tài  Sử dụng cảm biến KINECT để chụp hình vật mẫu  Xử lý cắt vật mẫu, loại bỏ thành phần khác vật mẫu  Chụp ảnh khung cảnh có chứa vật mẫu để nhận dạng  Xử lý nhận dạng vật mẫu khung cảnh chụp 1.4 GIỚI HẠN VÀ MỤC TIÊU ĐỀ TÀI  Đề tài bị giới hạn thời gian xử lý thuật tốn trung bình trung bình từ -7 phút, nhiễu từ môi trường (ánh sáng, đồ vật xung quanh) ảnh hưởng đến kết  Mục tiêu đề tài đạt: Hiểu cách kết nối, cài đặt sử dụng phần mềm, cách hoạt động cảm biến Kinect, giải thuật xử lý ảnh Nhận dạng thành công vật mẫu môi trường chứa nhiều vật mẫu 1.5 BỐ CỤC ĐỀ TÀI Chƣơng 1: Dẫn nhập - Trong chương này, nhóm trình bày vài trị ứng dụng thực tiễn đề tài lĩnh vực nhận dạng hình ảnh, giới hạn, nội dung nguyên cứu Chƣơng 2: Cơ sở lý thuyết - Giới thiệu kiến thức lý thuyết camera Kinect, thuật tốn sử dụng chương trình Chƣơng 3: Phương pháp thực ĐỒ ÁN TỐT NGHIỆP 2016 - Trình bày sơ khối khối hệ thống - Trình bày bước thực đề tài Chƣơng 4:Kết thảo luận - Giới thiệu hình ảnh thực tế từ kết đề tài làm - Thảo luận kết đề tài Chƣơng 5: Kết luận hướng phát triển - Đưa kết luận hướng phát triển đề tài ĐỒ ÁN TỐT NGHIỆP 2016 Phương trình thuật tốn Trong tọa đồ Đề các, điểm có tọa độ (x,y) Nếu dùng tham số p (độ dài vng góc từ gốc tọa độ đến dường thẳng) Q (góc đường vng góc với trục x) để biểu diễn đường thẳng thông qua tham số Chúng ta có quan hệ (4) Các giá trị p Q có giới hạn [ 0,360 độ] p giới hạn [-D,D], D đường chéo ảnh Ví dụ tìm ma trận xoay, dịch Hình 2.15 Hình 2.15: Dịch chuyển điểm tương đồng 15 ĐỒ ÁN TỐT NGHIỆP 2016 Chƣơng 3: PHƢƠNG PHÁP THỰC HIỆN 3.1 Sơ đồ khối hệ thống Hình 3.1:Sơ đồ giải thuật nhận dạng Lƣu đồ thu thập vật mẫu 3.1.1: Thu thập vật mẫu sử dụng cảm biến Kinect Xbox360 -Chụp vật mẫu thực tế dùng camera Kinect Xbox360 khung cảnh chứa vật mẫu (Hình 3.3) Sau ta sử dụng thuật tốn Cylinder Euclidean Segmentation để lọc vật mẫu (Hình 3.2) Ở phương pháp chụp lấy mẫu trực tiếp từ Kinect giúp người dùng dễ dàng lấy vật mẫu từ thực tế hạn chế thuật toán sử dụng để lấy mẫu môi trường làm việc 16 ĐỒ ÁN TỐT NGHIỆP 2016 Hình 3.2: vật mẫu (hộp sữa) sau tách lọc Hình 3.3: Khung cảnh chứa vật mẫu 17 ĐỒ ÁN TỐT NGHIỆP 2016 3.1.2:Hoc vật mẫu sử dụng thuật toán Normal, Voxel_Grid, NARF, SHOT Descriptor Lƣu đồ học vật mẫu Sau xử lý vật mẫu, ta sử dụng thuật toán sau để học vật mẫu: 3.1.2.1 Dùng normal để tìm hướng bể mặt đám mây điểm.Hình 3.4 mơ tả vector định hướng vật mẫu Hình 3.4: Vector định hướng vật mẫu 18 ĐỒ ÁN TỐT NGHIỆP 2016 3.1.2.2Dùng Voxel_Grid để giảm mẫu vật mẫu (Hình 3.5) Hình 3.5: Vật mẫu sau giảm mẫu 3.1.2.3Dùng thuật toán NARF để tìm điểm đặc trưng vật mẫu (Hình 3.6) Hình 3.6: Keypoint vật mẫu 19 ĐỒ ÁN TỐT NGHIỆP 2016 3.1.2.4Sau tìm điểm đặc trưng ta sử dụng thuật tốn SHOT để mơ tả điểm đặc trưng tìm thấy vật mẫu - Đây thuật toán quan trọng để tìm điểm tương đồng vật mẫu khung cảnh sau này, sau xử lý, liệu vật mẫu lưu lạiđể hỗ trợ cho việc nhận dạng 3.1.3: Nhận dạng vật mẫu sử dụng thuật tốn K-d Tree_FLANN, Hough 3D Để nhận dạng vật mẫu, bước trước nhân dạng ta thực giống bước học vật mẫu Sau đó, ta dùng thuật tốn K-d Tree_FLANN, Hough 3D để nhận dạng.Hình 3.7 sơ đồ bước nhận dạng vật mẫu Hình 3.7: Các bước nhận dạng vật mẫu 3.1.3.1Tìm vector định hướng bề mặt khung cảnhbằng thuật tốn Normal (Hình 3.8) Hình 3.8: Vector định hướng khung cảnh 20 ĐỒ ÁN TỐT NGHIỆP 2016 3.1.3.2Dùng thuật toán Voxel_Grid để giảm số lượng điểm mẫu khung cảnh (Hình 3.9) Hình 3.9: Khung cảnh sau giảm mẫu 3.1.3.3Tìm điểm đặc trưng khung cảnh dùng thuật toán NARF (Hình 3.10) Hình 3.10:Các Keypoint khung cảnh - Sau điểm đặc trưng tìm thấy ta dùng thuật tốn SHOT để mơ tả điểm đặc trưng khung cảnh 21 ĐỒ ÁN TỐT NGHIỆP 2016 3.1.3.4Sau mô tả cho điểm đặc trưng ta cần phải xác định điểm tương ứng mô tả vật mẫu (Model) khung cảnh (Scene) Để làm điều này, chương trình sử dụng K-dTree_FLANN Đối với mô tả Model Scene, hai điểm xem tương đồng chúng có tọa độ vector trùng Đểm làm điều ta dựa vào khoảng cách Euclide (1), khoảng cách Euclide điểm xét nhỏ giá trị cho trước hai điểm xem tương đồng - Cơng thức Euclide: d= (1) 3.1.3.5 Sau tìm điểm tương đồng Model Scene ta phải tìm ma trận để dịch chuyển vật mẩu từ điểm tương đồng tìm thấy tới khung cảnh Vật mẩu sau dịch chuyển đánh dấu màu đỏ (Hình 3.11) Hình 3.11: Vật mẩu dịch chuyển 22 ĐỒ ÁN TỐT NGHIỆP 2016 Sử dụng thật tốn Hough 3D tìm ma trận dịch chuyển (Hình 3.12) để xoay dịch (Hình 3.13) điểm tương đồng (trong tọa độ x,y,z) từ vật mẫu đến khung cảnh ma trận R Hình 3.12: Ma trận dịch chuyển R tìm thấy, t vector chiều dịch chuyển Hình 3.13: Ảnh đám mây điểm vật mẫu dịch chuyển tới vị trí vật cần nhận dạng khung cảnh đường nối điểm tương đồng sau nhân với ma trận dịch 23 ĐỒ ÁN TỐT NGHIỆP 2016 Chƣơng : KẾT QUẢ 4.1 Kết Sau nhận dạng thành công vật mẫu khung cảnh có sẵn, nhóm tiến hành sử dụng KINECT để thu thập đám mây điểm thực tế để nhận dạng - Sau hình ảnh đám mây điểm mà nhóm thu thập tiến hành nhận dạng: Hình 4.1: Thu thập đám mây điểm vật mẫu Hình 4.2: Đám mây điểm vật mẫu sau tách 24 ĐỒ ÁN TỐT NGHIỆP 2016 Hình 4.3: Đám mây điểm vật mẫu với vật khác Hình 4.4: Các điểm đặc trưng vật mẫu khung cảnh chứa vật mẫu Hình 4.5: Đám mây điểm vật mẫu dịch chuyển tới vị trí vật cần nhận dạng khung cảnh đường nối điểm dịch chuyển 25 ĐỒ ÁN TỐT NGHIỆP 2016 Hình 4.6: Các số liệu thuật tốn tìm Ngồi việc thực nhận dạng vật mẫu nhóm thực nhận dạng vật mẫu khác kết nhận dạng vật mẫu 4.2 Thảo luận Đối với vật thể có kích thước trung bình đến vật có kích thước lớn (đủ để tìm điểm đặc trưng vật mẫu khung cảnh, ta chương trình tự tính tốn độ phân giải, từ tính tốn số lượng điểm đặc trưng bán kính mơ tả (SHOT) cho phù hợp, để để chương trình nhận dạng Cịn vật thể có kích thước nhỏ (Hình 4.7) ta phải tự thay đổi số lượng điểm đặc trưng, để vật cần nhận dạng khung cảnh có đủ điểm đặc trưng để mơ tả, cần phải tăng bán kính mơ tả (Hình 4.8) để mơ tả đầy đủ thơng tin điểm đặc trưng phục vụ cho việc nhận dạng tốt Hình 4.7: Ảnh chụp vật mẫu khung cảnh vật mẫu với kích thước nhỏ 26 ĐỒ ÁN TỐT NGHIỆP 2016 Hình 4.8: Ảnh chụp nhận dạng trước sau tăng điểm đặc trưng bán kính mơ tả 27 ĐỒ ÁN TỐT NGHIỆP 2016 Chƣơng 5: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 5.1 KẾT LUẬN Đề tài tìm ma trận dịch chuyễn vật thể từ xác định vị trí vật thể khơng gian 3D Đã nhận dạng thành công vật thể thông dụng đời sống bình hoa, chai nước, ly, tách 5.2 HƢỚNG PHÁT TRIỂN Ứng dụng đề tài để phát triển robot nhận dạng vật thể đem vật thể mà người mong muốn lại cho họ, thực chụp tạo mơ hình 3D cho phòng, cao nhận dạng vật phục hồi vật không nguyên vẹn mơ hình 3D … 28 ĐỒ ÁN TỐT NGHIỆP 2016 PHỤ LỤC VÀ TÀI LIỆU THAM KHẢO [1] Samuele Salti, Federico Tombari, Luigi Di Stefano “SHOT: Unique Signatures of Histograms for Surface and Texture Description”1987 [2] Federico Tombari, Luigi Di Stefano “Hough Voting for 3D Object Recognition under Occlusion and Clutter” 1992 [3] Bastian Steder, Radu Bogdan Rusu, Kurt Konolige, Wolfram Burgard “Point Feature Extraction on 3D Range Scans Taking into Account Object Boundaries” 2001 [4] D.G Lowe Object recognition from local scale-invariant features In “Proc of the Int Conf on Computer Vision” (ICCV), 1999 [5] H Bay, T Tuytelaars, and L Van Gool SURF: Speeded Up Robust Features In Proc of the Europ Conf on Comp Vision (ECCV), 2006 29 ... hành gấp vật thể Hình 2.0, nhóm xây dựng khối nhận dạng vật thể 3D sử dụng cảm biến Kinect để xác định vị trí vật thể khơng gian, cảm biến Kinect thu thập liệu hình ảnh từ cảm biến đến vật thể, thông... có sẵn hai cảm biến Kinect cho Windows cảm biến Kinect cho Xbox 360 + Phạm vi gần có cảm biến Kinect cho Windows Hình 2.4: Khoảng cách đo cảm biến Để cảm biến hoạt động tốt nên sử dụng khoảng... TẮT -Đề tài ứng dụng cảm biến KINECT để nhận dạng vật thể 3D không gian chén, ly, bóng, … Ưu điểm đề tài so với đề tài nhận dạng 2D khác nhận biết xác vật khơng gian so với ảnh vật hình 2D - Các