(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD(Luận văn thạc sĩ) Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGBD
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN SỸ ANH NHẬN DIỆN CÁC DẠNG BỀ MẶT PHỤC VỤ PHÂN LOẠI VẬT THỂ SỬ DỤNG CAMERA RGB-D LUẬN VĂN THẠC SĨ CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ, TRUYỀN THÔNG Hà Nội – 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN SỸ ANH NHẬN DIỆN CÁC DẠNG BỀ MẶT PHỤC VỤ PHÂN LOẠI VẬT THỂ SỬ DỤNG CAMERA RGB-D Ngành: Công nghệ Kỹ thuật Điện tử, Truyền thông Chuyên ngành: Kỹ thuật Điện tử Mã số : 60520203 LUẬN VĂN THẠC SĨ CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ, TRUYỀN THÔNG NGƢỜI HƢỚNG DẪN KHOA HỌC: TS PHẠM MINH TRIỂN Hà Nội – 2016 LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn “nhận diện dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGB-D” sản phẩm thực hướng dẫn TS Phạm Minh Triển Trong toàn nội dung luận văn, điều trình bày cá nhân tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội ngày 14 tháng 12 năm 2016 TÁC GIẢ LỜI CẢM ƠN Trước tiên xin gửi lời cảm ơn chân thành tới tập thể các thầy cô giáo Khoa Điện tử - Viễn thông, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội giúp đỡ tận tình chu tơi có mơi trường tốt học tập nghiên cứu Đặc biệt, xin bày tỏ lòng biết ơn sâu sắc tới TS Phạm Minh Triển ThS Qch Cơng Hồng, người trực tiếp hướng dẫn, bảo tơi tận tình suốt q trình nghiên cứu hồn thiện luận văn Cơng trình tài trợ từ đề tài KHCN cấp ĐHQGHN, Mã số đề tài: QG.15.25 Một lần xin gửi lời cảm ơn đến tất thầy giáo, bạn bè gia đình giúp đỡ tơi thời gian vừa qua Tơi xin kính chúc thầy cô giáo, anh chị bạn mạnh khỏe hạnh phúc Hà Nội ngày 14 tháng 12 năm 2016 TÁC GIẢ Nguyễn Sỹ Anh MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN .3 MỤC LỤC DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ DANH MỤC BẢNG BIỂU DANH MỤC KÍ HIỆU VÀ CHỮ VIẾT TẮT MỞ ĐẦU .9 Chƣơng 1: Giới thiệu 10 1.1 Giới thiệu ứng dụng robot đa robot .10 1.2 Camera RGB-D đám mây điểm 11 1.3 Mục tiêu đối tƣợng nghiên cứu .13 1.4 Các nghiên cứu liên quan .14 Chƣơng 2: Các kỹ thuật xử lý đám mây điểm 16 2.1 Tiền xử lý 16 2.1.1 Giảm mẫu .16 2.1.2 Loại bỏ điểm không liên quan 17 2.1.3 Phân đoạn ghép nhóm .19 a Phân đoạn .19 b Ghép nhóm 23 2.2 Tính tốn đặc trƣng điểm 25 2.2.1 Các điểm lân cận .25 2.2.2 Tìm kiếm điểm lân cận k-d tree 26 2.2.3 Ƣớc lƣợng véc tơ pháp tuyến 29 2.2.4 Lƣợc đồ đặc trƣng điểm 32 Chƣơng 3: Phân loại đặc trƣng điểm phƣơng pháp học máy SVM 38 3.1 Khái niệm máy véc tơ hỗ trợ 38 3.2 Mơ hình phân lớp SVM 38 3.3 Chuyển đổi không gian liệu SVM 39 3.4 Các hàm Kernel phổ biến .41 3.4.1 Kernel đa thức .41 3.4.2 Kernel RBF 41 Chƣơng 4: Kết thực nghiệm 43 4.1 Thƣ viện mở Point Cloud Library .43 4.2 Thƣ viện mở libsvm .44 4.3 Sơ đồ chƣơng trình 44 4.4 Kết 49 4.4.1 Kết liệu không nhiễu 49 4.4.2 Kết đám mây điểm quét từ Kinect .50 Chƣơng 5: Kết luận 55 5.1 Kết luận 55 5.2 Hạn chế hƣớng phát triển 55 Tài liệu tham khảo .56 DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1: Robot turtle nhà trang bị cảm biến Kinect 10 Hình 1.2: Bài tốn đa robot phối hợp thực nhiệm vụ 11 Hình 1.3: Cảm biến Kinect 12 Hình 1.4: Ảnh đầu Kinect 13 Hình 2.1 Voxel grid không gian ba chiều 16 Hình 2.2: Thay điểm voxel điểm trung bình 17 Hình 2.3: Trước sau loại bỏ điểm nhiễu .18 Hình 2.4: Ví dụ phân đoạn đám mây điểm 20 Hình 2.5: Thuật tốn RANSAC ước lượng mơ hình đường thẳng 21 Hình 2.6: Các cụm điểm thành nhóm riêng biệt 24 Hình 2.7: Cây k-d tree khơng gian hai chiều 27 Hình 2.8: Phân chia điểm vào k-d tree 28 Hình 2.9: Tìm kiếm điểm lân cận gần k-d tree 29 Hình 2.10: Hai phương pháp xác định véc tơ pháp tuyến 30 Hình 2.11: Ước lượng véc tơ pháp tuyến đám mây điểm 31 Hình 2.12: Tham số hóa mối liên hệ hai véc tơ pháp tuyến 34 Hình 2.13: Điểm khảo sát pq điểm lân cận 35 Hình 2.14: PFH cho bề mặt hình học khác 36 Hình 2.15: PFH cho mặt phẳng khơng nhiễu có nhiễu 37 Hình 3.1: Siêu phẳng (w,b) tối ưu phân chia class 39 Hình 3.2: Chuyển đổi khơng gian liệu SVM 40 Hình 4.1: Logo Point Cloud Library .43 Hình 4.2: Sơ đồ tổng thể chương trình 45 Hình 4.3: Các liệu sử dụng cho xây dựng mơ hình SVM .46 Hình 4.4: Các dạng histogram ứng với bề mặt khác 47 Hình 4.5: Kết thử nghiệm với liệu không nhiễu 49 Hình 4.6: Đám mây điểm đầu vào sau tách nền: 50 Hình 4.7: Kết thử nghiệm với liệu từ Kinect .51 Hình 4.8: Kết thử nghiệm với giá trị r khác 52 Hình 4.9: Kết thử nghiệm với giá trị p khác 53 DANH MỤC BẢNG BIỂU Bảng 1.1: Các thông số kĩ thuật cảm biến Kinect 12 Bảng 3.1: Quá trình xếp liệu vào k-d tree 27 Bảng 4.1: Màu tương ứng với dạng bề mặt 48 Bảng 4.2: Kết với giá trị p r khác nhauError! Bookmark not defined DANH MỤC KÍ HIỆU VÀ CHỮ VIẾT TẮT Kí hiệu Tiếng Anh Tiếng Việt RGB Red Green Blue Ảnh màu RGB-D Red Green Blue – Depth Ảnh màu – độ sâu VGA Video Graphics Array Chuẩn hiển thị hình ảnh 640x480 CAD Computer-aided design Thiết kế hỗ trợ máy tính SVM Support Véc tơ Machine Máy véc tơ hỗ trợ PFH Point Feature Histogram Lược đồ đặc trưng điểm VFH Viewpoint Feature Histogram Lược đồ đặc trưng điểm nhìn CVFH Cluster Viewpoint Feature Histogram Lược đồ đặc trưng điểm nhìn nhóm điểm GFPFH Global Fast Point Feature Histogram Lược đồ đặc trưng điểm nhanh toàn thể RANSAC Random Sample Consensus Phương pháp đồng mẫu ngẫu nhiên PCA Principal Component Analysis Phép phân tích thành phần RBF Radial Basis Function Hàm sở bán kính PCL Point Cloud Library Thư viện mở xử lý đám mây điểm MỞ ĐẦU Các robot với mục đích sử dụng hàng ngày trước thường sử dụng loại cảm biến truyền thống cảm biến hồng ngoại, cảm biến siêu âm Nhược điểm loại cảm biến thông tin mang lại ít, gây nhiều giới hạn cho việc vận hành khả robot để thực tác vụ phức tạp Trong năm gần đây, với lên khoa học kĩ thuật, kĩ thuật xử lý ảnh hướng nghiên cứu thị giác máy tính (Computer Vision) phát triển, có thị giác máy tính sử dụng Robotics Việc sử dụng camera giúp robot cảm nhận môi trường xung quanh cách đầy đủ chi tiết nhiều so với loại cảm biến truyền thống Từ tăng tính khả thi cho tốn phức tạp robot khả nhận diện vật thể (màu sắc, hình khối), giúp phối hợp robot hoạt động bầy đàn (định vị, lập đồ, phối hợp tuần tra, tìm kiếm cứu nạn đa mục tiêu), … Hiện nay, hướng nghiên cứu thị giác máy tính không tập trung vào việc xử lý ảnh màu 2D mà cịn phát triển cơng cụ xử lý ảnh 2.5D 3D Các loại camera 3D thị trường thường sử dụng kết hợp camera màu RGB truyền thống camera độ sâu (Depth), cho đầu ảnh kết hợp RGB-D Bài toán nhận diện phân loại bề mặt vật thể sử dụng camera RGB-D bước khởi đầu cho việc nghiên cứu thị giác máy tính theo xu hướng Mục tiêu luận văn xây dựng chương trình có khả phân biệt, nhận biết bề mặt vật thể ảnh Đề tài phát triển tiếp thành ứng dụng lĩnh vực robot, hệ thống đa robot hay đời sống hàng ngày 43 Chƣơng 4: Kết thực nghiệm Chương trình viết ngôn ngữ C++ môi trường Visual studio 2013 Chương trình sử dụng hai thư viện mở: - Point Cloud Library (PCL) thư viện hỗ trợ xử lý đám mây điểm - Libsvm thư viện hỗ trợ xử lý liên quan đến SVM bao gồm xây dựng mơ hình thử nghiệm, phân loại 4.1 Thƣ viện mở Point Cloud Library Point Cloud Library (PCL) thư viện mã nguồn mở chứa thuật tốn xử lý đám mây điểm hình học 3D, chuyên phục vụ cho việc nghiên cứu thị giác máy tính khơng gian ba chi ều [7] Thư viện PCL phát triển từ tháng 03/2010 Willow Garage – phịng thí nghiệm chun nghiên cứu Robotics đặt Mĩ PCL mắt lần đầu vào tháng 05/2011 Hình 4.1: Logo Point Cloud Library Thư viện PCL bao gồm module: - Filter: Thư viện phục vụ chức thực thi lọc xử lý đám mây điểm giảm mẫu, lọc theo khoảng cách, trích xuất index, chiếu, … - Feature: Thư viện phục vụ thực thi trích xuất đặc trưng hình học khơng gian ba chiều ước lượng pháp tuyến độ cong, moment, PFH FPFH, đặc trưng NARF, VFH, RIFT, … - I/O: Thư viện phục vụ thực thi chức vào/ra chương trình đọc, ghi đám mây điểm từ ổ đĩa - Phân đoạn: Thư viện phục vụ thực thi phân đoạn đám mây điểm, bao gồm chức khớp mơ hình hình học, ghép nhóm, RANSAC, … - Surface: Thư viện phục vụ thực thi kỹ thuật khôi phục bề mặt đám mây điểm 44 - Registration: Thư viện phục vụ thực thi phương pháp ghép đám mây điểm ICP - Keypoints: Thư viện phục vụ thực thi phương pháp tìm kiếm trích xuất đặc điểm đám mây điểm - Rangeimage: Thư viện hỗ trợ tạo ảnh tầm xa (range image) từ liệu đám mây điểm 4.2 Thƣ viện mở libsvm LIBSVM [6] thư viện mã nguồn mở học máy, phát triển trường Đại học Quốc gia Đài Loan Thư viện libsvm cung cấp việc thực giải thuật tối thiểu (SMO – sequential minimal optimization) cho SVM với kernel, sử dụng cho toán phân loại phân tích hồi quy Thư viện libsvm gốc viết ngôn ngữ C++ Mã nguồn libsvm sử dụng lại số công cụ học máy Matlab, OpenCV, … 4.3 Sơ đồ chƣơng trình Hình 4.2 trình bày sơ đồ giải thuật chương trình thực luận văn Chương trình gồm ba thành phần chính: - Tiền xử lý: bao gồm bước giảm mẫu, lọc nhiễu, tách bề mặt khỏi vật thể - Tìm đặc trưng điểm: bao gồm có ước lượng véc tơ pháp tuyến tính toán đặc trưng PFH - Nhận dạng bề mặt: Sử dụng mơ hình SVM để kiểm tra, phân loại dạng bề mặt 45 3D Point Cloud Phân đoạn ghép nhóm Nền Các vật thể Giảm mẫu Lọc nhiễu Tìm véc tơ pháp tuyến Point Feature Histogram Mơ hình SVM Nhận dạng bề mặt Hình 4.2: Sơ đồ tổng thể chương trình Đầu vào chương trình ảnh tĩnh dạng 3D đám mây điểm Trong trình tạo liệu cho việc xây dựng mơ hình SVM, chương trình sử dụng liệu đám mây điểm khơng nhiễu, mơ tả bề mặt hình học ba chiều bao gồm hình mặt cầu, hình trụ, mặt phẳng cạnh Dữ liệu lấy từ sở liệu 3D đại học Washington địa http://rgbddataset.cs.washington.edu/dataset/rgbd-scenes-v2/ 46 Hình 4.3: liệu sử dụng cho xây dựng mơ hình SVM Trong trình phân loại bề mặt vật thể, chương trình sử dụng liệu không nhiễu lấy từ sở liệu đại học Washington trên, liệu thật quét từ cảm biến Kinect lấy từ sở liệu mOSD (modified Object đồng địa Segmentation Dataset) cộng PCL https://github.com/PointCloudLibrary/data/tree/master/segmentation/mOSD Trong liệu thử nghiệm, khoảng cách trung bình từ camera vật thể khoảng 1.5 m Đám mây điểm đầu vào sau tách vật thể phương pháp RANSAC Trong thực nghiệm với đám mây điểm đầu vào với khoảng 300.000 điểm phần chứa vật thể bao gồm khoảng 50.000 đến 70.000 điểm tùy vào số lượng kích cỡ vật thể Phần lại loại bỏ khỏi liệu xử lý Q trình tiền xử lý sau bao gồm giảm mẫu lọc nhiễu đám mây điểm với mục đích giảm thời gian tính tốn cho bước xử lý Trong giai đoạn giảm mẫu, kích thước voxelgrid quan trọng cần phải đủ lớn để có mật độ điểm khơng q dày không làm đặc trưng điểm Chi tiết 47 giá trị voxel grid thử nghiệm phần kết Công đoạn lọc nhiễu hay lọc liệu không liên quan thực sau giảm mẫu Giai đoạn tính tốn đặc trưng điểm bắt đầu với việc xác định véc tơ pháp tuyến cho điểm đám mây điểm, sử dụng cấu trúc liệu dạng k-d tree phương pháp PCA để tìm trị riêng véc tơ riêng Bán kính xác định lân cận trường hợp tùy chỉnh theo bán kính tính tốn PFH vớ i Các véc tơ pháp tuyến sau đồng hướng điểm nhìn điểm đặt camera Q trình tính tốn PFH bước tiêu tốn tài ngun chương trình Tham số quan trọng q trình bán kính tính tốn PFH Các giá trị khác thử nghiệm liệu từ Kinect Trong trình xây dựng mơ hình SVM, đặc trưng PFH điểm ứng với dạng bề mặt khác ghi file csv Hình sau thể histogram dạng bề mặt khác khảo sát thử nghiệm Hình 4.4: Các dạng histogram ứng với bề mặt khác 48 Mơ hình học máy SVM nhận diện dạng bề mặt mặt phẳng, cạnh, mặt trụ lồi, mặt trụ lõm, mặt cầu lồi, mặt cầu lõm Kết nhận diện thể màu gán cho điểm bảng sau: Bảng 4.1: Màu tương ứng với dạng bề mặt Mặt cầu lõm Green Mặt cầu lồi Blue Mặt trụ lõm Yellow Mặt trụ lồi Pink Cạnh Cyan Mặt phẳng Red 49 4.4 Kết 4.4.1 Kết liệu khơng nhiễu Trước tiên, mơ hình học máy SVM thử liệu đầu vào không nhiễu Dữ liệu thử liệu vẽ 3D số đồ vật nhà bàn, ghế, … Mơ hình tiến hành phân loại bề mặt khác đồ vật Do đồ vật không bao gồm bề mặt lớn làm nên chương trình khơng sử dụng chức phân đoạn để tách khỏi vật Kết cho số đồ vật: Hình 4.5: Kết thử nghiệm với liệu khơng nhiễu 50 Trên liệu khơng nhiễu, chương trình dự đốn xác bề mặt xuất vật thể mặt trụ, mặt phẳng, cạnh Các chi tiết có kích thước nhỏ chân bàn, chân ghế, tay vịn, nhận cạnh 4.4.2 Kết đám mây điểm quét từ Kinect Với liệu vật thể quét từ Kinect, chương trình thực đầy đủ bước tiền xử lý bao gồm tách nền, ghép nhóm, giảm mẫu, lọc điểm khơng liên quan Hình 4.6: đám mây điểm đầu vào sau tách Đám mây điểm đầu vào (hình trên); (hình bên trái); vật thể tách khỏi (hình bên phải) Hình 4.6 thể liệu đầu vào sau bước tiền xử lý Kết nhận diện bề mặt thể hình 4.7 với cầu góc bên trái có bán kính với bán kính tính đặc trưng PFH Về bản, liệu từ Kinect với nhiều nhiễu lượng tử chương trình nhận diện phần lớn bề mặt: mặt phẳng; mặt tròn lồi, lõm (thể màu xanh xanh nước biển vật thể bát); mặt trụ lồi; cạnh (thể 51 màu xanh lục lam phần tiếp giáp mặt phẳng mặt trụ) Các điểm bị nhận diện sai chủ yếu nằm phần có nhiều nhiễu lượng tử phần rìa bề mặt, phần tiếp giáp, chuyển giao hai bề mặt hay phần có góc nhìn nhỏ từ cảm biến Đối với bề mặt có diện tích thấp mặt trụ hộp bánh hay mặt trụ lõm, chương trình nhận diện chúng hỗn hợp nhiều bề mặt khác nhau, phần cạnh chiếm đa số diện tích Với chi tiết nhỏ tay cầm (có kích thước nhỏ hình cầu), chương trình nhận diện cạnh Hình 4.7: Kết thử nghiệm với liệu từ Kinect Để khảo sát ảnh hưởng việc giảm mẫu chọn bán kính tính PFH, ta chạy chương trình với kích thước voxel grid (p) bán kính tính PFH (r) khác Đầu tiên, ta giữ nguyên tỉ lệ giảm mẫu thay đổi bán tính tính PFH với giá trị r 20, 30, 35 40mm Kết thu hình 5.8 52 Hình 4.8: Kết thử nghiệm với giá trị r khác Khi giảm bán kính tính PFH xuống cịn 20mm, ta thấy thời gian thực giảm rõ rệt xuống cịn ¼ Tuy nhiên với bán kính nhỏ, lân cận khơng đủ để thể đặc trưng hình học bề mặt, điều dẫn đến sai số điểm rìa tăng lên đáng kể Khi tăng bán kính PFH 30mm, thời gian thực tăng thêm chất lượng không cải thiện nhiều Với bề mặt có kích thước lớn (các mặt phẳng mặt cầu hình), việc tăng bán kính tính PFH có cải thiện độ xác điểm rìa Tuy nhiên với bề mặt có kích cỡ nhỏ mặt trụ cốc hay phần tiếp giáp hai bề mặt, số điểm nhận dạng sai tăng lên Để khảo sát ảnh hưởng giảm mẫu tới hiệu chương trình, ta giữ ngun bán kính (là giá trị tốt theo khảo sát trên) thay đổi kích thước voxelgrid (p) trình giảm mẫu Kết cho hình 4.9 53 Hình 4.9: Kết thử nghiệm với giá trị p khác Ảnh hưởng rõ ràng thay đổi kích thước lưới lọc voxel grid thời gian tính tốn Với kích cỡ lưới lọc 3mm, đám mây điểm chứa nhiều điểm mật độ điểm cao hơn, thời gian tính toán bị tăng lên tới 130 giây – lớn xử lý ảnh quét từ Kinect Ngược lại lưới lọc có kích thước lớn, tương đương với việc giảm mẫu mạnh thời gian tính tốn giảm đáng kể Cụ thể với kích thước voxel 12 15mm, thời gian tính tốn tồn cịn 235 143 ms, bao gồm 88 72 ms dành cho việc ước lượng véc tơ pháp tuyến Tức thời gian tính tốn đặc trưng PFH tương ứng 147 71 ms Song song với việc giảm thời gian tính tốn, giảm mẫu nhiều đặc trưng PFH đủ mạnh để nhận diện bề mặt Ta thấy trường hợp kích thước lưới lọc tăng đến 15mm đặc trưng bề mặt hình học khơng thay đổi so với kích thước 5mm Đây ưu lớn sử dụng ứng dụng thời gian thực, thời gian tính tốn vấn đề cốt lõi 54 Kết tổng hợp bảng Bảng 4.2: Kết với giá trị p r khác Kích thƣớc voxel Bán kính PFH Bán kính PFH Thời gian tính tốn Kích thƣớc voxel Thời gian tính tốn 20 mm 2476 ms mm 132757 ms 30 mm 10591 ms mm 10591 ms 35 mm 19035 ms mm 1850 ms 40 mm 31960 ms 10 mm 340 ms 12 mm 235 ms 15 mm 143 ms 55 Chƣơng 5: Kết luận 5.1 Kết luận Luận văn trình bày phương pháp nhận diện bề mặt vật thể sử dụng đám mây điểm thu thập từ camera RGB-D Các bước thực gồm có tiền xử lý bao gồm phân đoạn, giảm mẫu, lọc bớt nhiễu Dữ liệu sau tính tốn trích xuất đặc trưng điểm dùng mơ hình SVM để nhận diện, phân loại bề mặt vật thể theo bề mặt hình học không gian 3D mặt cầu, mặt trụ, mặt phẳng cạnh Chương trình viết ngơn ngữ C++ thử nghiệm với liệu đám mây điểm không nhiễu có nhiễu Kết chương trình nhận dạng bề mặt biết Luận văn trình bày kết thử nghiệm, đánh giá hiệu chương trình thay đổi thơng số q trình xử lý 5.2 Hạn chế hƣớng phát triển Do thời gian có hạn, luận văn chưa xây dựng hệ thống hoàn chỉnh nhận diện, phân loại vật thể sử dụng camera RGB-D Ngồi ra, giải thuật cịn tồn số vấn đề thời gian xử lý cao, chưa nhận diện xác với bề mặt nhiều nhiễu Trong thời gian tới, đề xuất hướng phát triển sau: - Hoàn thiện chương trình với số giải thuật thích nghi với kích thước vật, khoảng cách từ vật đến camera, … - Nghiên cứu, thử nghiệm hệ thống nhận diện, phân loại vật thể với đặc tính tồn thể GFPFH, VFH, … - Nghiên cứu, tìm hiểu thử nghiệm cách tiếp cận khác toán nhận diện phân loại vật thể sử dụng camera RGB-D 56 Tài liệu tham khảo Radu Bogdan Rusu, Zoltan Csaba Marton, Nico Blodow, Michael Beetz, Learning Informative Point Classes for the Acquisition of Object Model Maps, Proceedings of the 10th International Conference on Control, Automation, Robotics and Vision (ICARCV), Hanoi, Vietnam, December 1720, 2008 E Wahl, U Hillenbrand, and G Hirzinger, Surflet-Pair-Relation Histograms: A Statistical 3D-Shape Representation for Rapid Classification, in 3DIM03, 2003, pp 474–481 Radu Bogdan Rusu, Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments, PhD Thesis, Institure of Informatic, Technical University of Munich Annalisa Barla1;2, Francesca Odone2, Alessandro Verri, Histogram Intersection Kernel for image classification, Proceedings of International Conference on Image Processing (ICIP), 2003 Dustin Boswell, Introduction to Support Véc tơ www.dustwell.com/PastWork/IntroToSVM.pdf, August 2002 Machines, Chih-Chung Chang, Chih-Jen Lin, LIBSVM: A library for Support Véc tơ Machine, 2001 Radu Bogdan Rusu and Steve Cousins, 3D is here: Point Cloud Library (PCL), Proceedings of the IEEE International Conference on Robotics and Automation (ICRA ’11), Shanghai, China, May 2011 Andreas Richtsfeld, Thomas Morwald, Johann Prankl, Michael Zillich and Markus Vincze, Segmentation of Unknown Objects in Indoor Environments, 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems M.A Fischler and R.C Bolles Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography Communications of the ACM, 24(6):381–395, 1981 10.Klaas Klasing, Daniel Althoff, Dirk Wollherr, Martin Buss, Comparison of Surface Normal Estimation Methods for Range Sensing, Applications 2009 57 IEEE International Conference on Robotics and AutomationKobe International Conference CenterKobe, Japan, May 12-17, 2009 11.Alicja Wasik, Jose N Pereira, Rodrigo Ventura, Pedro U Lima and Alcherio Martinoli, Graph-Based Distributed Control for Adaptive Multi-Robot Patrolling through Local Formation Transformation, 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems, Daejeon, Korea, October 9-14, 2016 12.Radu Bogdan Rusu, Gary Bradski, Romain Thibaux, John Hsu , Fast 3D Recognition and Pose Using the Viewpoint Feature Histogram, Intelligent Robots and Systems (IROS), 2010 13.A Aldoma, N Blodow, D Gossow, S Gedikli, R Rusu, M Vincze,and G Bradski, CAD-model recognition and DOF pose estimationusing 3D cues, in Proc ICCV 2011, 3D Representation and Recognition(3D RR11), Barcelona, Spain, 2011, pp 585–592 14.R B Rusu, N Blodow, and M Beetz Fast PointFeature Histograms (FPFH) for 3D Registration In Proceedings of the International Conference onRobotics and Automation (ICRA), 2009 15.R.B Rusu, A Holzbach, M Beetz Detecting and Segmenting Objects for Mobile Manipulation, in the S3DV Workshop of the 12th International Conference on Computer Vision (ICCV), 2009 ... nghiên cứu Mục tiêu luận văn nhận diện dạng bề mặt khác đám mây điểm, với mục đích phân loại vật thể, phục vụ cho ứng dụng robot nhà Bài toán nhận dạng phân loại vật thể đám mây điểm nghiên cứu... 2.5D 3D Các loại camera 3D thị trường thường sử dụng kết hợp camera màu RGB truyền thống camera độ sâu (Depth), cho đầu ảnh kết hợp RGB-D Bài toán nhận diện phân loại bề mặt vật thể sử dụng camera. .. SỸ ANH NHẬN DIỆN CÁC DẠNG BỀ MẶT PHỤC VỤ PHÂN LOẠI VẬT THỂ SỬ DỤNG CAMERA RGB-D Ngành: Công nghệ Kỹ thuật Điện tử, Truyền thông Chuyên ngành: Kỹ thuật Điện tử Mã số : 60520203 LUẬN VĂN THẠC SĨ