ĐỀ MỤC Trang LỜI CẢM ƠN .......................................................................................................................i TÓM TẮT LUẬN VĂN.......................................................................................................ii MỤC LỤC...........................................................................................................................iii DANH SÁCH HÌNH VẼ..................................................................................................... vi DANH MỤC BẢNG BIỂU .................................................................................................. x DANH MỤC TỪ VIẾT TẮT.............................................................................................. xi Chƣơng 1 Giới thiệu .......................................................................................................... 1 1.1 Đặt vấn đề .................................................................................................................... 2 1.2 Mục tiêu Luận văn........................................................................................................ 2 1.3 Phƣơng pháp thực hiện................................................................................................. 3 1.4 Sơ lƣợc về nội dung luận văn ....................................................................................... 3 1.5 Những nghiên cứu liên quan......................................................................................... 4 Chƣơng 2 – Tìm hiểu về camera Kinect.............................................................................. 5 2.1 Giới thiệu tổng quan về camera Kinect ......................................................................... 6 2.2 Những thành phần chính của camera Kinect ................................................................. 7 2.3 Tính toán thông tin độ sâu .......................................................................................... 10 2.3.1 Thu thập thông tin độ sâu..................................................................................... 10 2.3.2 Độ chính xác của giá trị độ sâu ............................................................................ 13 2.4 Một số đặc tính khác .................................................................................................. 14 2.4.1 Hạn chế từ ánh sáng cấu trúc ............................................................................... 14 2.4.2 Tiêu cự, góc mở IR camera và RGB camera ........................................................ 14 2.4.3 Công suất tiêu thụ và nguồn cung cấp.................................................................. 15 2.4.4 Môi trƣờng hoạt động .......................................................................................... 16 Chƣơng 3 – Các thƣ viện hỗ trợ ........................................................................................ 17 3.1 APIs hỗ trợ Kinect...................................................................................................... 18 MỤC LỤC www.clbrobot.com www.robotgiaoduc.com iv 3.2 So sánh Kinect SDK và OpenNI................................................................................. 19 3.3 Thƣ viện PCL............................................................................................................. 23 Chƣơng 4 –Tái tạo mô hình 3D ......................................................................................... 26 4.1 Sơ đồ giải thuật .......................................................................................................... 27 4.2 Cấu trúc của dữ liệu đám mây điểm............................................................................ 29 4.3 Giai đoạn tiền xử lý đám mây điểm ............................................................................ 32 4.3.1 Lọc dữ liệu .......................................................................................................... 32 4.3.1.1 Bộ lọc không gian......................................................................................... 33 4.3.1.2 Bộ lọc lƣới.................................................................................................... 34 4.3.2 Phân đoạn và phân nhóm vật thể.......................................................................... 35 4.3.2.1 Phân đoạn ..................................................................................................... 35 4.3.2.2 Phân nhóm.................................................................................................... 39 4.4 Giai đoạn liên kết đám mây điểm ............................................................................... 41 4.4.1 Giải thuật ICP...................................................................................................... 42 4.4.2 Phƣơng pháp ghép thô SACIA ........................................................................... 45 4.4.2.1 Ƣớc lƣợng vector pháp tuyến bề mặt............................................................. 45 4.4.2.2 Ƣớc lƣợng đặc tính đám mây điểm ............................................................... 48 4.4.2.3 Giải thuật đồng nhất mẫu ngẫu nhiên SACIA .............................................. 54 4.4.3 Quá trình liên kết từng cặp đám mây điểm thành vật thể hoàn chỉnh .................... 59 4.5 Giai đoạn cải thiện chất lƣợng đám mây điểm sau liên kết.......................................... 65 4.5.1 Loại bỏ các phần tử nhiễu sử dụng phƣơng pháp thống kê ................................... 65 4.5.2 Xử lý bề mặt dùng phƣơng pháp Moving Least Squares ...................................... 67 4.6 Nhận xét..................................................................................................................... 73 Chƣơng 5 – Tái tạo bề mặt vật thể .................................................................................... 76 5.1 Giới thiệu các phƣơng pháp tái tạo bề mặt .................................................................. 77 5.2 Các phƣơng pháp xây dựng lƣới đa giác ..................................................................... 78 5.2.1 Cấu trúc dữ liệu lƣới đa giác ................................................................................ 78 5.2.2 Hình dạng Alpha ................................................................................................. 79 5.2.2 Phƣơng pháp chiếu tam giác hóa.......................................................................... 83 5.3 Các phƣơng pháp tái tạo bề mặt.................................................................................. 85 5.3.1 Phƣơng pháp chiếu lƣới....................................................................................... 85 www.clbrobot.com www.robotgiaoduc.com v 5.3.2 Thuật toán Marching Cubes................................................................................. 90 5.4 Nhận xét các thuật toán tái tạo.................................................................................... 94 Chƣơng 6: Kết luận và hƣớng phát triển.......................................................................... 97 Tài liệu tham khảo ............................................................................................................. 99 Phụ lục A – Sample Consensus........................................................................................ 103 Phụ lục B Các khái niệm cơ bản về hình dạng Alpha .................................................. 104
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN VIỄN THÔNG -o0o - LUẬN VĂN TỐT NGHIỆP ỨNG DỤNG GIẢI THUẬT ICP KẾT HỢP TÁI TẠO MƠ HÌNH 3D CỦA VẬT THỂ TỪ ẢNH DEPTH MAP GVHD: PGS.TS LÊ TIẾN THƢỜNG SVTH: TRẦN TRƢỜNG SƠN 40801831 VÕ XUÂN XĂNG 40802712 TP HỒ CHÍ MINH, THÁNG 12 - 2012 www.clbrobot.com www.robotgiaoduc.com BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập – Tự Do – Hạnh Phúc Số: /BKĐT Khoa: Điện – Điện tử Bộ Môn: Viễn Thông NHIỆM VỤ LUẬN VĂN TỐT NGHIỆP Họ tên: TRẦN TRƢỜNG SƠN MSSV: 40801831 Họ tên: VÕ XUÂN XĂNG MSSV: 40802712 Ngành VIỄN THÔNG LỚP DD08KSVT : : Đầu đề luận văn: “Ứng dụng giải thuật ICP kết hợp - tái tạo mơ hình 3D vật thể từ ảnh depth map” Nhiệm vụ ( Yêu cầu nội dung số liệu ban đầu): Ngày giao nhiệm vụ luận văn: Ngày hoàn thành nhiệm vụ: Họ tên ngƣời hƣớng dẫn : Phần hƣớng dẫn Nội dung yêu cầu LVTN đƣợc thông qua Bộ Môn Ngày tháng năm 2012 CHỦ NHIỆM BỘ MÔN (Ký ghi rõ họ tên) www.clbrobot.com NGƢỜI HƢỚNG DẪN CHÍNH (Ký ghi rõ họ tên) www.robotgiaoduc.com TRƢỜNG ĐẠI HỌC BÁCH KHOA KHOA ĐIỆN – ĐIỆN TỬ CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập – Tự Do – Hạnh Phúc Ngày tháng năm 201… PHIẾU CHẤM BẢO VỆ LVTN (Dành cho ngƣời hƣớng dẫn) Họ tên: TRẦN TRƢỜNG SƠN MSSV: 40801831 Họ tên: VÕ XUÂN XĂNG MSSV: 40802712 Ngành: Đề tài: VIỄN THÔNG LỚP: DD08KSVT “Ứng dụng giải thuật ICP kết hợp - tái tạo mơ hình 3D vật thể từ ảnh depth map” Họ tên ngƣời hƣớng dẫn: PGS TS LÊ TIẾN THƢỜNG Tổng quát thuyết minh: Số trang Số chƣơng Số bảng số liệu Số hình vẽ Số tài liệu tham khảo Phần mềm tính tốn Tổng quát vẽ: - Số vẽ: A1 A2 khổ khác - Số vẽ tay - Số vẽ máy tính Những ƣu điểm LVTN: Những thiếu sót LVTN: Đề nghị: Đƣợc bảo vệ , Bổ sung thêm để bảo vệ , Không đƣợc bảo vệ câu hỏi sinh viên trả lời trƣớc Hội Đồng: a) b) c) Đánh giá chung (bằng chữ: giỏi, khá, TB): Điểm …………………… Ký tên (ghi rõ họ tên) www.clbrobot.com www.robotgiaoduc.com TRƢỜNG ĐẠI HỌC BÁCH KHOA KHOA ĐIỆN – ĐIỆN TỬ CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập – Tự Do – Hạnh Phúc Ngày tháng năm 201… PHIẾU CHẤM BẢO VỆ LVTN (Dành cho ngƣời phản biện) Họ tên: TRẦN TRƢỜNG SƠN MSSV: 40801831 Họ tên: VÕ XUÂN XĂNG MSSV: 40802712 Ngành: Đề tài: VIỄN THÔNG LỚP: DD08KSVT “Ứng dụng giải thuật ICP kết hợp - tái tạo mơ hình 3D vật thể từ ảnh depth map” Họ tên ngƣời hƣớng dẫn: PGS TS LÊ TIẾN THƢỜNG Tổng quát thuyết minh: Số trang Số chƣơng Số bảng số liệu Số hình vẽ Số tài liệu tham khảo Phần mềm tính tốn Tổng quát vẽ: - Số vẽ: A1 A2 khổ khác - Số vẽ tay - Số vẽ máy tính Những ƣu điểm LVTN: Những thiếu sót LVTN: Đề nghị: Đƣợc bảo vệ , Bổ sung thêm để bảo vệ , Không đƣợc bảo vệ câu hỏi sinh viên trả lời trƣớc Hội Đồng: a) b) c) Đánh giá chung (bằng chữ: giỏi, khá, TB): Điểm …………………… Ký tên (ghi rõ họ tên) www.clbrobot.com www.robotgiaoduc.com NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪN: …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… Điểm: (Bằng chữ: ) Tp.Hồ Chí Minh Ngày tháng năm 2012 Giáo viên hƣớng dẫn www.clbrobot.com www.robotgiaoduc.com LỜI CẢM ƠN Lời đầu tiên, chúng em xin đƣợc gửi đến Thầy, PGS TS Lê Tiến Thƣờng lời cảm ơn chân thành sâu sắc nhất, ngƣời tạo điều kiện cho chúng em làm việc môi trƣờng gợi mở, tạo hội cho chúng em phát triển ý tƣởng Nhờ có hƣớng dẫn giúp đỡ tận tình Thầy suốt thời gian qua, chúng em thực hồn thành đồ án mơn học 2, thực tập tốt nghiệp luận văn tốt nghiệp Những lời nhận xét, góp ý hƣớng dẫn tận tình Thầy giúp chúng em có định hƣớng đắn suốt trình thực luận văn, giúp chúng em nhìn đƣợc ƣu khuyết điểm Đề tài bƣớc hoàn thiện Đồng thời, chúng em xin trân trọng cảm ơn Thầy Cơ Trƣờng Đại Học Bách Khoa nói chung khoa Điện - Điện Tử nói riêng dạy dỗ chúng em suốt quãng thời gian ngồi ghế giảng đƣờng Đại học Những lời giảng Thầy Cô bục giảng trang bị kiến thức giúp chúng em tích lũy thêm kinh nghiệm quý báu cho thân năm qua Bên cạnh đó, chúng tơi xin cảm ơn tồn thể bạn bè Trƣờng Đại Học Bách Khoa, cảm ơn cộng đồng phát triển thƣ viện xử lý ảnh 3D - PCL, hỗ trợ giúp đỡ bạn suốt thời gian học tập trƣờng suốt q trình hồn thành luận văn tốt nghiệp Và cuối cùng, chúng gửi đến cha mẹ anh chị lời cảm ơn chân thành sâu sắc Sự quan tâm, lo lắng hy sinh lớn lao cha mẹ động lực cho chúng nỗ lực sống Tp HCM, tháng 12 năm 2012 Trần Trƣờng Sơn – Võ Xuân Xăng i www.clbrobot.com www.robotgiaoduc.com TÓM TẮT LUẬN VĂN Camera Kinect Microsoft thiết bị có khả tạo ảnh depth map đƣợc biểu diễn dƣới dạng đám mây điểm, tức ảnh màu RGB có kèm theo thông tin độ sâu pixel Thiết bị có giá rẻ thiết bị quét bề mặt 3D truyền thống, có tiềm phát triển thành thiết bị quét 3D cầm tay phổ thông Tuy nhiên, liệu độ sâu (khoảng cách từ vật thể đến camera) chụp từ Kinect có chất lƣợng không ổn định Trong luận văn này, tập hợp giải thuật cho phép ngƣời dùng chụp lại đám mây điểm vật thể từ nhiều góc nhìn, ghép nối, cải thiện chất lƣợng đám mây điểm thu đƣợc từ Kinect tái tạo mơ hình 3D vật thể đƣợc thực Phƣơng pháp ghép nối cổ điển dùng giải thuật lặp điểm gần (ICP) việc ghép nối nhiều đám mây điểm lại thành vật thể hoàn chỉnh tỏ đơn giản cho kết tốt hai đám mây điểm có góc lệch nhỏ hệ tọa độ tồn cục Do đó, phƣơng pháp yêu cầu ngƣời dùng phải thu thập lƣợng lớn đám mây điểm xung quanh vật thể để đảm bảo góc lệch đám mây điểm không lớn Nếu số đám mây điểm thu đƣợc q ít, đám mây có góc lệch q lớn phƣơng pháp ICP cho kết khơng tốt Giải thuật ICP kết hợp phƣơng pháp mở rộng giải thuật ICP, cách quan sát đánh giá số khớp (Euclidian fitness score) để kết hợp cách hài hòa giải thuật ICP cổ điển với thuật toán ghép đồng mẫu ban đầu (SAC-IA), bao gồm phƣơng pháp ƣớc lƣợng vector pháp tuyến bề mặt, ƣớc lƣợng đặc tính bề mặt vật thể, sau q trình ghép nối thơ đƣợc thực để định hƣớng đám mây hƣớng tƣơng đồng trƣớc dùng giải thuật ICP, nhằm tăng độ trùng khớp chúng, qua giảm số lƣợng đám mây cần thu thập, giảm thời gian thực thi thuật toán Cuối cùng, để phục vụ yêu cầu đánh giá chi tiết bề mặt số ứng dụng, bề mặt vật thể đƣợc tái tạo sau giai đoạn liên kết đám mây điểm thông qua thuật toán tái tạo bề mặt 3D tối ƣu nhƣ chiếu tam giác hóa, dạng alpha, chiếu lƣới, Marching Cubes ii www.clbrobot.com www.robotgiaoduc.com MỤC LỤC ĐỀ MỤC Trang LỜI CẢM ƠN i TÓM TẮT LUẬN VĂN ii MỤC LỤC iii DANH SÁCH HÌNH VẼ vi DANH MỤC BẢNG BIỂU x DANH MỤC TỪ VIẾT TẮT xi MỤC LỤC Chƣơng - Giới thiệu 1.1 Đặt vấn đề 1.2 Mục tiêu Luận văn 1.3 Phƣơng pháp thực 1.4 Sơ lƣợc nội dung luận văn 1.5 Những nghiên cứu liên quan Chƣơng – Tìm hiểu camera Kinect 2.1 Giới thiệu tổng quan camera Kinect 2.2 Những thành phần camera Kinect 2.3 Tính tốn thơng tin độ sâu 10 2.3.1 Thu thập thông tin độ sâu 10 2.3.2 Độ xác giá trị độ sâu 13 2.4 Một số đặc tính khác 14 2.4.1 Hạn chế từ ánh sáng cấu trúc 14 2.4.2 Tiêu cự, góc mở IR camera RGB camera 14 2.4.3 Công suất tiêu thụ nguồn cung cấp 15 2.4.4 Môi trƣờng hoạt động 16 Chƣơng – Các thƣ viện hỗ trợ 17 3.1 APIs hỗ trợ Kinect 18 iii www.clbrobot.com www.robotgiaoduc.com 3.2 So sánh Kinect SDK OpenNI 19 3.3 Thƣ viện PCL 23 Chƣơng –Tái tạo mơ hình 3D 26 4.1 Sơ đồ giải thuật 27 4.2 Cấu trúc liệu đám mây điểm 29 4.3 Giai đoạn tiền xử lý đám mây điểm 32 4.3.1 Lọc liệu 32 4.3.1.1 Bộ lọc không gian 33 4.3.1.2 Bộ lọc lƣới 34 4.3.2 Phân đoạn phân nhóm vật thể 35 4.3.2.1 Phân đoạn 35 4.3.2.2 Phân nhóm 39 4.4 Giai đoạn liên kết đám mây điểm 41 4.4.1 Giải thuật ICP 42 4.4.2 Phƣơng pháp ghép thô SAC-IA 45 4.4.2.1 Ƣớc lƣợng vector pháp tuyến bề mặt 45 4.4.2.2 Ƣớc lƣợng đặc tính đám mây điểm 48 4.4.2.3 Giải thuật đồng mẫu ngẫu nhiên SAC-IA 54 4.4.3 Quá trình liên kết cặp đám mây điểm thành vật thể hoàn chỉnh 59 4.5 Giai đoạn cải thiện chất lƣợng đám mây điểm sau liên kết 65 4.5.1 Loại bỏ phần tử nhiễu sử dụng phƣơng pháp thống kê 65 4.5.2 Xử lý bề mặt dùng phƣơng pháp Moving Least Squares 67 4.6 Nhận xét 73 Chƣơng – Tái tạo bề mặt vật thể 76 5.1 Giới thiệu phƣơng pháp tái tạo bề mặt 77 5.2 Các phƣơng pháp xây dựng lƣới đa giác 78 5.2.1 Cấu trúc liệu lƣới đa giác 78 5.2.2 Hình dạng Alpha 79 5.2.2 Phƣơng pháp chiếu tam giác hóa 83 5.3 Các phƣơng pháp tái tạo bề mặt 85 5.3.1 Phƣơng pháp chiếu lƣới 85 iv www.clbrobot.com www.robotgiaoduc.com 5.3.2 Thuật toán Marching Cubes 90 5.4 Nhận xét thuật toán tái tạo 94 Chƣơng 6: Kết luận hƣớng phát triển 97 Tài liệu tham khảo 99 Phụ lục A – Sample Consensus 103 Phụ lục B - Các khái niệm hình dạng Alpha 104 v www.clbrobot.com www.robotgiaoduc.com