Lọc nhiễu dữ liệu cảm biến độ sâu

I H C QU C GIA TP H CHÍ MINH I H C BÁCH KHOA NGUY N NG C L L C NHI U D LI U C M BI Chuyên ngành: KHOA H C MÁY TÍNH Mã s : 60.48.01 LU TP H CHÍ MINH SÂU C HỒN THÀNH T I I H C BÁCH KHOA Cán b HCM ng d n khoa h c : TS Lê Ng c Minh Cán b ch m nh n xét : TS Nguy n Anh Tu n Cán b ch m nh n xét : TS Lê Thành Sách Lu cb ov t HCM ngày 22 tháng 07 2013 ih Thành ph n H TS Tr m: TS Nguy n Anh Tu n TS Lê Thành Sách TS Hu ng Nguyên TS Lê Thanh Vân Xác nh n c a Ch t ch H chuyên ngành sau lu CH T CH H ng Khoa qu n lý c s a ch a (n u có) NG NG KHOA i I H C QU C GIA TP.HCM I H C BÁCH KHOA C NG HÒA XÃ H I CH c l p - T - H nh phúc T NAM NHI M V LU MSHV: 09070448 16/10/1983 Tây Ninh : 60.48.01 Chuyên ngành: Khoa I TÀI: L C NHI U D LI U C M BI SÂU II NHI M V VÀ N I DUNG: D li u c a thi t b Kinect t c t o mơ hình b m t 3D c m 3D b nhi u, nên c n l c nhi u ng III NGÀY GIAO NHI M V : 02/07/2012 IV NGÀY HOÀN THÀNH NHI M V : 30/11/2012 V CÁN B NG D N: TS LÊ NG C MINH Tp HCM, ngày tháng CÁN B NG D N CH NHI M B (H tên ch ký) (H tên ch ký) NG KHOA (H tên ch ký) ii O L IC Lu không th t c th c mà không c n s u ki n t t nh t c a nhi i dành cho Tôi u tiên, Tôi xin g i l i c Minh, Th c nh ng d n th c hi nc quan tâm su t trình u ki ng t n b n bè Tôi t t c m ni Sau cùng, c n thi t c c Tơi có th hồn thành t t lu gian c h tr n TS Lê Ng c c, l p nghiên c u, t o m ng viên, giúp n nh bên c nh Tơi iii i TĨM T T LU tài lu ti mô t m c nhi u d li c l y m u t m t b m t c th c hi n tr c l c nhi u, s d ng k t h p k thu t Moving Least Squares (MLS) v i k thu t Non-Local vi c x m thu c tính hay vùng khơng c tính Thi t b c m bi d li sâu Kinect for XBox c a c s d ng cho vi c l y m m u c a b m t th c t L c nhi u d li u c ti n x lý cho vi c t o mơ hình 3D iv ABSTRACT This Thesis describes a method to denoise data directly from point cloud is sampled from a surface The denoising method, using associate Moving Least Squares (MLS) with Non-Local techniques for deal with points whether they belong to a feature region or non feature region Depth Kinect sensor for XBox of Microsoft used to catch point sampled surface in real Denoising point cloud data as a preprocessing step in 3D model reconstruction v L ng, ngo i tr k t qu tham kh o t ng lu c trình bày lu Tơi th c hi m t b ng c p n n i dung c a lu ng ho ng khác vi cn l y M CL C NHI M V LU L IC ii iii TÓM T T LU iv ABSTRACT v L .vi DANH M C B NG .ix DANH M C HÌNH x I THI U 1.1 ng l c 1.2 M c tiêu 1.3 ng ti p c n 1.4 K t c u lu NG QUAN 2.1 Kinect 2.2 M t s thu t ng 2.2 m (Point Clouds) 2.3 Point Cloud Library (PCL) 2.3.1 M ts n module C++: 2.3.2 B l c (filter) 2.3.3 Nh m (Point Features) 10 2.3.4 ng Normal 11 2.3.5 PFH (Point Feature Histogram) 12 2.3.6 FPFH (Fast Point Feature Histogram) 13 LÝ THUY T 15 3.1 Kho ng cách Euclidean 15 3.2 Phân tích thành ph n - Principal Component Analysis (PCA) 15 3.3 Random Sample Concensus (RANSAC) 16 3.4 Kd-tree 16 U LIÊN QUAN 18 4.1 Mesh-Independent Surface Interpolation [7] 18 vii 4.2 Curve Reconstruction from Unorganized Points [9] 20 4.3 Point set surfaces [13] 20 4.4 Robust moving Least-squares Fitting with Sharp Features [26] 21 4.5 Similarity-based denoising of point-sampled surface [24] 22 4.6 Adaptive feature-preserving non-local denoising of static and time-varying range data [17] 22 4.7 Efficient Spatio-Temporal Hole Filling Strategy for Kinect Depth Maps [14] 23 4.8 Adaptive Spatio-Temporal Filter For Low-Cost Camera Depth Maps [15] 24 NG 26 5.1 Thu th p d li u 26 5.2 Filtering 27 5.3 S phân chia (Segmentation) 28 NHI U 30 6.1 30 6.2 nhi xu t 31 T QU VÀ K T LU N 40 7.1 D li u DOUBLE-TORUS2 40 7.1.1 Tìm tham s k 42 7.1.2 Áp d ng thu t toán MLS cho d li u DOUBLE-TORUS2 43 7.1.3 Áp d ng thu t toán MSL Non-Local cho d li u Double-Torus2 46 7.2 D li c l y t thi t b quét Kinect 55 7.2.1 Áp d ng thu t toán MLS 56 7.2.2 Áp d ng gi i thu t MLS NON-LOCAL 57 7.3 Th o lu n 63 7.4 K t lu n 63 TÀI LI U THAM KH O 65 viii DANH M C B NG B ng 6-1: B ng bi n thiên Gaussian Kernel 39 B ng 7-1: B ng s li u ch n tham s k 42 B ng 7-2: B ng s li u Double-Torus2, MLS 43 B ng 7-3: B ng s li u Double-Torus2, MLS Non-Local, bán kính 1.5 49 B ng 7-4: B ng s li u nh m thu c tính Double-Torus2, MLS Non-Local, bán kính 1.5 50 B ng 7-5: B ng s li u Double-Torus2, MLS Non-Local, bán kính 52 B ng 7-6: B ng s li u nh m thu c tính Double-Torus2, MLS Non-Local, bán kính 53 ix Hình 7-27: h = 3, bán kính Hình 7-28: h = 5, bán kính Hình 7-29: h = 10, bán kính Nh n xét: i v i t p d li u Double-Torus2, thu t toán MLS k t h p v i Non-Local cho k t qu x có m quanh c i t p d li u ban mm m Double-Torus2 nh s c m hàng xóm thu t tốn có th tính tốn 54 7.2 D li c l y t thi t b quét Kinect Hình 7-30: C nh c a h Hình 7-31: Góc c a h 55 c quét b i Kinect c quét b i Kinect 7.2.1 Áp d ng thu t tốn MLS C nh Hình 7-32: Radius = 0.01, c nh, MLS Hình 7-33: Radius = 0.02, c nh, MLS Hình 7-34: Radius = 0.03, c nh, MLS 56 Góc Hình 7-35: Radius = 0.01, góc, MLS Hình 7-36: Radius = 0.02, góc, MLS Hình 7-37: Radius = 0.03, góc, MLS 7.2.2 Áp d ng gi i thu t MLS NON-LOCAL C nh - V i tham s bán kính 0.02, tolerance 0.01, s c m 4, s hàng xóm 8, tr c quan m thu c tính 57 Hình 7-38: - c tính c nh, s c m 4, s hàng xóm V i tham s bán kính 0.02, tolerance 0.01 s c m 4, s hàng xóm 8, so sánh giá tr h: Hình 7-39: h = 5, c m 4, hàng xóm 8, c nh Hình 7-40: h =10, c m 4, hàng xóm 8, c nh - V i tham s bán kính 0.02, tolerance 0.01 s c m 7, s hàng xóm 8, tr c quan m thu c tính 58 Hình 7-41 - c tính c nh, s c m 7, s hàng xóm V i tham s bán kính 0.02, tolerance 0.01 s c m 7, s hàng xóm 8, so sánh giá tr h: Hình 7-42: h = 5, c m 7, hàng xóm 8, c nh Hình 7-43: h = 10, c m 7, hàng xóm 8, c nh Góc - V i tham s bán kính 0.02, tolerance 0.01 s c m 4, s hàng xóm 8, tr c quan giá tr thu c tính 59 Hình 7-44 - c tính góc, s c m 4, s hàng xóm V i tham s bán kính 0.02, tolerance 0.01 s c m 4, s hàng xóm 8, so sánh giá tr h Hình 7-45: h = 5, bán kính 0.02, s c m 4, s hàng xóm 8, góc 60 Hình 7-46: h = 10, bán kính 0.02, s c m 4, s hàng xóm 8, góc - V i tham s bán kính 0.02, tolerance 0.01 s c m 7, s hàng xóm 8, tr c quan giá tr thu Hình 7-47: - c tính c tính góc, s c m7, s hàng xóm V i tham s bán kính 0.02, tolerance 0.01 s c m 7, s hàng xóm 8, so sánh giá tr h 61 Hình 7-48: h = 5, bán kính 0.02, s c m 7, s hàng xóm 8, góc Hình 7-49: h = 10, bán kính 0.02, s c m 7, s hàng xóm 8, góc Nh n xét: i v i d li u t thi t b Kinect c k t qu ct c tính c nh góc t nhi u so v i d li u Double-Torus2 Thu không t o nhi u nhi u outliers, quan tr không b bi n d ng h nh góc c a hình h p i gian ch y thu t toán lâu tùy thu c vào bán m 62 ng h p ch y th c nghi m th i gian ch y thu t toán kho ng gi n gi ng h 7.3 Th o lu n Ch n tham s : - Tham s u c dùng tính tr ng s gi a vùng nh, ph thu c vào phân b c c ch n th p d m nhi u N u h n không th xóa h t nhi u N cao giá tr c a tr ng s s cao d c l i, n n không gi c ch n c tính b m t sau kh nhi u - Tham s a Gaussian Kernel kho ng cách l n nh t t mu n hàng xóm xung quanh - Bán kính tìm ki m u ph m b o không nh l n Lý do, t mu cl c c vùng không gian ph i có c m nhân v i hàng xóm xung quanh tâm c a m i Vi c ch n t c hàng xóm xung quanh u nên t g s gi a s c m s hàng xóm xumg quanh tâm c m tr lên - S c m s hàng xóm xung quanh m i c m nên ch n theo m m K t qu d li u Double-Torus2 - i v i d li u Double-Torus2, rõ ràng thu xu t cho k t qu r t x u, t o thêm nhi u nhi m n ch c a thu t toán K t qu d li u th t - Thu tc xu c ki m tra d li u th t t thi t c m bi nh ph n 7.2 V i m m nhi c t qu cho th y thu t tốn khơng t o nhi u nhi u hay outliers so v i d li u DoubleTorus2 Bên c t v c nh góc v 7.4 K t lu n 63 c gi xu t cho kh nhi m 3D b ng cách k t h pháp MLS v i m t m r ng c nhi u Non-Local t c ki m tra d li u Double-Torus2 d li sánh v i thu t toán MLS nh cl xu t cho th y có th gi c tính góc c nh sau làm m n b m dày H n ch c s c l y t Kinect so x lý t iv c m có m ng m vi c tìm quan h t t gi a nh ng hàng xóm v i Cu i cùng, th i gian th c thi c a gi i thu t r t lâu 64 TÀI LI U THAM KH O [1] Alexa M, Behr J, Cohen-Or D, Fleishman S, Levin D, Silva, Computing and rendering point set surfaces IEEE Trans on Visualization and Computer Graphics Volume Issue 1, January 2003 [2 , Proceedings of the SIAM Conference on Geo-metric Design and Comuting, 2003 [3] Buades - [4 839 846, 1998 [5] Christopher M Bishop, Pattern Recognition and Machine Learning [6] David G Lowe Distinctive Image Features from Scale-Invariant Keypoints , International Journal of Computer Vision, 60(2):91 110, November 2004 [7] David Levin, Mesh-Independent Surface Interpolation , Geometric Modeling for Scientific Visualization, 37-49, 2003 [8] Douglas C Montgomery, George C Runger, Applied Statistics and Probability for , 2002 [9] In-kwon Lee, Curve Reconstruction from Unorganized Points , Computer Aided Geometric Design, 17, 2, 161-177, 2000 [10] Jon Louis Bentley, 517, September 1975 [11] Khoshelham, K., Oude Elberink, Accuracy and resolution of Kinect depth data for indoor mapping applications , Open Access Journal, 1437-1454, 2012 [12] K Pearson On lines and planes of closest fit to systems of points in space Philosophical Magazine, 2:559 572, 1901 65 [11] M A Fischler and R C Bolles, Random sample consensus: A paradigm for analysis and automated cartography Communications of the ACM, 24(6):381 395, 1981 [13] Marc Alexa, Johannes Behr, Daniel Cohen-Or, Shachar Fleishman, David Levin, Claudio T Silva, Point Set Surfaces , Proceedings of the conference on Visualization, 21-28, 2001 [14] M Camplani, L Salgado, Efficient Spatio-Temporal Hole Filling Strategy for Kinect Depth Maps , IS&T/SPIE Int Conf on 3D Image Processing (3DIP) and Applications , SPIE vol 8290, 2012 [15] M Camplani, L Salgado, Adaptive spatio-temporal filter for low-cost camera depth maps , IEEE Int Conf on Emerging Signal Processing Applications , 33-36, 2012 [16] M.R Andersen, T Jensen, P Lisouski, A.K Mortensen, M.K Hansen,T Gregersen, P Ahrendt, Kinect Depth Sensor Evaluation for Computer Vision Applications , Technical report ECE-TR-6, 2012 [17] Oliver Schall, Alexander Belyaev, Hans-Peter Seidel, Adaptive featurepreserving non-local denoising of static and time-varying range data , Computer-Aided Design, 40, 6, 701-707, 2008 [18] Oztireli, Cengiz, Guennebaud Non- [19 25/3:379 388, 2006 [20] Pauly, M., Mitra, N.J., Guibas, L.J, Uncertainty and Variability in Point Cloud Surface Data Proc Eurographics Symp on Point-Based Graphics, p.77-84, 2004 [21] Radu Bogdan Rusu, Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments PhD thesis, Computer Science department, Technische Universitaet Muenchen, Germany, October 2009 66 [22] Radu Bogdan Rusu, Nico Blodow, and Michael Beetz Fast point feature histograms (fpfh) for 3d registration IEEE International Conference on, pages 3212 3217, Kobe, Japan, may 2009 [23] Radu Bogdan Rusu, Steve Cousins, 3D is here: Point Cloud Library (PCL) , International Conference on Robotics and Automation, 2011 [24] Ren-fang WANG, Wen-zhi CHEN, San-yuan ZHANG, Yin ZHANG, Xiu-zi YE, Similarity-based denoising of point-sampled surface , Journal of Zhejiang University SCIENCE A, 9, 6, 807-815, 2008 [25] Shachar Fleishman, Iddo Drori, Daniel CohenProceedings of ACM SIGGRAPH 2003 [26] Shachar Fleishman, Daniel Cohen-Or and Claudio Silva, Robust moving Leastsquares Fitting with Sharp Features , Proceedings of ACM SIGGRAPH, 24, 3, 544552, 2005 [27] http://meshlab.sourceforge.net/ [28] http://www.primesense.com [29] http://www.ros.org/wiki/kinect_calibration/technical [30] http://xboxkinectprices.co.uk/a/kinect-hardware-specification.asp 67 PH N LÝ L CH TRÍCH NGANG H tên: Nguy n Ng c L -10-1983 Tây Ninh a ch liên l c: A1/2 khu ph th tr n Hòa Thành O 2001 - 2005: Sinh viên c a khoa Công nghê thông tin i h c Ngo i Ng - Tin h c Tp H Chí Minh 2009 2013: H c viên Cao h c c a khoa Khoa h c K thu t Máy tính i h c Bách Khoa Tp H Chí Minh Q TRÌNH CƠNG TÁC t s cơng ty: Thanhniên.biz MMSOFT IESVN 68 ... sinh t nh ng (depth map) sâu (depth image) hay b sâu m t ma tr n pixels, m i pixel ch a m t giá tr sâu kho ng cách t b m t c camera, s c chuy M u m 3D, c s d ng m ng sâu sâu ng th gi i th n i sang... 43o Góc Ph m vi nghiên v t lý: ± 27o Ph m vi c m bi sâu: 1.2m - 3.5m Dòng d li u T d li u: x p x 30 frames/sec C m bi sâu: 320x240 pixels 16- sâu RGB Camera: 640x480 pixels 32-bit màu Audio: 16-bit... 4- c dùng kh i c a chi y ch tr ng I: d li u video (video data) D: b sâu (depth data) Dm: mơ hình b sâu (depth map model) Cmap sâu Dm Bài báo c a tác gi ch liên h 4.8 n c nh v Adaptive Spatio-Temporal