Phân đoạn mờ và khôi phục thông tin trong ảnh RGB d

LỜI CẢM ƠN Đầu tiên, xin chân thành cảm ơn giáo viên hướng dẫn PGS TS Đào Thanh Tĩnh người tận tình dẫn mặt chun mơn, định hướng ý tưởng nghiên cứu hỗ trợ tin thần công việc để thực nghiên cứu Tôi cảm ơn đến đồng nghiệp môn Hệ thống thông tin Khoa công nghệ thông tin Học viện Kỹ thuật quân động viên, hỗ trợ q trình thực luận án Tơi xin cảm ơn đến TS Tăng Văn Hạ, PGS TS Ngô Thành Long cộng tác thực số cơng trình nghiên cứu đưa nhận xét góp ý q báu để hồn thiện nghiên cứu Cuối xin cảm ơn gia đình tơi đồng hành, hỗ trợ, tạo điều kiện cho thực luận án LỜI CAM ĐOAN Tôi xin cam đoan luận án không chứa nội dung sử dụng luận án, luận văn tác giả khác trường đại học học viện nước quốc tế ngoại trừ tham khảo Với nhận thức mình, tơi xin cam đoan kết trình bày luận án chưa xuất tác giả khác nước quốc tế Tác giả luận án Nguyễn Mậu Uyên i Mục lục Danh mục chữ viết tắt iii Danh mục bảng v Danh mục hình vẽ, đồ thị v Mở đầu Chương Phân đoạn ảnh RGB-D dựa phân cụm 1.1 Ảnh RGB-D mơ hình thu nhận 1.2 Phân cụm liệu phân đoạn ảnh RGB-D 12 1.3 1.4 1.2.1 Phân cụm trừ mờ 13 1.2.2 Phân đoạn ảnh phân cụm 21 Logic mờ loại 24 1.3.1 Logic mờ 24 1.3.2 Tập mờ loại tập mờ loại khoảng 29 1.3.3 Sử dụng logic mờ toán xử lý ảnh 33 Phân đoạn ảnh khôi phục thông tin ảnh 35 Chương Phân cụm mờ loại khoảng xác định đối tượng ảnh RGB-D 2.1 2.2 2.3 42 Logic mờ phân cụm 43 2.1.1 Phân cụm mờ trừ loại khoảng 44 2.1.2 Phân cụm trừ mờ loại khoảng cải tiến 48 Trích xuất đối tượng ảnh RGB-D 58 2.2.1 Vấn đề trích xuất đối tượng ảnh RGB-D 59 2.2.2 Thuật tốn trích xuất đối tượng ảnh RGB-D 62 Ứng dụng tính khoảng cách đến đối tượng 70 ii Chương 3.1 3.2 Khôi phục thông tin ảnh RGB-D 77 Khôi phục thông tin ảnh độ sâu 80 3.1.1 Đặc trưng ảnh độ sâu camera Kinect 80 3.1.2 Khôi phục ảnh miền wavelet 83 Mơ hình mờ khơi phục thơng tin 87 3.2.1 Mơ hình mờ giải tốn thơng tin ảnh RGB-D 87 3.2.2 Thuật tốn khơi phục ảnh độ sâu dựa logic mờ 95 3.2.3 Thử nghiệm mơ hình khơi phục thơng tin dựa logic mờ 98 3.3 Phương pháp gradient bước dài 103 3.3.1 Phương pháp xấp xỉ gradient 104 3.3.2 Phương pháp xấp xỉ gradient bước dài 107 3.3.3 Thử nghiệm thuật toán xấp xỉ gradient bước dài 109 Kết luận 127 iii Danh mục chữ viết tắt Chữ viết tắt Ý nghĩa ACC Tỷ lệ xác - Accuracy AIT2FSC Phân cụm mờ trừ loại hai khoảng cải tiến - Accelerated interval type-2 fuzzy subtractive clustering APG Phương pháp xấp xỉ gradient bước dài - Accelerated proximal gradient B3DO Cơ sở liệu đối tượng trường Đại học Berkeley - Berkeley 3-D Object Dataset F1 Độ đo xác - F1 score FCM Phân cụm mờ c-Means - Fuzzy c-Means clustering FCRM Mơ hình C-Regression mờ - Fuzzy C-Regression model FDR Xấp xỉ mờ khôi phục giá trị điểm thông tin ảnh độ sâu - Fuzzy depth reconstruction FOU Biên không chắn bậc - Footprint of uncertainty IT2FSC Phân cụm trừ mờ loại hai khoảng - Interval type-2 fuzzy subtractive clustering MSE Sai số tồn phương trung bình - Means square error NYU Đại học New York - New York University ODBC Phát đối tượng dựa phân cụm - Object detection based on clustering PG Phương pháp xấp xỉ gradient - Proximal gradient iv Chữ viết tắt Ý nghĩa PSNR Tỷ lệ tín hiệu cực đại nhiễu - Peak signal-to-noise ratio RGB Ảnh màu, thu nhận camera quang học bao gồm ba thành phần đỏ (R), xanh (G), xanh dương (B) RGB-D Ảnh màu kết hợp ảnh độ sâu ToF Camera độ sâu dựa tia quét - Time of Flight WashU Đại học Washington - Washington University v Danh mục bảng 2.1 So sánh tỉ lệ N , ND , Ng ảnh độ sâu 55 2.2 So sánh tỉ lệ N , ND , Ng ảnh màu 56 2.3 Thống kê số lượng phần tử liệu ảnh NYU 57 2.4 Thống kê khoảng cách tính so với khoảng cách thực tế 3.1 Thống kê tỉ lệ thông tin ảnh độ sâu 78 3.2 Thống kê độ lệch giá trị khôi phục giá 73 trị gán ảnh độ sâu 100 3.3 Thống kê PSNR ảnh khôi phục ảnh gốc với mặt nạ ngẫu nhiên (PG-APG) 115 3.4 Thống kê PSNR ảnh khôi phục ảnh gốc với mặt nạ thiết lập (PG-APG) 115 3.5 Thống kê số bước lặp mặt nạ ngẫu nhiên (PG-APG) 116 3.6 Thống kê số bước lặp mặt nạ thiết lập (PG-APG) 117 3.7 Thống kê PSNR ảnh khôi phục ảnh gốc với mặt nạ ngẫu nhiên (FDR-APG) 118 3.8 Thống kê PSNR ảnh khôi phục ảnh gốc với mặt nạ thiết lập (FDR-APG) 119 3.9 Thống kê số PSNR cho thuật toán APG 121 3.10 Thống kê số PSNR cho thuật toán FDR 121 3.11 Thống kê độ xác phát đối tượng 124 vi Danh mục hình vẽ, đồ thị 1.1 Mơ hình camera Kinect 1.2 Ảnh thu nhận từ camera Kinect 10 1.3 Hình ảnh độ sâu trước sau khôi phục 12 1.4 Mơ hình tập mờ 25 1.5 Biểu diễn phép AND 26 1.6 Biểu diễn phép OR 27 1.7 Tập mờ phần bù 27 1.8 Mơ hình logic mờ 28 1.9 Hàm thuộc tập mờ loại 30 1.10 Ảnh độ sâu thu nhận từ camera Kinect 37 2.1 Ảnh độ sâu ảnh màu 49 2.2 Lược đồ histogram ảnh độ sâu 50 2.3 Tọa độ không gian tương ứng với camera Kinect 59 2.4 Mặt phẳng di chuyển 61 2.5 Ảnh trước sau loại bỏ mặt phẳng di chuyển 64 2.6 Ảnh trước sau loại bỏ mặt phẳng di chuyển (NYU) 65 2.7 Ảnh thu nhận phòng thí nghiệm 66 2.8 Lược đồ histogram ảnh độ sâu phòng thí nghiệm 68 2.9 Kết loại bỏ mặt phẳng di chuyển 69 2.10 Các cụm ảnh độ sâu 70 2.11 Các đối tượng ảnh 71 2.12 Các đối tượng quan tâm 72 vii 2.13 So sánh khoảng cách thật khoảng cách tính tốn ảnh 72 3.1 Ảnh độ sâu thu nhận từ camera Kinect 77 3.2 Các trường hợp thông tin đặc trưng ảnh độ sâu 81 3.3 Hình ảnh nhiễu thu nhận từ camera Kinect 82 3.4 Hệ số wavelet ảnh độ sâu 87 3.5 Một số loại thông tin 90 3.6 Mơ hình lân cận 91 3.7 Các ảnh thử nghiệm khôi phục thông tin 99 3.8 Kết khôi phục độ sâu ảnh RGB-D theo sở liệu WashU [70] 101 3.9 Kết so sánh chi tiết khôi phục thông tin 102 3.10 Kết thử nghiệm khôi phục thông tin 111 3.11 Biểu đồ so sánh tốc độ hội tụ hệ số PSNR 112 3.12 Biểu đồ so sánh tốc độ cực tiểu hóa hàm chi phí 113 3.13 Các mặt nạ thử nghiệm thuật tốn khơi phục thơng tin 114 3.14 Các ảnh thử nghiệm khôi phục thơng tin với thuật tốn APG FDR 120 3.15 Biểu đồ PSNR thử nghiệm thuật toán APG 122 3.16 Biểu đồ PSNR thử nghiệm thuật toán FDR 122 Mở đầu Công nghệ tích hợp "khả suy nghĩ thực thi người" cho máy móc đặt nhu cầu trang bị khả nhìn cho thiết bị Kỹ thuật xử lý ảnh nhiều nhà khoa học quan tâm nghiên cứu để đáp ứng nhu cầu Một số thiết bị chuyên dụng chế tạo để đo khoảng cách từ camera thu nhận đến bề mặt vật thể (độ sâu), kết thu nhận hình ảnh độ sâu Các thiết bị sử dụng để thu nhận ảnh độ sâu kể đến stereo camera, thiết bị camera dựa tia quét ToF (Time-of-Flight camera) loại khác Trong thời gian gần đây, số thiết bị camera hồng ngoại thu nhận ảnh độ sâu Kinect Microsoft, ASUS Xtion Pro, Intel Leap Motion nhà nghiên cứu quan tâm khai thác Nhiều nhóm nghiên cứu phòng thí nghiệm trường đại học xây dựng nhiều sở liệu thông tin hình ảnh RGB-D để nghiên cứu thử nghiệm Một số sở liệu tiêu biểu sở liệu hình ảnh Đại học Rzeszow [68], Đại học New York [106], Đại học Washington [70], Đại học Viên (Wein) [76], Đại học California vùng Berkeley [58] số khác mô tả công bố [6], [8], [12], [40] Trong nước có nhiều nhóm nghiên cứu quan tâm đến xử lý ảnh RGB-D viện MICA - Viện Nghiên cứu quốc tế MICA, với cơng bố [55], [92], [96], [113], nhóm nghiên cứu đến từ Đại học Quốc gia Thành phố Hồ Chí Minh [114] Đặc trưng ảnh RGB-D đặt toán phân đoạn, xác định đối tượng khơng gian Bên cạnh đó, ảnh độ sâu (D) có chứa nhiễu điểm thơng tin (các điểm không thu giá trị độ sâu) đặt nhóm tốn khử nhiễu khơi phục giá trị điểm thông tin 136 [29] Dharmasiri, T., Spek, A., and Drummond, T (2017) Joint prediction of depths, normals and surface curvature from rgb images using cnns 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1505–1512 [30] Dominio, F., Donadeo, M., Marin, G., Zanuttigh, P., and Cortelazzo, G M (2013) Hand gesture recognition with depth data In Proceedings of the 4th ACM/IEEE International Workshop on Analysis and Retrieval of Tracked Events and Motion in Imagery Stream, ARTEMIS ’13, pages 9–16, New York, NY, USA ACM [31] Donoho, D L (1995) De-noising by soft-thresholding IEEE Trans Inf Theory, 41(3):613–627 [32] Donoho, D L (2006) Compressed sensing IEEE Trans Inform Theory, 52(4):1289–1306 [33] Du, H., Henry, P., Ren, X., Cheng, M., Goldman, D B., Seitz, S M., and Fox, D (2011) Interactive 3d modeling of indoor environments with a consumer depth camera In Proceedings of the 13th International Conference on Ubiquitous Computing, UbiComp ’11, pages 75–84, New York, NY, USA ACM [34] Eigen, D and Fergus, R (2015) Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture 2015 IEEE International Conference on Computer Vision (ICCV), pages 2650–2658 [35] Elhamifar, E and Vidal, R (2009) Sparse subspace clustering In 137 2009 IEEE Conference on Computer Vision and Pattern Recognition, pages 2790–2797 [36] Fadili, M and Murtagh, J.-L S F (2009) Inpainting and zooming using sparse representations Comput J., 52(1):64–79 [37] Fankhauser, P., Bloesch, M., Rodriguez, D., Kaestner, R., Hutter, M., and Siegwart, R (2015) Kinect v2 for mobile robot navigation: Evaluation and modeling In 2015 International Conference on Advanced Robotics (ICAR), pages 388–394 [38] Fernandez, V., Mendez, A., Ramos, M., and Gudino, M (2013) Fuzzy model based on rgbd images to identify biometrical facial geometry In Fuzzy Systems (FUZZ), 2013 IEEE International Conference on, pages 1–8 [39] Figueiredo, M A T., Nowak, R D., and Wright, S J (2007) Gradient projection for sparse reconstruction: Application to compressed sensing and other inverse problems IEEE Journal of Selected Topics in Signal Processing, 1(4):586–597 [40] Firman, M (2016) RGBD datasets: Past, present and future CoRR, abs/1604.00999 [41] Firman, M., Thomas, D., Julier, S., and Sugimoto, A (2013) Learning to discover objects in rgb-d images using correlation clustering In 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 1107–1112 [42] Gautier, J., Meur, O L., and Guillemot, C (2011) Depth-based image 138 completion for view synthesis In 2011 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video (3DTV-CON), pages 1–4 [43] Georgiev, M., Bregovic, R., and Gotchev, A (2018) Time-of-flight range measurement in low-sensing environment: Noise analysis and complex-domain non-local denoising IEEE Transactions on Image Processing, PP:1–1 [44] Geva, A B (1999) Hierarchical unsupervised fuzzy clustering IEEE Transactions on Fuzzy Systems, 7(6):723–733 [45] Ghuffar, S., Brosch, N., Pfeifer, N., and Gelautz, M (2012) Motion segmentation in videos from time of flight cameras In 2012 19th International Conference on Systems, Signals and Image Processing (IWSSIP), pages 328–332 [46] Gong, X., Liu, J., Zhou, W., and Liu, J (2013) Guided depth enhancement via a fast marching method Image Vision Comput., 31(10):695– 703 [47] Gonzalez, C I., Melin, P., Castro, J R., Castillo, O., and Mendoza, O (2016) Optimization of interval type-2 fuzzy systems for image edge detection Appl Soft Comput., 47(C):631–643 [48] Gupta, S., Girshick, R., Arbeláez, P., and Malik, J (2014) Learning rich features from rgb-d images for object detection and segmentation In Fleet, D., Pajdla, T., Schiele, B., and Tuytelaars, T., editors, Computer Vision – ECCV 2014, pages 345–360, Cham Springer International Publishing 139 [49] Halber, M and Funkhouser, T (2017) Fine-to-coarse global registration of rgb-d scans In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 6660–6669 [50] Han, J., Shao, L., Xu, D., and Shotton, J (2013) Enhanced computer vision with microsoft kinect sensor: A review IEEE Transactions on Cybernetics, 43(5):1318–1334 [51] Hao, Y., He, L., Nakamura, T., and Chao, Y (2013) A fuzzy approach to object segmentation using depth image In 2013 13th International Conference on Intellient Systems Design and Applications, pages 364– 369 [52] Hassan, M F A., Hussain, A., Saad, M M H., and Win, K (2017) 3d distance measurement accuracy on low-cost stereo camera Scientific International, 29:599–605 [53] Herbst, E and Fox, D (2014) Active object segmentation for mobile robots [54] Hernández, A C., Gómez, C., Crespo, J., and Barber, R (2016) Object detection applied to indoor environments for mobile robot navigation Sensors, 16:1–26 [55] Hoang, V.-N., Nguyen, T.-H., Le, T.-L., Tran, T.-H., Vuong, T.-P., and Vuillerme, N (2017) Obstacle detection and warning system for visually impaired people based on electrode matrix and mobile kinect Vietnam Journal of Computer Science, 4(2):71–83 [56] Huang, H.-C., Hsieh, C.-T., and Yeh, C.-H (2015) An indoor obstacle 140 detection system using depth information and region growth Sensors, 15(10):27116–27141 [57] Huhle, B., Schairer, T., Jenke, P., and Strasser, W (2008) Robust non-local denoising of colored depth data In Computer Vision and Pattern Recognition Workshops, 2008 CVPRW ’08 IEEE Computer Society Conference on, pages 1–7 [58] Janoch, A., Karayev, S., Jia, Y., Barron, J T., Fritz, M., Saenko, K., and Darrell, T (2011) A category-level 3-d object dataset: Putting the kinect to work In 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), pages 1168–1174 [59] K., D., Cheng, S X., and Muthukumaran, P (2003) Subtractive clustering based modeling of job sequencing with parametric search Fuzzy Sets and Systems, 137:235–270 [60] K., D., Cheng, S X., and Muthukumaran, P (2008) A weighted mean subtractive clustering algorithm Information Technology Journal, 7:356–360 [61] Karnik, N and Mendel, J (1998) Introduction to type-2 fuzzy logic systems In Fuzzy Systems Proceedings, 1998 IEEE World Congress on Computational Intelligence., The 1998 IEEE International Conference on, volume 2, pages 915–920 vol.2 [62] Karnik, N N and Mendel, J M (2001a) Centroid of a type-2 fuzzy set Information Sciences, 132(1–4):195 – 220 141 [63] Karnik, N N and Mendel, J M (2001b) Operations on type-2 fuzzy sets Fuzzy Sets and Systems, 122(2):327 – 348 [64] Khan, M R., Rahman, A B M M., Rahaman, G M A., and Hasnat, M A (2016) Unsupervised rgb-d image segmentation by multi-layer clustering In 2016 5th International Conference on Informatics, Electronics and Vision (ICIEV), pages 719–724 [65] Khoshelham, K (2011) Accuracy analysis of kinect depth data ISPRS workshop Laser Scanning 2011, pages 133–138 [66] Kim, D.-W., Lee, K., Lee, D., and Lee, K H (2005) A kernel-based subtractive clustering method Pattern Recognition Letters, 26(7):879 – 891 [67] Kim, S C and Kang, T J (2007) Texture classification and segmentation using wavelet packet frame and gaussian mixture model Pattern Recognition, 40(4):1207 – 1221 [68] Kwolek, B and Kepski, M (2014) Human fall detection on embedded platform using depth maps and wireless accelerometer Computer Methods and Programs in Biomedicine, 117(3):489 – 501 [69] Lachat, E., Macher, H., and Mittet, M.-A (2015) First experiences with kinect v sensor for close range d modelling ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XL-5/W4:93–100 [70] Lai, K., Bo, L., Ren, X., and Fox, D (2011) A large-scale hierarchical 142 multi-view rgb-d object dataset In 2011 IEEE International Conference on Robotics and Automation, pages 1817–1824 [71] Lai, K., Bo, L., Ren, X., and Fox, D (2012) Detection-based object labeling in 3d scenes In Robotics and Automation (ICRA), 2012 IEEE International Conference on, pages 1330–1337 [72] Lee, C.-H., Su, Y.-C., and Chen, L.-G (2012) An intelligent depthbased obstacle detection system for visually-impaired aid applications In 2012 13th International Workshop on Image Analysis for Multimedia Interactive Services, pages 1–4 [73] Lenzen, F., Schăafer, H., and Garbe, C (2011) Denoising time-offlight data with adaptive total variation In Bebis, G., Boyle, R., Parvin, B., Koracin, D., Wang, S., Kyungnam, K., Benes, B., Moreland, K., Borst, C., DiVerdi, S., Yi-Jen, C., and Ming, J., editors, Advances in Visual Computing, pages 337–346, Berlin, Heidelberg Springer Berlin Heidelberg [74] Li, Y., Li, J., Wang, L., Zhang, J., Li, D., and Zhang, M (2014) A weighted least squares algorithm for time-of-flight depth image denoising Optik - International Journal for Light and Electron Optics, 125(13):3283 – 3286 [75] Liang, Q and Mendel, J M (2000) Interval type-2 fuzzy logic systems: theory and design IEEE Transactions on Fuzzy Systems, 8(5):535– 550 [76] Loghmani, M R., Caputo, B., and Vincze, M (2018) Recognizing ob- 143 jects in-the-wild: Where we stand? In IEEE International Conference on Robotics and Automation (ICRA) [77] Lunscher, N and Zelek, J (2018) Deep learning whole body point cloud scans from a single depth map In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pages 1095– 1102 [78] Maier, D., Hornung, A., and Bennewitz, M (2012) Real-time navigation in 3d environments based on depth camera data In 2012 12th IEEE-RAS International Conference on Humanoid Robots (Humanoids 2012), pages 692–697 [79] Matsuo, K and Aoki, Y (2015) Depth image enhancement using local tangent plane approximations In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3574–3583 [80] Mendel, J (2003) Fuzzy sets for words: a new beginning In Fuzzy Systems, 2003 FUZZ ’03 The 12th IEEE International Conference on, volume 1, pages 37–42 vol.1 [81] Mendel, J M (1995) Fuzzy logic systems for engineering: a tutorial Proceedings of the IEEE, 83(3):345–377 [82] Mendel, J M (2007) Advances in type-2 fuzzy sets and systems Information Sciences, 177(1):84 – 110 [83] Mendel, J M., John, R I., and Liu, F (2006) Interval type-2 fuzzy logic systems made simple IEEE Transactions on Fuzzy Systems, 14(6):808–821 144 [84] Mittal, H and Saraswat, M (2018) ckgsa based fuzzy clustering method for image segmentation of rgb-d images pages 1–6 [85] Mizumoto, M and Tanaka, K (1976) Some properties of fuzzy sets of type Information and Control, 31(4):312 – 340 [86] Mizumoto, M and Tanaka, K (1981) Fuzzy sets and type under algebraic product and algebraic sum Fuzzy Sets and Systems, 5(3):277 – 290 [87] Nesterov, Y E (1983) A method of solving a convex program- ming problem with convergence rate O(1/k ) Soviet Math Doklady, 27(2):372–376 [88] Nesterov, Y E (2013) Gradient methods for minimizing composite functions Mathematical Programming, 140(1):125–161 [89] Ngo, L T., Mai, D S., and Nguyen, M U (2012) Gpu-based acceleration of interval type-2 fuzzy c-means clustering for satellite imagery land-cover classification In 12th International Conference on Intelligent Systems Design and Applications, ISDA 2012, Kochi, India, November 27-29, 2012, pages 992–997 [90] Ngo, L T and Pham, B H (2012) A type-2 fuzzy subtractive clustering algorithm In Zhang, T., editor, Mechanical Engineering and Technology, pages 395–402, Berlin, Heidelberg Springer Berlin Heidelberg [91] Nguyen, C V., Izadi, S., and Lovell, D R (2012) Modeling kinect sensor noise for improved 3d reconstruction and tracking 2012 Second 145 International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission, pages 524–530 [92] Nguyen, V.-T., Le, T.-L., Tran, T.-H., Mullot, R., and Courboulay, V (2014) Hand posture recognition using kernel descriptor Procedia Computer Science, 39:154 – 157 The 6th international conference on Intelligent Human Computer Interaction, IHCI 2014 [93] Ozbay, E and C ¸ inar, A (2013) 3d reconstruction technique with kinect and point cloud computing In 3rd WORLD CONFERENCE on INFORMATION TECHNOLOGY (WCIT 2012), pages 1748–1754 [94] Pan, X., Zhang, Z., Liu, Y., Yang, C., Chen, Q., Cheng, L., Lin, J., and Chen, R (2019) Graph-based rgb-d image segmentation using colordirectional-region merging pages 2417–2421 [95] Parikh, N and Boyd, S (2013) Proximal algorithms,” in Foundations and Trends in Optimization Now Publishers Inc, 1(3):123–231 [96] Pham, H.-H., Le, T., and Vuillerme, N (2016) Real-time obstacle detection system in indoor environment for the visually impaired using microsoft kinect sensor Journal of Sensors, 2016:1–13 [97] Poularakis, S and Katsavounidis, I (2014) Finger detection and hand posture recognition based on depth information In 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 4329–4333 [98] Qi, C R., Liu, W., Wu, C., Su, H., and Guibas, L J (2018) Frustum 146 pointnets for 3d object detection from rgb-d data 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition [99] Rathnayaka, P., Baek, S.-H., and Park, S.-Y (2017) An efficient calibration method for a stereo camera system with heterogeneous lenses using an embedded checkerboard pattern Journal of Sensors, 2017:1–12 [100] Rockafellar, R T (1970) Convex analysis Princeton Mathematical Series Princeton University Press, Princeton, N J [101] Ruhnke, M., Bo, L., Fox, D., and Burgard, W (2013) Compact rgbd surface models based on sparse coding In AAAI, pages 1429–1435 [102] Rusu, R B and Cousins, S (2011) 3d is here: Point cloud library (pcl) In 2011 IEEE International Conference on Robotics and Automation, pages 14 [103] Schăoner, H., Moser, B., A Dorrington, A., Payne, A., Cree, M., Heise, B., and Bauer, F (2008) A clustering based denoising technique for range images of time of flight cameras In 2008 International Conference on Computational Intelligence for Modelling Control Automation, pages 999–1004 [104] Schwarz, M., Milan, A., Periyasamy, A S., and Behnke, S (2017) Rgb-d object detection and semantic segmentation for autonomous manipulation in clutter The International Journal of Robotics Research, 37(4-5):437–451 [105] Shotton, J., Fitzgibbon, A., Cook, M., Sharp, T., Finocchio, M., Moore, R., Kipman, A., and Blake, A (2011) Real-time human pose 147 recognition in parts from single depth images In CVPR 2011, pages 1297–1304 [106] Silberman, N and Fergus, R (2011) Indoor scene segmentation using a structured light sensor In Proceedings of the International Conference on Computer Vision - Workshop on 3D Representation and Recognition, pages 601–608 [107] Silberman, N., Hoiem, D., Kohli, P., and Fergus, R (2012) Indoor segmentation and support inference from rgbd images In Fitzgibbon, A., Lazebnik, S., Perona, P., Sato, Y., and Schmid, C., editors, Computer Vision – ECCV 2012, pages 746–760, Berlin, Heidelberg Springer Berlin Heidelberg [108] Smisek, J., Jancosek, M., and Pajdla, T (2011) 3d with kinect In 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), pages 1154–1160 [109] Song, S and Xiao, J (2016) Deep sliding shapes for amodal 3d object detection in rgb-d images In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 808–816 [110] Tang, S., Zhu, Q., Chen, W., Darwish, W., Hu, H., and Chen, M (2016) Enhanced rgb-d mapping method for detailed 3d indoor and outdoor modeling Sensors (Basel, Switzerland) [111] Thanh, N M and song Chen, M (2006) Image Denoising Using Adaptive Neuro-Fuzzy system In International MultiConference of Engineers and Computer Scientists, pages 74–79 148 [112] Tobias, O J and Seara, R (2002) Image segmentation by histogram thresholding using fuzzy sets IEEE Transactions on Image Processing, 11(12):1457–1465 [113] Tran, T.-H., Le, T.-L., Hoang, V.-N., and Vu, H (2017) Continuous detection of human fall using multimodal features from kinect sensors in scalable environment Computer methods and programs in biomedicine, 146:151–165 [114] Trinh, L A., Thang, N D., Tran, H.-H., and Hung, T C (2014) Human extraction from a sequence of depth images using segmentation and foreground detection In Proceedings of the Fifth Symposium on Information and Communication Technology, SoICT ’14, pages 178–185, New York, NY, USA ACM [115] Wright, S J., Nowak, R D., and Figueiredo, M A T (2009) Sparse reconstruction by separable approximation IEEE Trans Signal Process., 57(7):2479–2493 [116] Xue, H., Zhang, S., and Cai, D (2017) Depth image inpainting: Improving low rank matrix completion with low gradient regularization IEEE Transactions on Image Processing, 26(9):4311–4320 [117] Yager, R and Filev, D (1994) Approximate clustering via the mountain method Systems, Man and Cybernetics, IEEE Transactions on, 24(8):1279–1284 [118] Yang, S., Konam, S., Ma, C., Rosenthal, S., Veloso, M M., and Scherer, S (2017) Obstacle avoidance through deep networks based intermediate perception CoRR, abs/1704.08759 149 [119] Zadeh, L (1965) Fuzzy sets Information and Control, 8(3):338 – 353 [120] Zadeh, L (1975) The concept of a linguistic variable and its application to approximate reasoning–i Information Sciences, 8(3):199 – 249 [121] Zadeh, L A (1994) Soft computing and fuzzy logic IEEE Softw., 11(6):48–56 [122] Zainuddin, N A., Mustafah, Y M., Shawgi, Y A M., and Rashid, N K A M (2014) Autonomous navigation of mobile robot using kinect sensor In 2014 International Conference on Computer and Communication Engineering, pages 28–31 [123] Zarandi, M., Khadangi, A., Karimi, F., and Turksen, I (2016) A computer-aided type-ii fuzzy image processing for diagnosis of meniscus tear Journal of Digital Imaging, 29:677–695 [124] Zeng, J., Cheung, G., Ng, M., Pang, J., and Yang, C (2018) 3d point cloud denoising using graph laplacian regularization of a low dimensional manifold model CoRR, abs/1803.07252:1–11 [125] Zhang, H., Wen, Z., Liu, Y., and Xu, G (2016) Edge detection from rgb-d image based on structured forests Journal of Sensors, 2016:10 [126] Zhang, J., Wang, L., Li, D., and Zhang, M (2011) High quality depth maps from stereo matching and tof camera In 2011 International Conference of Soft Computing and Pattern Recognition (SoCPaR), pages 68–72 150 [127] Zhang, S., Yu, H., Wang, T., Qi, L., Dong, J., and Liu, H (2018) Dense 3d facial reconstruction from a single depth image in unconstrained environment Virtual Reality, 22(1):37–46 [128] Zhang, Y and Funkhouser, T (2018) Deep depth completion of a single rgb-d image Computer Vision and Pattern Recognition, pages 111 [129] Zia, S., Yă uksel, B., Yă uret, D., and Yemez, Y (2017) Rgb-d object recognition using deep convolutional neural networks In 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), pages 887–894 ... đặc trưng ảnh RGB- D thu nhận từ camera Kinect, kiến thức phân đoạn, tập mờ, logic mờ vấn đề khôi phục thông tin ảnh độ sâu 1.1 Ảnh RGB- D mơ hình thu nhận Ảnh RGB- D tập hợp ảnh màu (RGB - màu... 1: Phân đoạn ảnh RGB- D dựa phân cụm Chương trình bày khảo sát ảnh RGB- D thu nhận từ camera Kinect kỹ thuật phân cụm, phân cụm mờ Mục cuối chương trình bày mối liên hệ phân đoạn ảnh khôi phục thông. .. ảnh RGB- D 59 2.2.2 Thuật toán trích xuất đối tượng ảnh RGB- D 62 Ứng d ng tính khoảng cách đến đối tượng 70 ii Chương 3.1 3.2 Khôi phục thông tin ảnh RGB- D 77 Khôi phục thông tin ảnh