Extraction of cues for inside outside scan registration

UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL MALLE Zoumana Extraction of cues for inside/outside scan registration MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE HANOÏ - 2018 UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL MALLE Zoumana Extraction of cues for inside/outside scan registration Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : Dr Bruno VALLET (MATIS-Team) Dr Pascal MONASSE (IMAGINE-Team) HANOÏ - 2018 Attestation sur l’honneur J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs La source des informations citées dans ce mémoire a bien été précisée Signature de l’étudiant Remerciements Ce travail de mémoire de Master recherche est le résultat de l’engagement de plusieurs personnes qui ont décidé de m’accompagner résolument dans cet exaltant parcours Je remercie Dieu le tout Puissant, très Miséricordieux, qui m’a donné la force, le courage et la persévérance durant ces deux années C’est avec une certaine émotion et une grande reconnaissance que je remercie l’Université Nationale du Vietnam travers l’Institut Francophone International La rencontre avec des professeurs brillants et des camarades remarquables m’a permis de progresser dans un domaine qui me passionne mais également de me sentir soutenu et entouré Ces années riches en découvertes resteront longtemps gravées dans ma mémoire, tout comme les méthodes et les principes inculqués par les enseignants : la curiosité, le goût du travail, de l’effort, le sens de la persévérance, la volonté de se remettre en question etc Autant de trésors qui me seront, sans nul doute, utiles toute ma vie Pour toutes ces raisons, je souhaite vous exprimer ma profonde gratitude, ainsi qu’à toute l’équipe pédagogique Je garderai longtemps un souvenir ému de mon passage dans cette école qui m’a tant donnée Je saisis aussi cette occasion pour adresser mes profonds remerciements toute l’équipe MATIS-IGN très chaleureusement Stéphane GUINARD, Oussama ENNAFII, Wu TENG et en particulier mes encadrants, Mr Bruno VALLET et Mr Pascal MONASSE qui m’ont beaucoup aidé lors de ce stage ; leurs conseils m’ont permis de cibler et de m’orienter tout au long de ce stage J’ai eu l’occasion d’être associé leur travail et d’acquérir de nouvelles connaissances et compétences Celles-ci me seront fort précieuses pour la réalisation de mes projets venir Ainsi, le temps, l’attention, l’intérêt qu’ils ont bien voulu me témoigner n’ont pas été perdus, et ne seront pas perdus Ils m’ont donné envie de persévérer dans ce métier pour lequel ils ont le plus grand respect la recherche Je possède désormais une expérience du terrain qui me donne des pistes pour m’améliorer Un grand merci mon oncle Soumaila DEMBELE, ma mère Mme Mallé Aramata DEMBELE, mon père Moumine MALLE et mes frères et soeurs, pour leurs conseils ainsi que pour leur soutien inconditionnel, la fois moral et économique Un grand merci aussi ma très chère grande mère Fanta DEMBELE Je voudrais profiter de cet espace pour leur exprimer toute ma gratitude et ma reconnaissance Grâce vous, j’aborde une nouvelle étape de ma vie avec confiance et dynamisme MALLE Zoumana Résumé Une étape cruciale du projet BIOM (Building Indoor and Outdoor Modeling) vise la modélisation automatique et simultanée de l’intérieur et de l’extérieur de bâtiments ( dont la précision est proche celui d’un scan environ 1cm) partir de données d’acquisition image et Lidar (nuages de points denses) Pour atteindre une telle précision, les indices doivent être extraits des données internes et externes, puis appariés C’est très contraignant parce que ces indices devraient être visibles de l’intérieur et de l’extérieur Compte tenu des spécificités des données Lidar qui traversent les fenêtres, nous avons effectués une extraction des polygones planaires qui nous offrent une reprộsentation compacte et localisộe travers la dộtection des faỗades (polygones verticaux planaires avec une étendue suffisante) Une première modification de RANSAC avec un tirage du premier point au hasard dans tout le nuage de points mais le deuxième et troisième point proximité en topologie capteur (en theta, phi) A la suite nous mettons en œuvre la croissance de région en topologie capteur (mais de rayon possiblement plus grand que 1) partir du premier point en ne gardant que les points suffisamment proches du plan A chaque étape de notre RANSAC, nous avons obtenus donc un ensemble de points connexes et planaires, qu’on approchera la fin par alpha-shape pour en extraire un polygone plan Mots clés : Ransac, Croissance de Region, LiDar , Topologie capteur, Nuage de Points Abstract A crucial step in the BIOM (Building Indoor and Outdoor Modeling) project is the registration of indoor and outdoor scans of buildings with an accuracy close to that of a scan (about 1cm) To achieve this accuracy, the indices must be extracted from internal and external data and then matched This is very constraining because these cues should be visible from the inside and outside Considering the specificities of the Lidar data that pass through the windows, we extracted the planar polygons that offer us a compact and localized representation through the detection of the facades (planar vertical polygons with sufficient extent) A first modification of RANSAC with a random drawing of the first point in the whole point cloud, but the second and third point nearby in sensor topology (in theta, phi) Then we implement the growth of region in sensor topology (but possibly with a radius greater than 1) from the first point, keeping only the points sufficiently close to the plane At each stage of our RANSAC, we therefore obtained a set of related and planar points, which will be approached at the end by alpha-shape to extract a planar polygon Keywords : Ransac, Region Growth, LiDar, Sensor Topology, Point Cloud Table des matières Table des figures v Présentation de la structure d’accueil 1.1 IGN-DRE 1.2 MATIS 1.2.1 L’équipe MATIS 1.2.2 Missions du MATIS 1.2.3 Impacts Activités Industrielles 1 2 Contexte d’étude et problématique 2.1 Projet BIOM 2.2 Objectifs 2.2.1 Problématique d’extraction 5 État de l’art 3.1 Introduction 3.2 Recalage 3.3 Segmentation d’un nuage de points 3.4 Détection de plan 3.5 Détection de patch planaires 3.6 Reconstruction 3D Méthodes Proposées 4.1 RANSAC 4.1.1 Topologie Capteur : 4.1.2 Croissance de Région : 4.2 Alpha-Shape 4.3 Détails Techniques 4.3.1 Données Utilisées 4.3.2 Bibliothèques et Logiciels 4.3.3 Environnement de travail ii 8 10 13 13 16 17 24 24 27 29 29 29 29 30 32 TABLE DES MATIÈRES Implémentations et Résultats 33 5.1 Implémentations 33 5.2 Résultats 34 Conclusion et Perspectives 42 6.1 Conclusion générale 42 6.2 Perspectives 42 Bibliographie 43 A Résultats complets & Vue Aérienne 48 A.1 Résultats complets 48 A.2 Vue Aérienne LiDAR Chapelle Saint Donat 55 iii Table des figures 1.1 1.2 1.3 1.4 Système de cartographique mobile Visualisation 3D Géoportail Application de visualisation 3D Visualisation 3D lidar aérien Paris 4 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 Scan LiDAR colorisé Acquisition d’un objet par deux stations [Reshetyuk, 2009] Exemple de transformée de Hough Exemple d’étapes d’algorithme de reconstruction Classification des méthodes de reconstruction Image illustrant la croissance de région Représentation traditionnelle de la démarche Calcul de coque convexe l’aide d’alphaShape 10 16 19 19 21 22 22 4.1 Détails du pipeline 4.2 La topologie capteur avec voisinages 4.3 Chaque écho est connecté tous les échos de toutes les impulsions voisines 4.4 Schémas illustrant notre approche pour la topologie capteur 4.5 IGN Scan Lidar Église Saint-Donat 4.6 Saint-Donat de Montfort Faỗade sud en 2007 27 28 28 28 30 30 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 35 35 36 36 37 38 39 39 40 Scan Intérieur Chapelle Saint-Donat Scan Extérieur Chapelle Saint-Donat Résultat RANSAC scan intérieur Résultat RANSAC scan extérieur Résultat RANSAC scan intérieur avec la topologie capteur Résultat RANSAC scan extérieur avec la topologie capteur Résultat RANSAC scan intérieur avec la croissance de région Résultat RANSAC scan extérieur avec la croissance de région Résultat RANSAC scan intérieur avec l’alpha-shape iv Bibliographie [Akinlar and Topal, 2011] Akinlar, C and Topal, C (2011) Edlines : A real-time line segment detector with a false detection control Pattern Recognition Letters, 32(13) :1633–1642 [Akkiraju et al., 1995] Akkiraju, N., Edelsbrunner, H., Facello, M., Fu, P., Mucke, E., and Varela, C (1995) Alpha shapes : definition and software In Proceedings of the 1st International Computational Geometry Software Workshop, volume 63, page 66 [Bay et al., 2005] Bay, H., Ferraris, V., and Van Gool, L (2005) Wide-baseline stereo matching with line segments In Computer Vision and Pattern Recognition, 2005 CVPR 2005 IEEE Computer Society Conference on, volume 1, pages 329–336 IEEE [Bennis et al., 2011] Bennis, A., Bombardier, V., Thiriet, P., and Brie, D (2011) Recalage d’un nuage de points de scanner laser terrestre avec une image de bâtiment In XXIIIe Colloque GRETSI Traitement du Signal & des Images, GRETSI 2011, page CDROM [Berger et al., 2017] Berger, M., Tagliasacchi, A., Seversky, L M., Alliez, P., Guennebaud, G., Levine, J A., Sharf, A., and Silva, C T (2017) A survey of surface reconstruction from point clouds In Computer Graphics Forum, volume 36, pages 301–329 Wiley Online Library [Bernardini et al., 1999] Bernardini, F., Mittleman, J., Rushmeier, H., Silva, C., and Taubin, G (1999) The ball-pivoting algorithm for surface reconstruction IEEE transactions on visualization and computer graphics, 5(4) :349–359 [Besl and McKay, 1992] Besl, P J and McKay, N D (1992) Method for registration of 3-d shapes In Sensor Fusion IV : Control Paradigms and Data Structures, volume 1611, pages 586–607 International Society for Optics and Photonics [Biosca and Lerma, 2008] Biosca, J M and Lerma, J L (2008) Unsupervised robust planar segmentation of terrestrial laser scanner point clouds based on fuzzy clustering methods ISPRS Journal of Photogrammetry and Remote Sensing, 63(1) :84–98 [Borrmann et al., 2011] Borrmann, D., Elseberg, J., Lingemann, K., and Nüchter, A (2011) The 3d hough transform for plane detection in point clouds : A review and a new accumulator design 3D Research, 2(2) :3 43 BIBLIOGRAPHIE [Boulaassal et al., 2007] Boulaassal, H., Landes, T., Grussenmeyer, P., and TarshaKurdi, F (2007) Automatic segmentation of building facades using terrestrial laser data In ISPRS Workshop on Laser Scanning 2007 and SilviLaser 2007, pages 65–70 [Boulch et al., 2014] Boulch, A., de La Gorce, M., and Marlet, R (2014) Piecewiseplanar 3d reconstruction with edge and corner regularization In Computer Graphics Forum, volume 33, pages 55–64 Wiley Online Library [Brenner et al., 2001] Brenner, C., Haala, N., and Fritsch, D (2001) Towards fully automated 3d city model generation Automatic Extraction of Man-Made Objects from Aerial and Space Images (III), pages 47–57 [Chauve et al., 2010] Chauve, A.-L., Labatut, P., and Pons, J.-P (2010) Robust piecewise-planar 3d reconstruction and completion from large-scale unstructured point data In Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on, pages 1261–1268 IEEE [Chen et al., 1999] Chen, C.-S., Hung, Y.-P., and Cheng, J.-B (1999) Ransac-based darces : A new approach to fast automatic registration of partially overlapping range images IEEE Transactions on Pattern Analysis and Machine Intelligence, 21(11) :1229–1234 [Cohen et al., 2016] Cohen, A., Schönberger, J L., Speciale, P., Sattler, T., Frahm, J.-M., and Pollefeys, M (2016) Indoor-outdoor 3d reconstruction alignment In European Conference on Computer Vision, pages 285–300 Springer [Cohen-Steiner et al., 2004] Cohen-Steiner, D., Alliez, P., and Desbrun, M (2004) Variational shape approximation In ACM Transactions on Graphics (ToG), volume 23, pages 905–914 ACM [Deschaud and Goulette, 2010] Deschaud, J.-E and Goulette, F (2010) A fast and accurate plane detection algorithm for large noisy point clouds using filtered normals and voxel growing In 3DPVT [Dinh et al., 2002] Dinh, H Q., Turk, G., and Slabaugh, G (2002) Reconstructing surfaces by volumetric regularization using radial basis functions IEEE transactions on pattern analysis and machine intelligence, 24(10) :1358–1371 [Edelsbrunner et al., 1983] Edelsbrunner, H., Kirkpatrick, D., and Seidel, R (1983) On the shape of a set of points in the plane IEEE Transactions on information theory, 29(4) :551–559 [Fang et al., 2018] Fang, H., Lafarge, F., and Desbrun, M (2018) Planar shape detection at structural scales In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) [Fang and Gossard, 1995] Fang, L and Gossard, D C (1995) Multidimensional curve fitting to unorganized data points by nonlinear minimization Computer-Aided Design, 27(1) :48–58 [Fischer, 2000] Fischer, K (2000) Introduction to alpha shapes Department of Information and Computing Sciences, Faculty of Science, Utrecht University, 17 44 BIBLIOGRAPHIE [Fischler and Bolles, 1981] Fischler, M A and Bolles, R C (1981) Random sample consensus : a paradigm for model fitting with applications to image analysis and automated cartography Communications of the ACM, 24(6) :381–395 [Gelfand et al., 2003] Gelfand, N., Ikemoto, L., Rusinkiewicz, S., and Levoy, M (2003) Geometrically stable sampling for the icp algorithm In Fourth International Conference on 3-D Digital Imaging and Modeling, 2003 3DIM 2003 Proceedings., pages 260–267 IEEE [Guinard and Vallet, 2018] Guinard, S and Vallet, B (2018) Sensor-topology based simplicial complex reconstruction from mobile laser scanning ISPRS Annals of Photogrammetry, Remote Sensing & Spatial Information Sciences, 4(2) [Hoppe et al., 1992] Hoppe, H., DeRose, T., Duchamp, T., McDonald, J., and Stuetzle, W (1992) Surface reconstruction from unorganized points, volume 26 ACM [Hough, 1962] Hough, P V (1962) Method and means for recognizing complex patterns US Patent 3,069,654 [Kähler and Denzler, 2006] Kähler, O and Denzler, J (2006) Detection of planar patches in handheld image sequences Proc Photogrammetric Computer Vision, 36 :37–42 [Kaucic et al., 2001] Kaucic, R., Hartley, R., and Dano, N (2001) Plane-based projective reconstruction In null, page 420 IEEE [Koch et al., 2016] Koch, T., Korner, M., and Fraundorfer, F (2016) Automatic alignment of indoor and outdoor building models using 3d line segments In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 10–18 [Krebs et al., 1996] Krebs, B., Sieverding, P., and Korn, B (1996) A fuzzy icp algorithm for 3d free-form object recognition In Pattern Recognition, 1996., Proceedings of the 13th International Conference on, volume 1, pages 539–543 IEEE [Lerma and Biosca, 2008] Lerma, J and Biosca, J (2008) Teoría y práctica del escaneado láser terrestre 3D Risk Mapping Memorias, pages 1–30 [Li and Wang, 2008] Li, Y and Wang, Y (2008) An accurate registration method based on point clouds and redundancy elimination of lidar data The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 37(B5) :605–610 [Liu and Xiong, 2008] Liu, Y and Xiong, Y (2008) Automatic segmentation of unorganized noisy point clouds based on the gaussian map Computer-Aided Design, 40(5) :576–594 [Ma et al., 2013] Ma, L., Favier, R., Do, L., Bondarev, E., and de With, P H (2013) Plane segmentation and decimation of point clouds for 3d environment reconstruction In 2013 IEEE 10th Consumer Communications and Networking Conference (CCNC), pages 43–49 IEEE 45 BIBLIOGRAPHIE [Mezian et al., 2016] Mezian, C., Vallet, B., Soheilian, B., and Paparoditis, N (2016) Uncertainty propagation for terrestrial mobile laser scanner Int Arch Photogramm Remote Sens Spatial Inf Sci., 41 :331–335 [Mitra et al., 2004] Mitra, N J., Gelfand, N., Pottmann, H., and Guibas, L (2004) Registration of point cloud data from a geometric optimization perspective In Proceedings of the 2004 Eurographics/ACM SIGGRAPH symposium on Geometry processing, pages 22–31 ACM [Monnier et al., 2013] Monnier, F., Vallet, B., Paparoditis, N., Papelard, J.-P., and David, N (2013) Mise en cohérence de données laser mobile sur un modele cartographique par recalage non-rigide Revue Franỗaise de Photogrammộtrie et de Télédétection, 202 :27–41 [Oesau et al., 2016] Oesau, S., Lafarge, F., and Alliez, P (2016) Planar shape detection and regularization in tandem In Computer Graphics Forum, volume 35, pages 203– 215 Wiley Online Library [Paparoditis et al., 2012] Paparoditis, N., Papelard, J.-P., Cannelle, B., Devaux, A., Soheilian, B., David, N., and Houzay, E (2012) Stereopolis ii : A multi-purpose and multi-sensor 3d mobile mapping system for street visualisation and 3d metrology Revue franỗaise de photogrammộtrie et de tộlộdộtection, 200(1) :69–79 [Pawar, 2013] Pawar, N K (2013) Surface reconstruction from point clouds PhD thesis, Master Thesis [Pu et al., 2006] Pu, S., Vosselman, G., et al (2006) Automatic extraction of building features from terrestrial laser scanning International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 36(5) :25–27 [Rabbani and Van Den Heuvel, 2005] Rabbani, T and Van Den Heuvel, F (2005) Efficient hough transform for automatic detection of cylinders in point clouds Isprs Wg Iii/3, Iii/4, :60–65 [Reshetyuk, 2009] Reshetyuk, Y (2009) Self-calibration and direct georeferencing in terrestrial laser scanning PhD thesis, KTH [Rothwell et al., 1995] Rothwell, C., Zisserman, A., Forsyth, D A., and Mundy, J L (1995) Planar object recognition using projective shape representation International Journal of Computer Vision, 16(1) :57–99 [Salaün et al., 2016] Salaün, Y., Marlet, R., and Monasse, P (2016) Robust and accurate line-and/or point-based pose estimation without manhattan assumptions In European Conference on Computer Vision, pages 801–818 Springer [Schnabel et al., 2007] Schnabel, R., Wahl, R., and Klein, R (2007) Efficient ransac for point-cloud shape detection In Computer graphics forum, volume 26, pages 214– 226 Wiley Online Library [Shui et al., 2016] Shui, W., Liu, J., Ren, P., Maddock, S., and Zhou, M (2016) Automatic planar shape segmentation from indoor point clouds In Proceedings of the 15th ACM SIGGRAPH Conference on Virtual-Reality Continuum and Its Applications in Industry-Volume 1, pages 363–372 ACM 46 BIBLIOGRAPHIE [Simon et al., 2000] Simon, G., Fitzgibbon, A W., and Zisserman, A (2000) Markerless tracking using planar structures in the scene In Augmented Reality, 2000.(ISAR 2000) Proceedings IEEE and ACM International Symposium on, pages 120–128 IEEE [Stamos and Allen, 2002] Stamos, I and Allen, P K (2002) Geometry and texture recovery of scenes of large scale Technical report, Columbia University New York United States [Van Gool et al., 1998] Van Gool, L., Proesmans, M., and Zisserman, A (1998) Planar homologies as a basis for grouping and recognition Image and Vision Computing, 16(1) :21–26 [Wang and Tseng, 2004] Wang, M and Tseng, Y.-H (2004) Lidar data segmentation and classification based on octree structure parameters, :5 [Whelan et al., 2015] Whelan, T., Ma, L., Bondarev, E., de With, P., and McDonald, J (2015) Incremental and batch planar simplification of dense point cloud maps Robotics and Autonomous Systems, 69 :3–14 [Xiong et al., 2013] Xiong, X., Adan, A., Akinci, B., and Huber, D (2013) Automatic creation of semantically rich 3d building models from laser scanner data Automation in Construction, 31 :325–337 [Yang and Förstner, 2010] Yang, M Y and Förstner, W (2010) Plane detection in point cloud data In Proceedings of the 2nd int conf on machine control guidance, Bonn, volume 1, pages 95–104 [Zhang et al., 2008] Zhang, X., Li, G., Xiong, Y., and He, F (2008) 3d mesh segmentation using mean-shifted curvature In International Conference on Geometric Modeling and Processing, pages 465–474 Springer 47 Annexe A Résultats complets & Vue Aérienne A.1 Résultats complets F IGURE A.1 – Résultats Extérieur Bâtiment Chapelle Saint-Donat 48 ANNEXE A RÉSULTATS COMPLETS & VUE AẫRIENNE F IGURE A.2 Rộsultats Faỗades Chapelle Saint-Donat 49 ANNEXE A RÉSULTATS COMPLETS & VUE AÉRIENNE F IGURE A.3 Rộsultats Alpha-shape Extộrieur Faỗades Chapelle Saint-Donat 50 ANNEXE A RÉSULTATS COMPLETS & VUE AÉRIENNE F IGURE A.4 Rộsultats Alpha-shape Faỗades Chapelle Saint-Donat 51 ANNEXE A RÉSULTATS COMPLETS & VUE AÉRIENNE F IGURE A.5 – Résultats Intérieur Bâtiment Chapelle Saint-Donat 52 ANNEXE A RÉSULTATS COMPLETS & VUE AÉRIENNE F IGURE A.6 – Résultats Alpha-shape Intérieur Bâtiment Chapelle Saint-Donat 53 ANNEXE A RÉSULTATS COMPLETS & VUE AÉRIENNE F IGURE A.7 – Résultats Alpha-shape Intérieur Bâtiment Chapelle Saint-Donat 54 ANNEXE A RÉSULTATS COMPLETS & VUE AÉRIENNE A.2 Vue Aérienne LiDAR Chapelle Saint Donat F IGURE A.8 – Vue Aérienne Bâtiment Chapelle Saint-Donat 55 ANNEXE A RÉSULTATS COMPLETS & VUE AÉRIENNE F IGURE A.9 – Vue Aérienne Bâtiment Chapelle Saint-Donat 56 ANNEXE A RÉSULTATS COMPLETS & VUE AÉRIENNE 57 ... MALLE Zoumana Extraction of cues for inside/ outside scan registration Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous... (Building Indoor and Outdoor Modeling) project is the registration of indoor and outdoor scans of buildings with an accuracy close to that of a scan (about 1cm) To achieve this accuracy, the indices... because these cues should be visible from the inside and outside Considering the specificities of the Lidar data that pass through the windows, we extracted the planar polygons that offer us a compact