Estimation de profondeurs avec une caméra plénoptique

Rapport de stage de fin d’études Master « informatique » Option : Les systèmes intelligents et Multimédias (SIM) Estimation de profondeurs avec une caméra plénoptique TRUONG Xuan Ha txha@ifi.edu.vn Stage effectué au laboratoire MIPS (01/05/2014 au 31/10/2014) http://www.mips.uha.fr Encadrant au MIPS M Christophe CUDEL christophe.cudel@uha.fr Table des matières Table des matières Remerciements Résumé Table des figures Table des tableaux Introduction Générale Chapitre – Contexte et Sujet 1.1 Introduction du laboratoire MIPS – Univers 1.2 Caméras 3D ou caméras RGB-D (Red, Gree 1.3 Description de sujet Chapitre – Caméra plénoptique 2.1 Historique des caméras plénoptiques 2.2 Principe des caméras plénoptique 2.2.1 Introdu 2.2.2 Fonctio 2.2.3 Modéli 2.2.4 Modéli 2.2.5 Captur 2.2.6 Les v 2.2.7 Refoca 2.2.8 Mesure Chapitre – Mesure de la profondeur 3.1 Description de la camera plénoptique de Ra 3.2 Image virtuelle 3.3 Le principe de mesure de la profondeur 3.4 Extension de la méthode d'estimation de la 3.5 Expérimentations 3.5.1 Sélectio 3.5.2 Mise en 3.5.3 Résulta Conclusion et Perspective REFERENCES Remerciements Je fais mon stage de fin d’études en France du Mai 2014 au Novembre 2014 Pendant six mois, j’ai eu la chance de travailler dans un environnement de recherche professionnel et ouvert auquel j’ai retenu beaucoup de connaissances et de défis aussi J’ai également eu des contacts avec des professeurs merveilleux et des jeunes chercheurs intelligents et très aimables Jai eu la chance de rencontrer de nouveaux amis franỗais et vietnamiens aussi Grace leur soutien, j’ai pu passer les difficultés et continuer mon chemin de recherche Je remercie Monsieur Christophe CUDEL, mon responsable de stage, Mtre de conférences HdR l’IUT de Mulhouse, pour les conseils qu’il m’apporté, pour sa disponibilité, ses explications et sa patience Je remercie également le professeur Olivier HAEBERLE, directeur du MIPS, pour m’avoir permis de faire mon stage au laboratoire Merci aux autres professeurs, ingénieurs et thésards qui travaillent au laboratoire, pour vos passions et humeurs, et votre accueil sympathique Je tiens remercier Monsieur HO Tuong Vinh, la responsable de la spécialité SIM de l’Institut de la Francophonie pour l’Informatique pour le suivi qu’il m’a accordé pendant ces six mois et aussi pendant ans des études l’IFI Je remercie également les stagiaires de Master rencontrés durant ce stage : Rami, Jerry et Cécile RIOU, pour les discussions variées, les échanges propos de nos stages et les idées originales qu’ils m’ont donnés pendant mon stage et aussi les bons moments ensembles Enfin, un grand merci mes parents et ma famille, qui me financent ces années de l’étude en France, leur encouragement et leur soutien inconditionnel Résumé L’estimation de la profondeur dans l’image est étudiée depuis longtemps en domaine de vision par ordinateur, de nombreuses recherches se déroulent sur ce thème Les caméras 3D (ou camera RGB-D) peuvent se classifier en deux catégories, passives et actives En général, les cameras passives se basent sur la stéréovision et la mise en correspondance des pixels des deux vues capturées, ce type de cameras permettent de calculer la carte de profondeur d’une scène Les cameras actives utilisent une source d’illumination permettant d’extraire une information 3D, cela permet de texturer des zones uniformes et ainsi faciliter la mise en correspondance entre des images obtenues (Kinect) ou d’estimer la profondeur en calculer le temps de vol entre une onde incidente et une onde réfléchie En cadre de ce stage au laboratoire MIPS, je travaille sur un nouveau type de caméra RGBD : la camera plộnoptique En plaỗant une grille des microlentilles entre la lentille principale et le capteur image, ce type de camera peut capturer l’orientation de rayons passant par le système optique (ou Light Field) Elle permet donc extraire des informations 3D de l’image comme la profondeur Dans ce rapport, je présente contexte de sujet, mon analyse sur le travail réalisé, une méthode de mesure de la profondeur que nous avons développée en utilisant des redondances capturées, la méthode de chercher les points correspondant et une application industrielle en perspective Abstract The depth estimation has been studied for a long time in computer vision, many researches focus on this subject 3D cameras can be classified into two categories, active and passive Passive cameras are generally used in stereovision to calculate a depth map (or disparity) of a scene This depth maps is obtained by matching the feature pixels of views given by acquisitions This is a difficult step when images present many uniform areas Active cameras use an illumination to extract 3D information Illumination can be used to texturize uniform areas and then facilitate the matching between a reference image and the current image They can also measure the time of flight of modulated light to compute the depth of a scene During this internship, I have worked on a new type of RGB-D camera: Light field Camera (plenoptic camera) By placing a micro-lens array between the main lens and photo sensor, the direction of lights that pass through optic system can be recorded So, 3D information can be extracted like the depth This text presents the context of research, our analyses of plenoptic camera, the methods for obtaining the correspondence points and for depth estimation and we have developed In the experiments, we show a potential industrial application that can be used in fact Table des figures Figure L’organisation actuelle du laboratoire MIPS – IUT – UHA Figure Les composants de la camera de Raytrix Figure Caméra Plénoptique de Raytrix au laboratoire MIPS Figure Image brute et une partie capturées par la caméra de Raytrix Figure Capture de la fonction plénoptique par Lippmann en 1908 Figure Les produits commerciaux de caméras Figure Fonction plénoptique avec un vecteur Figure Le trajet de rayon dans la camera se pré Figure Le trajet d’un cône des rayons dans la c Figure 10 La projection de la fonction plénoptique est modifiée quand le plan de focalisation change Figure 11 Transformation de coordonnées dans l’espace de rayon Figure 12 Décomposition du parcours d’un rayon travers une lentille pour le caractériser sous forme matricielle Figure 13 Les versions 1.0 et 2.0 des caméras plénoptiques Figure 14 Image brute d'une caméra plénoptique 1.0 Figure 15 Image brute d’une caméra pl Figure 16 Image brute d'une caméra 2.0 Figure 17 Principe de la formation des images "sub-apertures" Figure 18.L’image de sous-apertures et la vue centrale synthétisées par la méthode de caméra plénoptique de T.Geogiev Figure 19 La méthode de calcul la carte de disparité de Todor Georgiev Figure 20 Synthétisation de l’image épipolaire sur lignes Figure 21 Transformation de radiance pour la re-focalisation Figure 22 La méthode de refocalisation de Geogiev Figure 23 Les résultats de refocalisation par Geogiev Figure 24 Estimation de la profondeur par la méthode de Bishop Figure 25 Estimation de la profondeur par les images épipolaires de Wanner Figure 26 La grille hexagonale des typ Figure 27 L'effet des différentes focales Figure 28 Le processus de l’image dans Figure 29 Le nombre de l’image d'un po Figure 30 La camera plénoptique de Funaki 37 Figure 31 Le principe d’estimation de la profondeur 37 Figure 32 Le principe de recherche des points correspondants du point central de la microlentille 39 Figure 33 Résultats obtenus par la méthode de Funaki et Al 40 Figure 34 Extension de la méthode de mesure de la profondeur 41 Figure 35 La projection de système sur le plan de la ligne épipolaire 42 Figure 36 Installation expérimentale 43 Figure 37 Image d’un spot capturée une hauteur de 30 cm La figure de droite montre les centres des microlentilles (en rouge) et les max d’intensités détectés (en vert) .43 Figure 38 Modèle d'interpolation parabolique 2D 44 Figure 39 Elimination des points maximaux erronés 46 Figure 40 Image brute capturée .46 Figure 41 Le nombre de pics détectés 30 cm, 55 cm et 85 cm 47 Figure 42 Histogrammes des distances |Δi − Δj| pour des acquisitions 30 cm (a), 55 cm (b) et 85 cm (c), calculées avec des microlentilles de type .47 Figure 43 Histogrammes de distances pour toute la plage de mesures 48 Figure 44 Relation entre la distance et la profondeur (microlentilles de type 1) 49 Figure 45 Ecart-type des distances |Δi − Δj| en fonction de la profondeur 50 Figure 46 pic détectée la plage de 30 cm, 55 cm et 80 cm 50 Table des tableaux Tableau La distance et l'écart-type calculés plages données 49 Figure 34 Extension de la méthode de mesure de la profondeur Dans la méthode proposée, en premier temps, nous utilisons seulement les sous-images capturée par un type de microlentilles (soit type – rouge, soit type – vert, soit type bleu) Si le motif de référence n’est pas centrée sur une microlentille, nous ramenés la configuration géométrique donnée sur la Figure 35 Supposons que les points correspondants du point A0 se trouvent dans microlentilles voisines A et A2 Les points A0, A1 et A2 sont projetés sur la ligne épipolaire Dans l’espace vectoriel, nous avons toujours la relation suivante : { Dans l’espace géométrique, sur la Figure 35, nous trouvons que : ⃗⃗ − ||Δ {⃗ ⃗ − ||Δ0 41 Figure 35 La projection de système sur le plan de la ligne épipolaire Alors, dans tous les cas, nous pouvons généraliser la formule: ⃗ ⃗ ||Δ⃗ − ⃗ || = L =L − A A (3.10) Avec i et j sont l’index des correspondances En appliquant (3.1) (3.2) (3.4) et (3.9) nous trouvons la relation ci-dessous: ⃗⃗ ||Δ − = Les valeurs de f, g, E sont constants donc si on a la valeur de décalage avec la formule (3.10), on peut déduire la valeur de la profondeur en appliquant (3.12) 3.5 Expérimentations Nous avons appliqué cette méthode pour étudier la résolution en Z et estimer la facilité de mise en œuvre d’une caméra plénoptique dans un système de mesure 3D par vision Pour ces mesures, nous avons utilisé un mini vidéo projecteur qui projette un ou plusieurs spots blanc sur une surface dont nous voulons évaluer la hauteur L’utilisation de spots de simplifier la mise en correspondance ⃗⃗ permet ⃗⃗ entre les micro-lentilles pour calculer les distances | − | Ces mesures ont été réalisées avec un banc optique permettant de contrôler la 42 hauteur de la caméra (Figure 36) 85 cm 30 cm Figure 36 Installation expérimentale Dans ces expérimentations, la plage de hauteurs utilisée va de 30 85 cm La Figure 37 donne une image expérimentale brute Cette figure montre un spot blanc qui est vu par plusieurs microlentilles Ces spots peuvent être vus comme une mire de calibrage ou les motifs détecter sont les points ayant une intensité maximale détecter La distance entre pics d’intensités se calcule via ces points Point central Figure 37 Image d’un spot capturée une hauteur de 30 cm La figure de droite montre les centres des microlentilles (en rouge) et les max d’intensités détectés (en vert) 43 Cela explique la méthode employée pour détecter les pics d’intensité au sein de chacune des microlentilles 3.5.1 Sélection des pics d’intensité En n’utilisant que des spots blancs ou qu’on n’obtient qu’un type de motif qu’il est alors facile détecter Pour améliorer la position de point maximal (le pic), il est préférable de rechercher une position interpolée comme cela est illustré sur la Figure 38 Point maximal interpolé Point maximal Figure 38 Modèle d'interpolation parabolique 2D Pour détecter les pics d’intensité, nous avons mis en œuvre une méthode d’interpolation en deux dimensions, basée sur un modèle quadratique : ( , )= + + + + + (3.13) Si les paramètres du modèle sont connus, la position de l’intensité maximale se déduit d’après les expressions des gradients, nuls cette position : δ δ { δ δ En résolvant le système d’équations (3.16) ci-dessus, on trouve les positions (u, v) d’intensité maximale : 44 = –4 – (3.18) { v= – – ² Identification des paramètres : Il y a paramètres estimer, que nous déterminons au moyen de la méthode des moindres carrés A partir des voisins et du point central (notés (u 1, v1), (u2, v2),… (u9, v9)), d’intensités respectives I1 I9, nous pouvons établir la relation matricielle suivante : = ( , )⟹ En notant = [a b c d e f ], nous déduisons A 3.5.2 Mise en correspondance En généralisant la recherche de pics dans l’ensemble des microlentilles, on détecte également des maximum locaux, qui ne sont pas des pics d’intensité (voir Figure 39) Il est facile de les éliminer en utilisant un critère de corrélation : ( , )= Les pics dont la valeur de corrélation est trop faible sont éliminés 45 Point maximal faut Figure 39 Elimination des points maximaux erronés 3.5.3 Résultats Les résultats sont présentés sous différentes formes Dans un premier temps, nous avons cherché savoir si⃗ les ⃗ mesures ⃗ ⃗ étaient répétables Pour une hauteur donnée, nous avons fait plusieurs acquisitions, donc mesurés n distances | − | Cette expérimentation se déroule en utilisant seulement les microlentilles de type dont les centres sont marqués en rouge (Voir la Figure 40) Figure 40 Image brute capturée Nous avons réalisé plusieurs acquisitions pour chaque hauteur de caméra La Figure 41 montre des images capturées pour 30 cm, 55 cm et 85 cm On constate que la taille de zone d’intérêt a une tendance diminuer quand on s’éloigne, ce qui est un phénomène naturel : le nombre de projections du spot et le nombre de pics détectés diminue lorsque la hauteur de la caméra augmente 46 Figure 41 Le nombre de pics détectés 30 cm, 55 cm et 85 cm ⃗⃗ ⃗⃗ Pour ces hauteurs, nous présentons sur la Figure 42 les histogrammes des distances | i − j | que nous avons mesuré Ces histogrammes mettent en évidence la variation des mesures pour une même hauteur Par exemple, cette variation s’étend sur 0,5 pixel pour les hauteurs données sur cette figure (a) ⃗⃗ ⃗⃗ Figure 42 Histogrammes des distances | − | pour des acquisitions 30 cm (a), 55 cm (b) et 85 cm (c), calculées avec des microlentilles de type 47 Ces histogrammes n’ont pas la même densité de points Cela s’explique par le nombre de microlentilles imageant le spot, qui diminuent avec la hauteur Il y a donc moins de points de mesures Ceci est particulièrement vrai pour la hauteur de 85 cm Nous avons regroupé les mesures au sein d’un même histogramme ( Nombre Figure 43), en ayant échantillonné la hauteur tous les cm ⃗⃗ ⃗⃗ Distances | − | (pixels) Figure 43 Histogrammes de distances pour toute la plage de mesures On voit que les histogrammes de distances pour chaque profondeur ont tous une forme proche de la distribution normale Le tableau ci-dessous résume les valeurs mesurées sur chaque histogramme Pour chaque hauteur, nous avons retenu la valeur médiane pour représenter une hauteur Hauteur (cm) 30 35 40 45 50 55 Tableau La distance et l'écart-type calculés plages données ⃗⃗ ⃗⃗ Nous avons conservé cette valeur médiane pour tracer la courbe expérimentale A=f( − ) qui est donnée sur la (Figure 44) Cette courbe est conforme au modèle théorique que nous avions établi précédemment (Équation (3.12)) : = Profondeur (cm) ⃗ ⃗ Les distances − sont bornées par le rayon des microlentilles sur l’image et n’excèdent pas 12 pixels ici La courbe est croissante sur cet intervalle D’autre part ces distances sont assez faibles et nécessitent d’être vigilant la qualité de la mise en correspondance opérer entre les motifs des microlentilles Distances ⃗ ⃗ − (pixels) Figure 44 Relation entre la distance et la profondeur (microlentilles de type 1) 49 ⃗ ⃗ Figure 45 Ecart-type des distances | − | en fonction de la profondeur Figure 46 pic détectée la plage de 30 cm, 55 cm et 80 cm Pour évaluer la qualité de nos mesures de distances, nous avons également calculé l’écarttype des distances selon la profondeur Le résultat est représenté sur la Figure 45 L’écart-type a tendance augmenter lorsque la profondeur augmente Autrement dit, avec ce type de microlentilles (type 1), si la profondeur entre l’objet et la camera augmente, la précision de cette méthode diminue On peut aussi expliquer ce phénomène par le changement de taille et de l’intensité des projections du point sur l’image brute (Voir la Figure 46) Si l’objet est bien dans la plage de focalisation des microlentilles sur le plan image, alors le spot apparait nettement et clairement sur l’image brute Au contraire, plus on s’éloigne de cette plage, plus les projections du point sont floues et moins lumineuses La précision de la détection des points maximaux locaux dépend directement de la qualité de la projection, donc si la qualité de projection n’est pas bonne, la précision d’interpolation est moins fiable 50 Conclusion et Perspective Ce sujet se déroule sur l’étude d’une caméra plénoptique pour la mesure 3D Au début, nous avons étudié les principes de la fonction plénoptique et les méthodes pour la modélisation de rayons de Ren Ng et de T.Geogiev Et puis nous avons étudié une méthode de mesure la profondeur partir de l’information sur l’image brute L’intérêt de cette méthode a été vérifié par des expérimentations sur les images réelles qui sont capturées par une camera plénoptique de marque Raytrix Dans ces expérimentations, nous avons utilisé les spots blancs comme objet capturer, la profondeur est changée, la phase de mise en correspondance s’effectue par la méthode de l’interpolation utilisant le modèle quadratique En observant les résultats, on a une première vue sur ce type de camera : ⃗⃗ - La distance | − | lie directement la profondeur de la scène capturée par la camera plénoptique - Ce type de camera est très sensible et permet de travailler dans le domaine sous- ⃗ pixel, avec une variant de 5cm de la profondeur, le distance calculée change 0.5 pixel - La distance augmente et la précision de méthode diminue lorsque la profondeur augmente Donc, le type de microlentilles testées marche bien dans la zone de la profondeur petit et moins bien avec la profondeur grande - La précision de méthode dépend directement la méthode de mise en correspondance des projections et la faỗon de dộtection des pics - Cette mộthode est difficile s’effectue avec les zones homogènes comme les autres méthodes de stéréovisions Ces premiers résultats sont intéressants pour le laboratoire MIPS, qui cherche optimiser l’architecture des caméras plénoptiques pour la mesure 3D Par exemple, la conclusion de mon étude va inciter le laboratoire réduire le nombre de microlentilles dans une caméra plénoptique Pour travailler en refocalisant en post-traitement, il est important d’avoir beaucoup de microlentilles, en revanche, il peut être nécessaire d’en diminuer le nombre pour transformer une caméra plénoptique en caméra de profondeur On peut également noté que j’ai effectué d’autres petits travaux autour de ce thème Par exemple j’ai cherché depuis l’image brute construire des images de « sous-aperture » ou des animations gif mettant en évidence la parallaxe Monsieur Cudel m’a demandé d’orienter 51 cette rédaction autour de la problématique de la mesure 3D avec une caméra plénoptique et donc de ne pas inclure ces travaux, qui avaient essentiellement pour buts de me familiariser avec les images d’une caméra plénoptique Enfin, ce stage m’a permis de découvrir beaucoup de choses, notamment du côté de la camera plénoptique et des principes pour mesurer la profondeur de la scène J’ai rencontré des professeurs formidables qui m’ont montré comment travailler en ayant une rigueur scientifique Cette expérience est très enrichissante et m’a permis de bien approfondir les disciplines vues au niveau de Master Cette première expérience concrète dans le monde de la stéréovision m’a ainsi permis d’enrichir fortement mes compétences techniques et de me conforter dans mon choix d’orientation professionnelle 52 53 REFERENCES [1] Risako Ueno, Kzuhiro Suzuki, M.Kobayashi, H.Kwon, H.Honda, Hideyuki Funaki , “Compouned – Eye Camera Module as Small as 8.5 x 8.5 x 6.0 mm for 26 k-Resolution Depth Map and 2_Mpix 2D Imaging”, IEEE Photonics Journal, 2013 [2] Ren Ng, “Digital Light Field Photography”, PhD Thesis, Stanford University, July 2006 [3] Todor Georgiev, Andrew Lumsdaine, “Focused plenoptic camera and rendering”, Journal of Electronic Imaging (April – June 2010) [4] Todor Georgiev , Andrew Lumsdaine, “Resolution in Plenoptic Cameras”, Optical Society of America, 2009 [5] Todor Geogriev, Andrew Lumsdaine, “Plenoptic Camera 2.0”, Adobe Documents, 2006 [6] “Raytrix Lightfield Camera”, Raytrix Documents, 2012 [7] Christian Perwaβ and Lennart Wietzke, “Single Lens 3D – Camera with Extended Depth-of-Field”, SPIE 8291, Human Vision and Electronic Imaging XVII, 829108 (February 9, 2012) [8] Ren Ng, Marc Levoy, “Light Field Photogrphy with a Hand-held Plenoptic Camera”, Stanford Tech Report, February 2005 [9] Todor Geogiev, Andrew Lumsdaine, “Radiance Photography”, European Conference on Computer Vision, 2008, Marseille, France [10] Ren Ng, “Fourier Slice Photography”, Standford University, ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2005 [11] Sven Wanner, Janis Fehr, Bernd Jahne, “Generating EPI Representations of 4D Light Fields with a Single Lens Focused Plenoptic Camera”, Spring-Verlag Berlin Heidenlberg 2011 [12] Todor Geogiev, “Computational Methods for Radiance”, Adobe Documents [13] Todor Georgiev and Andrew Lumsdaine, “The Multi-Focus Plenoptic Camera”, SPIE Electronic Imaging, January 2012 [14] Michael Hansen Eric Holk, “Depth map estimation for plenoptic images”, December 16, 2011 [15] Christophe CUDEL, “Camera plénoptique”, Lecture du cours “Vision 3D” [16] Tom E Bishop and Paolo Favaro, “Full-Resolution Depth Map Estimation from an [17] Todor Georgeiv, Ke Colin Zheng, Brian Curless, David Salesin, Shree Nayar, and Chintan Intwala, “Spatio-Angular Resolution Tradeoff in Integral Photography”, Eurographics Symposium on Rendering (2006) 54 [18] Ashok Veeraraghavan, Ramesh Raskar, Amit Agrawal, Ankit Mohan, Jack Tumblin, “Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing”, ACM Transactions on Graphics, Vol 26, No 3, Article 69, July 2007 [19] Sven Wanner, Bastian Goldluecke, “Globally Consistent Depth Labeling of 4D Light Fields”, CVPR '12 Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Pages 41-48, 2012 55 ... Mesure de la profondeur 3.1 Description de la camera plénoptique de Ra 3.2 Image virtuelle 3.3 Le principe de mesure de la profondeur 3.4 Extension de la méthode d 'estimation de. .. 6) A Caméra de B Caméra de Lytro Raytrix C Caméra d’Adobe Figure Les produits commerciaux de caméras plénoptiques 17 2.2 Principe des caméras plénoptique 2.2.1 Introduction de la fonction plénoptique. .. j’ai utilisé une caméra de marque Raytrix Une caméra plénoptique a une constitution différente d? ?une caméra classique, puisqu‘elle comprend une grille de microlentilles, placée derrière la lentille