Luận văn thạc sĩ VNU estimation de profondeurs avec une caméra plénoptique

Rapport de stage de fin d’études Master « informatique » Option : Les systèmes intelligents et Multimédias (SIM) Estimation de profondeurs avec une caméra plénoptique TRUONG Xuan Ha txha@ifi.edu.vn Stage effectué au laboratoire MIPS (01/05/2014 au 31/10/2014) http://www.mips.uha.fr Encadrant au MIPS M Christophe CUDEL christophe.cudel@uha.fr Stage suivi par M HO Tuong Vinh ho.tuong.vinh@ifi.edu.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des matières Table des matières Remerciements Résumé Table des figures Table des tableaux Introduction Générale 10 Chapitre – Contexte et Sujet 12 1.1 Introduction du laboratoire MIPS – Université de Haut-Alsace 12 1.2 Caméras 3D ou caméras RGB-D (Red, Green, Blue, Depth) 13 1.3 Description de sujet 14 Chapitre – Caméra plénoptique 16 2.1 Historique des caméras plénoptiques 16 2.2 Principe des caméras plénoptique 18 2.2.1 Introduction de la fonction plénoptique 18 2.2.2 Fonction plénoptique : modèle de Ren Ng 19 2.2.3 Modélisation des rayons : Approche de RenNg 20 2.2.4 Modélisation des rayons : Approche alternative de T Georgiev 22 2.2.5 Capture des rayons avec des microlentilles 24 2.2.6 Les vues déduites d’une image brute d’une caméra plénoptique 2.0 27 2.2.7 Refocalisation avec une camera plénoptique 2.0 31 2.2.8 Mesure de la profondeur avec une camera plénoptique 2.0 32 Chapitre – Mesure de la profondeur 34 3.1 Description de la camera plénoptique de Raytrix au laboratoire MIPS 34 3.2 Image virtuelle 36 3.3 Le principe de mesure de la profondeur 36 3.4 Extension de la méthode d'estimation de la profondeur 40 3.5 Expérimentations 42 3.5.1 Sélection des pics d’intensité 44 3.5.2 Mise en correspondance 45 3.5.3 Résultats 46 Conclusion et Perspective 51 REFERENCES 54 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Remerciements Je fais mon stage de fin d’études en France du Mai 2014 au Novembre 2014 Pendant six mois, j’ai eu la chance de travailler dans un environnement de recherche professionnel et ouvert auquel j’ai retenu beaucoup de connaissances et de défis aussi J’ai également eu des contacts avec des professeurs merveilleux et des jeunes chercheurs intelligents et très aimables J’ai eu la chance de rencontrer de nouveaux amis franỗais et vietnamiens aussi Grace leur soutien, j’ai pu passer les difficultés et continuer mon chemin de recherche Je remercie Monsieur Christophe CUDEL, mon responsable de stage, Mtre de conférences HdR l’IUT de Mulhouse, pour les conseils qu’il m’apporté, pour sa disponibilité, ses explications et sa patience Je remercie également le professeur Olivier HAEBERLE, directeur du MIPS, pour m’avoir permis de faire mon stage au laboratoire Merci aux autres professeurs, ingénieurs et thésards qui travaillent au laboratoire, pour vos passions et humeurs, et votre accueil sympathique Je tiens remercier Monsieur HO Tuong Vinh, la responsable de la spécialité SIM de l’Institut de la Francophonie pour l’Informatique pour le suivi qu’il m’a accordé pendant ces six mois et aussi pendant ans des études l’IFI Je remercie également les stagiaires de Master rencontrés durant ce stage : Rami, Jerry et Cécile RIOU, pour les discussions variées, les échanges propos de nos stages et les idées originales qu’ils m’ont donnés pendant mon stage et aussi les bons moments ensembles Enfin, un grand merci mes parents et ma famille, qui me financent ces années de l’étude en France, leur encouragement et leur soutien inconditionnel LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Résumé L’estimation de la profondeur dans l’image est étudiée depuis longtemps en domaine de vision par ordinateur, de nombreuses recherches se déroulent sur ce thème Les caméras 3D (ou camera RGB-D) peuvent se classifier en deux catégories, passives et actives En général, les cameras passives se basent sur la stéréovision et la mise en correspondance des pixels des deux vues capturées, ce type de cameras permettent de calculer la carte de profondeur d’une scène Les cameras actives utilisent une source d’illumination permettant d’extraire une information 3D, cela permet de texturer des zones uniformes et ainsi faciliter la mise en correspondance entre des images obtenues (Kinect) ou d’estimer la profondeur en calculer le temps de vol entre une onde incidente et une onde réfléchie En cadre de ce stage au laboratoire MIPS, je travaille sur un nouveau type de caméra RGBD : la camera plộnoptique En plaỗant une grille des microlentilles entre la lentille principale et le capteur image, ce type de camera peut capturer l’orientation de rayons passant par le système optique (ou Light Field) Elle permet donc extraire des informations 3D de l’image comme la profondeur Dans ce rapport, je présente contexte de sujet, mon analyse sur le travail réalisé, une méthode de mesure de la profondeur que nous avons développée en utilisant des redondances capturées, la méthode de chercher les points correspondant et une application industrielle en perspective LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Abstract The depth estimation has been studied for a long time in computer vision, many researches focus on this subject 3D cameras can be classified into two categories, active and passive Passive cameras are generally used in stereovision to calculate a depth map (or disparity) of a scene This depth maps is obtained by matching the feature pixels of views given by acquisitions This is a difficult step when images present many uniform areas Active cameras use an illumination to extract 3D information Illumination can be used to texturize uniform areas and then facilitate the matching between a reference image and the current image They can also measure the time of flight of modulated light to compute the depth of a scene During this internship, I have worked on a new type of RGB-D camera: Light field Camera (plenoptic camera) By placing a micro-lens array between the main lens and photo sensor, the direction of lights that pass through optic system can be recorded So, 3D information can be extracted like the depth This text presents the context of research, our analyses of plenoptic camera, the methods for obtaining the correspondence points and for depth estimation and we have developed In the experiments, we show a potential industrial application that can be used in fact LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des figures Figure L’organisation actuelle du laboratoire MIPS – IUT – UHA 12 Figure Les composants de la camera de Raytrix 14 Figure Caméra Plénoptique de Raytrix au laboratoire MIPS 15 Figure Image brute et une partie capturées par la caméra de Raytrix 15 Figure Capture de la fonction plénoptique par Lippmann en 1908 16 Figure Les produits commerciaux de caméras plénoptiques 17 Figure Fonction plénoptique avec un vecteur 4D 18 Figure Le trajet de rayon dans la camera se présente sur l’espace de rayon 19 Figure Le trajet d’un cône des rayons dans la caméra correspond un pixel 20 Figure 10 La projection de la fonction plénoptique est modifiée quand le plan de focalisation change 21 Figure 11 Transformation de coordonnées dans l’espace de rayon 22 Figure 12 Décomposition du parcours d’un rayon travers une lentille pour le caractériser sous forme matricielle 23 Figure 13 Les versions 1.0 et 2.0 des caméras plénoptiques 25 Figure 14 Image brute d'une caméra plénoptique 1.0 26 Figure 15 Image brute d’une caméra plénoptique 2.0 (réalisée au laboratoire) 26 Figure 16 Image brute d'une caméra 2.0 Localisation des espaces (u, v, x, y) 27 Figure 17 Principe de la formation des images "sub-apertures" 28 Figure 18.L’image de sous-apertures et la vue centrale synthétisées par la méthode de caméra plénoptique de T.Geogiev 29 Figure 19 La méthode de calcul la carte de disparité de Todor Georgiev 29 Figure 20 Synthétisation de l’image épipolaire sur lignes 30 Figure 21 Transformation de radiance pour la re-focalisation 31 Figure 22 La méthode de refocalisation de Geogiev 31 Figure 23 Les résultats de refocalisation par Geogiev 32 Figure 24 Estimation de la profondeur par la méthode de Bishop 32 Figure 25 Estimation de la profondeur par les images épipolaires de Wanner 33 Figure 26 La grille hexagonale des types de microlentilles 34 Figure 27 L'effet des différentes focales des types de microlentilles 35 Figure 28 Le processus de l’image dans une caméra plénoptique 35 Figure 29 Le nombre de l’image d'un point de la scène situant aux profondeurs différentes 36 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Figure 30 La camera plénoptique de Funaki 37 Figure 31 Le principe d’estimation de la profondeur 37 Figure 32 Le principe de recherche des points correspondants du point central de la microlentille 39 Figure 33 Résultats obtenus par la méthode de Funaki et Al 40 Figure 34 Extension de la méthode de mesure de la profondeur 41 Figure 35 La projection de système sur le plan de la ligne épipolaire 42 Figure 36 Installation expérimentale 43 Figure 37 Image d’un spot capturée une hauteur de 30 cm La figure de droite montre les centres des microlentilles (en rouge) et les max d’intensités détectés (en vert) 43 Figure 38 Modèle d'interpolation parabolique 2D 44 Figure 39 Elimination des points maximaux erronés 46 Figure 40 Image brute capturée 46 Figure 41 Le nombre de pics détectés 30 cm, 55 cm et 85 cm 47 Figure 42 Histogrammes des distances |Δi − Δj| pour des acquisitions 30 cm (a), 55 cm (b) et 85 cm (c), calculées avec des microlentilles de type 47 Figure 43 Histogrammes de distances pour toute la plage de mesures 48 Figure 44 Relation entre la distance et la profondeur (microlentilles de type 1) 49 Figure 45 Ecart-type des distances |Δi − Δj| en fonction de la profondeur 50 Figure 46 pic détectée la plage de 30 cm, 55 cm et 80 cm 50 Table des tableaux Tableau La distance et l'écart-type calculés plages données 49 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Figure 34 Extension de la méthode de mesure de la profondeur Dans la méthode proposée, en premier temps, nous utilisons seulement les sous-images capturée par un type de microlentilles (soit type – rouge, soit type – vert, soit type bleu) Si le motif de référence n’est pas centrée sur une microlentille, nous ramenés la configuration géométrique donnée sur la Figure 35 Supposons que les points correspondants du point A0 se trouvent dans microlentilles voisines A1 et A2 Les points A0, A1 et A2 sont projetés sur la ligne épipolaire Dans l’espace vectoriel, nous avons toujours la relation suivante : 𝐷 ⃗⃗⃗⃗ Δ0 = 𝐶 ⃗⃗⃗⃗ 𝐿0 𝐷 𝐷 ⃗⃗⃗⃗ Δ0 − ⃗⃗⃗⃗ Δ1 = 𝐶 ( ⃗⃗⃗⃗ 𝐿0 − ⃗⃗⃗⃗ 𝐿1 ) ⃗⃗⃗⃗ ⃗⃗⃗⃗1 ⟹ { Δ1 = 𝐶 𝐿 (3.8) ⃗⃗⃗⃗ ⃗⃗⃗⃗ = 𝐷 ( ⃗⃗⃗⃗ ⃗⃗⃗⃗ ) Δ0 − Δ 𝐿 − 𝐿 𝐷 𝐶 ⃗⃗⃗⃗ ⃗⃗⃗⃗ {Δ = 𝐶 𝐿 Dans l’espace géométrique, sur la Figure 35, nous trouvons que : ⃗⃗⃗⃗0 − ⃗⃗⃗⃗ ⃗⃗⃗⃗0 || + ||Δ ⃗⃗⃗⃗1 || = L𝑚 − A0 A1 ⃗⃗⃗⃗0 − ⃗⃗⃗⃗ ||Δ Δ1 || = ||Δ ||L L1 || = L𝑚 { et { (3.9) ⃗⃗⃗⃗0 − Δ ⃗⃗⃗⃗ || = ||Δ ⃗⃗⃗⃗ || − ||Δ ⃗⃗⃗⃗0 || = L𝑚 − A0 A ⃗⃗⃗⃗0 − L ⃗⃗⃗⃗ || = L𝑚 ||Δ ||L 41 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Figure 35 La projection de système sur le plan de la ligne épipolaire Alors, dans tous les cas, nous pouvons généraliser la formule: 𝐷 ⃗⃗⃗𝑖 − ⃗⃗⃗ ||Δ Δ𝑗 || = 𝐶 L𝑚 = L𝑚 − A𝑖 A𝑗 (3.10) Avec i et j sont l’index des correspondances En appliquant (3.1) (3.2) (3.4) et (3.9) nous trouvons la relation ci-dessous: ⃗⃗⃗𝑖 − ⃗⃗⃗ ||Δ Δ𝑗 || = 𝐴= 𝐿𝑚 −1 −1 1+𝑔 (𝑓 −𝐴−1 )−1 −𝐸𝑔−1 𝑓2 ⃗⃗⃗⃗𝑖 −Δ ⃗⃗⃗⃗𝑗 || 𝐸+𝑔(𝐿𝑚 ||Δ −1 −1)−𝑓 + (3.11) (3.12) Les valeurs de f, g, E sont constants donc si on a la valeur de décalage avec la formule (3.10), on peut déduire la valeur de la profondeur en appliquant (3.12) 3.5 Expérimentations Nous avons appliqué cette méthode pour étudier la résolution en Z et estimer la facilité de mise en œuvre d’une caméra plénoptique dans un système de mesure 3D par vision Pour ces mesures, nous avons utilisé un mini vidéo projecteur qui projette un ou plusieurs spots blanc sur une surface dont nous voulons évaluer la hauteur L’utilisation de spots permet de simplifier la mise en correspondance entre les micro-lentilles pour calculer les distances ⃗⃗⃗𝑖 − ⃗⃗⃗ |𝛥 𝛥𝑗 | Ces mesures ont été réalisées avec un banc optique permettant de contrôler la 42 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com hauteur de la caméra (Figure 36) 85 cm 30 cm Figure 36 Installation expérimentale Dans ces expérimentations, la plage de hauteurs utilisée va de 30 85 cm La Figure 37 donne une image expérimentale brute Cette figure montre un spot blanc qui est vu par plusieurs microlentilles Ces spots peuvent être vus comme une mire de calibrage ou les motifs détecter sont les points ayant une intensité maximale détecter La distance entre pics d’intensités se calcule via ces points Point central Point maximal local Figure 37 Image d’un spot capturée une hauteur de 30 cm La figure de droite montre les centres des microlentilles (en rouge) et les max d’intensités détectés (en vert) 43 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Cela explique la méthode employée pour détecter les pics d’intensité au sein de chacune des microlentilles 3.5.1 Sélection des pics d’intensité En n’utilisant que des spots blancs ou qu’on n’obtient qu’un type de motif qu’il est alors facile détecter Pour améliorer la position de point maximal (le pic), il est préférable de rechercher une position interpolée comme cela est illustré sur la Figure 38 Point maximal interpolé Point maximal Figure 38 Modèle d'interpolation parabolique 2D Pour détecter les pics d’intensité, nous avons mis en œuvre une méthode d’interpolation en deux dimensions, basée sur un modèle quadratique : 𝐼(𝑥, 𝑦) = 𝑎 𝑥 + 𝑏 𝑦 + 𝑐 𝑥 𝑦 + 𝑑 𝑥 + 𝑒 𝑦 + (3.13) Si les paramètres du modèle sont connus, la position de l’intensité maximale se déduit d’après les expressions des gradients, nuls cette position : δ𝐼 = ⇔ 2𝑎𝑢 + 𝑐𝑣 + 𝑑 = = δ𝑣 ⇔ 2𝑏𝑣 + 𝑑𝑢 + 𝑒 = {δ𝑢 δ𝐼 (3.16) En résolvant le système d’équations (3.16) ci-dessus, on trouve les positions (u, v) d’intensité maximale : 44 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com { 𝑢= 𝑒𝑐– 𝑏𝑑 v= 𝑐𝑑– 𝑎𝑒 4𝑎𝑏–𝑐 (3.18) 4𝑎𝑏–𝑐² Identification des paramètres : Il y a paramètres estimer, que nous déterminons au moyen de la méthode des moindres carrés A partir des voisins et du point central (notés (u1, v1), (u2, v2),… (u9, v9)), d’intensités respectives I1 I9, nous pouvons établir la relation matricielle suivante : 𝑢1 𝑢 𝑋𝑛 𝐴 = 𝐼(𝑢, 𝑣) ⟹ ⋮ [𝑢9 𝑣1 ⋯ 𝑢1 ∗ 𝑣1 ⋯ 𝑢1 ⋯ 𝑣1 ⋯ 𝑣9 𝑢9 ∗ 𝑣9 𝑢9 𝑣9 𝑎 𝑏 𝐼1 𝑐 𝐼 = [ ] (3.14) ⋮ ⋮ 𝑑 𝑒 𝐼 1] [ ] En notant 𝐴 = [a b c d e f ], nous déduisons A 𝑎𝑟𝑔𝑚𝑖𝑛 𝐴𝐷(𝐴) = ∑𝑛 |𝑋𝑛 𝐴 − 𝐼𝑛 | (3.7) 3.5.2 Mise en correspondance En généralisant la recherche de pics dans l’ensemble des microlentilles, on détecte également des maximum locaux, qui ne sont pas des pics d’intensité (voir Figure 39) Il est facile de les éliminer en utilisant un critère de corrélation : 𝑅(𝑥, 𝑦) = ∑𝑥 ′ ,𝑦′ 𝑃(𝑥′, 𝑦′) 𝐼(𝑥 + 𝑥 ′ , 𝑦 + 𝑦 ′ ) √∑𝑥 ′ ,𝑦 ′ 𝑃(𝑥, 𝑦) ∑𝑥 ′ ,𝑦 ′ 𝐼(𝑥 + 𝑥 ′ , 𝑦 + 𝑦 ′ ) Les pics dont la valeur de corrélation est trop faible sont éliminés 45 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Point maximal faut Figure 39 Elimination des points maximaux erronés 3.5.3 Résultats Les résultats sont présentés sous différentes formes Dans un premier temps, nous avons cherché savoir si les mesures étaient répétables Pour une hauteur donnée, nous avons fait ⃗⃗⃗𝑖 − ⃗⃗⃗ plusieurs acquisitions, donc mesurés n distances |Δ Δ𝑗 | Cette expérimentation se déroule en utilisant seulement les microlentilles de type dont les centres sont marqués en rouge (Voir la Figure 40) Figure 40 Image brute capturée Nous avons réalisé plusieurs acquisitions pour chaque hauteur de caméra La Figure 41 montre des images capturées pour 30 cm, 55 cm et 85 cm On constate que la taille de zone d’intérêt a une tendance diminuer quand on s’éloigne, ce qui est un phénomène naturel : le nombre de projections du spot et le nombre de pics détectés diminue lorsque la hauteur de la caméra augmente 46 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Figure 41 Le nombre de pics détectés 30 cm, 55 cm et 85 cm Pour ces hauteurs, nous présentons sur la Figure 42 les histogrammes des distances ⃗⃗⃗i − ⃗⃗⃗ |Δ Δj | que nous avons mesuré Ces histogrammes mettent en évidence la variation des mesures pour une même hauteur Par exemple, cette variation s’étend sur 0,5 pixel pour les hauteurs données sur cette figure (a) (b) (c) ⃗⃗⃗𝑖 − ⃗⃗⃗ Figure 42 Histogrammes des distances |𝛥 𝛥𝑗 | pour des acquisitions 30 cm (a), 55 cm (b) et 85 cm (c), calculées avec des microlentilles de type 47 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ces histogrammes n’ont pas la même densité de points Cela s’explique par le nombre de microlentilles imageant le spot, qui diminuent avec la hauteur Il y a donc moins de points de mesures Ceci est particulièrement vrai pour la hauteur de 85 cm Nous avons regroupé les mesures au sein d’un même histogramme ( Nombre Figure 43), en ayant échantillonné la hauteur tous les cm ⃗⃗⃗𝑖 Distances |Δ − ⃗⃗⃗ Δ𝑗 | (pixels) Figure 43 Histogrammes de distances pour toute la plage de mesures On voit que les histogrammes de distances pour chaque profondeur ont tous une forme proche de la distribution normale Le tableau ci-dessous résume les valeurs mesurées sur chaque histogramme Pour chaque hauteur, nous avons retenu la valeur médiane pour représenter une hauteur Hauteur (cm) Couleur Distance mesurée (pixels) Ecart-type 30 Vert pale 2.25 0.08 35 Lilas 2.86 0.11 40 Magenta 3.52 0.10 45 Noir 4.24 0.13 50 Orange 4.96 0.17 55 Blanc 5.71 0.17 48 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 60 Bleu 6.31 0.19 65 Vert 7.15 0.21 70 Violet 7.82 0.22 75 Jaune 8.68 0.20 80 Cyan 9.45 0.25 85 Rouge 10.02 0.22 Tableau La distance et l'écart-type calculés plages données Nous avons conservé cette valeur médiane pour tracer la courbe expérimentale ⃗⃗⃗𝑖 − ⃗⃗⃗ A=f(Δ Δ𝑗 ) qui est donnée sur la (Figure 44) Cette courbe est conforme au modèle théorique que nous avions établi précédemment (Équation (3.12)) : 𝐴= 𝐸 + 𝑔( 𝐿𝑚 ⃗⃗⃗𝑖 − ⃗⃗⃗ ||Δ Δ𝑗 || − 1) − + Les distances ⃗⃗⃗ Δ𝑖 − ⃗⃗⃗ Δ𝑗 sont bornées par le rayon des microlentilles sur l’image et n’excèdent pas 12 pixels ici La courbe est croissante sur cet intervalle D’autre part ces distances sont assez faibles et nécessitent d’être vigilant la qualité de la mise en correspondance opérer Profondeur (cm) entre les motifs des microlentilles Distances ⃗⃗⃗ Δ𝑖 − ⃗⃗⃗ Δ𝑗 (pixels) Figure 44 Relation entre la distance et la profondeur (microlentilles de type 1) 49 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ⃗⃗⃗𝑖 − ⃗⃗⃗ Figure 45 Ecart-type des distances |𝛥 𝛥𝑗 | en fonction de la profondeur Figure 46 pic détectée la plage de 30 cm, 55 cm et 80 cm Pour évaluer la qualité de nos mesures de distances, nous avons également calculé l’écarttype des distances selon la profondeur Le résultat est représenté sur la Figure 45 L’écart-type a tendance augmenter lorsque la profondeur augmente Autrement dit, avec ce type de microlentilles (type 1), si la profondeur entre l’objet et la camera augmente, la précision de cette méthode diminue On peut aussi expliquer ce phénomène par le changement de taille et de l’intensité des projections du point sur l’image brute (Voir la Figure 46) Si l’objet est bien dans la plage de focalisation des microlentilles sur le plan image, alors le spot apparait nettement et clairement sur l’image brute Au contraire, plus on s’éloigne de cette plage, plus les projections du point sont floues et moins lumineuses La précision de la détection des points maximaux locaux dépend directement de la qualité de la projection, donc si la qualité de projection n’est pas bonne, la précision d’interpolation est moins fiable 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Conclusion et Perspective Ce sujet se déroule sur l’étude d’une caméra plénoptique pour la mesure 3D Au début, nous avons étudié les principes de la fonction plénoptique et les méthodes pour la modélisation de rayons de Ren Ng et de T.Geogiev Et puis nous avons étudié une méthode de mesure la profondeur partir de l’information sur l’image brute L’intérêt de cette méthode a été vérifié par des expérimentations sur les images réelles qui sont capturées par une camera plénoptique de marque Raytrix Dans ces expérimentations, nous avons utilisé les spots blancs comme objet capturer, la profondeur est changée, la phase de mise en correspondance s’effectue par la méthode de l’interpolation utilisant le modèle quadratique En observant les résultats, on a une première vue sur ce type de camera : - ⃗⃗⃗𝑖 − ⃗⃗⃗⃗⃗ La distance |Δ Δ𝑗 | lie directement la profondeur de la scène capturée par la camera plénoptique - Ce type de camera est très sensible et permet de travailler dans le domaine souspixel, avec une variant de 5cm de la profondeur, le distance calculée change 0.5 pixel - La distance augmente et la précision de méthode diminue lorsque la profondeur augmente Donc, le type de microlentilles testées marche bien dans la zone de la profondeur petit et moins bien avec la profondeur grande - La précision de méthode dépend directement la méthode de mise en correspondance des projections et la faỗon de dộtection des pics - Cette méthode est difficile s’effectue avec les zones homogènes comme les autres méthodes de stéréovisions Ces premiers résultats sont intéressants pour le laboratoire MIPS, qui cherche optimiser l’architecture des caméras plénoptiques pour la mesure 3D Par exemple, la conclusion de mon étude va inciter le laboratoire réduire le nombre de microlentilles dans une caméra plénoptique Pour travailler en refocalisant en post-traitement, il est important d’avoir beaucoup de microlentilles, en revanche, il peut être nécessaire d’en diminuer le nombre pour transformer une caméra plénoptique en caméra de profondeur On peut également noté que j’ai effectué d’autres petits travaux autour de ce thème Par exemple j’ai cherché depuis l’image brute construire des images de « sous-aperture » ou des animations gif mettant en évidence la parallaxe Monsieur Cudel m’a demandé d’orienter 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com cette rédaction autour de la problématique de la mesure 3D avec une caméra plénoptique et donc de ne pas inclure ces travaux, qui avaient essentiellement pour buts de me familiariser avec les images d’une caméra plénoptique Enfin, ce stage m’a permis de découvrir beaucoup de choses, notamment du côté de la camera plénoptique et des principes pour mesurer la profondeur de la scène J’ai rencontré des professeurs formidables qui m’ont montré comment travailler en ayant une rigueur scientifique Cette expérience est très enrichissante et m’a permis de bien approfondir les disciplines vues au niveau de Master Cette première expérience concrète dans le monde de la stéréovision m’a ainsi permis d’enrichir fortement mes compétences techniques et de me conforter dans mon choix d’orientation professionnelle 52 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 53 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com REFERENCES [1] Risako Ueno, Kzuhiro Suzuki, M.Kobayashi, H.Kwon, H.Honda, Hideyuki Funaki , “Compouned – Eye Camera Module as Small as 8.5 x 8.5 x 6.0 mm for 26 k-Resolution Depth Map and 2_Mpix 2D Imaging”, IEEE Photonics Journal, 2013 [2] Ren Ng, “Digital Light Field Photography”, PhD Thesis, Stanford University, July 2006 [3] Todor Georgiev, Andrew Lumsdaine, “Focused plenoptic camera and rendering”, Journal of Electronic Imaging (April – June 2010) [4] Todor Georgiev , Andrew Lumsdaine, “Resolution in Plenoptic Cameras”, Optical Society of America, 2009 [5] Todor Geogriev, Andrew Lumsdaine, “Plenoptic Camera 2.0”, Adobe Documents, 2006 [6] “Raytrix Lightfield Camera”, Raytrix Documents, 2012 [7] Christian Perwaβ and Lennart Wietzke, “Single Lens 3D – Camera with Extended Depth-of-Field”, SPIE 8291, Human Vision and Electronic Imaging XVII, 829108 (February 9, 2012) [8] Ren Ng, Marc Levoy, “Light Field Photogrphy with a Hand-held Plenoptic Camera”, Stanford Tech Report, February 2005 [9] Todor Geogiev, Andrew Lumsdaine, “Radiance Photography”, European Conference on Computer Vision, 2008, Marseille, France [10] Ren Ng, “Fourier Slice Photography”, Standford University, ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2005 [11] Sven Wanner, Janis Fehr, Bernd Jahne, “Generating EPI Representations of 4D Light Fields with a Single Lens Focused Plenoptic Camera”, Spring-Verlag Berlin Heidenlberg 2011 [12] Todor Geogiev, “Computational Methods for Radiance”, Adobe Documents [13] Todor Georgiev and Andrew Lumsdaine, “The Multi-Focus Plenoptic Camera”, SPIE Electronic Imaging, January 2012 [14] Michael Hansen Eric Holk, “Depth map estimation for plenoptic images”, December 16, 2011 [15] Christophe CUDEL, “Camera plénoptique”, Lecture du cours “Vision 3D” [16] Tom E Bishop and Paolo Favaro, “Full-Resolution Depth Map Estimation from an Aliased Plenoptic Light Field”, 3DIM 09, 2009 [17] Todor Georgeiv, Ke Colin Zheng, Brian Curless, David Salesin, Shree Nayar, and Chintan Intwala, “Spatio-Angular Resolution Tradeoff in Integral Photography”, Eurographics Symposium on Rendering (2006) 54 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com [18] Ashok Veeraraghavan, Ramesh Raskar, Amit Agrawal, Ankit Mohan, Jack Tumblin, “Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing”, ACM Transactions on Graphics, Vol 26, No 3, Article 69, July 2007 [19] Sven Wanner, Bastian Goldluecke, “Globally Consistent Depth Labeling of 4D Light Fields”, CVPR '12 Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Pages 41-48, 2012 55 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... vues déduites d? ?une image brute d? ?une caméra plénoptique 2.0 27 2.2.7 Refocalisation avec une camera plénoptique 2.0 31 2.2.8 Mesure de la profondeur avec une camera plénoptique 2.0 ... but de mon stage est d’étudier les principes d? ?une caméra plénoptique et ses capacités mesurer une profondeur dans une scène Expérimentalement, j’ai utilisé une caméra de marque Raytrix Une caméra. .. Générale Dans le cadre de ce mon stage de fin d’études de Master informatique, j’ai effectué un stage dont le sujet était : « Estimation de profondeurs avec une camera plénoptique » Ce stage