Suivi d’objet de forme libre dans un système de réalité augmentée mobile

Institut TELECOM / TELECOM & Management SudParis Département Advanced Research & TEchniques for Multidimensional Imaging Systems ARTEMIS Suivi d’objet de forme libre dans un système de réalité augmentée mobile Mémoire de stage de Master Informatique Institut de la Francophonie pour l'Informatique (IFI), Hanoi - Vietnam Van Hung LE 21 octobre 2010 Marius PREDA, Maitre de Conférences au TELECOM SudParis Directeur de stage Madjid MAIDI, Ingénieur R&D au TELECOM SudParis Encadrant Résumé L’objectif de ce stage est de réaliser un système de reconnaissance d’objets sansmarqueurs en réalité augmentée sur une plateforme mobile Une méthode novatrice basée sur les descripteurs locaux invariants a été implémentée pour détecter et extraire les points d’intérêts dans l’image Cette technique a été optimisée et adaptée pour être exploitée sur une architecture mobile faibles ressources La deuxième partie du stage est l’estimation de la pose de la caméra pour pouvoir recaler des graphiques virtuels sur des images réelles afin d’augmenter et enrichir la perception visuelle de l’utilisateur Des tests expérimentaux et de nombreuses évaluations ont été effectués pour démontrer l’intérêt de l’approche proposée Le travail réalisé a permis de lever le verrou sur certaines problématiques d’identification et de suivi d’objets de formes libres dans un environnement non instrumenté de réalité augmentée mobile Abstract This work aims to realize a recognition system for markerless tracking in mobile augmented reality A novel method based local invariant descriptors was implemented to detect and extract image feature points This technique was optimized and adapted for a mobile architecture with low resources The second part of work is the camera pose estimation to superimpose virtual graphics on real image in order to enhance the visual perception of the user Experiments and many evaluations were conducted to demonstrate the relevance of the proposed approach This study enabled to overcome some identification issues for markerless tracking in mobile augmented reality environments Table des matières Résumé Abstract Table des matières Remerciements Cadre du stage Références Matériels et logiciels utilisés Chapitre I 1.1 Contexte et objectifs Problématique 10 1.1.1 Suivi d’objet de forme libre 10 1.1.2 Estimation de la pose de la caméra 10 1.1.3 Contraintes 10 1.2 Motivation 11 1.3 Objectifs 11 1.3.1 Identification d’objets par la technique SURF 11 1.3.2 Calcul de la pose 11 1.3.3 Implémentation sur téléphone portable 11 1.4 Contributions 12 1.4.1 Utilisation de SURF pour la reconnaissance d’objets de formes libres 12 1.4.2 Amélioration du temps d’exécution et le taux de reconnaissance de cibles .12 1.4.3 Développement de l’application sur téléphone portable 12 Chapitre II Les systèmes de réalité augmentée mobiles : état de l’art 14 2.1 Introduction 14 2.2 Travaux de recherches 14 2.2.1 Travaux de Chen et al 14 2.2.2 Travaux de Karpischek et al 15 2.2.3 Travaux de Henrysson et al 16 2.2.4 Travaux de Assad et al 16 2.2.5 Travaux de Keitler et al 17 2.2.6 Travaux de Schmalstieg et Wagner 18 2.2.7 Travaux de Wagner et al 2.2.8 Travaux de Klein et Murray 2.2.9 Travaux de Takacs et al 2.2.10 Discussion 2.3 Applications commerciales développées 2.3.1 Applications pratiques 2.3.2 Applications scientifiques 2.4 Conclusion Chapitre III Contributions pour le suivi d’objet naturel en temps réel 3.1 Introduction 3.2 Identification d’objet par la méthode SURF 3.3 Amélioration du temps de calcul pour le suivi temps-réel 3.4 Calibration de la caméra A Notations B L’homographie entre le modè C Contraintes des paramètres D Interprétation géométrique E Résolution des paramètres de 3.5 Appariement 2D-3D 3.6 Estimation de la pose de la caméra A Équations de bases B L'homographie entre le modè C Résolution analytique D Algorithme 3.7 Recalage de graphique virtuel sur l’objet réel 3.8 Conclusion Chapitre IV Résultats et évaluations 4.1 Introduction 4.2 Environnement matériel et outil de développement 4.2.1 La librairie OpenCV 4.2.2 Symbian 4.2.3 Android 4.3 4.3.1 Résultats de la reconnaissance Amélioration du temps de ca 4.3.2.Amélioration du taux d’identification 4.4 Résultat de suivi en réalité augmentée 4.4.1.Calibration de la caméra 4.4.2.Appariements 2D-3D 4.4.3.Calcul de la pose 4.4.4.Recalage d’objet virtuel 4.5 Implémentation sur Symbian, Android 4.5.1.Configuration matérielle et logicielle 4.5.2.Étude comparative 4.6 Conclusion Chapitre V Conclusions et perspectives PERSPECTIVES Références bibliographiques Remerciements Tout d’abord, je tiens remercier mon responsable de stage, M Marius PREDA, de m'avoir accueilli dans son équipe, au département ARTEMIS, et pour avoir dirigé mon travail toute la durée de ce stage Je remercie M Madjid MAIDI pour son encadrement et pour tous les conseils qu’il m’a prodigués Enfin, Mes remerciements s’adressent tous mes collègues au département ARTEMIS et toute l’équipe technique et administrative, pour l’ambiance qu’ils n’ont pas manquée d’apporter tout le long du stage Cadre du stage Présentation du Département ARTEMIS ARTEMIS (Advanced Research & TEchniques for Multidimensional Imaging Systems) est un département de recherche et développement du TELECOM SudParis et dont le directeur est M Pierre ROLIN Les thématiques de recherche d'ARTEMIS se rapportent aux sciences et technologies de l'image numérique Celles-ci lancent de nombreux défis aux acteurs économiques et académiques afin de concevoir méthodes innovantes et nouveaux services pour la société de l'information L'image numérique d'aujourd'hui couvre le large éventail des données visuelles : 2D comme en radiographie ou 3D comme en CAO industrielle; statiques (photos, dessins ) ou animées (vidéos, maillages dynamiques, objets déformables ), naturelles (issues du monde physique) ou de synthèse (générées par ordinateur), en environnement fixe ou mobile ARTEMIS traite la chne d'image depuis la création des contenus numériques jusqu'à leur diffusion L'enjeu est de créer, modéliser, analyser, indexer, animer, sécuriser, manipuler, enrichir, coder, distribuer et visualiser des contenus hétérogènes et complexes pour des services d'intermédiation économiquement réalistes Les activités du département sont subdivisées en trois grands thèmes : Analyse de contenus visuels : modélisation, reconstruction 3D, segmentation de forme, recalage, mouvement, texture Enrichissement des flux multimédias : indexation, protection, animation, interactivité, réalité augmentée Échanges de contenus multimédias : compression, transmission, visualisation, interopérabilité En mtrisant les interactions analyse-échanges, analyse-enrichissement, enrichissement-échanges, ARTEMIS dispose d'une expertise globale sur la chne de production de l'image numérique Mon stage intervient dans le premier et le deuxième thème de recherche, car l’objectif du travail est de réaliser un système de reconnaissance d’objet de forme libre dans un processus de suivi en réalité augmentée mobile Références Mon stage s’effectue au département ARTEMIS au TELECOM SudParis situé l’adresse : 9, Rue Charles Fourier 91011 Évry Cedex – France Mon directeur de stage est M Marius PREDA et mon encadrant est M Madjid MAIDI dont voici les coordonnées : M Marius PREDA Tél : +33 (0)1 60 76 43 45 E-mail: marius.preda@it-sudparis.eu M Madjid MAIDI Tél : +33 (0)1 60 76 47 34 E-mail: madjid.maidi@it-sudparis.eu Matériels et logiciels utilisés PC Dell : 3Go de RAM - processeur Intel 7250 Duo @ 2GHz Téléphones portables : Nokia N95 : 160Mo - processeur @ 332MHz HTC Hero : 288Mo - processeur @ 528MHz Nexus One : 512Mo - processeur @ 1GHz Systèmes d’exploitation : Ubuntu 10.04, Windows XP/7, Symbian OS v9.2, Android 2.1 IDE : Eclipse, ADT, Visual Studio 2005/2008 Librairies : OpenCV, STL, MFC, pThread, OpenC/C++, NDK, JNI Langages de programmation : C/C++, Java Chapitre I Contexte et objectifs La Réalité Augmentée (RA) consiste ajouter des éléments virtuels dans le monde réel pour enrichir la perception visuelle de l’utilisateur Depuis deux décennies, la RA a connu des progrès technologiques importants grâce la recherche scientifique menée dans le domaine de la vision par ordinateur et de l’informatique graphique [Maidi, 2007] Les applications de la RA sont multiples et touchent plusieurs domaines tels que: jeux vidéo, éducation, divertissement, télévision, industrie, médecine, etc Toutefois, des verrous technologiques ne sont toujours pas résolus et les solutions sont parfois typiques un problème donné Le défi majeur pour un système de RA est la combinaison du monde réel et virtuel dans un environnement augmenté cohérent et temps réel La cohérence visuelle et le temps réel sont des règles fondamentales respecter pour toute application en RA [Azuma et al., 2001] Récemment, le marché des télécommunications a été révolutionné par les téléphones portables et le domaine des applications mobiles Les téléphones portables sont dotés de plus en plus de capteurs de repérage et de localisation tels que : les boussoles, les accéléromètres et les GPS Avec des CPUs et des processeurs graphiques plus puissants, des applications plus évoluées peuvent être déployées sur ces dispositifs et notamment les applications de la RA Des milliers d’applications sont disponibles aujourd’hui sur des portails web dédiés aux téléchargements de ces applications comme Apple Store d'Apple, Android Market de Google ou OVI Store de Nokia, etc Selon les experts, le marché de la RA mobile est en plein essor et en constante progression Une enquête de Juniper Network estime qu’à la fin de 2010, le marché de la RA réalisera un chiffre d’affaire de millions USD, alors qu’en 2014 ce chiffre pourrait atteindre la somme de 714 millions USD [Walsh, 2009] Cette étude encourage les développeurs et les entreprises s’investir dans ce domaine prometteur et rentable L'avantage des systèmes de la RA mobile est la portabilité Les téléphones portables de nos jours sont quasiment tous équipés d’une caméra et de capteurs de position et de direction tels que la boussole ou le GPS Ces capteurs intégrés au sein du téléphone permettent de réaliser des applications intéressantes ayant des fonctionnalités d’assistance et de guidage de l’utilisateur en environnement extérieur Bien que les téléphones portables connaissent un grand progrès au niveau du développement applicatif, cependant il existe un décalage entre les applications réalisées et les performances matérielles du téléphone (mémoire réduite, processeur lent, autonomie insuffisante, etc) Par conséquent, le téléphone portable n’est pas encore adapté aux applications de RA temps réel qui demandent beaucoup de ressources matérielles Le développement technique dans le domaine de la nanotechnologie permettrait dans un futur proche d’améliorer les performances des unités de calcul des téléphones tout en augmentant leur capacité de stockage et d’adressages 1.1 Problématique Les problématiques auxquelles nous nous sommes intéressées dans ce stage sont les suivantes : 1.1.1 Suivi d’objet de forme libre La plupart des systèmes de RA actuels utilisent des marqueurs visuels, ces systèmes sont adaptés pour des environnements intérieurs et instrumentés Dans notre cas, il s’agit d’une application sur un dispositif portable qui fonctionne en intérieur et en extérieur Par conséquent, l’utilisation d’un système de reconnaissance de cibles naturelles s’impose 1.1.2 Estimation de la pose de la caméra L’une des problématiques majeures de notre application est l’estimation de la pose de la caméra Cette étape est cruciale pour tout système de RA car elle permet le recalage ou la superposition des graphiques virtuels sur les images réelles Dans cette partie nous allons aborder le problème d’estimation de la pose d’une manière détaillée, quels sont les paramètres qui régissent cette transformation et quel est le résultat obtenu partir des équations 1.1.3 Contraintes Notre système présente deux contraintes principales qui sont : Le temps d’exécution : Fonctionner en temps réel, c'est l'exigence principale des systèmes de la RA Cette performance dépend du matériel (capacité de la mémoire et vitesse du processeur,…) et des algorithmes (optimisations, parrallélisation,…) 10 Figure 4.10 – Procédure de calibration de la caméra Pour retrouver les sommets des carrés du damier, on a utilisé la fonction cvFindChessboardCorners Toutefois, cette fonction fournit un résultat approximatif et par conséquent, nous avons employé la fonction cvFindCornerSubPix() pour avoir une détection plus précise des points (figure 4.11), cette fonction permet de retrouver les coordonnées des points et les ordonner dans un sens de parcours défini (par lignes ou par colonnes) Figure 4.11 – Détection des points caractéristiques du damier 56 Enfin, la fonction la plus importante de cette procédure d’étalonnage de la caméra est cvCalibrateCamera2, qui permet de résoudre les paramètres de la transformation perspective et calculer la matrice intrinsèque da la caméra Les résultats numériques de cette fonction en utilisant les images de la figure 4.11, sont les suivants: Mè M Les deux premiers éléments du vecteur M distorsion représentent les distorsions radiales dues la symétrie des lentilles et les deux derniers, les distorsions tangentielles causées par un mauvais alignement des lentilles Nous avons rectifié l'image par interpolation des pixels ayant subi, préalablement, un déplacement inverse celui de la distorsion Dans OpenCV, deux fonctions sont utilisées pour corriger les distorsions : cvUnDistortInit et cvUnDistort En appliquant ces fonctions l’image ayant la distorsion, on obtient les résultats représentés sur la figure 4.12 57 Image originale (A) Les flèches de l’image (C) représentent le déplacement des pixels de l’image avec distorsion (B) vers l’image originale (A) Cette rectification est réalisée grâce aux fonctions de correction (cvUnDistortInit et cvUnDistort) qui permettent de rétablir l’emplacement original des pixels dans l’image Figure 4.12 – Correction des distorsions 4.4.2 Appariements 2D-3D L’appariement 2D-3D est une phase importante du processus de suivi en RA À partir de cette étape un ensemble de points 2D-3D est construit, permettant ainsi le calcul de la pose Notre méthode d’appariement a été présentée dans la section 3.5 du chapitre 3, néanmoins, nous allons en rappeler le principe Notre technique est composée des étapes suivantes : Étape : Déterminer les points 3D : en mesurant les coordonnées des coins du logo dans le repère objet (figure 4.13) Ces points correspondent parfaitement au rectangle qui englobe le logo dans l’image Dans notre cas, ces coordonnées sont : P0(0, 0, 0) ; P1(0, 0.75, 0) ; P2(6.25, 0.75, 0) et P3(6.25, 0, 0) (cm) Étape : Calculer l’homographie entre deux images (à l’instant t et t+1) partir des points d’intérêts Ensuite, on applique l’homographie sur les sommets du logo l’image t et on retrouve leurs homologues l’image t+1 58 Étape : L’étape précédente a permis le suivi des sommets du rectangle englobant le logo dans l’image qui sont, automatiqueme nt, mis en correspondance avec les points 3D (étape 1) Par conséquent, nous disposons de nos appariements 2D-3D 4.4.3 Calcul de la pose Nous allons mai ntenant nous intéresser aux ré sultats de la pose Cette éta pe définit l’application de RA , car elle permet de résoudre le problème de localisation néces saire pour le recalage d’objet graphique sur l’image La pose d e la caméra est représentée par la matrice extrinsèque M extrin sèque, l’estimation de la pose req uiert la matrice intrinsèque Mintri nsèque et appariements 2D/3D Pour le test, nous avons choisi un logo et nous avons capturé une image de ce lo go dans la scène La procéduure d’estimation de la pose néc essite une calibration de la caméra et un ensemble de appariements 2D-3D Notre progra mme de calcul de pose fournit l e résultat suivant : 59 Une première analyse qualitative nous renseigne que le résultat est correct En effet, dans la scène réelle, nous avons placé le logo une distance d’environ 90cm de la caméra et la translation en Z dans la matrice extrinsèque indique 88.55cm Pour déterminer l’erreur de la pose, nous allons calculer l’erreur de reconstruction des points d’intérêt dans l’image Cette erreur est estimée en reprojetant le modèle d’objet 3D sur l’image en utilisant la pose estimée Ensuite, nous mesurons l’écart entre les coins de la cible détectée par l’algorithme de reconnaissance et les coins du modèle projeté sur le plan image Soit l’ensemble P3D les coordonnées des points du modèle du logo dans le repère monde et P2D, les coordonnées des points 2D du logo dans l’image déterminés par SURF On calcule les points P’2D du logo projeté dans l’image par la formule : {P Mintrins èque x Mextrinsèque x P L’erreur de reprojection est alors donnée par : erreurX i P i.X P i.X erreurY i P i.Y P i.Y Et l’erreur de reconstruction globale est : erreur Dans la figure 4.14, on remarque que les erreurs de reconstruction pour l’algorithme analytique de pose est faible car les deux quadrilatères construits partir des points 2D initiaux et des points reprojetés sur l’image, coïncident D’autre part, le résultat numérique confirme le résultat visuel, car l’erreur reconstruction de la pose dans la figure 4.14 est de 2.25pixels Nous pouvons conclure que notre algorithme analytique d’estimation de pose est très bien adapté notre application de suivi temps réel Cet algorithme requiert moins d’une milliseconde pour un cycle d’estimation d’une pose, ajouté cela sa grande précision pixellique (~2 pixels d’erreur), ce qui a permis de l’adopter pour notre système de suivi sur le téléphone portable 60 Point 0: P2D: (373.000000, 565.000000) P2D': (373.250000, 567.250000) Point 1: P2D: (583.000000, 580.000000) P2D': (582.750000, 577.750000) Point 2: P2D: (569.000000, 782.000000) P2D': (569.250000, 784.250000) Point 3: P2D: (360.000000, 776.000000) P2D': (359.750000, 773.750000) Erreur de reconstruction globale : 2.25 pixels Figure 4.14 – Résultats de la pose et des erreurs de reconstruction 4.4.4 Recalage d’objet virtuel Les paramètres de la pose étant déterminés, nous allons maintenant projeter un objet virtuel sur le logo détecté dans l’image pour évaluer visuellement le rendu graphique Dans cette expérience, la caméra est déplacée librement autour du logo L’algorithme d’identification détecte et traque le logo et l’estimateur de pose détermine instantanément la pose de la caméra Nous pouvons voir sur la figure 4.15 que l’objet virtuel, représenté par un cube, est bien superposé sur l’image réelle Ce test expérimental prouve la précision de recalage de l’algorithme de pose dans un processus de suivi de logo dans une image 61 Figure 4.15 – Résultats de recalage d’objet virtuel 4.5 Implémentation sur Symbian, Android Dans cette partie, nous allons nous intéresser la partie intégration des codes sources sur les deux plateformes mobiles qui ont été mises notre disposition Pour valider notre approche de reconnaissance et de suivi d’objet de forme libre, nous avons réalisés nos programmes sur une station de travail afin de valider les concepts théoriques du stage Ces programmes ont été, par la suite, transférés sur deux plateformes mobiles afin de comparer leurs performances et répondre aux objectifs fixés dans ce stage 4.5.1 Configuration matérielle et logicielle Tous nos programmes ont été réalisés, initialement, sur PC et ensuite exportés vers deux plateformes mobiles : Symbian et Andoid Le tableau 4.1 résume la configuration matérielle et logicielle des différents environnements utilisés Matériel Nokia N95 HTC Hero Nexus One PC Dell Tableau 4.1 – Configurations matérielles et logicielles utilisées 62 4.5.2 Étude comparative Dans cette étude, nous avons comparé les performances des plateformes de développement fixe et mobile Nous nous sommes intéressés, particulièrement, au temps de reconnaissance du logo, car cette étape est la plus exigeante en termes de temps de calcul Le tableau 4.2 montre les différents temps d’exécution de l’algorithme SURF implémenté sur PC, sur téléphone portable HTC Hero et le téléphone Nokia N95 Image (pixels) 552x1866 441x1492 331x1119 220x746 110x373 Tableau 4.2 – Temps de calcul de SURF sur différentes plateformes Le tableau 4.3 représente le temps d’exécution de l’algorithme d’estimation de la pose de la caméra sur le PC et sur le téléphone Nexus One Taille (pixels) Image logo 320 x 103 320 x 103 320 x 103 320 x 103 320 x 103 Tableau 4.3 – Temps de calcul d’estimation de la pose sur différentes plateformes On remarque que le téléphone portable est environ 30 fois plus lent que le PC concernant l’extraction des points caractéristiques SURF et environ 10 fois plus lent par rapport au calcul de la pose avec le même PC Pour une image de grande résolution (552x1866), le temps d’extraction de SURF est estimé 20s sur le téléphone mobile (idem avec la résolution 1296x486, l’estimation de la pose nécessite environ 4s avec Nexus One qui a une puissance de calcul deux fois plus élevée que HTC Hero) ce qui n’est pas du tout adapté notre application qui devrait être temps réel Part ailleurs, les algorithmes d’estimation de pose et de recalage ont un temps de calcul négligeable (< 1ms) car ils fonctionnent 63 uniquement avec des points d’intérêt et ils sont basés sur des calculs mathématiques directs Afin de réduire le temps d’exécution, nous avons effectué des optimisations logicielles pour avoir des résultats exploitables sur plateformes mobiles En effet, les optimisations concernant la spécification de la région d’intérêt (section 4.3.1) et le paramétrage de SURF (section 4.3.2), ont apporté une amélioration significative sur nos algorithmes D’ailleurs, notre système de tracking, implémenté sur PC, fonctionne en temps réel et permet d’identifier 10 logos différents 10FPS Toutefois, sur le téléphone portable, le processus de tracking et de recalage requiert en moyenne 1s pour estimer la pose et superposer un objet virtuel Nous pouvons conclure que le rapport entre le temps de calcul sur PC et sur téléphone portable est très significatif, une implémentation temps réel sur PC n’implique pas la même performance sur un téléphone mobile Les plateformes mobiles ont des ressources matérielles très limitées (mémoire, processeur,…) et une architecture système peu évoluée, et donc ils ne sont pas capables de réaliser des applications dont la complexité algorithmique est importante 4.6 Conclusion Dans ce chapitre, nous avons présenté les résultats expérimentaux de nos implémentations pour la réalisation d’une application de tracking d’objet de forme libre en RA Dans un premier temps, nous avons présenté les résultats de l’extraction des indices visuels 2D de l’objet d’intérêt dans l’image Nous avons, ensuite, appliqué des optimisations afin réduire le temps de traitement et rendre notre système de tracking plus performant La deuxième partie des expérimentations était dédiée au suivi en RA, nous avons présenté les résultats numériques et graphiques des procédures de calibration, d’appariements 2D-3D et de calcul de pose et de recalage Les tests expérimentaux ont montrés que notre technique de suivi est précise et temps réel sur une plateforme fixe Enfin, la dernière partie des résultats concernaient l’importation des codes sur une plateforme mobile Cette partie est très importante, car notre application doit être fonctionnelle sur le téléphone portable La configuration matérielle et logicielle des téléphones utilisés est très limitée ce qui a empêché d’obtenir le même type de résultat de la station fixe Toutefois, les résultats obtenus sont très encourageants car notre application est fonctionnelle en temps réel sur PC et l’implémentation mobile remplie les mêmes objectifs mais sur des images fixes 64 Chapitre V Conclusions et perspectives Dans ce stage, nous nous sommes intéressés la reconnaissance et au suivi d’objets de formes libres dans un système de RA mobile Ce domaine est en pleine progression mais confronté plusieurs verrous technologiques et scientifiques se rapportent aux matériels et logiciels utilisés Après avoir présenté notre sujet et défini le contexte et les objectifs du stage dans le premier chapitre de ce rapport, nous avons passé en revue plusieurs systèmes de RA mobiles réalisés ces dernières années L’étude de ces systèmes a permis d’en extraire les principales fonctionnalités et les architectures les plus pertinentes pour la reconnaissance et le suivi sur téléphones portables Nous avons par la suite, décrit d’une manière détaillée les approches théoriques que nous avons utilisées dans notre application Nous avons adapté ces concepts et procéder plusieurs optimisations afin de répondre au cahier de charge qui a été établi au début du stage Dans ce contexte, nous avons fait des choix judicieux quant aux techniques utilisées afin d’apporter des solutions novatrices et résoudre les problèmes rencontrés Une grande partie du stage était consacré l’implémentation et aux tests expérimentaux ce qui nous a, naturellement, amené présenter la partie technique et expérimentale dans le dernier chapitre de ce manuscrit Notre travail contient deux parties majeures qui sont : la reconnaissance d’objet (détecter et identifier l’objet d’intérêt) et le suivi en RA (appariements 2D-3D, estimation de pose et recalage virtuel) Nous avons, tout d’abord, testé et adapté une technique originale de détection et de reconnaissance de points invariants dans l’image Cette technique appelée SURF est basée sur l’extraction de points caractéristiques et le calcul de leurs descripteurs relatifs pour définir une signature unique chaque point d’intérêt SURF est robuste aux variations des conditions expérimentales et permet l’identification de toute forme d’objet Toutefois, SURF est très exigeant en termes de temps de calcul, pour cette raison, nous avons effectué plusieurs optimisations algorithmiques et divers paramétrages afin d’obtenir des résultats satisfaisants Concernant l’étape de suivi en RA, nous avons proposé une technique de mise en correspondance de points 2D-3D qui consiste projeter le modèle 3D de l’objet d’intérêt sur l’image initiale et calculer l’homographie entre deux images successives pour pouvoir suivre les points 2D de l’objet et maintenir l’appariement Ensuite, nous avons implémenté une technique analytique d’estimation de pose qui réalise un calcul direct de paramètres de la rotation et de la translation Cet algorithme est temps réel et présente un bon compromis précision-temps d’exécution Enfin, un objet virtuel est recalé 65 sur le logo détecté dans l’image pour vérifier la précision de l’estimateur de pose et augmenter la scène réelle Le protocole expérimental réalisé a démontré que notre technique de reconnaissance et de suivi est précise et temps réel sur une plateforme fixe, toutefois, une implémentation sur le téléphone mobile ne permet pas d’avoir la même performance calculatoire Cela s’explique par le fait que, les téléphones portables sont très limités en ressources matérielles et logicielles Cependant, les résultats obtenus sont très promettant et nous permettent d’envisager d’ici quelques temps une implémentation temps réel sur plateforme mobile PERSPECTIVES Le système de suivi de logos sur téléphone mobile réalisé pendant ce stage, a permis d’aborder plusieurs problématiques de recherche qui n’ont pas encore trouvées de solutions fiables par la communauté scientifique Ce domaine est en stade expérimental et reste explorer pour établir des solutions innovantes Les séries de tests que nous avons réalisés sur notre système ont fournit des résultats intéressants et nous ont permis de conforter nos choix et projeter des perspectives court et moyen termes La perspective principale et la plus importante de notre stage est le suivi temps réel sur téléphone mobile En effet, un tracking temps réel ouvre le champ plusieurs domaines d’applications potentielles qui pourront révolutionner le marché des téléphones portables dans un proche avenir Des optimisations algorithmiques sont encore nécessaires mais le plus important c’est la performance des ressources matérielles Car, comme nous l’avons déjà mentionné dans la partie expérimentale de ce rapport, un même programme de tracking qui est fonctionnel en temps réel sur PC et avec une base de 10 logos, ne parvient pas suivre un seul logo sur une plateforme mobile Sans doute, le développement de la nanotechnologie dans ce domaine, aura un impact direct sur la performance des applications et permettra l’évolution des systèmes actuels 66 Références bibliographiques [Assad et al., 2003] Assad, Mark, Carmichael, David J., Cutting, Daniel, & Hudson, Adam 2003 AR phone: Accessible Augmented Reality in the Intelligent Environment Pages 26–28 of: In OZCHI2003 [Azuma et al., 2001] Azuma, R., Baillot, Y., Behringer, R., Feiner, S., Julier, S., & MacIntyre, B 2001 Recent Advances in Augmented Reality ICGA, 21(1), 34–47 [Bauer et al., 2007] Bauer, J., Sunderhauf, N., & Protzel, P 2007 Comparing Several Implementations of Two Recently Published Feature Detectors In: In Proc of the International Conference on Intelligent and Autonomous Systems (IAV) [Bay et al., 2008] Bay, Herbert, Ess, Andreas, Tuytelaars, Tinne, & Van Gool, Luc 2008 Speeded-Up Robust Features (SURF) vol 110 New York, NY, USA: Elsevier Science Inc [Bradski & Kaehler, 2008] [Chen et al., 2009] Bradski, Gary, & Kaehler, Adrian 2008 Learning OpenCV OReilly Media Inc Chen, David M., Tsai, Sam S., Vedantham, Ramakrishna, Grzeszczuk, Radek, & Girod, Bernd 2009 Streaming mobile augmented reality on mobile phones Pages 181–182 of: ISMAR ’09: Proceedings of the 2009 8th IEEE International Symposium on Mixed and Augmented Reality [Henrysson & Ollila, 2004] Henrysson, Anders, & Ollila, Mark 2004 UMAR: Ubiquitous Mobile Augmented Reality Pages 41–45 of: MUM ’04: Proceedings of the 3rd international conference on Mobile and ubiquitous multimedia New York, NY, USA: ACM [Juan & Gwun, 2009] Juan, Luo, & Gwun, Oubong 2009 A Comparison of SIFT, PCA-SIFT and SURF International Journal of Image Processing (IJIP), 3(4), 143–152 [Karpischek et al., 2009] Karpischek, Stephan, Marforio, Claudio, Godenzi, Mike, Heuel, Stephan, & Michahelles, Florian 2009 SwissPeaks Mobile augmented reality to identify mountains In: ISMAR workshop to be held at the International Symposium on Mixed and Augmented Reality 2009 (ISMAR 2009) on Monday 19th of October Washington, DC, USA: IEEE Computer Society [Keitler et al., 2009] Keitler, Peter, Pankratz, Frieder, Schwerdtfeger, Bjorn, Pustka, Daniel, Rodiger, Wolf, Klinker, Gudrun, Rauch, Christian, Chathoth, Anup, Collomosse, John, & Song, Yi-Zhe 2009 Mobile augmented reality based 3D snapshots Pages 199–200 of: ISMAR ’09: Proceedings of the 2009 8th IEEE International Symposium on Mixed and Augmented Reality Washington, DC, USA: IEEE Computer Society 67 [Klein & Murray, 2009] Klein, Georg, & Murray, David 2009 Parallel Tracking and Mapping on a camera phone Pages 83–86 of: ISMAR ’09: Proceedings of the 2009 8th IEEE International [Lowe, 2004] Symposium on Mixed and Augmented Reality Washington, DC, USA: IEEE Computer Society Lowe, David G 2004 Distinctive Image Features fro m Scale-Invariant Keypoints Int J Comput Vision, 60(2), 91–110 [Maidi et al., 2006a] Maidi, M., Ababsa, F., & Mallem, M 2006a Active Contours Motion based on Optical Flow for Tracking in Augmented Reality Pages 215– 222 of: 8th International Conference on Virtual Reality (VRIC’06) [Maidi et al., 2006b] Maidi, M., Ababsa, F., & Mallem, M 2006b Robust Fiducials Tracking in Augmented Reality Pages 423–42 of: The 13th International Conference on Systems, Signals and Image Processing (IWSSIP 2006) [Maidi et al., 2010] Maidi, M., Ababsa, F., & Mallem, M 2010 Handling Occlusions for Augmented Reality Systems Eurasip Journal on Image and Video Processing,, 2010, 1–12 [Maidi, 2007] Maidi, Madjid 2007 (November) Suivi Hybride en présence d’Occultations pour la Réalité Augmentée Ph.D thesis, Univérsité d’Evry Val d’Essonne [Schmalstieg & Wagner, 2008] Schmalstieg, Dieter, & Wagner, Daniel 2008 Mobile Phones as a Platform for Augmented Reality Pages 43–44 of: Proceedings of the IEEE VR 2008 Workshop on Software Engineering and Architectures for Realtime Interactive Systems [Takacs et al., 2008] Takacs, Gabriel, Chandrasekhar, Vijay, Gelfand, Natasha, Xiong, Yingen, Chen, Wei-Chao, Bismpigiannis, Thanos, Grzeszczuk, Radek, Pulli, Kari, & Girod, Bernd 2008 Outdoors augmented reality on mobile phone using loxel-based visual feature organization Pages 427–434 of: MIR ’08: Proceeding of the 1st ACM international conference on Multimedia information retrieval New York, NY, USA: ACM [Wagner et al., 2010] Wagner, Daniel, Reitmayr, Gerhard, Mulloni, Alessandro, Drummond, Tom, & Schmalstieg, Dieter 2010 Real-Time Detection and Tracking for Augmented Reality on Mobile Phones IEEE Transactions on Visualization and Computer Graphics, 16(3), 355–368 [Walsh, 2009] Walsh, Mark 2009 Augmented Reality To Ramp On Mobile [Zhang, 1999] Zhang, Z 1999 (Spetember, 20-25) Flexible Camera Calibration by Viewing a Plane from Unknown Orientations Page 666 of: International Conference on Computer Vision, vol 68 ... peu de travaux dans ce domaine qui intègre directement une technique de suivi d’objet de forme libre sur une plateforme mobile 13 Chapitre II Les systèmes de réalité augmentée mobiles : état de. ..Résumé L’objectif de ce stage est de réaliser un système de reconnaissance d’objets sansmarqueurs en réalité augmentée sur une plateforme mobile Une méthode novatrice basée sur les descripteurs locaux... : 1.1.1 Suivi d’objet de forme libre La plupart des systèmes de RA actuels utilisent des marqueurs visuels, ces systèmes sont adaptés pour des environnements intérieurs et instrumentés Dans notre