Luận văn thạc sĩ VNU indexation et recherche d’image par le contenu et par la localisation géographique

INSTITUT DE LA FRANCOPHONIE POUR L’INFORMATIQUE LABORATOIRE INFORMATIQUE, IMAGE ET INTERACTION UNIVERSITE DE LA ROCHELLE MEMOIRE DE FIN D’ETUDE Master d’informatique Option Intelligence artificielle & multimédia Sujet : Indexation et recherche d’image par le contenu et par la localisation géographique Encadrement : Jean-Marc OGIER Alain BOUCHER NGUYEN Nhu Van Réalisé par : LAI Hien Phuong Promotion 13, IFI Hanoï, Septembre 2009 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TABLE DES MATIERES REMERCIEMENTS RESUME .4 ABSTRACT LISTE DES FIGURES .6 LISTE DES TABLEAUX CHAPITRE – INTRODUCTION 1.1 PROBLEMATIQUE 1.2 MOTIVATION .9 1.3 OBJECTIFS 10 1.4 CONTRIBUTION 10 1.5 ENVIRONNEMENT DE STAGE 11 CHAPITRE – ETAT DE L’ART 12 2.1 INDEXATION MULTIDIMENSIONNELLE 12 2.1.1 Partitionnement des données .12 2.1.2 Partitionnement de l’espace .17 2.2 TRAVAUX SIMILAIRES 19 2.2.1 SnapToTell [11][12][13][14] 19 2.2.2 MobiLog [15] 22 CHAPITRE – SR-TREE .24 3.1 PRESENTATION DU SR-TREE 24 3.2 INSERTION DANS LE SR-TREE 26 3.3 SUPPRESSION DANS LE SR-TREE 29 3.4 RECHERCHE DANS LE SR-TREE 29 CHAPITRE – SYSTEME DE RECHERCHE D’INFORMATIONS BASE SUR UNE DOUBLE INFORMATION DE CONTENU DES IMAGES ET DE LOCALISATION GEOGRAPHIQUE 31 4.1 HYPOTHESES .31 4.2 APPROCHE PROPOSEE 32 4.2.1 Structuration des données 32 4.2.2 Manipulation dans les SR-tree 36 4.3 IMPLEMENTATION DU SYSTEME 40 4.3.1 Préparation des données 40 4.3.2 Environnement de programmation 41 4.3.3 Système construit 41 CHAPITRE – ANALYSE DES RESULTATS 43 5.1 SCENARIO : ATTRIBUTION DES NIVEAUX D’URGENCE 43 5.2 SCENARIO : DETERMINATION DES MONUMENTS PROCHES DU SINISTRE 45 5.3 SCENARIO : DETERMINATION DES SINISTRES PROCHES D’UN MONUMENT .46 5.4 SCENARIO : DETERMINATION DES SINISTRES PROCHES D’UN SINISTRE 47 5.5 SCENARIO : DETERMINATION DES SINISTRES SIMILAIRES A UN AUTRE SINISTRE 48 CHAPITRE – CONCLUSIONS ET PERSPECTIVES 49 REFERENCES 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com REMERCIEMENTS Je tiens remercier tout particulièrement M Jean-Marc OGIER, mon superviseur de stage au laboratoire L3I de l’université de La Rochelle, et M Alain BOUCHER, mon co-superviseur de stage l’IFI Ils ont su orienter mon travail dans les bonnes directions tout en me laissant une large autonomie Je les remercie également pour leur gros travail pour corriger ce rapport de stage Mes remerciements s’adressent également M NGUYEN Nhu Van qui m’a aidé dans la configuration l’environnement de programmation Mon travail bénéficie aussi son travail de thèse de la recherche d’image par le contenu Je remercie aussi M CHU Thanh Quang, un thésard du laboratoire MSI Ce travail est en grande partie dû ses conseils sur les Systèmes d’Information Géographique (SIG) Je tiens remercier également tous les membres du laboratoire L3I qui m’ont accueilli et ont créé un environnement idéal dans lequel j’ai travaillé pendant six mois de stage Je voudrais aussi adresser mes remerciements tous les professeurs de l’IFI qui m’ont donné des connaissances et des expériences efficaces pendant ma scolarité l’IFI Merci également tous ceux que j’oublie mais qui d’une manière ou d’autre manière m’ont permis de bien terminer mon stage LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com RESUME Ce mémoire présente l’intérêt de combiner les informations du contenu visuel des images/vidéos et de localisation géographique dans la construction d’un système d’aide la décision dans une situation de post-catastrophe naturelle Grâce la performance pour des requêtes de plus proches voisins dans l’espace des données multidimensionnelles et pour la structuration des données géographiques, la structure SR-tree [2] est choisie pour structurer des images en même temps dans l’espace de localisation géographique et dans l’espace du contenu visuel L’approche proposée utilise aussi la structure SR-tree pour structurer des monuments différents dans la ville qui sont enregistrés dans les données des Système d’Information Géographique (SIG) sous forme des polygones Le système construit a bien répondu l’objectif de retrouver des situations d’urgence dans la ville et de leur attribuer un niveau d’urgence en fonction non seulement la proximité géographique d’événements similaires mais aussi en fonction des monuments différents qui sont au tour du sinistre Il fournit au l’utilisateur une vue globale sur la concentration des situations d’urgence dans la ville ainsi que leur niveau d’urgence En répondant des scénarios de test différentes pour le projet de recherche IDEA (Images of natural Disasters from robot Exploration in urban Area) [1], ce système apporte une grande perspective de devenir un outil efficace pour aider l’opérateur humain donner rapidement des bonnes décisions de secours dans des situations de post-catastrophe naturelle LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ABSTRACT This memoir presents the advantage of combining visual content information of images/videos and geographical location information in the construction of a decision support system in a situation of post-natural disaster With the performance for nearest neighbor queries in the area of multidimensional data and for spatial data structuring, the SR-tree structure [2] is chosen for structuring the images simultaneously in location space and visual content space The proposed approach also uses the SR-tree structure to organize various monuments in the city that are registered in the data of Geographic Information System (GIS) in the form of polygons The proposed system responds well to the objective of finding emergencies in the city and of giving them an urgency level depending not only on the geographical proximity of similar events but also on the monuments which are around the position of emergency situation It provides an overview on the concentration of emergencies in the city and their urgency level In responding to different test scenarios for the IDEA (Images of natural Disasters from robot Exploration in Urban Area) research project [1], this system has a great perspective to become an effective tool that helps the human operator providing rapidly the rescue decisions in emergency situations of post-natural disaster LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LISTE DES FIGURES Figure - B-tree 13 Figure - R-tree 14 Figure - SS-tree 16 Figure - SR-tree 17 Figure - Kd-tree 18 Figure - LSD-tree 19 Figure - Architecture client/serveur du système SnapToTell 20 Figure - Localisation hiérarchique des scènes de Singapour 21 Figure - Screen shots de la composition de blog sur un téléphone portable 22 Figure 10 - Exemple de blog du système TraveLog 23 Figure 11 - Structure SR-tree 25 Figure 12 - Détermination des régions par l'intersection des rectangles et des sphères 25 Figure 13 - Structuration des données par des SR-tree 35 Figure 14 - Interface du système 41 Figure 15 - Symboles des sinistres 42 Figure 16 - Symboles des monuments 42 Figure 17 - Groupes des situations d’urgence dans la ville 44 Figure 18 - Groupes des feux dans la ville 44 Figure 19 - Résultat des sinistres d'un groupe 45 Figure 20 - Résultat des monuments proches d'un feu 46 Figure 21 - Résultat des sinistres proches d'un bâtiment 47 Figure 22 - Résultat des sinistres proches d'un sinistre 47 Figure 23 - Résultat des sinistres les plus similaires avec un sinistre quelconque 48 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LISTE DES TABLEAUX Table - Niveaux d'urgence correspondant chaque type de monument 38 Table - Base d'images des sinistres 40 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chapitre – Introduction 1.1 Problématique Aujourd’hui, les catastrophes naturelles apparaissent avec une fréquence de plus en plus élevée cause du changement du climat global Plusieurs projets de recherche sont réalisés afin de développer les outils d’aide la décision dans des situations de postcatastrophe naturelle en zone urbaine et de fournir des informations précises en temps réel au centre de gestion et aux équipes de secours Les images collectées partout dans une ville décrivant les sinistres différents sont une source d’information sur laquelle on peut se baser pour donner des décisions de secours efficaces A partir de quelques images, l’opérateur humain peut facilement donner des décisions efficaces et exactes Mais avec un très grand nombre d’images (c’est le cas des situations urgences), il nous faut avoir un système qui traite automatiquement ces images pour aider l’opérateur humain donner rapidement des décisions de secours Alors, le contexte de ce sujet de stage est le projet IDEA (Images of natural Disasters from robot Exploration in urban Area) [1] financé par le programme STC-Asie (MAE/CNRS/INRIA) et avec comme partenaire le LORIA-QGAR (Nancy, France), l’université de La Rochelle (France), l’IFI (Hanoi, Vietnam), le VAST-IOIT (Hanoi, Vietnam) et l’université de Kuala Lumpur (Malaisie) Afin de résoudre le problème abordé ci-dessus, dans ce projet, on utilise les techniques de vision par ordinateur, de reconnaissance des formes et de recherche d’informations multimédias sur les images collectées pour aider donner des décisions de secours Ce stage bénéficie aussi le travail de thèse de NGUYEN Nhu Van, en co-direction entre l’université de La Rochelle, l’IFI et le LORIA-QGAR L’entrée d’un système de traitement automatique des images d’aide la décision dans une situation de post-catastrophe naturelle doit être les images décrivant les sinistres contenant en même temps les informations de localisation géographique qui nous permet de déterminer la localisation de chaque sinistre Supposons qu’il y a un réseau de caméras implantées partout dans une ville (caméras de surveillance routière, caméras installées sur des édifices, caméras mobiles des robots, des avions, etc) ; ces caméras sont toujours actives après une catastrophe naturelle, elles prennent automatiquement des photos et les envoient vers une centrale collectant des informations nécessaires aux secours On peut aussi collecter les images, les vidéos provenant des téléphones portables des gens sur place L’information géographique de ces images peut être de type GPS ou autre (adresses civiques par exemple) Il y a aussi les images qui n’auront pas cette localisation ou qui LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com pourront avoir une marge d’erreur sur la localisation précise Mais en effet, il n’y a pas encore une base d’images pour le projet IDEA, donc, une des tâches pour ce stage est de construire au fur et mesure une base d’images des types de sinistres différents pour tester et trouver une faỗon pour simuler les informations de localisation géographique des images Pour les types de l’information gộographique diffộrents, il nous faut les traiter de faỗons diffộrentes Par exemple, pour les images ayant une adresse civique, il nous faut tout d’abord transformer cette adresse en information de type GPS (latitude et longitude) pour savoir ou se trouve le sinistre sur le plan de la ville ; pour les images qui n’ont pas les informations géographiques, on peut essayer de trouver s’il y a dans le contenu de l’image les informations indiquant la position de l’image (le nom de la rue, un monument célèbre, etc) Pour pouvoir traiter tous les cas différents, c’est un grand travail Donc, dans le cadre de ce stage, on suppose que toutes les images ont les informations de localisation géographique de type GPS (latitude et longitude) Ce stage a pour but de développer un modèle de recherche d’informations basé sur une double information de contenu et de localisation géographique des images, de retrouver les situations d’urgence dans une ville (feu, blessés, bâtiments endommagés,…) et d’attribuer un niveau d’urgence pour chaque situation en fonction de la proximité géographique d’événements similaires En fait, on a deux espaces différents, l’un pour la représentation du contenu de l’image et l’autre pour la localisation géographique En effet, il y a pas mal de travaux concernant la recherche d’images par le contenu, dont le travail de thèse de NGUYEN Nhu Van Alors, dans ce stage, on peut bénéficier de la faỗon de dộcrire le contenu de limage de son travail Le problème ici est comment on peut organiser les informations du contenu de l’image et les informations de localisation géographique dans deux espaces pour pouvoir trouver les situations d’urgences et pour leur attribuer un niveau d’urgence A l’égard de l’attribution d’un niveau d’urgence ici, on ne compte pas la nature de chaque sinistre représenté dans les images (par exemple, un grand feu ou un petit feu) car c’est aussi un grand problème On compte ici la proximité géographique d’événements similaires, la proximité des sinistres avec des types de monuments différents (hôpital, maison, grand bâtiment, etc.) L’aspect interactif du système (retour de pertinence) n’est pas traité dans le cadre de ce stage, l’utilisateur pourra seulement réaliser quelques actions simples avec le système comme demander trouver les sinistres qui sont similaires avec un sinistre dans une image quelconque, trouver les sinistres qui sont proches d’un hôpital, etc 1.2 Motivation On peut constater que le climat global change de jour en jour, cela provoque l’augmentation des catastrophes naturelles complexes dans tout le monde, elles causent LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com beaucoup de dégâts sérieux pour l’humain Des coordinations efficaces des équipes de secours peuvent diminuer considérablement les dégâts surtout les morts C’est pour cette raison qu’il est nécessaire d’avoir un bon système d’aide la décision dans une situation de post-catastrophe naturelle D’ailleurs, il y a actuellement plusieurs travaux sur la recherche d’images par le contenu mais pas beaucoup de travaux sur la recherche d’image se basant en même temps sur les informations du contenu de l’image et sur les informations de localisation géographique Les travaux existants sont appliqués surtout dans les applications de tourisme, le cas de l’aide la décision pour les secours comme dans le projet IDEA reste une application nouvelle 1.3 Objectifs • • • • Les objectifs de ce travail de stage sont : Construire une base d’images de sinistres différents Simuler les informations gộographiques pour ces images Dộterminer une faỗon pour organiser les informations des images dans deux espaces de contenu visuel et de l’information géographique pour pouvoir manipuler ensemble ces deux espaces afin de trouver les situations d’urgences et d’attribuer un niveau durgence pour chaque image Proposer une faỗon pour déterminer un niveau d’urgence pour chaque sinistre en se basant sur la proximité des situations similaires et sur l’importance des monuments autour de chaque sinistre Pour vérifier et valider le modèle, il faut donner des scénarios différents pour IDEA qui identifient et décrivent des situations où on peut montrer un intérêt de rechercher des images en combinant localisation et contenu image et faire des tests basés sur ces scénarios 1.4 Contribution En combinant les images de feux provenant du TPE de l’étudiant BUI The Quang de la promotion 14 de l’IFI avec les images trouvées sur l’internet sous licence « Créative Commons », j’ai déjà construit une base d’images de cinq types de sinistres différents (feux, bâtiments endommagés, routes endommagées, blessés et inondations) pour IDEA, chaque type contient de 300 350 images J’ai aussi simulé les informations de localisation géographique pour ces images en attribuant pour chaque image des coordonnées de latitude et de longitude, les coordonnées pouvant être attribuées soit au hasard, soit selon les groupes de proximité 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Type du monument Maison Hôpital Grand bâtiment Ecole α 7 β 0.25 1.25 1 Table - Niveaux d'urgence correspondant chaque type de monument • Maintenant, on va regrouper les images similaires qui sont proches géographiquement dans un rayon r1 dans des groupes de proximité que nous avons déjà déterminés ci-dessus Puis, un niveau d’urgence va être attribué chaque groupe de proximité ; le niveau d’urgence d’un groupe est la somme totale des niveaux d’urgence de tous les sinistres dans le groupe Pour les images quon reỗoit un moment t, on va les ajouter au fur et mesure en même temps dans l’arbre SR-tree géographique et dans un des arbres SR-tree du contenu visuel correspondant au type de sinistre des images On va aussi regrouper les images qui sont proches géographiquement au cour de l’insertion des images comme suit : o Chaque image se voit attribuée un nombre entier identifiant le numéro de groupe de cette image o Pour une image entrée I, on réalise la recherche dans l’arbre SR-tree de l’information géographique des images qui sont proches dans un rayon r1 On commence la recherche partir de la racine de l’arbre et on descend vers les nœuds fils ayant la région intersectant la sphère centrée la position de l’image et de rayon r1 Au niveau des feuilles, on va retourner toutes les images qui sont proches dans le rayon r1 par rapport l’image d’entrée Notez qu’au niveau des feuilles, on pointe vers l’élément des images dans ces feuilles ; alors, on peut savoir le type de sinistre de toutes les images qui sont proches géographiquement de l’image entrée S’il n’y a pas d’autres situations similaires parmi les images proches géographiquement, on attribue une nouvelle étiquette (un nouveau nombre entier) pour cette nouvelle image, c'est-à-dire qu’on ajoute un nouveau groupe de proximité contenant seulement l’image qu’on vient d’ajouter S’il y a quelques autres situations similaires parmi les images proches et si ces situations similaires ont une même étiquette E, on attribue l’étiquette E pour l’image qu’on vient d’ajouter, c'est-à-dire qu’on ajoute la nouvelle d’image dans un groupe de proximité existant 38 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com S’il y a quelques autres situations similaires qui sont proches de l’image d’entrée dans l’espace géographique et qui ont des étiquettes différentes, c'est-à-dire que ces situations appartiennent des groupes de proximité différentes (par exemple groupes 1, 2, 3) et que la nouvelle image joue le rôle d’un élément intermédiaire qui permet de fusionner ces groupes de proximité en un seul groupe Alors on regroupe la nouvelle image et les éléments de tous ces trois groupes (1, et 3) en un seul groupe de proximité Le niveau d’urgence d’un groupe est la somme totale des niveaux d’urgence des éléments dans le groupe Alors, un groupe ayant seulement un feu dans un hôpital peut avoir un niveau d’urgence plus élevé que celui ayant trois maisons en feu On va afficher sur l’écran les groupes de proximité différents pour que l’utilisateur puisse avoir une vue globale sur les sinistres dans la ville, chaque groupe étant représenté par un symbole représentant le type du sinistre de ce groupe, la taille du symbole dépendant du niveau d’urgence du groupe (plus le symbole est gros, plus le niveau d’urgence est élevé) Il y a quelques autres manipulations qu’on peut appliquer sur les SR-tree de notre système pour donner des informations utiles l’utilisateur comme suit : • Notez que pour chaque groupe, on a une liste des éléments qui pointent vers les éléments des images appartenant ce groupe Alors, si l’utilisateur veut voir en détails chaque groupe, il nous faut seulement afficher les images dans la liste correspondant ce groupe, la taille de l’image dépendant du niveau d’urgence de chaque image • On peut aussi afficher les monuments qui sont proches d’un sinistre quelconque en recherchant dans l’arbre SR-tree des monuments tous les monuments autour de la position du sinistre selon la méthode qu’on a déjà expliqué précédemment • Pour trouver les sinistres qui sont proches dans un rayon r d’un monument quelconque, on réalise la recherche dans l’arbre SR-tree de l’information géographique partir de la racine de l’arbre, puis descend vers les nœuds fils ayant la région qui intersecte la sphère centrée la position du monument Au niveau des feuilles, on retourne les images ayant la distance depuis le centre du monument inférieure ou égale au rayon r • Pour trouver les sinistres qui sont proches d’un sinistre quelconque, on fait la recherche dans l’arbre SR-tree de l’information géographique comme dans le cas précédent 39 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com • Enfin, on peut voir que pour chaque type de situation d’urgence, par exemple « feu », il y a plusieurs sous-types comme le feu dans des bâtiments, le feu dans la forêt, … Si l’utilisateur veut se concentrer surtout sur les images de feu dans des bâtiments par exemple, il peut cliquer sur un image de feu d’un bâtiment quelconque affichées sur l’écran, le programme va utiliser la recherche de k-plus proches voisins dans le SR-tree du type « feu » et afficher les k images les plus similaires l’image de feu du bâtiment que l’utilisateur a choisi L’organisation des données du contenu visuel des images dans les arbres SR-tree différents correspondant aux différents types de sinistres nous permet d’éviter de faire la recherche dans toute la base d’images 4.3 Implémentation du système 4.3.1 Préparation des données Au début de ce stage, on n’a pas encore une base d’images réelles des situations d’urgence différentes, alors une tâche importante de ce travail de stage est de construire la base d’images du projet IDEA [1] avec les images des sinistres réels En combinant les images sur les tremblements de terre dans quelques pays en Asie et les images trouvées sur le site http://www.flickr.com avec la licence « Creative commons », on a déjà construit une base d’images de cinq types de sinistres différents (feu, blessé, bâtiment endommagé, route endommagée et inondation) Pour chaque type de sinistre, les images sont divisées en deux parties, une partie est annotée et ajoutée dans la base d’apprentissage, une autre partie appartient la base des images de test identifiant les images que le systốme reỗoit un moment t La table suivante donne le nombre d’images correspondant chaque type du sinistre : Type du sinistre Feu Blessé Bâtiment endommagé Route endommagée Inondation Base d’apprentissage 200 200 200 200 200 Base de test 100 100 150 100 100 Total 300 300 350 300 300 Table - Base d'images des sinistres Il nous faut avoir aussi des données shapefile qui décrivent les informations des monuments J’utilise les données SIG libres du Colorado des Etats-Unis (http://www2.census.gov/geo/tiger/TIGER2007FE/) Normalement, dans les données originales, il n’y a pas d’information sur les types des monuments, j’ai simulé ces données en ajoutant un champ dans les données d’un fichier shapefile du Colorado pour identifier quatre types de monuments différents (maison, grand bâtiment, hôpital et école) J’utilise 40 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com le logiciel libre OpenJump (http://jump-pilot.sourceforge.net/) pour préparer les données SIG 4.3.2 Environnement de programmation Le système est construit dans l’environnement suivant : • Système d’exploitation : Ubuntu 8.04 • Langage de programmation : C++ • Outil de programmation : QT Creator Ce travail de stage bénéficie du code source du travail de thèse de NGUYEN Nhu Van concernant la création des descripteurs internes du contenu visuel des images (histobin de couleur, sac de mots visuels) D’ailleurs, on utilise aussi la librairie « Shapefile C Library V1.2 » (http://shapelib.maptools.org/) pour pouvoir lire les données des monuments dans un fichier shapefile et les autres fichiers concernés 4.3.3 Système construit L’interface du programme est comme suit : Figure 14 - Interface du système Le plan de la ville se situe droite de l’interface, les parties vertes dans ce plan représentent des monuments dans la ville A gauche de l’interface, il y a des boutons qui nous permettent de réaliser les fonctions du système : 41 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com • Le bouton « Apprendre » permet d’extraire le vecteur du contenu visuel des images dans la base d’images d’apprentissage fournie par l’utilisateur, ces descripteurs internes du contenu visuel vont être enregistrés dans des fichiers texte Alors, la phase d’apprentissage pour une base quelconque doit être réalisée seulement une fois • Le bouton « Init » permet de structurer les descripteurs internes des images dans la base d’apprentissage dans un SR-tree et de structurer les données des monuments d’un fichier shapefile dans un autre SR-tree ã Le bouton ô Open ằ permet de donner des images actuelles qui sont les images arrivant au système un moment t Le système va déterminer le type de sinistre correspondant chaque image et structurer ces images dans deux espaces de localisation géographique et du contenu visuel par un SR-tree de l’information géographique et cinq SR-tree du contenu visuel ã Le bouton ô Search » permet de rechercher et afficher les groupes de proximité des sinistres similaires correspondant aux types du sinistre qu’on veut (on peut afficher les groupes de tous les types ou seulement les groupes du type feu) Le système nous permet aussi de trouver les monuments qui sont proches d’un sinistre quelconque, les sinistres qui sont proches d’un monument comme un hôpital, les sinistres autour d’un autre sinistre, etc On utilise les symboles suivants pour identifier les types de sinistres et les types de monument différents : Figure 15 - Symboles des sinistres Figure 16 - Symboles des monuments 42 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chapitre – Analyse des résultats Car le but de ce stage est de montrer ce que l'on peut faire en combinant localisation et contenu images dans un système d’aide la décision dans une situation de post-catastrophe naturelle en zone urbaine Alors, afin d’évaluer les résultats du système, on fait des test basés sur des scénarios décrivant des situations où on peut montrer un intérêt de rechercher des images en combinant localisation et contenu image Dans ce chapitre, on va évaluer les résultats en basant sur des scénarios différents et donner des commentaires sur les points forts et les points faibles de notre système pour chaque scénario 5.1 Scénario : attribution des niveaux d’urgence Comme nous avons vu dans les chapitres précédents, le but principal de ce système est de retrouver des situations d’urgence dans une ville et de leur attribuer un niveau d’urgence en fonction de la proximité entre des situations similaires (situations de même type) Dans le système construit, on a déjà combiné les informations du contenu de l’image pour retrouver des situations d’urgence et pour trouver des situations similaires, les informations de localisation géographique des images pour déterminer la proximité entre des situations et les informations des monuments pour pouvoir attribuer un niveau d’urgence aux images en se basant aussi sur la nature des monuments autour des sinistres Le résultat donné est une vue générale sur les sinistres dans la ville, l’utilisateur peut observer la distribution des sinistres différents, et peut savoir le lieu où les sinistres sont très urgents (en se basant sur la taille des symboles) pour pouvoir prendre des décisions de secours rapidement 43 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Figure 17 - Groupes des situations d’urgence dans la ville Figure 18 - Groupes des feux dans la ville 44 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com On peut voir que l’utilisateur peut observer les sinistres de tous les types ou seulement les sinistres d’un ou deux types auxquels il s’intéresse Chaque symbole dans les résultats représente un groupe de sinistres similaires qui sont proches géographiquement La taille des symboles représente le niveau d’urgence correspondant chaque groupe L’utilisateur peut observer en détail des sinistres appartenant un groupe quelconque en cliquant sur le symbole correspondant ce groupe, la taille des images augmente selon le niveau d’urgence des images ce qui nous permet de comparer le niveau d’urgence de chaque sinistre Cela nous permet de donner des décisions de secours raisonnables : Figure 19 - Résultat des sinistres d'un groupe Le point faible dans la phase d’attribution d’un niveau d’urgence est qu’on ne se base pas encore sur le contenu de l’image pour distinguer le niveau d’urgence des sinistres de même type (par exemple, on ne peut pas déterminer qu’un feu est grand ou petit) D’ailleurs, les paramètres qu’on utilise pour déterminer le niveau d’urgence sont les paramètres qu’on propose, ils sont peut-être inexacts Il nous faut consulter des experts pour conntre les vrais paramètres 5.2 Scénario : détermination des monuments proches du sinistre Quand l’utilisateur clique sur l’image d’un sinistre quelconque en choisissant de rechercher des monuments proches, le système va chercher dans le SR-tree des monuments pour trouver des monuments qui sont la position ou proches du sinistre choisi dans un rayon déterminé par l’utilisateur Cela nous permet de savoir quels sont les monuments qui peuvent être influencés par un sinistre (par exemple, un feu peut se propager rapidement vers les monuments qui sont proches) Le feu dans l’exemple suivant peut affecter l’école et le grand bâtiment côté, alors il nous faut envoyer rapidement des pompiers pour éteindre ce feu 45 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Figure 20 - Résultat des monuments proches d'un feu La limite de ce système est qu’on donne l’information des sinistres et des monuments sous forme de coordonnées GPS qui ne donnent pas l’adresse exacte pour l’utilisateur On peut améliorer le système en ajoutant les informations sur l’adresse civique des monuments dans les données SIG de notre système Cela nous permettrait de donner l’adresse exacte d’un monument où il y a actuellement un sinistre pour qu’on puisse prendre des décisions plus rapidement 5.3 Scénario : détermination des sinistres proches d’un monument A l’inverse du scénario précédent, ce scénario a pour but de déterminer tous les sinistres qui sont proches d’un monument quelconque Par exemple, il y a un hôpital ou un bâtiment important dans la ville et l’utilisateur voudrait savoir s’il existe des sinistres qui sont proches géographiquement dans un rayon précisé par l’utilisateur par rapport ce monument Le système va chercher dans l’arbre SR-tree de l’information de localisation géographique de l’image pour trouver et afficher tous les sinistres qui sont proches partir du centre du monument La taille des images affichées change en fonction du niveau d’urgence de chaque sinistre En connaissant les sinistres qui sont autour d’un monument, l’utilisateur peut prendre des décisions de secours plus raisonnables Par exemple, autour d’une école, il y a de grands feux et toutes les routes vers cette école sont endommagées, alors l’utilisateur peut décider d’envoyer le plus tôt possible des avions pour emporter les élèves même si l’école n’est pas encore affectée par les feux 46 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Figure 21 - Résultat des sinistres proches d'un bâtiment 5.4 Scénario : détermination des sinistres proches d’un sinistre Dans ce scénario, on veut déterminer tous les sinistres qui sont proches géographiquement dans un rayon autour d’un sinistre quelconque L’idée est de donner l’utilisateur des informations sur les sinistres différents qui sont proximité d’un sinistre quelconque Cela nous permet de coordonner les ộquipes de secours de faỗon appropriộe pour traiter non seulement le sinistre d’entrée mais aussi les autres sinistres qui sont proches si possible Par exemple, si on reỗoit l’information qu’il y a plusieurs blessés proximité d’un hôpital en feu, on peut augmenter les médecins dans l’équipe des pompiers envoyée vers l’hôpital pour aider non seulement les blessés de l’hôpital mais aussi les autres blessés qui sont proches En connaissant les sinistres autour d’un sinistre quelconque, on peut modifier la décision Par exemple, on va envoyer des pompiers vers un hôpital endommagé par avion la place de voitures si on constate que toutes les routes vers cet hôpital sont bloquées Figure 22 - Résultat des sinistres proches d'un sinistre 47 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5.5 Scénario : détermination des sinistres similaires un autre sinistre On peut voir que pour chaque type de situation d’urgence, par exemple « bâtiment endommagé », il y a plusieurs sous-types comme l’état de dommages d’une maison, d’un bâtiment, … Après un tremblement de terre, si l’utilisateur veut se concentrer surtout sur les images des grands bâtiments endommagés plutôt que sur les images des maisons ou des petits bâtiments endommagés, il peut cliquer sur une image d’un grand bâtiment endommagé affichée sur l’écran Le programme alors va utiliser la recherche des k-plus proches voisins (k précisé par l’utilisateur) dans l’arbre SR-tree du type « bâtiment endommagé » et afficher les k images les plus similaires l’image d’entrée en espérant que les résultats sont surtout des images de grands bâtiments endommagés Les résultats dans la figure suivante sont assez bons : Figure 23 - Résultat des sinistres les plus similaires avec un sinistre quelconque En effet, la recherche est réalisée seulement dans l’arbre SR-tree du type du sinistre correspondant l’image d’entrée ce qui nous permet de réduire le nombre d’images vérifier Mais d’autre part, on ne peut pas trouver les images de même type qui sont déjà ajoutées dans un autre arbre SR-tree car elles sont reconnues comme un autre type du sinistre D’ailleurs, la recherche d’images par le contenu ne donne pas toujours de bons résultats 48 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chapitre – Conclusions et perspectives Ce travail de stage présente une approche pour le développement d’un modèle de recherche d’informations basé sur une double information de contenu des images et de localisation géographique Le système construit implémente l’approche proposée qui structure les images en même temps dans deux espaces de localisation géographique et du contenu visuel par des arbres SR-tree [2] La structuration SR-tree est choisie pour les raisons suivantes : d’une part, elle est utile pour les applications d’indexation de similarité des images/vidéos ; d’autre part, son mécanisme de regroupement des données qui sont proches par des rectangles englobants et des sphères englobantes correspond bien la structuration des données géographiques Cette approche nous permet de combiner l’information de localisation et du contenu des images pour retrouver des situations d’urgence dans une ville et leur attribuer un niveau d’urgence en fonction de la proximité géographique d’événements similaires D’ailleurs, on propose aussi l’utilisation de la structure SR-tree pour structurer des différents monuments (maison, grand bâtiment, hôpital, école) dans la ville Ces monuments sont enregistrés dans un fichier shapefile, un type de fichier utilisé dans les systèmes SIG (Système d’Informations Géographiques) pour les données géographiques La forme de type polygone des monuments correspond bien la structuration par des SRtree Cette extension dans l’approche proposée nous permet d’attribuer un niveau d’urgence non seulement en fonction de la proximité géographique d’événements similaires, mais aussi en fonction de la nature des monuments autour de la position d’un sinistre Par exemple, un feu dans un hôpital est plus urgent que des feux dans quelques maisons En effet, on a atteint le but de ce stage dans la construction d’un modèle d’aide la décision dans une situation de post-catastrophe naturelle et dans la contribution d’une base d’images des sinistres pour le projet IDEA Le système construit fournit l’utilisateur une vue globale sur les sinistres dans la ville sous forme de groupes de proximité géographique des situations similaires Il fournit aussi un accès aux informations comme les monuments proches d’in sinistre, les sinistres proches d’un monument, les sinistres proches d’un sinistre, etc L’information fournie par le système nous permet de prendre des dộcisions qui coordonnent dune faỗon raisonnable les ộquipes de secours Ce système est utile pour qu’on puisse limiter les dommages dans une situation de post-catastrophe naturelle 49 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Cependant, il existe encore des limites dans le système construit Premièrement, on traite seulement l’information géographique des images sous forme de données GPS Il existe d’autres types de localisation géographique traiter comme l’adresse civique Deuxièmement, le système ne traite pas encore les images qui n’ont pas cette localisation Troisièmement, la reconnaissance des situations d’urgence n’est pas toujours exacte car actuellement, il n’y a pas encore une méthode parfaite pour la recherche d’images par le contenu Finalement, le niveau d’urgence est attribué seulement en fonction de la proximité géographique des situations similaires et de la nature des monuments autour du sinistre tandis qu’il existe plusieurs autres paramètres qui peuvent influencer ce niveau d’urgence Il existe des travaux faire pour que le système puisse devenir un bon outil d’aide la décision dans une situation de post-catastrophe naturelle : • On peut consulter les experts pour déterminer tous les paramètres qui peuvent influencer l’attribution d’un niveau d’urgence pour les sinistres et pour construire une base d’apprentissage identifiant le niveau d’urgence correspondant aux valeurs différentes de ces paramètres Dans ce cas, on peut utiliser n’importe quelle méthode d’apprentissage afin de déterminer un niveau d’urgence approprié chaque situation Notez que l’état d’un sinistre (par exemple, un grand feu ou un petit feu) est aussi un paramètre important ; mais pour déterminer ce paramètre, il reste un grand travail faire • Si on peut trouver de bons descripteurs internes du contenu visuel des images, on pourra améliorer la recherche des situations d’urgence • Il serait possible d’utiliser une base de données contenant des références entre des adresses civiques et des données de type GPS pour que le système puisse traiter les différents types de localisation géographique Pour les images qui n’ont pas de données de localisation géographique, on peut se baser sur le contenu de l’image pour trouver s’il existe une adresse civique dans l’image ou si c’est l’image d’un monument célèbre dans la ville ou non 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com REFERENCES [1] Site web du projet de recherche IDEA, http://www.ifi.auf.org/IDEA/, March 20, 2009 [2] Noriko Katayama, Shin’ichi Satoh, “The SR-tree : An index structure for HighDimentional Nearest Neighbor Queries”, In Proceedings of the ACM SIGMOD International Conference on Management of Data, pages 369-380, Tucson, Arizon USA, 1997 [3] Jean-Marc OGIER, “Partie : Techniques de Clustering et d’indexation multidimensionnelles », cours Indexation Multimedia, université de La Rochelle [4] Stefan Berchtold, Daniel A.Keim, Hans-Peter Kriegel, “The X-tree: An index structure for High-Dimensional Data”, In Proceedings of the 22nd International Conference on Very Large Databases, pages 28–39, 1996 [5] Automn Guttman, « R-tree : A dynamic index structure for spatial searching », In Proceedings of the ACM SIGMOD International Conference on Management of Data, pages 47-57, Boston, MA, June 1984 [6] Timos Sellis, Nick Roussopoulos et Christos Faloutsos, « The R+-tree : a dynamic index for multi-dimensional objects », In proceedings of the 16th International Conference on Very Large databases, page 507-518, 1987 [7] Norbert Beckmann, Hans-Peter Kriegel, Ralf Schneider, Bernhard Seeger, « The R*tree : An efficient and Robust Access Method for Points and Rectangles », In proceeding of the ACM SIGMOD International Conference on Management of Data, page 322-331, 1990 [8] David A.White, Ramesh Jain, “Similarity indexing with the SS-tree”, In proceeding of the 12th International Conference on Data Engineering, page 516-523, 1996 [9] John T Robinson “The k-d-b-tree: A search structure for large multidimensional dynamic indexes” In Proceedings of the ACM SIGMOD International Conference on Management Data, pages 10–18, 1981 [10] Andreas Henrich, Hans-Werner Six, Peter Widmayer, “The LSD tree: spatial access to multidimensional point and non point objects”, In Proceedings of the 15th International Conference on Very large data bases, pages 45-53, Amsterdam, The Netherlands, July 1989 [11] Jean-Pierre Chevallet, Joo-Hwee Lim, “SnapToTell – Accès ubiquitaire de l’information multi-média partir d’un telephone portable”, 2e Conférence en Recherche d’Informations et Applications, pages 245-260, Grenoble, France, Mars 2005 [12] Joo-Hwee Lim, Jean-Pierre Chevallet, Sihem Nouarah Merah, “SnapToTell: Ubiquitous Information Access from Camera”, In Workshop on Mobile and Ubiquitous Information Access (MUIA04), 2004 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com [13] Jean-Pierre Chevallet, Joo-Hwee Lim, Mun-Kew Leong, “Object Identification and Retrieval from Efficient Image Matching: SnapToTell with the STOIC Dataset”, Information Processing and Management, vol 43, pages 515-530, 2007 [14] Jean-Pierre Chevallet, Joo-Hwee Lim, Ramnath Vasuda, “SnapToTell: A Singapore image test bed for ubiquitous information access from camera”, In Proceedings of the ECIR Conference, page 530-532, Santiago de Compostela, Spain, 2005 [15] Pujianto Cemerlang, Joo-Hwee Lim, Yilun You, Jun Zhang et Jean-Pierre Chevallet, « Towards automatic mobile blogging », In Proceedings of IEEE International Conference on Multimedia and Expo, pages 2033-2036, 2006 [16] Nick Roussopoulos, Stephen Kelley and Frédéric Vincent, “Nearest Neighbor Queries”, In Proceedings of the ACM SIGMOD International Conference on Management of Data, pages 71-79, San Jose, CA, 1995 [17] Environmental Systems Research Institut, “ESRI Shapefile technical description”, http://support.esri.com/index.cfm?fa=knowledgebase.whitepapers.viewPaper&PID=25& MetaID=398 , April 4, 2003 52 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... méthode parfaite pour la recherche d’images par le contenu Finalement, le niveau d’urgence est attribué seulement en fonction de la proximité géographique des situations similaires et de la nature... soit le rectangle le plus petit possible qui recouvre tous les éléments dans le sous-arbre de ce noeud La structure R-tree est dédiée la recherche par intervalles, elle convient pour l? ?indexation. .. actuellement plusieurs travaux sur la recherche d’images par le contenu mais pas beaucoup de travaux sur la recherche d’image se basant en même temps sur les informations du contenu de l’image et