Indexation et recherche d’image par le contenu et par la localisation géographique

INSTITUT DE LA FRANCOPHONIE POUR LINFORMATIQUE LABORATOIRE INFORMATIQUE, IMAGE ET INTERACTION UNIVERSITE DE LA ROCHELLE MEMOIRE DE FIN DETUDE Master dinformatique Option Intelligence artificielle & multimộdia Sujet : Indexation et recherche dimage par le contenu et par la localisation gộographique Encadrement : Jean-Marc OGIER Alain BOUCHER NGUYEN Nhu Van Rộalisộ par : LAI Hien Phuong Promotion 13, IFI Hanoù, Septembre 2009 TABLE DES MATIERES REMERCIEMENTS RESUME .4 ABSTRACT LISTE DES FIGURES .6 LISTE DES TABLEAUX CHAPITRE INTRODUCTION 1.1 PROBLEMATIQUE 1.2 MOTIVATION .9 1.3 OBJECTIFS 10 1.4 CONTRIBUTION 10 1.5 ENVIRONNEMENT DE STAGE 11 CHAPITRE ETAT DE LART 12 2.1 INDEXATION MULTIDIMENSIONNELLE 12 2.1.1 Partitionnement des donnộes .12 2.1.2 Partitionnement de lespace .17 2.2 TRAVAUX SIMILAIRES 19 2.2.1 SnapToTell [11][12][13][14] 19 2.2.2 MobiLog [15] 22 CHAPITRE SR-TREE .24 3.1 PRESENTATION DU SR-TREE 24 3.2 INSERTION DANS LE SR-TREE 26 3.3 SUPPRESSION DANS LE SR-TREE 29 3.4 RECHERCHE DANS LE SR-TREE 29 CHAPITRE SYSTEME DE RECHERCHE DINFORMATIONS BASE SUR UNE DOUBLE INFORMATION DE CONTENU DES IMAGES ET DE LOCALISATION GEOGRAPHIQUE 31 4.1 HYPOTHESES .31 4.2 APPROCHE PROPOSEE 32 4.2.1 Structuration des donnộes 32 4.2.2 Manipulation dans les SR-tree 36 4.3 IMPLEMENTATION DU SYSTEME 40 4.3.1 Prộparation des donnộes 40 4.3.2 Environnement de programmation 41 4.3.3 Systốme construit 41 CHAPITRE ANALYSE DES RESULTATS 43 5.1 SCENARIO : ATTRIBUTION DES NIVEAUX DURGENCE 43 5.2 SCENARIO : DETERMINATION DES MONUMENTS PROCHES DU SINISTRE 45 5.3 SCENARIO : DETERMINATION DES SINISTRES PROCHES DUN MONUMENT .46 5.4 SCENARIO : DETERMINATION DES SINISTRES PROCHES DUN SINISTRE 47 5.5 SCENARIO : DETERMINATION DES SINISTRES SIMILAIRES A UN AUTRE SINISTRE 48 CHAPITRE CONCLUSIONS ET PERSPECTIVES 49 REFERENCES 51 REMERCIEMENTS Je tiens remercier tout particuliốrement M Jean-Marc OGIER, mon superviseur de stage au laboratoire L3I de luniversitộ de La Rochelle, et M Alain BOUCHER, mon co-superviseur de stage lIFI Ils ont su orienter mon travail dans les bonnes directions tout en me laissant une large autonomie Je les remercie ộgalement pour leur gros travail pour corriger ce rapport de stage Mes remerciements sadressent ộgalement M NGUYEN Nhu Van qui ma aidộ dans la configuration lenvironnement de programmation Mon travail bộnộficie aussi son travail de thốse de la recherche dimage par le contenu Je remercie aussi M CHU Thanh Quang, un thộsard du laboratoire MSI Ce travail est en grande partie dỷ ses conseils sur les Systốmes dInformation Gộographique (SIG) Je tiens remercier ộgalement tous les membres du laboratoire L3I qui mont accueilli et ont crộộ un environnement idộal dans lequel jai travaillộ pendant six mois de stage Je voudrais aussi adresser mes remerciements tous les professeurs de lIFI qui mont donnộ des connaissances et des expộriences efficaces pendant ma scolaritộ lIFI Merci ộgalement tous ceux que joublie mais qui dune maniốre ou dautre maniốre mont permis de bien terminer mon stage RESUME Ce mộmoire prộsente lintộrờt de combiner les informations du contenu visuel des images/vidộos et de localisation gộographique dans la construction dun systốme daide la dộcision dans une situation de post-catastrophe naturelle Grõce la performance pour des requờtes de plus proches voisins dans lespace des donnộes multidimensionnelles et pour la structuration des donnộes gộographiques, la structure SR-tree [2] est choisie pour structurer des images en mờme temps dans lespace de localisation gộographique et dans lespace du contenu visuel Lapproche proposộe utilise aussi la structure SR-tree pour structurer des monuments diffộrents dans la ville qui sont enregistrộs dans les donnộes des Systốme dInformation Gộographique (SIG) sous forme des polygones Le systốme construit a bien rộpondu lobjectif de retrouver des situations durgence dans la ville et de leur attribuer un niveau durgence en fonction non seulement la proximitộ gộographique dộvộnements similaires mais aussi en fonction des monuments diffộrents qui sont au tour du sinistre Il fournit au lutilisateur une vue globale sur la concentration des situations durgence dans la ville ainsi que leur niveau durgence En rộpondant des scộnarios de test diffộrentes pour le projet de recherche IDEA (Images of natural Disasters from robot Exploration in urban Area) [1], ce systốme apporte une grande perspective de devenir un outil efficace pour aider lopộrateur humain donner rapidement des bonnes dộcisions de secours dans des situations de post-catastrophe naturelle ABSTRACT This memoir presents the advantage of combining visual content information of images/videos and geographical location information in the construction of a decision support system in a situation of post-natural disaster With the performance for nearest neighbor queries in the area of multidimensional data and for spatial data structuring, the SR-tree structure [2] is chosen for structuring the images simultaneously in location space and visual content space The proposed approach also uses the SR-tree structure to organize various monuments in the city that are registered in the data of Geographic Information System (GIS) in the form of polygons The proposed system responds well to the objective of finding emergencies in the city and of giving them an urgency level depending not only on the geographical proximity of similar events but also on the monuments which are around the position of emergency situation It provides an overview on the concentration of emergencies in the city and their urgency level In responding to different test scenarios for the IDEA (Images of natural Disasters from robot Exploration in Urban Area) research project [1], this system has a great perspective to become an effective tool that helps the human operator providing rapidly the rescue decisions in emergency situations of post-natural disaster LISTE DES FIGURES Figure - B-tree 13 Figure - R-tree 14 Figure - SS-tree 16 Figure - SR-tree 17 Figure - Kd-tree 18 Figure - LSD-tree 19 Figure - Architecture client/serveur du systốme SnapToTell 20 Figure - Localisation hiộrarchique des scốnes de Singapour 21 Figure - Screen shots de la composition de blog sur un tộlộphone portable 22 Figure 10 - Exemple de blog du systốme TraveLog 23 Figure 11 - Structure SR-tree 25 Figure 12 - Dộtermination des rộgions par l'intersection des rectangles et des sphốres 25 Figure 13 - Structuration des donnộes par des SR-tree 35 Figure 14 - Interface du systốme 41 Figure 15 - Symboles des sinistres 42 Figure 16 - Symboles des monuments 42 Figure 17 - Groupes des situations durgence dans la ville 44 Figure 18 - Groupes des feux dans la ville 44 Figure 19 - Rộsultat des sinistres d'un groupe 45 Figure 20 - Rộsultat des monuments proches d'un feu 46 Figure 21 - Rộsultat des sinistres proches d'un bõtiment 47 Figure 22 - Rộsultat des sinistres proches d'un sinistre 47 Figure 23 - Rộsultat des sinistres les plus similaires avec un sinistre quelconque 48 LISTE DES TABLEAUX Table - Niveaux d'urgence correspondant chaque type de monument 38 Table - Base d'images des sinistres 40 Chapitre Introduction 1.1 Problộmatique Aujourdhui, les catastrophes naturelles apparaissent avec une frộquence de plus en plus ộlevộe cause du changement du climat global Plusieurs projets de recherche sont rộalisộs afin de dộvelopper les outils daide la dộcision dans des situations de postcatastrophe naturelle en zone urbaine et de fournir des informations prộcises en temps rộel au centre de gestion et aux ộquipes de secours Les images collectộes partout dans une ville dộcrivant les sinistres diffộrents sont une source dinformation sur laquelle on peut se baser pour donner des dộcisions de secours efficaces A partir de quelques images, lopộrateur humain peut facilement donner des dộcisions efficaces et exactes Mais avec un trốs grand nombre dimages (cest le cas des situations urgences), il nous faut avoir un systốme qui traite automatiquement ces images pour aider lopộrateur humain donner rapidement des dộcisions de secours Alors, le contexte de ce sujet de stage est le projet IDEA (Images of natural Disasters from robot Exploration in urban Area) [1] financộ par le programme STC-Asie (MAE/CNRS/INRIA) et avec comme partenaire le LORIA-QGAR (Nancy, France), luniversitộ de La Rochelle (France), lIFI (Hanoi, Vietnam), le VAST-IOIT (Hanoi, Vietnam) et luniversitộ de Kuala Lumpur (Malaisie) Afin de rộsoudre le problốme abordộ ci-dessus, dans ce projet, on utilise les techniques de vision par ordinateur, de reconnaissance des formes et de recherche dinformations multimộdias sur les images collectộes pour aider donner des dộcisions de secours Ce stage bộnộficie aussi le travail de thốse de NGUYEN Nhu Van, en co-direction entre luniversitộ de La Rochelle, lIFI et le LORIA-QGAR Lentrộe dun systốme de traitement automatique des images daide la dộcision dans une situation de post-catastrophe naturelle doit ờtre les images dộcrivant les sinistres contenant en mờme temps les informations de localisation gộographique qui nous permet de dộterminer la localisation de chaque sinistre Supposons quil y a un rộseau de camộras implantộes partout dans une ville (camộras de surveillance routiốre, camộras installộes sur des ộdifices, camộras mobiles des robots, des avions, etc) ; ces camộras sont toujours actives aprốs une catastrophe naturelle, elles prennent automatiquement des photos et les envoient vers une centrale collectant des informations nộcessaires aux secours On peut aussi collecter les images, les vidộos provenant des tộlộphones portables des gens sur place Linformation gộographique de ces images peut ờtre de type GPS ou autre (adresses civiques par exemple) Il y a aussi les images qui nauront pas cette localisation ou qui pourront avoir une marge derreur sur la localisation prộcise Mais en effet, il ny a pas encore une base dimages pour le projet IDEA, donc, une des tõches pour ce stage est de construire au fur et mesure une base dimages des types de sinistres diffộrents pour tester et trouver une faỗon pour simuler les informations de localisation gộographique des images Pour les types de linformation gộographique diffộrents, il nous faut les traiter de faỗons diffộrentes Par exemple, pour les images ayant une adresse civique, il nous faut tout dabord transformer cette adresse en information de type GPS (latitude et longitude) pour savoir ou se trouve le sinistre sur le plan de la ville ; pour les images qui nont pas les informations gộographiques, on peut essayer de trouver sil y a dans le contenu de limage les informations indiquant la position de limage (le nom de la rue, un monument cộlốbre, etc) Pour pouvoir traiter tous les cas diffộrents, cest un grand travail Donc, dans le cadre de ce stage, on suppose que toutes les images ont les informations de localisation gộographique de type GPS (latitude et longitude) Ce stage a pour but de dộvelopper un modốle de recherche dinformations basộ sur une double information de contenu et de localisation gộographique des images, de retrouver les situations durgence dans une ville (feu, blessộs, bõtiments endommagộs,) et dattribuer un niveau durgence pour chaque situation en fonction de la proximitộ gộographique dộvộnements similaires En fait, on a deux espaces diffộrents, lun pour la reprộsentation du contenu de limage et lautre pour la localisation gộographique En effet, il y a pas mal de travaux concernant la recherche dimages par le contenu, dont le travail de thốse de NGUYEN Nhu Van Alors, dans ce stage, on peut bộnộficier de la faỗon de dộcrire le contenu de limage de son travail Le problốme ici est comment on peut organiser les informations du contenu de limage et les informations de localisation gộographique dans deux espaces pour pouvoir trouver les situations durgences et pour leur attribuer un niveau durgence A lộgard de lattribution dun niveau durgence ici, on ne compte pas la nature de chaque sinistre reprộsentộ dans les images (par exemple, un grand feu ou un petit feu) car cest aussi un grand problốme On compte ici la proximitộ gộographique dộvộnements similaires, la proximitộ des sinistres avec des types de monuments diffộrents (hụpital, maison, grand bõtiment, etc.) Laspect interactif du systốme (retour de pertinence) nest pas traitộ dans le cadre de ce stage, lutilisateur pourra seulement rộaliser quelques actions simples avec le systốme comme demander trouver les sinistres qui sont similaires avec un sinistre dans une image quelconque, trouver les sinistres qui sont proches dun hụpital, etc 1.2 Motivation On peut constater que le climat global change de jour en jour, cela provoque laugmentation des catastrophes naturelles complexes dans tout le monde, elles causent beaucoup de dộgõts sộrieux pour lhumain Des coordinations efficaces des ộquipes de secours peuvent diminuer considộrablement les dộgõts surtout les morts Cest pour cette raison quil est nộcessaire davoir un bon systốme daide la dộcision dans une situation de post-catastrophe naturelle Dailleurs, il y a actuellement plusieurs travaux sur la recherche dimages par le contenu mais pas beaucoup de travaux sur la recherche dimage se basant en mờme temps sur les informations du contenu de limage et sur les informations de localisation gộographique Les travaux existants sont appliquộs surtout dans les applications de tourisme, le cas de laide la dộcision pour les secours comme dans le projet IDEA reste une application nouvelle 1.3 Objectifs Les objectifs de ce travail de stage sont : Construire une base dimages de sinistres diffộrents Simuler les informations gộographiques pour ces images Dộterminer une faỗon pour organiser les informations des images dans deux espaces de contenu visuel et de linformation gộographique pour pouvoir manipuler ensemble ces deux espaces afin de trouver les situations durgences et dattribuer un niveau durgence pour chaque image Proposer une faỗon pour dộterminer un niveau durgence pour chaque sinistre en se basant sur la proximitộ des situations similaires et sur limportance des monuments autour de chaque sinistre Pour vộrifier et valider le modốle, il faut donner des scộnarios diffộrents pour IDEA qui identifient et dộcrivent des situations oự on peut montrer un intộrờt de rechercher des images en combinant localisation et contenu image et faire des tests basộs sur ces scộnarios 1.4 Contribution En combinant les images de feux provenant du TPE de lộtudiant BUI The Quang de la promotion 14 de lIFI avec les images trouvộes sur linternet sous licence ô Crộative Commons ằ, jai dộj construit une base dimages de cinq types de sinistres diffộrents (feux, bõtiments endommagộs, routes endommagộes, blessộs et inondations) pour IDEA, chaque type contient de 300 350 images Jai aussi simulộ les informations de localisation gộographique pour ces images en attribuant pour chaque image des coordonnộes de latitude et de longitude, les coordonnộes pouvant ờtre attribuộes soit au hasard, soit selon les groupes de proximitộ 10 Type du monument Maison Hụpital Grand bõtiment Ecole 7 0.25 1.25 1 Table - Niveaux d'urgence correspondant chaque type de monument Maintenant, on va regrouper les images similaires qui sont proches gộographiquement dans un rayon r1 dans des groupes de proximitộ que nous avons dộj dộterminộs ci-dessus Puis, un niveau durgence va ờtre attribuộ chaque groupe de proximitộ ; le niveau durgence dun groupe est la somme totale des niveaux durgence de tous les sinistres dans le groupe Pour les images quon reỗoit un moment t, on va les ajouter au fur et mesure en mờme temps dans larbre SR-tree gộographique et dans un des arbres SR-tree du contenu visuel correspondant au type de sinistre des images On va aussi regrouper les images qui sont proches gộographiquement au cour de linsertion des images comme suit : o Chaque image se voit attribuộe un nombre entier identifiant le numộro de groupe de cette image o Pour une image entrộe I, on rộalise la recherche dans larbre SR-tree de linformation gộographique des images qui sont proches dans un rayon r1 On commence la recherche partir de la racine de larbre et on descend vers les nuds fils ayant la rộgion intersectant la sphốre centrộe la position de limage et de rayon r1 Au niveau des feuilles, on va retourner toutes les images qui sont proches dans le rayon r1 par rapport limage dentrộe Notez quau niveau des feuilles, on pointe vers lộlộment des images dans ces feuilles ; alors, on peut savoir le type de sinistre de toutes les images qui sont proches gộographiquement de limage entrộe Sil ny a pas dautres situations similaires parmi les images proches gộographiquement, on attribue une nouvelle ộtiquette (un nouveau nombre entier) pour cette nouvelle image, c'est--dire quon ajoute un nouveau groupe de proximitộ contenant seulement limage quon vient dajouter Sil y a quelques autres situations similaires parmi les images proches et si ces situations similaires ont une mờme ộtiquette E, on attribue lộtiquette E pour limage quon vient dajouter, c'est--dire quon ajoute la nouvelle dimage dans un groupe de proximitộ existant 38 Sil y a quelques autres situations similaires qui sont proches de limage dentrộe dans lespace gộographique et qui ont des ộtiquettes diffộrentes, c'est--dire que ces situations appartiennent des groupes de proximitộ diffộrentes (par exemple groupes 1, 2, 3) et que la nouvelle image joue le rụle dun ộlộment intermộdiaire qui permet de fusionner ces groupes de proximitộ en un seul groupe Alors on regroupe la nouvelle image et les ộlộments de tous ces trois groupes (1, et 3) en un seul groupe de proximitộ Le niveau durgence dun groupe est la somme totale des niveaux durgence des ộlộments dans le groupe Alors, un groupe ayant seulement un feu dans un hụpital peut avoir un niveau durgence plus ộlevộ que celui ayant trois maisons en feu On va afficher sur lộcran les groupes de proximitộ diffộrents pour que lutilisateur puisse avoir une vue globale sur les sinistres dans la ville, chaque groupe ộtant reprộsentộ par un symbole reprộsentant le type du sinistre de ce groupe, la taille du symbole dộpendant du niveau durgence du groupe (plus le symbole est gros, plus le niveau durgence est ộlevộ) Il y a quelques autres manipulations quon peut appliquer sur les SR-tree de notre systốme pour donner des informations utiles lutilisateur comme suit : Notez que pour chaque groupe, on a une liste des ộlộments qui pointent vers les ộlộments des images appartenant ce groupe Alors, si lutilisateur veut voir en dộtails chaque groupe, il nous faut seulement afficher les images dans la liste correspondant ce groupe, la taille de limage dộpendant du niveau durgence de chaque image On peut aussi afficher les monuments qui sont proches dun sinistre quelconque en recherchant dans larbre SR-tree des monuments tous les monuments autour de la position du sinistre selon la mộthode quon a dộj expliquộ prộcộdemment Pour trouver les sinistres qui sont proches dans un rayon r dun monument quelconque, on rộalise la recherche dans larbre SR-tree de linformation gộographique partir de la racine de larbre, puis descend vers les nuds fils ayant la rộgion qui intersecte la sphốre centrộe la position du monument Au niveau des feuilles, on retourne les images ayant la distance depuis le centre du monument infộrieure ou ộgale au rayon r Pour trouver les sinistres qui sont proches dun sinistre quelconque, on fait la recherche dans larbre SR-tree de linformation gộographique comme dans le cas prộcộdent 39 Enfin, on peut voir que pour chaque type de situation durgence, par exemple ô feu ằ, il y a plusieurs sous-types comme le feu dans des bõtiments, le feu dans la forờt, Si lutilisateur veut se concentrer surtout sur les images de feu dans des bõtiments par exemple, il peut cliquer sur un image de feu dun bõtiment quelconque affichộes sur lộcran, le programme va utiliser la recherche de k-plus proches voisins dans le SR-tree du type ô feu ằ et afficher les k images les plus similaires limage de feu du bõtiment que lutilisateur a choisi Lorganisation des donnộes du contenu visuel des images dans les arbres SR-tree diffộrents correspondant aux diffộrents types de sinistres nous permet dộviter de faire la recherche dans toute la base dimages 4.3 Implộmentation du systốme 4.3.1 Prộparation des donnộes Au dộbut de ce stage, on na pas encore une base dimages rộelles des situations durgence diffộrentes, alors une tõche importante de ce travail de stage est de construire la base dimages du projet IDEA [1] avec les images des sinistres rộels En combinant les images sur les tremblements de terre dans quelques pays en Asie et les images trouvộes sur le site http://www.flickr.com avec la licence ô Creative commons ằ, on a dộj construit une base dimages de cinq types de sinistres diffộrents (feu, blessộ, bõtiment endommagộ, route endommagộe et inondation) Pour chaque type de sinistre, les images sont divisộes en deux parties, une partie est annotộe et ajoutộe dans la base dapprentissage, une autre partie appartient la base des images de test identifiant les images que le systốme reỗoit un moment t La table suivante donne le nombre dimages correspondant chaque type du sinistre : Type du sinistre Feu Blessộ Bõtiment endommagộ Route endommagộe Inondation Base dapprentissage 200 200 200 200 200 Base de test 100 100 150 100 100 Total 300 300 350 300 300 Table - Base d'images des sinistres Il nous faut avoir aussi des donnộes shapefile qui dộcrivent les informations des monuments Jutilise les donnộes SIG libres du Colorado des Etats-Unis (http://www2.census.gov/geo/tiger/TIGER2007FE/) Normalement, dans les donnộes originales, il ny a pas dinformation sur les types des monuments, jai simulộ ces donnộes en ajoutant un champ dans les donnộes dun fichier shapefile du Colorado pour identifier quatre types de monuments diffộrents (maison, grand bõtiment, hụpital et ộcole) Jutilise 40 le logiciel libre OpenJump (http://jump-pilot.sourceforge.net/) pour prộparer les donnộes SIG 4.3.2 Environnement de programmation Le systốme est construit dans lenvironnement suivant : Systốme dexploitation : Ubuntu 8.04 Langage de programmation : C++ Outil de programmation : QT Creator Ce travail de stage bộnộficie du code source du travail de thốse de NGUYEN Nhu Van concernant la crộation des descripteurs internes du contenu visuel des images (histobin de couleur, sac de mots visuels) Dailleurs, on utilise aussi la librairie ô Shapefile C Library V1.2 ằ (http://shapelib.maptools.org/) pour pouvoir lire les donnộes des monuments dans un fichier shapefile et les autres fichiers concernộs 4.3.3 Systốme construit Linterface du programme est comme suit : Figure 14 - Interface du systốme Le plan de la ville se situe droite de linterface, les parties vertes dans ce plan reprộsentent des monuments dans la ville A gauche de linterface, il y a des boutons qui nous permettent de rộaliser les fonctions du systốme : 41 Le bouton ô Apprendre ằ permet dextraire le vecteur du contenu visuel des images dans la base dimages dapprentissage fournie par lutilisateur, ces descripteurs internes du contenu visuel vont ờtre enregistrộs dans des fichiers texte Alors, la phase dapprentissage pour une base quelconque doit ờtre rộalisộe seulement une fois Le bouton ô Init ằ permet de structurer les descripteurs internes des images dans la base dapprentissage dans un SR-tree et de structurer les donnộes des monuments dun fichier shapefile dans un autre SR-tree Le bouton ô Open ằ permet de donner des images actuelles qui sont les images arrivant au systốme un moment t Le systốme va dộterminer le type de sinistre correspondant chaque image et structurer ces images dans deux espaces de localisation gộographique et du contenu visuel par un SR-tree de linformation gộographique et cinq SR-tree du contenu visuel Le bouton ô Search ằ permet de rechercher et afficher les groupes de proximitộ des sinistres similaires correspondant aux types du sinistre quon veut (on peut afficher les groupes de tous les types ou seulement les groupes du type feu) Le systốme nous permet aussi de trouver les monuments qui sont proches dun sinistre quelconque, les sinistres qui sont proches dun monument comme un hụpital, les sinistres autour dun autre sinistre, etc On utilise les symboles suivants pour identifier les types de sinistres et les types de monument diffộrents : Figure 15 - Symboles des sinistres Figure 16 - Symboles des monuments 42 Chapitre Analyse des rộsultats Car le but de ce stage est de montrer ce que l'on peut faire en combinant localisation et contenu images dans un systốme daide la dộcision dans une situation de post-catastrophe naturelle en zone urbaine Alors, afin dộvaluer les rộsultats du systốme, on fait des test basộs sur des scộnarios dộcrivant des situations oự on peut montrer un intộrờt de rechercher des images en combinant localisation et contenu image Dans ce chapitre, on va ộvaluer les rộsultats en basant sur des scộnarios diffộrents et donner des commentaires sur les points forts et les points faibles de notre systốme pour chaque scộnario 5.1 Scộnario : attribution des niveaux durgence Comme nous avons vu dans les chapitres prộcộdents, le but principal de ce systốme est de retrouver des situations durgence dans une ville et de leur attribuer un niveau durgence en fonction de la proximitộ entre des situations similaires (situations de mờme type) Dans le systốme construit, on a dộj combinộ les informations du contenu de limage pour retrouver des situations durgence et pour trouver des situations similaires, les informations de localisation gộographique des images pour dộterminer la proximitộ entre des situations et les informations des monuments pour pouvoir attribuer un niveau durgence aux images en se basant aussi sur la nature des monuments autour des sinistres Le rộsultat donnộ est une vue gộnộrale sur les sinistres dans la ville, lutilisateur peut observer la distribution des sinistres diffộrents, et peut savoir le lieu oự les sinistres sont trốs urgents (en se basant sur la taille des symboles) pour pouvoir prendre des dộcisions de secours rapidement 43 Figure 17 - Groupes des situations durgence dans la ville Figure 18 - Groupes des feux dans la ville 44 On peut voir que lutilisateur peut observer les sinistres de tous les types ou seulement les sinistres dun ou deux types auxquels il sintộresse Chaque symbole dans les rộsultats reprộsente un groupe de sinistres similaires qui sont proches gộographiquement La taille des symboles reprộsente le niveau durgence correspondant chaque groupe Lutilisateur peut observer en dộtail des sinistres appartenant un groupe quelconque en cliquant sur le symbole correspondant ce groupe, la taille des images augmente selon le niveau durgence des images ce qui nous permet de comparer le niveau durgence de chaque sinistre Cela nous permet de donner des dộcisions de secours raisonnables : Figure 19 - Rộsultat des sinistres d'un groupe Le point faible dans la phase dattribution dun niveau durgence est quon ne se base pas encore sur le contenu de limage pour distinguer le niveau durgence des sinistres de mờme type (par exemple, on ne peut pas dộterminer quun feu est grand ou petit) Dailleurs, les paramốtres quon utilise pour dộterminer le niveau durgence sont les paramốtres quon propose, ils sont peut-ờtre inexacts Il nous faut consulter des experts pour connaợtre les vrais paramốtres 5.2 Scộnario : dộtermination des monuments proches du sinistre Quand lutilisateur clique sur limage dun sinistre quelconque en choisissant de rechercher des monuments proches, le systốme va chercher dans le SR-tree des monuments pour trouver des monuments qui sont la position ou proches du sinistre choisi dans un rayon dộterminộ par lutilisateur Cela nous permet de savoir quels sont les monuments qui peuvent ờtre influencộs par un sinistre (par exemple, un feu peut se propager rapidement vers les monuments qui sont proches) Le feu dans lexemple suivant peut affecter lộcole et le grand bõtiment cụtộ, alors il nous faut envoyer rapidement des pompiers pour ộteindre ce feu 45 Figure 20 - Rộsultat des monuments proches d'un feu La limite de ce systốme est quon donne linformation des sinistres et des monuments sous forme de coordonnộes GPS qui ne donnent pas ladresse exacte pour lutilisateur On peut amộliorer le systốme en ajoutant les informations sur ladresse civique des monuments dans les donnộes SIG de notre systốme Cela nous permettrait de donner ladresse exacte dun monument oự il y a actuellement un sinistre pour quon puisse prendre des dộcisions plus rapidement 5.3 Scộnario : dộtermination des sinistres proches dun monument A linverse du scộnario prộcộdent, ce scộnario a pour but de dộterminer tous les sinistres qui sont proches dun monument quelconque Par exemple, il y a un hụpital ou un bõtiment important dans la ville et lutilisateur voudrait savoir sil existe des sinistres qui sont proches gộographiquement dans un rayon prộcisộ par lutilisateur par rapport ce monument Le systốme va chercher dans larbre SR-tree de linformation de localisation gộographique de limage pour trouver et afficher tous les sinistres qui sont proches partir du centre du monument La taille des images affichộes change en fonction du niveau durgence de chaque sinistre En connaissant les sinistres qui sont autour dun monument, lutilisateur peut prendre des dộcisions de secours plus raisonnables Par exemple, autour dune ộcole, il y a de grands feux et toutes les routes vers cette ộcole sont endommagộes, alors lutilisateur peut dộcider denvoyer le plus tụt possible des avions pour emporter les ộlốves mờme si lộcole nest pas encore affectộe par les feux 46 Figure 21 - Rộsultat des sinistres proches d'un bõtiment 5.4 Scộnario : dộtermination des sinistres proches dun sinistre Dans ce scộnario, on veut dộterminer tous les sinistres qui sont proches gộographiquement dans un rayon autour dun sinistre quelconque Lidộe est de donner lutilisateur des informations sur les sinistres diffộrents qui sont proximitộ dun sinistre quelconque Cela nous permet de coordonner les ộquipes de secours de faỗon appropriộe pour traiter non seulement le sinistre dentrộe mais aussi les autres sinistres qui sont proches si possible Par exemple, si on reỗoit linformation quil y a plusieurs blessộs proximitộ dun hụpital en feu, on peut augmenter les mộdecins dans lộquipe des pompiers envoyộe vers lhụpital pour aider non seulement les blessộs de lhụpital mais aussi les autres blessộs qui sont proches En connaissant les sinistres autour dun sinistre quelconque, on peut modifier la dộcision Par exemple, on va envoyer des pompiers vers un hụpital endommagộ par avion la place de voitures si on constate que toutes les routes vers cet hụpital sont bloquộes Figure 22 - Rộsultat des sinistres proches d'un sinistre 47 5.5 Scộnario : dộtermination des sinistres similaires un autre sinistre On peut voir que pour chaque type de situation durgence, par exemple ô bõtiment endommagộ ằ, il y a plusieurs sous-types comme lộtat de dommages dune maison, dun bõtiment, Aprốs un tremblement de terre, si lutilisateur veut se concentrer surtout sur les images des grands bõtiments endommagộs plutụt que sur les images des maisons ou des petits bõtiments endommagộs, il peut cliquer sur une image dun grand bõtiment endommagộ affichộe sur lộcran Le programme alors va utiliser la recherche des k-plus proches voisins (k prộcisộ par lutilisateur) dans larbre SR-tree du type ô bõtiment endommagộ ằ et afficher les k images les plus similaires limage dentrộe en espộrant que les rộsultats sont surtout des images de grands bõtiments endommagộs Les rộsultats dans la figure suivante sont assez bons : Figure 23 - Rộsultat des sinistres les plus similaires avec un sinistre quelconque En effet, la recherche est rộalisộe seulement dans larbre SR-tree du type du sinistre correspondant limage dentrộe ce qui nous permet de rộduire le nombre dimages vộrifier Mais dautre part, on ne peut pas trouver les images de mờme type qui sont dộj ajoutộes dans un autre arbre SR-tree car elles sont reconnues comme un autre type du sinistre Dailleurs, la recherche dimages par le contenu ne donne pas toujours de bons rộsultats 48 Chapitre Conclusions et perspectives Ce travail de stage prộsente une approche pour le dộveloppement dun modốle de recherche dinformations basộ sur une double information de contenu des images et de localisation gộographique Le systốme construit implộmente lapproche proposộe qui structure les images en mờme temps dans deux espaces de localisation gộographique et du contenu visuel par des arbres SR-tree [2] La structuration SR-tree est choisie pour les raisons suivantes : dune part, elle est utile pour les applications dindexation de similaritộ des images/vidộos ; dautre part, son mộcanisme de regroupement des donnộes qui sont proches par des rectangles englobants et des sphốres englobantes correspond bien la structuration des donnộes gộographiques Cette approche nous permet de combiner linformation de localisation et du contenu des images pour retrouver des situations durgence dans une ville et leur attribuer un niveau durgence en fonction de la proximitộ gộographique dộvộnements similaires Dailleurs, on propose aussi lutilisation de la structure SR-tree pour structurer des diffộrents monuments (maison, grand bõtiment, hụpital, ộcole) dans la ville Ces monuments sont enregistrộs dans un fichier shapefile, un type de fichier utilisộ dans les systốmes SIG (Systốme dInformations Gộographiques) pour les donnộes gộographiques La forme de type polygone des monuments correspond bien la structuration par des SRtree Cette extension dans lapproche proposộe nous permet dattribuer un niveau durgence non seulement en fonction de la proximitộ gộographique dộvộnements similaires, mais aussi en fonction de la nature des monuments autour de la position dun sinistre Par exemple, un feu dans un hụpital est plus urgent que des feux dans quelques maisons En effet, on a atteint le but de ce stage dans la construction dun modốle daide la dộcision dans une situation de post-catastrophe naturelle et dans la contribution dune base dimages des sinistres pour le projet IDEA Le systốme construit fournit lutilisateur une vue globale sur les sinistres dans la ville sous forme de groupes de proximitộ gộographique des situations similaires Il fournit aussi un accốs aux informations comme les monuments proches din sinistre, les sinistres proches dun monument, les sinistres proches dun sinistre, etc Linformation fournie par le systốme nous permet de prendre des dộcisions qui coordonnent dune faỗon raisonnable les ộquipes de secours Ce systốme est utile pour quon puisse limiter les dommages dans une situation de post-catastrophe naturelle 49 Cependant, il existe encore des limites dans le systốme construit Premiốrement, on traite seulement linformation gộographique des images sous forme de donnộes GPS Il existe dautres types de localisation gộographique traiter comme ladresse civique Deuxiốmement, le systốme ne traite pas encore les images qui nont pas cette localisation Troisiốmement, la reconnaissance des situations durgence nest pas toujours exacte car actuellement, il ny a pas encore une mộthode parfaite pour la recherche dimages par le contenu Finalement, le niveau durgence est attribuộ seulement en fonction de la proximitộ gộographique des situations similaires et de la nature des monuments autour du sinistre tandis quil existe plusieurs autres paramốtres qui peuvent influencer ce niveau durgence Il existe des travaux faire pour que le systốme puisse devenir un bon outil daide la dộcision dans une situation de post-catastrophe naturelle : On peut consulter les experts pour dộterminer tous les paramốtres qui peuvent influencer lattribution dun niveau durgence pour les sinistres et pour construire une base dapprentissage identifiant le niveau durgence correspondant aux valeurs diffộrentes de ces paramốtres Dans ce cas, on peut utiliser nimporte quelle mộthode dapprentissage afin de dộterminer un niveau durgence appropriộ chaque situation Notez que lộtat dun sinistre (par exemple, un grand feu ou un petit feu) est aussi un paramốtre important ; mais pour dộterminer ce paramốtre, il reste un grand travail faire Si on peut trouver de bons descripteurs internes du contenu visuel des images, on pourra amộliorer la recherche des situations durgence Il serait possible dutiliser une base de donnộes contenant des rộfộrences entre des adresses civiques et des donnộes de type GPS pour que le systốme puisse traiter les diffộrents types de localisation gộographique Pour les images qui nont pas de donnộes de localisation gộographique, on peut se baser sur le contenu de limage pour trouver sil existe une adresse civique dans limage ou si cest limage dun monument cộlốbre dans la ville ou non 50 REFERENCES [1] Site web du projet de recherche IDEA, http://www.ifi.auf.org/IDEA/, March 20, 2009 [2] Noriko Katayama, Shinichi Satoh, The SR-tree : An index structure for HighDimentional Nearest Neighbor Queries, In Proceedings of the ACM SIGMOD International Conference on Management of Data, pages 369-380, Tucson, Arizon USA, 1997 [3] Jean-Marc OGIER, Partie : Techniques de Clustering et dindexation multidimensionnelles ằ, cours Indexation Multimedia, universitộ de La Rochelle [4] Stefan Berchtold, Daniel A.Keim, Hans-Peter Kriegel, The X-tree: An index structure for High-Dimensional Data, In Proceedings of the 22nd International Conference on Very Large Databases, pages 2839, 1996 [5] Automn Guttman, ô R-tree : A dynamic index structure for spatial searching ằ, In Proceedings of the ACM SIGMOD International Conference on Management of Data, pages 47-57, Boston, MA, June 1984 [6] Timos Sellis, Nick Roussopoulos et Christos Faloutsos, ô The R+-tree : a dynamic index for multi-dimensional objects ằ, In proceedings of the 16th International Conference on Very Large databases, page 507-518, 1987 [7] Norbert Beckmann, Hans-Peter Kriegel, Ralf Schneider, Bernhard Seeger, ô The R*tree : An efficient and Robust Access Method for Points and Rectangles ằ, In proceeding of the ACM SIGMOD International Conference on Management of Data, page 322-331, 1990 [8] David A.White, Ramesh Jain, Similarity indexing with the SS-tree, In proceeding of the 12th International Conference on Data Engineering, page 516-523, 1996 [9] John T Robinson The k-d-b-tree: A search structure for large multidimensional dynamic indexes In Proceedings of the ACM SIGMOD International Conference on Management Data, pages 1018, 1981 [10] Andreas Henrich, Hans-Werner Six, Peter Widmayer, The LSD tree: spatial access to multidimensional point and non point objects, In Proceedings of the 15th International Conference on Very large data bases, pages 45-53, Amsterdam, The Netherlands, July 1989 [11] Jean-Pierre Chevallet, Joo-Hwee Lim, SnapToTell Accốs ubiquitaire de linformation multi-mộdia partir dun telephone portable, 2e Confộrence en Recherche dInformations et Applications, pages 245-260, Grenoble, France, Mars 2005 [12] Joo-Hwee Lim, Jean-Pierre Chevallet, Sihem Nouarah Merah, SnapToTell: Ubiquitous Information Access from Camera, In Workshop on Mobile and Ubiquitous Information Access (MUIA04), 2004 51 [13] Jean-Pierre Chevallet, Joo-Hwee Lim, Mun-Kew Leong, Object Identification and Retrieval from Efficient Image Matching: SnapToTell with the STOIC Dataset, Information Processing and Management, vol 43, pages 515-530, 2007 [14] Jean-Pierre Chevallet, Joo-Hwee Lim, Ramnath Vasuda, SnapToTell: A Singapore image test bed for ubiquitous information access from camera, In Proceedings of the ECIR Conference, page 530-532, Santiago de Compostela, Spain, 2005 [15] Pujianto Cemerlang, Joo-Hwee Lim, Yilun You, Jun Zhang et Jean-Pierre Chevallet, ô Towards automatic mobile blogging ằ, In Proceedings of IEEE International Conference on Multimedia and Expo, pages 2033-2036, 2006 [16] Nick Roussopoulos, Stephen Kelley and Frộdộric Vincent, Nearest Neighbor Queries, In Proceedings of the ACM SIGMOD International Conference on Management of Data, pages 71-79, San Jose, CA, 1995 [17] Environmental Systems Research Institut, ESRI Shapefile technical description, http://support.esri.com/index.cfm?fa=knowledgebase.whitepapers.viewPaper&PID=25& MetaID=398 , April 4, 2003 52 [...]... > t i si non La distance MINDIST(p,R) calculée par la formule précédente donne une distance qui est toujours inférieure ou égale à toutes les distances entre le point P et les points dans le rectangle R Pour chaque fils Ck qui a la distance minimale d entre le point entré et la région de ce fils qui est supérieur à la distance entre le point p et le point le plus loin parmi les k points les plus proches,... appartenant à cette feuille, le rayon de la sphère englobante est égal à la distance entre le centre et le point le plus loin Et au niveau d’un nœud interne, la sphère englobante recouvre les sphères englobantes de tous les nœuds fils de ce nœud, le rayon de la sphère est toujours supérieur ou égal à la distance entre le centre et le point le plus loin parmi les points dans le sousarbre de ce nœud Figure... • La racine est la boîte englobante de tout l’espace • Un nœud correspond à un plan séparateur et deux pointeurs pointant vers deux sous-espaces construits par le plan • Une feuille correspond à la liste des objets de la base appartenant à l’espace de ce nœud On peut couper l’espace en deux au milieu par le plan médian, couper à la position de l’objet médian ou au hasard Cette structure permet la recherche. .. l’image et de localisation géographique dans quelques applications actuelles 2.1 Indexation multidimensionnelle Les techniques principales d’indexations multidimensionnelles visent à regrouper les descripteurs de base et à les englober dans des cellules faciles à manipuler (hiérarchie) [3] Cela nous permet d’éviter de considérer tous les descripteurs dans la base lors d’une recherche en considérant seulement... rectangle R On dit ds la distance maximale entre le centre du nœud père et les sphères englobantes de ses fils, et aussi dr la distance maximale entre le 28 centre du nœud père et les rectangles englobants de ses fils Le SS-tree détermine le rayon r par ds tandis que le SR-tree détermine le rayon r en choisissant le minimum entre ds et dr Alors, le rayon du SR-tree peut être plus petit que celui du SS-tree... considérant seulement les groupes ou les paquets les plus pertinents et enfin, on travaille seulement avec les descripteurs dans les paquets sélectionnés Il y a deux grandes catégories de techniques de création de cellules : partitionnement des données et partitionnement de l’espace 2.1.1 Partitionnement des données Les techniques de partitionnement de données créent des cellules en se basant sur la distribution... feuilles, le rectangle englobant est le rectangle minimum recouvrant les vecteurs de données appartenant à ce nœud Chaque nœud feuille contient au maximum M et au minimum m≤M/2 éléments de données Tous les nœuds, sauf la racine, qui ne sont pas des feuilles ont entre m et M nœuds fils ; le rectangle englobant de ces nœuds est le rectangle minimum qui englobe les rectangles englobants des nœuds fils Le. .. utilisée pour le système SnapToTell Le client est un téléphone portable intégrant un appareil photo et supportant les MMS La requête envoyée vers le serveur par le client peut être l’image de la scène ou le vecteur de description du contenu visuel de l’image (par exemple, un histogramme de couleurs) Le serveur SnapToTell reçoit l’image avec l’information de localisation géographique du téléphone mobile de... diamètre, et donc, permet de réduire la superposition des régions Un arbre SR-tree a les propriétés suivantes : • Les données sont au niveau des feuilles C'est-à-dire que le rectangle englobant et la sphère englobante d’un nœud feuille sont respectivement le rectangle minimal et 24 la sphère minimale recouvrant les vecteurs de données appartenant à ce nœud Chaque nœud feuille contient au maximum ML et au... données • Tous les nœuds qui ne sont pas les feuilles sauf la racine ont entre mN et MN nœuds fils ; le rectangle englobant et la sphère englobante de ces nœuds recouvrent respectivement les rectangles englobants et les sphères englobantes des nœuds fils • Le nœud racine a au moins deux fils sauf quand il est une feuille Le rectangle englobant et la sphère englobante du nœud racine recouvre tous les vecteurs