Ontologie d’événements vidéos pour un système automatique d’interprétation vidéo

Mémoire de fin d’études Ontologie d’événements vidéos pour un système automatique d’interprétation vidéo Réalisé par PHAM Le Son Sous la direction de Monique THONNAT Nicolas MAILLOT Sophia-Antipolis, Septembre 2004 Remerciements Je tiens remercier Monique Thonnat et Nicolas Maillot qui m’ont accueilli dans leur équipe et m’ont encadré pendant mon stage avec enthousiasme Je tiens remercier toutes les personnes de l’équipe ORION, particulièrement Thinh Vu Van, François Brémond, Florent Fusier, Julien Canet, Christophe Tornieri et Alberto Avanzi pour leurs aides et les discussions qui ont fait progresser mon travail Merci également Thanh Le Bach et Fabient Gandon de l’équipe ACACIA pour leurs conseils précis et les discussions intéressants que j’ai eu avec eux Enfin, je tiens remercier l’Institut de la Francophonie pour l’informatique – IFI qui m’a aidé effectuer mon stage de fin d’étude l’INRIA Sophia Antipolis Résumé Ce rapport traite du problème de la définition d’une ontologie d’événements vidéos utilisables par une plate-forme d’interprétation automatique de séquences vidéos Une grande difficulté dans la construction d’une telle otologie est qu'il n'y a pas encore une plateforme standard Pour résoudre ce problème, les ontologies sont formalisées dans le langage VERL (Video Event Representation Language) Au lieu d’utiliser XML pour représenter les ontologies comme l’auteur de VERL, nous avons transformé des expressions de VERL sur OWL (Web Ontology Language) Grâce cela, l'ontologie a un sémantique clair et peut être plus facilement partagée et réutilisée entre des communautés Nous avons créé également un outil graphique d'acquisition de connaissance, utilisant cette ontologie, pour aider les experts définir des événements d'intérêt dans des domaines d’application spécifiques A l’aide de l’ontologie d’événements vidéos, un expert peut créer, gérer et manipuler des événements complexes relatifs son domaine Cette 'outil est utilisé pour définir les événements vidéos dans l'application de la surveillance en agence bancaire Malgré des résultats prometteurs, il reste encore des problèmes non résolus, par exemple, comment enfoncer l'ontologie dans les moteurs d'inférence disponibles dans les cadres standard de représentation tels que SWRL (Semantic Web Rule Language) Mots clés Ontologie, événement vidéo, OWL, VERL, représentation de connaissances, acquisition de connaissances Abstract In the thesis, we propose an event ontology that can be used for an Automatic Video Interpretation system The main obstacle is that there is no standard framework for defining event ontologies To solve this issue, we first use the VERL (Video Event Representation Language) to describe the ontology as a formalization step Then, these concepts are transformed in OWL (Web Ontology Language), a standard language of ontology So, the ontology not only has a clear semantic but also can be shared and reused among communities easily We also introduce a graphical ontology-based knowledge acquisition tool which allows the domain experts to understand, manage and manipulate events of interest for video interpretation The tool is used to define video events in the banking monitoring application Despite of promising results, however, there are still open problems needed further researches, for example, how to embed the ontology in the inference engines available in standard representation frameworks such as SWRL (Semantic Web Rule Language) Key words ontology, video event, OWL, VERL, knowledge representation, knowledge acquisition Table des matières CHAPITRE 1: INTRODUCTION 1.1 Contexte du travail 1.2 VSIP : Un système automatique d'interprétation vidéo 1.3 Langage de Description de Scénarios de l’équipe ORION 1.4 Objectifs 10 1.5 Contenu du rapport 10 CHAPITRE II: ETAT DE L’ART 11 2.1 L'ontologie 11 2.1.1 La notion d’ontologie 11 2.1.2 Pourquoi construire des ontologies ? 11 2.1.3 Le processus de création d’une ontologie 12 2.1.4 Vue d'ensemble des langages d'ontologie 14 2.2 La représentation d’événements vidéos 16 2.2.1 Revue de la bibliographie de la représentation d’événements vidéos 16 2.2.2 VERL : Une langage de la représentation d’événements vidéos 17 2.3 Conclusion 18 CHAPITRE : ONTOLOGIE D’EVENEMENTS VIDEOS 19 3.1 Vue d’ensemble de la méthodologie 19 3.2 Conceptualisation du domaine 19 3.2.1 Des objets physiques 19 3.2.2 Relations spatiales 20 3.2.3 Etats et événements vidéo 21 3.2.4 Relations temporelle 21 3.3 Représentation des événements sur VERL 21 3.3.1 Définition hiérarchique des concepts 22 3.3.2 Représentation des états et événements sur VERL 22 3.4 L’implémentation de l’ontologie sur OWL 23 CHAPITRE : UN OUTIL D’ACQUISITION DE CONNAISSANCES 26 4.1 Structure de l’outil 26 4.2 Fonctionnalités de l’outil 26 4.3 Etude de cas : la représentation de l’événement de l’attaque en agence bancaire 27 4.4 Résultat obtenu 29 CHAPITRE 5: CONCLUSION & PERSPECTIVES 30 5.1 Conclusion 30 5.2 Perspectives 30 BIBLIOGRAPHIE 31 ANNEX : REPRESENTATION DE L’ONTOLOGIE SUR VERL 33 Table des figures Figure : Structure simplifiée d’une plate-forme d’interprétation vidéo Figure : Structure du système automatique d'interprétation vidéo VSIP Figure : Le cycle de vie d’une ontologie .12 Figure : Exemple de représentation XML 14 Figure : Exemple de représentation RDF 14 Figure : Représentation d’un graphe de triplets .15 Figure : Exemples d’objets physiques 20 Figure : Exemple des relations spatiales 20 Figure : L’arbre des objets physiques (a) et l’arbre des relations spatiales et temporelles (b) 26 Figure 10 : La fenêtre principale de l’outil 27 Figure 11 : Définition d’un objet physique 27 Figure 12 : Définition d’un composant 28 Figure 13 : Définition une contrainte 28 Figure 14 : Détection de l'événement de l’attaque en agence bancaire utilisant des scénarios définis par l’outil graphique 29 Figure 15 : L’événement vidéo attaque en agence bancaire obtenu grâce l’outil d’acquisition de connaissances 29 CHAPITRE 1: INTRODUCTION 1.1 Contexte du travail Depuis plusieurs années, une partie de l'équipe Orion de l'Inria Sophia-Antilolis concentre ses efforts sur la construction d’une plate-forme d'interprétation automatique de séquences vidéos pour la reconnaissance de comportements humains (ex situation de violence, attaque en agence bancaire) Une version simplifiée d’une plate-forme d'interprétation automatique de séquences vidéos est donnée dans la figure L’objectif de ce système est de reconnaître des événements vidéos définis priori partir d’un flux vidéo Flux vidéo Module vision Module de reconnaissance d’événements vidéos Evénements vidéos reconnus Figure : Structure simplifiée d’une plate-forme d’interprétation vidéo Lors de la construction d’une plate-forme d’interprétation vidéo, un des problèmes rencontré est celui de la représentation et de la définition d’événements vidéos d’intérêt Dans la plate-forme de l’équipe (VSIP), la définition d’événements vidéos se fait actuellement par le biais d’un langage de description qui n’est facile d’accès pour un non informaticien Pour faciliter ce processus d’acquisition de connaissances, l’équipe s’intéresse la construction d'ontologies pour représenter les concepts utiles pour la définition d’événements vidéos Il s’agit de construire une ontologie d'événements vidéos fournissant une base sémantique et un vocabulaire conceptuel consensuel utile pour définir des événements vidéos complexes Cette ontologie d'événements vidéos permet l'utilisateur de comprendre les termes employés pour décrire des événements vidéos sans être concerné par la problématique du traitement d'image De plus, l’ontologie d'événements vidéos facilite la communication entre les experts d’un domaine (ex experts de la sécurité en agence bancaire), et les développeurs de systèmes de interprétation automatique de séquences vidéos Une telle ontologie est également utile pour partager et réutiliser des modèles d’événements Enfin, cette ontologie d'événements vidéos est utile pour évaluer les systèmes d'interprétation automatique de séquences vidéos et pour comprendre quels types d'événements ces systèmes sont capable de reconnaître 1.2 VSIP : Un système automatique d'interprétation vidéo Nous avons introduit nos intérêts sur la construction d’une plate-forme d'interprétation automatique de séquences vidéos pour la reconnaissance de comportements humains Dans cette section, nous allons présenter notre système automatique d’interprétation vidéo VSIP, le système automatique d'interprétation vidéo de l’équipe ORION est décrit dans la figure Le système prend comme entrée les connaissances priori comprenant des événements vidéos d’intérêt prédéfinis par des experts, l'information géométrique 3D et la sémantique relative l’environnement En cours d’utilisation du système, le flux vidéo acquis par une camera constitue une entrée du système Le sortie du système est l'ensemble des événements vidéos identifiés (ex attaque en agence bancaire) Le module de reconnaissance de scénario est décrit dans [Vu et al 2003] Notre objectif est de proposer une ontologie d’événements vidéos ainsi qu’un outil d’acquisition de connaissances afin de faciliter la définition d’événements vidéos d’intérêt Les chapitres et de ce rapport présentent respectivement une ontologie d’événements vidéos et un outil d’acquisition de connaissances La connaissance priori Information géométrique et sémantique relative l’environnement Flux vidéo Evénements vidéos d’intérêt définis par des experts Module Module de Reconnaissance Evénements Vision d’événements vidéos Vidéos Reconnus Figure : Structure du système automatique d'interprétation vidéo VSIP 1.3 Langage de Description de Scénarios de l’équipe ORION Des événements vidéos sont représentes par le Langage de Description de Scénarios développé dans l’équipe ORION Il y a deux types principaux de concepts : les objets physiques observés dans la scène et les événements vidéos apparaissant dans la scène • Un objet physique peut être un objet statique (ex bureau) ou un objet mobile (ex personne, voiture) • Un événement vidéo peut être un état primitif, état composite, événement primitif ou événement composite Les états primitifs sont des atomes nécessaires pour la construction d’événements complexes utilisables par la plate-forme d’interprétation automatique de séquences vidéos de l’équipe ORION Un même événement peut être regardé différentes granularités spatiales et temporelles Par exemple, un homme courant dans un Marathon peut être vu comme un état (il court) ou comme événement composé La granularité choisie indique les propriétés d'intérêt pour l'utilisateur La syntaxe pour définir un état ou un événement se compose trois parties : PhysicalObjects: déclare les objets physiques concernant le concept Seulement les objets qui peuvent changer entre les occurrences de concept doivent être déclarés 10 Components: déclare tous les composants constituant l’événement vidéo Constraints: déclare toutes les relations entre les sub-concepts (objets physiques et composants) du concept L’exemple ci-dessous illustre la représentation de l’état Inside_zone dans le Langage de Description de Scénarios de l’ORION : PrimitiveState Inside_zone PhysicalObjects ((p : Person), (z : Zone)) Constraints (p in z) Un autre exemple, l’événement Changes_zone est définit en utilisant des états Inside_zone comme ses composants : PrimitiveEvent Changes_zone PhysicalObjects ((p : Person), (z1 : Zone), (z2 : Zone)) Components ((inside_z1 : PrimitiveState inside_zone(p, z1)) (inside_z2 : PrimitiveState inside_zone(p, z2)) Constraints (inside_z1 before inside_z2) 1.4 Objectifs Une de limitations de l’ontologie actuellement proposée par l’équipe Orion [Bremond at al., 2004] est que certains concepts (ex relations spatiales entre les objets physiques) ne sont pas définis formellement De plus, le langage de description de scénarios de l’équipe ORION n'est pas un langage standard de représentation de connaissances Notre objectif est de pouvoir partager l’ontologie d’événements vidéos C’est pourquoi l’objectif principal de ce stage est de représenter cette ontologie dans un langage standardisé Le but de ce stage de DEPA est d’améliorer le travail de l'équipe Orion sur l’ontologie d'événements vidéos: • Premièrement, il s’agit d’étendre et d’implémenter dans un langage standard l’ontologie d'événements vidéos existante • Deuxièmement, il s’agit de construire un outil graphique d'acquisition de connaissances basé sur l’ontologie d’événements vidéos afin de permettre des experts de comprendre, de contrôler et de manipuler des événements d'intérêt pour leurs domaines d’application 1.5 Contenu du rapport Ce rapport est organisé comme suit Le chapitre introduit une vue d’ensemble du domaine de l’ontologie ainsi que le problème de la représentation et la définition d’événements vidéos Une ontologie d’événements vidéos est proposée dans la chapitre Le chapitre présente un outil graphique d'acquisition de connaissances destiné aider les experts d’un domaine définir des événements d’intérêts Enfin, nous concluons et donnons des perspectives de travail dans le chapitre 21 3.2.3 Etats et événements vidéo Les différentes manières pour caractériser les évolutions et les interactions entre objets mobiles dans une scène sont des états et des événements (primitif et composé) Ces types de concepts sont définis ci-dessous Un état est une propriété spatio-temporelle valide un instant donné ou stable sur un intervalle de temps Faire attention que des objets physiques ont des propriétés ou des attributs ce qui contiennent aussi des relations avec des autres objets Les propriétés, les attributs et les relations peuvent être conçus comme des états, par exemple : un personne est l’intérieur ou l’extérieur d’une chambre Un état primitif est une propriété spatio-temporelle valide et stable sur un intervalle de temps Un état composé est une combinaison d’états Nous appelons composants tous les sous-états d’un l'état et nous appelons des contraintes toutes les relations concernant ces composants Un événement est un ou plusieurs changement(s) d'état deux instants successifs de temps ou sur un intervalle de temps (ex entre, sort) Un événement primitif est un changement d'état Un événement composé est une combinaison d’états et/ou d’événements Un même événement peut être regardé différentes granularités spatiales et temporelles Par exemple, un homme courant dans un Marathon peut être vu comme un état (il court) ou comme événement composé La granularité choisie indique les propriétés d'intérêt pour l'utilisateur 3.2.4 Relations temporelle Les relations temporelles sont employées pour la définition d’événements Les relations temporelles incluent des opérateurs d'algèbre d'intervalle d'Allen et des relations quantitatives entre la durée, le commencement et la fin des événements L'ontologie de DAML-Time est un langage riche de spécification pour l'expression dans une sémantique temporelle [Hobbs, 2002] a axiomatisée les relations topologiques entre des instants et des intervalles ainsi que des relations temporelles Les instants sont, intuitivement, un point de temps qui n'a aucun point d'intérieur, et les intervalles sont, intuitivement, des choses avec de l'ampleur Ceci signifie que des événements d’instant sont instantanés, comme l'occurrence d'un accident de voiture, et des événements d'intervalle sont des événements qui durent sur un certain intervalle, par exemple, une réunion de 2pm a 3pm Les relations temporelles auxquelles on s’intéresse pour représenter des événements vidéos sont : avant, après, pendant et rencontre 3.3 Représentation des événements sur VERL Comme cela été expliqué dans la section 2.1.3, grâce la formalisation, les définitions des concepts sont plus explicites et précises Dans cette session nous avons introduire la représentation des événements sur VERL langage 22 3.3.1 Définition hiérarchique des concepts Il y a trois types basiques dans le langage VERL Tout est une thing Il y a deux types de things Le type ent comprend des entités, et généralement peut être considéré comme des objets physiques Le type ev comprend des états et des événements La définition des sous-types de type ent et ev est effectuée par l’opérateur SUBTYPE de VERL Il prend deux arguments, le nom du sous-type et le nom du super-type : SUBTYPE(type, type) Grâce l’opérateur SUBTYPE on peut représenter la structure hiérarchique des objets physiques Par exemple, on dit que ent a le sous-type de l’objet physique qui a des sous-types l’objet mobile et l‘objet contextuel alors on peut écrire : SUBTYPE (physical objet, ent) SUBTYPE ( mobile object , physical objet) SUBTYPE ( contextuel object , physical objet) SUBTYPE ( human, mobile object) 3.3.2 Représentation des états et événements sur VERL L’opérateur PROCESS nous permet de définir des états et des événements Il prendre un prédicat et une expression de VERL comme ses deux arguments : defn > "PROCESS" "(" pred "(" [argspec {"," argspec}* ")" ["," vexpr] ")" argspec > [type] variable Le deuxième argument de PROCESS nous permet de déclarer des composants et des contraints pour la représentation d’un état ou d’un événement Par exemple, si on a un prédicat inside concernant une personne et une zone, alors on peut définir le prédicat inside_zone comme cidessous : PROCESS (inside_zone(Person p, Zone z), inside(p,z)) En se basans sur des prédicats primitifs on peut représenter des prédicats composites comme cidessus : PROCESS(changes_zone(Person : p, Zone : z1, Zone : z2), AND( at_interval(inside_zone(p, z1)), T1), at_interval(inside_zone(p, z2), T2), before(T1, T2))) Dedans nous utilisons des temporels prédicats at_interval et before que nous définissons comme des expressions dans VERL : vexpr vexpr at_interval "(" ev ", "interval " )" before "(" ev ", "ev " )" L’événement d’attaque en agence bancaire, un événement le plus complexe, est définit comme ci-dessus : PROCESS (attack(Person: com, Person: arg, Zone : Infront_Branch, Zone: Infornt_Branch, Zone, Zone: Entrance, Zone: Safe) AND(at_interval(inside_zone(com, Back_Branch), T1), 23 At_interval(changes_zone(arg, Infront_Branch, Entrance_Zone), T2), At_interval(inside_zone(com, Safe), T3), At_interval(inside_zone(arg, Safe), T4), before(T1, T3), before (T2, T3), during(T3, T4))) 3.4 L’implémentation de l’ontologie sur OWL Dans cette session nous introduisons la transformation des expressions dans le langage VERL dans la session précédant en des expressions dans le langage OWL Nous utilisons un model de OWL FULL qui est étendu de OWL DL pour représenter des événements vidéos Une ontologie de OWL dans la syntaxe abstraite contient un ordre des axiomes et des faits Les axiomes peuvent être de diverses sortes, par exemple, axiomes de sous-classe Nous étendons des axiomes pour permettre également la définition des événements, en ajoutant des axiomes « PROCESS » et « Variable » Les axiomes variables sont des déclarations au sujet des variables, indiquant que l'URI donné doit être employé comme variable, et ajoutant optionnellement types des variables : content : [variableType] Par exemple : déclare que l'URI p qui a le type de Person doit être traité comme variable PROCESS peut être considéré comme implication logique entre un prédicat (orion:predication) et une condition (orion:condition): content: (prédication, condition) Un prédicat est une déclaration d’un événement/état qui se compose nom de l’événement/l’état et une liste des arguments correspondants : content : (ArgumentList) Par exemple : 24 Une condition est une expression dans VERL qui est considérée comme le deuxième argument de l’opérateur PROCESS On peut le diviser en deux parties Une partie déclare tous les sous événements constituant l’événement déclaré dans la partie prédicat, cette partie est optionnelle et on ne l’utilise pas en car l’événement déclaré dans la partie prédicat est primitive Une autre partie déclare toutes les relations entre des sub-concepts déclarés (variables et sous événements) content : (components, contraints) Component est une liste des événements : content : (EventList) « Contraints » et une liste des contraints atomiques Une contrainte atomique peut être un prédicat binaire, une contrainte de fonction ou un contraint de propriété Par exemple : est une contrainte atomique de prédicat binaire Un autre exemple de contraint atomique de fonction est : 4 Maintenant, un complexe prédicat, l’événement Changes_zone est représenté comme cidessous : 25 26 CHAPITRE : UN OUTIL D’ ACQUISITION DE CONNAISSANCES Une ontologie d’événements vidéos a été présentée dans le chapitre Dans ce chapitre nous allons introduire un outil graphique d'acquisition de connaissances destiné aider les experts définir des événements d’intérêts Cet outil utilise l’ontologie décrite dans le chapitre afin de guider le processus d’acquisition de connaissances 4.1 Structure de l’outil L’ontologie d’événements est utilisée par l’outil et fournit un vocabulaire pour guider l'expert dans la description des événements vidéos de son domaine Les autres composants de l’outil se composent : • Jena API Nous utilisons l’API Jena pour manipuler l’ontologie OWL L’API Jena fournit l’interface du niveau basique pour des fichiers RDF, RDFS et OWL Elle est une logicielle libre développée par le laboratoire de recherche de HP Bristol Jena offre un ensemble des parseurs et de moteurs de requête, sous forme de classes de Java • Des événements d’intérêt représentés par la Langage de Description de Scénarios de l’équipe ORION sont les sorties du processus d’acquisition de connaissances 4.2 Fonctionnalités de l’outil Les objets physiques ainsi que les relations sont prédéfinies et représentées par des arbres (figure 11) Grâce l’interface graphique, l’utilisateur peut définir des événements spécifiques d'une manière intuitive sans avoir se soucier de la syntaxe du langage de description (a) (b) Figure : L’arbre des objets physiques (a) et l’arbre des relations spatiales et temporelles (b) 27 Figure 10 : La fenêtre principale de l’outil L'outil facilite la description d’événements L’utilisateur peut décrire des événements complexes basés sur des événements plus simples qui ont été définis auparavant La définition d’un événement vidéo se réalise en plusieurs étapes: • Définition des objets physiques dans la scène • Définition des composants, c’est dire des sous événements • Représentation des contraintes entre les objets physiques et les événements La partie suivante donne un exemple concret du processus de définition de l’événement complexe de l’attaque en agence bancaire (figure 12) 4.3 Etude de cas : la représentation de l’événement de l’attaque en agence bancaire La représentation de l’événement de l’attaque en agence bancaire commence par la définition des objets physiques d’intérêt dans la scène (figure 13) Figure 11 : Définition d’un objet physique 28 Ensuite, partir des objets physiques et des événements (ou états) définis auparavant, on ajoute des composants (sous-états et des sous-événements) (figure 14) Figure 12 : Définition d’un composant Pour faciliter la définition de contraintes dans les événements, nous distinguons plusieurs types de contraintes (figure 15) Par exemple, certaines contraintes sont exprimées sous la forme de relations binaires entre deux concepts (objet ou événement) : événement A avant événement B D’autres contraintes peuvent être exprimées comme un contraint fonctionnel: le nombre d’occurrences d’un événement est Figure 13 : Définition une contrainte 29 4.4 Résultat obtenu Nous avons utilisé l'outil pour définir 20 états/événements primitifs et 18 événements composés pour la sécurité en agence bancaire Ces événements ont été validés dans le système VSIP (section 1.2) comme les entrée du module de reconnaissances d’événements La figure 16 illustre la détection de l'événement de l’attaque en agence bancaire Figure 14 : Détection de l'événement de l’attaque en agence bancaire utilisant des scénarios définis par l’outil graphique L’événement complexe généré par l’outil est donné en figure 17 L’outil d’acquisition de connaissances évite l’utilisateur de maîtriser un langage informatique complexe CompositeEvent( Bank_Attack, PhysicalObjects( (com : Person), (agr : Person) ) Components( (com_at_pos : PrimitiveState inside_zone(com, "Back_Branch")) (agr_enters : PrimitiveEvent changes_zone(agr, "Infront_Branch", "Entrance_zone")) (com_at_safe : PrimitiveState inside_zone(com, "Safe")) (agr_at_safe : PrimitiveState inside_zone(agr, "Safe")) ) Constraints( (com_at_pos before com_at_safe) (agr_enters before agr_at_safe) (agr_at_safe during com_at_safe) ) Figure 15 : L’événement vidéo attaque en agence bancaire obtenu grâce l’outil d’acquisition de connaissances 30 CHAPITRE 5: CONCLUSION & PERSPECTIVES 5.1 Conclusion Nous avons introduit une méthode de définition des ontologies d’événements vidéos utilisable par une plate-forme d’interprétation automatique de séquences vidéos Une grande difficulté dans la construction d’une telle otologie est qu'il n'y a pas encore une plateforme standard Pour résoudre ce problème, les ontologies sont formalisées dans le langage VERL (Video Event Representation Language) Au lieu d’utiliser XML pour représenter les ontologies comme l’auteur de VERL, nous avons transformé des expressions de VERL sur OWL FULL Grâce cela, l'ontologie a un sémantique clair et peut être plus facilement partagée et réutilisée entre des communautés Nous avons créé également un outil graphique d'acquisition de connaissance, utilisant cette ontologie, pour aider les experts définir des événements d'intérêt dans des domaines d’application spécifiques A l’aide de l’ontologie d’événements vidéos, un expert peut créer, gérer et manipuler des événements complexes relatifs son domaine Cette 'outil est utilisé pour définir les événements vidéos dans l'application de la surveillance en agence bancaire 5.2 Perspectives Premièrement, nous voulons utiliser cet outil pour définir des événements vidéos dans des autres applications (sécurité dans des stations de métro ou dans un aéroport) Deuxièmement, nous sommes intéressés par l’utilisation des techniques de raisonnement basées sur l’ontologie d’événements : • Le raisonnement permet de vérifier la cohérence de la connaissance acquise • De plus, Le raisonnement basé sur l’ontologie peut être utile pour découvrir des relations implicites Comme nous employons OWL FULL c’est difficile attacher des motteux d’inférences disponibles dans la communauté de l’ontologie Cependant, au moins on peut utiliser une partie de l’ontologie ce qui est OWL DL pour effectuer quelques opérations de résonnement Une possibilité pour améliorer l’interaction entre l’outil et l’utilisateur est la combinaison avec le module de reconnaissance d’événements Par exemple, quand l’utilisateur veut définir un nouvel événement, il lance le module de reconnaissance qui retourne les événements détectés Cela aide l’utilisateur a définir de nouveaux scénarios Finalement, nous envisageons également de relier l'outil d'acquisition de connaissances avec un autre outil de notre équipe Ce dernier permet la génération d’animations 3D partir de modèles de scénario [Bannour et al., 2004] Cet élément supplémentaire serait utile pour aider les experts valider la définition de nouveaux événements 31 BIBLIOGRAPHIE [Allen, 1984] James F Allen Towards a general theory of action and time Artificial Intelligence, 23:123154, 1984 [Bannour et al., 2004] Jihene Bannour, Benoit Georis, Francois Bremond and Monique Thonnat Generation of 3D animations from scenario models The 4th IASTED International Conference on Visualization, Imaging, and Image, Marbella, Spain, 2004, accepted for publication [Bremond et al., 2004] Francois Bremond, Nicolas Maillot, Monique Thonnat, Van-Thinh Vu Ontologies For Video Events Technical Report No 5189, INRIA Sophia-Antipolis, France, 2004 [Chandrasekaran, et al., 1999] B Chandrasekaran, et al What Are Ontologies, and Why Do We Need Them? IEEE Intelligent Systems and Their Applications, vol 14, no 1, pp 20-26, 1999 [Chein et Mugnier, 1992] M Chein, M L Mugnier Conceptual Graphs: Fundamental Notions Revue d’Intelligence Artificielle, vol 6, n 4, p 365-406, 1992 [Decker et al., 2000] Stefan Decker, Prasenjit Mitra, Sergey Melnik (2000) Framework for the Semantic Web: An RDF Tutorial IEEE Internet Computing, Pages: 68 - 73 Volume , Issue (November 2000) [Gandon, 2002] Fabien Gandon Ontology Engineering: a survey and a return on experience Research Report of INRIA, RR4396, France - 2002 [Grube, 1993] T R Gruber A translation approach to portable ontologies Knowledge Acquisition, 5, 199-220., 1993 [Heflin, 2004] Jeff Heflin OWL Web Ontology Language Use Cases and Requirements, http://www.w3.org/TR/webont-req/ [Hobbs, 2002] Hobbs, J R A DAML Ontology of Time http://www.cs.rochester.edu/~ferguson/daml/daml-time-nov2002.txt [Horrocks et al., 2000] Horrocks, I., Fensel, D., Broekstra, J., Decker, S., Erdmann, M., Goble, C., van Harmelen, F., Klein, M., Staab, S., Studer, R., and Motta, E OIL: The Ontology Inference Layer Technical Report IR-479, Vrije Universiteit Amsterdam, Faculty of Sciences http://www.ontoknowledge.org/oil/ [Kifer et al., 1995] Kifer M., Lausen G et Wu J Logical Foundations of Objetc-Oriented and FrameBased Languages Journal of the ACM, 1995 [Klein, 2004] Michel Klein Change Management for Distributed Ontologies PhdThesis Vrije Universiteit Amsterdam, http://www.cs.vu.nl/~mcaklein/thesis/ [Lopez et al., 2000] Lopez, M., Gomez-Perez, A., Rojas-Amaya, M Ontology's crossed life cycle The 12th International Conference on Knowledge Engineering and Knowledge Management, EKAW2000 [Mezaris et al., 2004] V.Mezaris, I.Kompatsiaris, and M.G.Strintzis A knowledge-based approach to domain-specific compressed video analysis IEEE International Conference on Image Processing (ICIP 2004) [McGuinness et Harmelen, 2004] Deborah L McGuinness and Frank van Harmelen Owl Web Ontology Language Overview http://www.w3.org/TR/owl-features/, 2004 [Moller et al., 1999] Moller, R., B Neumann, et al Towards computer vision with description logics: some recent progress Integration of Speech and Image Understanding, 1999 [Nagel, 1988] Nagel, H H From image sequences towards conceptual descriptions Image and Vision Computing, 6(2):59-74, 1988 [Nevatia et al., 2003] Ram Nevatia, Tao Zhao, Somboon Hongeng Hierarchical Language-based Representation of Events in Video Streams Conference on Computer Vision and Pattern Recognition Workshop, Volume 4, 2003 32 [Nevatia et al., 2004] R Nevatia, J Hobbs, B Bolles An Ontology for Video Event Representation IEEE Workshop on Event Detection and Recognition, June 2004 [Noy et Hafner, 1997] Natalya Fridman Noy and Carole D Hafner The State of the Art in ontology Design: A survey and Comparative Review AI Magazine, 18(3): 53-74 (Fall 1997) [Noy et McGuinness, 2001] N Fridman Noy and D McGuinness Ontology Development 101: A Guide to Creating Your First Ontology 2001 http://www.ksl.stanford.edu/people/dlm/papers/ontology101/ontology101-noy-mcguinness.html [Nardi et Brachman, 2002] D Nardi, R J Brachman An Introduction to Description Logics Description Logic Handbook, Cambridge University Press, 2002, pages 5-44 [Pan et Hobbs, 2004] Feng Pan and Jerry R Hobbs Time in OWL-S 2004 AAAI Spring Symposium [Roche, 2003] C Roche Ontology : a Survey The 8th Symposium on Automated Systems Based on Human Skill and Knowledge IFAC September 22-24, 2003 , Goteborg , Sweden [Uschold et Jasper, 1999] Mike Uschold and Robert Jasper A Framework for Understanding and Classifying Ontology Applications KRR5-99, Stockholm, Sweden, 1999 [Vu et al., 2003] Van-Thinh Vu, Francois Bremond and Monique Thonnat Automatic Video Interpretation: A Novel Algorithm for Temporal Scenario Recognition, Proc 18th International Joint Conference on Artificial Intelligence (IJCAI'03), Acapulco, Mexico, 9-15 August 2003 33 ANNEX : REPRESENTATION DE L’ONTOLOGIE SUR VERL PROCESS (close_to (po: x, po: y), near(x, y)) PROCESS (close_to_wall(Person : p, Wall : w), near(p, w)) PROCESS (close_to_eq(Person : p, Equipment : eq), near(p, eq)) PROCESS (close_to_person(Person : p, Wall : w), near(p, w)) PROCESS (close_to_v(Vehicle: v, Equipment: eq), (near(v, eq)) PROCESS (far_from(po: x, po: y), NOT(near(x,y))) PROCESS (far_from_eq(Person: p, Equipment: eq), NOT(near(p, eq))) PROCESS (far_from_person(Person: p1, Person: p2), NOT(near(p1, p2))) PROCESS (inside_zone(Person: p, Zone: z), inside(p,z)) PROCESS (outside_zone(Person : p, Zone : z), NOT(inside(p,z))) PROCESS (moves_close_to(Person : p, Equipment : eq), AND( at_interval(far_from(p, eq), T1), at_interval(close_to(p, eq), T2) before(T1, T2))) PROCESS (moves_close_to_person(Person : p1, Person : p2), AND( at_interval(far_from(p1, p2), T1), at_interval(close_to(p1, p2), T2) sequence(T1, T2))) PROCESS(stay_at_wall( Person: p, Wall: w), AND(at_interval(close_to_wall(p, w), T), (T >= seconds ))) PROCESS(meets_person(Person : p1, Person : p2), AND(at_interval(close_to_person(p1, p2), T), (T >= seconds ))) PROCESS(stay_far_from( Person: p, Eqipment: eq), AND(at_interval(far_from_eq(p, eq), T), (T >= seconds ))) 34 PROCESS(moves_away_from( Person: p, Eqipment: eq), AND(at_interval(close_to_eq(p1, eq), T1), (at_interval(far_from_eq(p, eq), T2), (before(T1, T2))) PROCESS(moves_away_from_person( Person: p1, Person: p2), AND(at_interval(close_to_person(p1, p2), T1), (at_interval(far_from_person(p, eq), T2), (before(T1, T2))) PROCESS(stay_inside_zone (Person :p, Zone : z), AND(at_interval(inside_zone(p,z), T), (T >= seconds ))) PROCESS(stay_outside_zone (Person :p, Zone : z), AND(at_interval(outside_zone(p,z), T), (T >= seconds ))) PROCESS(enters_zone(Person : p, Zone : z), AND(at_interval(outside_zone(p,z), T1), At_interval(inside_zone(p, z), T2), before(T1, T2))) PROCESS(leaves_zones(Person : p, Zone : z), AND(at_interval(outside_zone(p,z), T1), At_interval(inside_zone(p, z), T2), before(T2, T1))) PROCESS(changes_zone(Person : p, Zone : z1, Zone : z2), AND( at_interval(inside_zone(p, z1), T1), At_interval(inside_zone(p, z2), T2), before(T1, T2))) 35 PROCESS (attack(Person: com, Person: arg, Zone : Infront_Branch), Zone: Infornt_Branch, Zone, Zone: Entrance, Zone: Safe) AND(at_interval(inside_zone(com, Back_Branch), T1), At_interval(changes_zone(arg, Infront_Branch, Entrance_Zone), T2), At_interval(inside_zone(com, Safe), T3), At_interval(inside_zone(arg, Safe), T4), before(T1, T3), before (T2, T3), during(T3, T4))) PROCESS (Attach2Robber (Person: com, Person: arg, Zone : Infront_Branch), Zone: Infornt_Branch, Zone, Zone: Entrance, Zone: Safe) AND(at_interval(inside_zone(com, Back_Branch), T1), At_interval(changes_zone(arg, Infront_Branch, Entrance_Zone), T2), At_interval(inside_zone(com, Safe), T3), At_interval(inside_zone(arg, Safe), T4), At_interval(inside_zone(arg, Safe), T4), before(T1, T3), before (T2, T3), during(T3, T4) [...]... objectif est de faciliter la définition d’événements vidéos par l’utilisation d’une ontologie d’événements vidéos L’état de l’art proposé dans ce chapitre est structuré en deux parties Une introduction au domaine de l ontologie est d’abord proposée Ensuite, nous donnons un aperçu des approches existantes dans le domaine de la représentation d’événements vidéos 2.1 L 'ontologie Durant la dernière décennie,... expressions de RDF Une ressource peut varier d’une page entière de Web à un élément d un document XML Une propriété est un aspect, une caractéristique, un attribut, ou une relation spécifique employée pour décrire une ressource La notion de literal est employée pour identifier des valeurs telles que des nombres et des dates au moyen d'une représentation lexicographique Un statement se compose d'une ressource... d’ontologies d’événements vidéos reste un problème ouvert de recherche 19 CHAPITRE 3 : ONTOLOGIE D’EVENEMENTS VIDEOS 3.1 Vue d’ensemble de la méthodologie Ce chapitre détaille une ontologie d’événements vidéos Dans notre cas, la représentation des objets physiques de la scène observée et les événements vidéos apparaissant dans la scène est le domaine de l ontologie Notre objectif est de représenter cette ontologie. .. L’événement vidéo attaque en agence bancaire obtenu grâce à l’outil d’acquisition de connaissances 30 CHAPITRE 5: CONCLUSION & PERSPECTIVES 5.1 Conclusion Nous avons introduit une méthode de définition des ontologies d’événements vidéos utilisable par une plate-forme d’interprétation automatique de séquences vidéos Une grande difficulté dans la construction d’une telle otologie est qu'il n'y a pas encore une... ainsi que d’une propriété plus la valeur de cette propriété pour cette ressource Chaque statement est représenté par un triplet qui est se compose d 'un sujet (une ressource), d 'un attribut (une propriété) et d 'un objet (ressource ou un literal) Un ensemble de tels triplets s'appelle un graphe de RDF La figure 5 représente l’exemple précédant sous la forme d un graphe de triplets Comme XML, un modèle... l'interprétation de l ontologie [Uschold et Jasper, 1999] ont proposé quatre niveaux de formalismes d’une ontologie, du haut niveau informel au niveau formel rigoureux Le niveau du formalisme d’une ontologie est choisi selon les besoins et selon le langage d’implémentation de l ontologie Par exemple, si l ontologie est un framework pour la communication entre des personnes alors la représentation d’une ontologie. .. avons créé également un outil graphique d'acquisition de connaissance, utilisant cette ontologie, pour aider les experts à définir des événements d'intérêt dans des domaines d’application spécifiques A l’aide de l ontologie d’événements vidéos, un expert peut créer, gérer et manipuler des événements complexes relatifs à son domaine Cette 'outil est utilisé pour définir les événements vidéos dans l'application... utilisateurs qui veulent une expressivité maximale et la liberté syntaxique de RDF mais sans garanties dans la complexité des raisonnements 2.2 La représentation d’événements vidéos 2.2.1 Revue de la bibliographie de la représentation d’événements vidéos Dans la communauté de la vision par ordinateur, il a y eu beaucoup de recherches destinées à définir et à représenter des événements vidéos Par exemple,... Concernant les ontologies d'événements vidéos, peu de travaux ont été menés En 2003, l'objectif de trois workshops organisés dans le contexte du programme ARDA (**) était de proposer une ontologie d'événement vidéo pour le domaine de la sécurité Pendant ces workshops, des chercheurs venus de la communauté de la vision par ordinateur et de l'administration américaine ont travaillé ensemble pour proposer une structure... l'analyse formelle des termes est extrêmement importante pour la réutilisation ou de l’extension d’ontologies existantes 2.1.3 Le processus de création d’une ontologie Le processus de création d’une ontologie doit être considéré comme un projet Les méthodes de gestion de projet peuvent donc s'appliquer [ Gandon, 2002 ] Un cycle de vie d’une ontologie est proposé dans [Lopez et al, 2000] Trois types