Luận văn thạc sĩ VNU reconnaissance multimodale de gestes de communication non verbale

Institut de la Francophonie pour l’Informatique Institut National Polytechnique de Grenoble Laboratoire des Images et des Signaux MÉMOIRE DE FIN D’ÉTUDES Reconnaissance multimodale de gestes de communication non verbale Présenté par Hong-Viet LUONG Promotion X – IFI Sous la direction de : Alice CAPLIER Alexandre BENT Novembre 2006 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Remerciements Je voudrais exprimer ma profonde reconnaissance mon responsable de stage Mme Alice CAPLIER, qui a dirigé mon travail, ses conseils et ses commentaires précieux m'ont permis de surmonter mes difficultés et de progresser au cours de mon stage Je tiens également remercier Monsieur Alexandre Bent, doctorant de l’INPG, de m'avoir encadré et pour m'avoir aidé chaleureusement tout au long de mon séjour au laboratoire LIS Merci tous les membres de l’IFI, tous mes professeurs, de m’avoir enseigné et mes camarades de la promotion X pour leur aide tout au long de mes études l’IFI Enfin, je voudrais adresser un grand merci ma famille, qui m’a soutenue durant mon stage Mémoire de fin d’études de LUONG Hong-Viet Promotion X LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Résumé La communication non verbale est une partie importante dans la communication humaine et sera également importante dans la communication homme-machine Elle se compose des expressions du visage, des mouvements faciaux, du mouvement de la tête, de la direction du regard, etc Ce stage a pour but d’étudier la robustesse d’une méthode d’analyse des mouvements globaux de la tête et de mouvements faciaux inspirée d’une approche biologique Dans la deuxième partie, on va étudier les performances d’un système de reconnaissance d’expressions faciales basant sur le Modèle de Croyance Transférable Ces deux applications ont été utilisées lors de projets développés lors du Workshop eNTERFACE 2006 Mots clés : Filtre rétine, transformation log - polaire, théorie de l’évidence, Modèle de Croyance Transférable Mémoire de fin d’études de LUONG Hong-Viet Promotion X LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Abstract The nonverbal communication is an important part in the human communication and will be also important in the human-machine communication It is composed of the expressions of the face, the facial movements, the movement of the head, the gaze direction, etc This internship is to study the robustness of method of analysis of the global movements of the head and facial movements inspired of a biological approach In the second part, we will study the performance of the system of recognition of the facial expressions based on the Transferable Belief Model These two applications were used for the project development at the Workshop eNTERFACE 2006 Keywords: Retina filter, log-polar transformation, evidence theory, Transferable Belief Model Mémoire de fin d’études de LUONG Hong-Viet Promotion X LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Table de matières Chapitre Introduction 1.1 Problématique 1.2 Objectif de stage 1.3 Environnement de stage .9 1.4 Organisation de mémoire Chapitre Analyse des mouvements de tête et mouvements faciaux par un algorithme inspiration biologique 11 2.1 Description de l’algorithme .11 2.1.1 Le pré filtrage 12 2.1.2 La transformation log polaire 13 2.2 Détection d’événements 14 2.2.1 Principe 14 2.2.2 Tests effectués 15 2.2.3 Résultats obtenus .16 2.2.4 Analyse 18 2.3 Détection de l’état ouvert ou fermé de la bouche et des yeux 18 2.3.1 Principe 18 2.3.2 Tests effectués 20 2.3.3 Résultats obtenus .21 2.4 Détection de l’orientation de mouvement de tête 22 2.4.1 Principe 22 2.4.2 Tests effectués 23 2.4.3 Résultats obtenus .23 2.5 Localisation de l’œil 23 2.5.1 Principe 23 2.5.2 Tests effectués 25 2.5.3 Résultats obtenus .25 Chapitre Reconnaissance d’expressions faciales 27 3.1 Système de reconnaissance d’expressions faciales existant 27 3.2 Segmentation des traits du visage 28 3.3 Extraction de données caractéristiques 29 3.4 Classification par le Modèle de Croyance Transférable 29 3.4.1 Modèle de Croyance Transférable .30 3.4.2 Fusion de données 31 3.4.3 Posttraitement 32 3.5 Contribution pour le système de reconnaissance d’expressions faciales 33 3.5.1 Détection de contours et suivi de point 33 3.5.2 Calcul et filtrage de distances 37 3.5.3 Implémentation 39 3.6 Résultats 39 Chapitre Workshop eNTERFACE 2006 44 4.1 Présentation de Workshops eNTERFACE 44 4.2 Projet de détection d’émotion (projet 7) 44 4.3 Conclusions et perspectives sur projet .46 Chapitre Conclusions et perspectives .47 Mémoire de fin d’études de LUONG Hong-Viet Promotion X LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Liste des figures Figure 2-1 Schéma de l’algorithme de détection de mouvement 11 Figure 2-2 Fonction de transfert spatio-temporel [2] .13 Figure 2-3 Transformation log polaire [1] 13 Figure 2-4 Evolution temporelle de l’énergie totale et de l’énergie maximale [1] 14 Figure 2-5 Exemple d’un oubli et une fausse alarme 15 Figure 2-6 Evolution de α, chaque pic correspond un mouvement 16 Figure 2-7 Un mouvement long est détecté comme une suite d’alertes plus courtes 17 Figure 2-8 Spectre log polaire et orientations de la sortie du filtre IPL contours mobiles pour différents mouvement d’œil : clignement et changement de direction de regard 19 Figure 2-9 Évolution d’énergie totale de OPL de l’oeil et de la bouche 19 Figure 2-10 Évolution de l’énergie OPL lors de mouvement de bouche 20 Figure 2-11 Mouvement rigide de la tête a- translation verticale, b- rotation verticale, c – rotation latérale, d- rotation oblique 22 Figure 2-12 L’oeil est localisé dans un quart de bte englobante de visage détecté 24 Figure 2-13 Sortie du filtre OPL dans la zone de recherche 25 Figure 3-1 Les étapes dans le processus de reconnaissance des expressions faciales .28 Figure 3-2 Extraction des contours et définition des distances 29 Figure 3-3 Les seuils pour chaque distance .31 Figure 3-4 gauche: les traits sont bien détectés et droite (dégoût) les sourcils ne sont pas bien détectés) .34 Figure 3-5 Les points de suivi 35 Figure 3-6 Les contours de la segmentation automatique : avant et après la mise en œuvre de l’algorithme de suivi 36 Figure 3-7 Dans le cas de fermeture des yeux, il y a des erreurs .36 Figure 3-8 Les fausses détections dans le cas de sujets sont trop expressives 37 Figure 3-9 L’évolution de distance par rapport distance neutre 38 Figure 3-10 L’évolution filtrée 38 Figure 3-11 Quelques illustrations de l’expression Joie L’image gauche correspond l’état Neutre, droite l’état Joie À côté de chaque image, l’indicateur montre la masse d’évidence 40 Figure 3-12 Quelques illustrations de l’expression Dégoût L’image gauche correspond l’état Neutre, droite l’état Dégoût À côté de chaque image, l’indicateur montre la masse d’évidence La barre grise montre une autre possibilité, mais avec une masse d’évidence plus faible 41 Figure 3-13 Quelques illustrations de l’expression Surprise L’image gauche correspond l’état Neutre, droite l’état Surprise À côté de chaque image, l’indicateur montre la masse d’évidence 42 Figure 4-1 L’enregistrement de vidéo et fNIRS 45 Figure 4-2 Résultat de la segmentation automatique .45 Mémoire de fin d’études de LUONG Hong-Viet Promotion X LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Liste des tableaux Table 2-1 Le résultat de détection d’événements 16 Table 2-2 Les résultats de détection d’événement de vidéo sans bruit et avec bruit 18 Table 2-3 Résultat sur la détection de l’état de bouche .21 Table 2-4 Résultats de détection de l’état de l’œil 21 Table 2-5 Résultats de détection de bâillement 22 Table 2-6 Résultat de détection de direction de mouvement 23 Table 2-7 Résultats de la localisation de l’œil 25 Table 3-1 Tableau de définition de distances 29 Table 3-2 États symboliques associés chaque expression .30 Table 3-3 Règle logique des états symboliques pour distance caractéristique D1 31 Table 3-4 Résultat de reconnaissance des expressions faciales sur la base HCE 43 Mémoire de fin d’études de LUONG Hong-Viet Promotion X LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Chapitre Introduction "La communication non verbale est le fait d'envoyer et de recevoir des messages sans passer par la parole mais au moyen des expressions du visage, des postures, des gestes, de bruits divers Les choix vestimentaires, la coiffure, la position du corps, le maquillage, les mimiques sont tous des éléments de communication non verbale." Martin Winckler[19] 1.1 Problématique L'analyse et l'interprétation des "mouvements humains " sont une des thématiques du laboratoire des Images et des Signaux Ce thème de recherche est relatif l’analyse et l’interprétation de mouvement humain sur la base de vidéos En fait, le langage du corps (gestes, expressions, attitudes, postures…) est une partie importante dans la communication en face face Nous nous intéressons l’identification et la reconnaissance de l’action d’une partie de corps (par exemple : la reconnaissance de gestes, la reconnaissance des expressions faciales, reconnaissance de mouvement de la tête, etc.) La reconnaissance des expressions faciales s'appuie sur l'analyse de déformations des traits permanents du visage Les mouvements de la tête (hochements …) et des traits mobiles du visage (clignements, bâillement…) sont aussi des informations intéressantes 1.2 Objectif de stage Une méthode que LIS a développée est d'analyser les déformations des traits du visage tels que la bouche, les yeux et les sourcils Pourtant, la partie de segmentation automatique de traits du visage n’est pas encore réalisée Par ailleurs, le laboratoire LIS a développé une méthode d'analyse des mouvements rigides et non rigides de la tête L’objectif de ce stage est d’étudier les performances de ces méthodes et de compléter la partie sur la reconnaissance automatique d’expressions faciales Mémoire de fin d’études de LUONG Hong-Viet Promotion X LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale 1.3 Environnement de stage Mon stage s’est déroulé au laboratoire LIS (Laboratoire des Images et Signaux) pendant six mois Le LIS est une Unité Mixte de Recherche relevant conjointement du Centre National de la Recherche scientifique (CNRS), de l'Institut National Polytechnique de Grenoble (INPG) et de l'Université Joseph Fourier Le LIS est un laboratoire récent, créé en 1998 par la fusion du CEPHAG et du TIRF En 2007, LIS fera parti d’un futur regroupement : GIPSA (Grenoble Image Parole Signal Automatique), un nouveau laboratoire créé avec l'Institut de la Communication Parlée (ICP) et le Laboratoire d'Automatique de Grenoble (LAG) Cette nouvelle configuration opèrera un renforcement des thèmes forts en signal, images et communication, ainsi que des collaborations sur la perception, la multi modalité et le diagnostic La politique scientifique de LIS est autour des problématiques associées au traitement et l'interprétation des signaux et des images dans le monde très évolutif des sciences de l'information L'activité scientifique du laboratoire est ciblée sur le traitement et l'interprétation des signaux et des images avec deux grands domaines d'application vers la géophysique et les communications La dynamique de la recherche est supportée par l'activité de cinq équipes : • Groupe Objets, Traitement et Analyse • Non Linéaire • Signaux, Images, Communication • Signaux et Images dans les milieux Naturels • Circuits et Architectures 1.4 Organisation de mémoire La première partie de ce rapport présente les tests sur les méthodes d’analyse de mouvement de tête et mouvements faciaux Les algorithmes de détection de mouvement de la tête, de détection de l’état de l’œil, de localisation de l’œil sont décrits dans le deuxième chapitre Dans le troisième chapitre, le système de reconnaissance d’expressions faciales est présenté Puis, je décris le travail réalisé ainsi que les solutions proposées afin d’améliorer ce système Enfin, je présente les résultats obtenus et quelques comparaisons avec le système de Hammal Mémoire de fin d’études de LUONG Hong-Viet Promotion X LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale L’intégration de mon travail lors d’un projet portant sur l’analyse multimodale des émotions au cours du workshop eNTERFACE 2006 est présentée par la même occasion dans le chapitre Finalement, le chapitre donne quelques conclusions et perspectives du travail Mémoire de fin d’études de LUONG Hong-Viet Promotion X 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale ε (δ x, δ y ) = ∑ [ I t ( x + δ x, y + δ y ) − I t +1 ( x, y )] w( x) x∈Z Avec w(x) est la fonction de poids Normalement, w(x) est égal 1, mais pour donner plus d’importance au point central, on peut choisir une forme gaussienne ou sinusoïdale Les points de suivi choisis d’ici sont les coins des yeux, et des sourcils Figure 3-5 Les points de suivi Généralement, l’algorithme de suivi nous donne des points corrects d’image en image Néanmoins, après quelques images, l’erreur sera cumulée de temps en temps Une combinaison entre l’algorithme de suivi et l’algorithme d’extraction de contours statique est mise en œuvre Un algorithme suivant est mis en œuvre : Si Différence entre point suivi et point détecté > *Seuil Prendre le point suivi Si non Si Différence>Seuil Prendre le moyen de point suivi et point détecté Si non Prendre le point détecté fin fin Le seuil Seuil pour l’œil et le sourcil est mis 0.3 et celui-ci pour la bouche est égal 0.15 Mémoire de fin d’études de LUONG Hong-Viet Promotion X 35 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Figure 3-6 Les contours de la segmentation automatique : avant et après la mise en œuvre de l’algorithme de suivi Pourtant, il reste quelques limitations Lors de la fermeture des yeux, le système ne peut pas détecter les iris Ceci est important pour la segmentation des contours des yeux Dans ce cas-là, le système nous donne des erreurs Figure 3-7 Dans le cas de fermeture des yeux, il y a des erreurs Mémoire de fin d’études de LUONG Hong-Viet Promotion X 36 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale La figure ci-dessus montre quelques exemples des erreurs Deuxièmement, lors que le sujet est trop expressif, la bouche est trop ouverte, l’œil aussi (le cas de surprise), le système détecte les mauvais contours Figure 3-8 Les fausses détections dans le cas de sujets sont trop expressives La figure ci-dessus montre deux exemples de fausse segmentation À gauche, l’expression Surprise, les yeux sont trop ouverts Le système nous donc donne le mauvais résultat Pour la bouche, le système se trompe avec la frontière entre les dents et les lèvres dans les deux images (à droite, c’est l’expression Dégoût) 3.5.2 Calcul et filtrage de distances Les distances mesurées sont normalisées par la distance entre les iris afin d’analyser le visage Pour regarder facilement le changement de distance selon chaque expression, on peut utiliser l’évolution de distance : Evol (i ) = Dmesuré (i ) − Dneut Diris (i ) Mémoire de fin d’études de LUONG Hong-Viet Promotion X 37 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Figure 3-9 L’évolution de distance par rapport distance neutre Evol(i) est l’évolution dans l’image i de Dmesure(i) et Diris(i) est la distance qu’on a mesurée et la distance entre les iris de l’image i Dneutre est la distance correspondante dans la première image qui est supposée être une image expression neutre L’évolution dela distance est représentée par la figure ci-dessus Cependant, les points caractéristiques ne sont pas bien détectés Donc, la forme de cette courbe est ondulée Afin de lisser la courbe, un filtre passe bas (filtre Gaussien) est mis en œuvre Voici le résultat après le filtrage Figure 3-10 L’évolution filtrée Mémoire de fin d’études de LUONG Hong-Viet Promotion X 38 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Après l’étape filtrage, les distances normalisées sont utilisées pour l’étape de reconnaissance : Di (k ) = Evoli (k ) * D iris (k ) + Dneut Diris − neut 3.5.3 Implémentation Surtout, le code de programme de reconnaissance d’expressions faciales de Hammal est illisible J’ai donc réécrit toutes les parties de reconnaissance d’émotion en ajoutant mes contributions afin de vérifier la performance de théorie 3.6 Résultats Nous avons testé sur la base HCE (4 expressions avec 4237 frames) Quatre expressions sont disponibles : la Joie, la Surprise, le Dégoût, le Neutre Le tableau ci-dessous donne le résultat de reconnaissance basé sur la segmentation automatique Pourtant, il manque quelques séquences, donc on ne peut pas complètement comparer avec le résultat de Hammal Mémoire de fin d’études de LUONG Hong-Viet Promotion X 39 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Neutral Neutral Neutral Neutral Joy Joy Joy Joy Figure 3-11 Quelques illustrations de l’expression Joie L’image gauche correspond l’état Neutre, droite l’état Joie À côté de chaque image, l’indicateur montre la masse d’évidence Mémoire de fin d’études de LUONG Hong-Viet Promotion X 40 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Neutral Disgust Joy|Disgust Neutral Disgust Joy|Disgust Neutral Disgust Unknown Neutral Neutral Disgust Unknown Neutral Figure 3-12 Quelques illustrations de l’expression Dégoût L’image gauche correspond l’état Neutre, droite l’état Dégỏt À cơté de chaque image, l’indicateur montre la masse d’évidence La barre grise montre une autre possibilité, mais avec une masse d’évidence plus faible Mémoire de fin d’études de LUONG Hong-Viet Promotion X 41 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Neutral Surprise Surprise Neutral Neutral Neutral Surprise Surprise Figure 3-13 Quelques illustrations de l’expression Surprise L’image gauche correspond l’état Neutre, droite l’état Surprise À côté de chaque image, l’indicateur montre la masse d’évidence Mémoire de fin d’études de LUONG Hong-Viet Promotion X 42 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Voici, le tableau de résultat final Expert E1-Joie E2-Surprise E3-Dégoût E7-Neutre Système E1 Joie 70.49% 0.00% 3.66% 0.00% E2 Surprise 0.00% 70.23% 0.00% 0.00% E3 Dégoût 0.00% 0.00% 49.43% 0.00% E7 Neutre 3.95% 4.20% 24.26% 100.00% 24.44% 25.57% 16.48% 0.00% 1.13% 0.00% 6.18% 0.00% 71.62% 70.23% 55.61% 100.00% E8 Inconnue E1 U E3 Total Table 3-4 Résultat de reconnaissance des expressions faciales sur la base HCE Nous constatons que l’expression Dégoût conduit au taux de reconnaissance le plus faible Mais par rapport aux résultats de Hammal, il est plus élevé En raison de l’imprécision de la détection automatique de traits du visage, l’expression inconnue est souvent détectée la place de la Surprise Quelques images sont reconnues Inconnue parce qu’elles correspondent aux images intermédiaires lors que le sujet n’est ni dans l’état Neutre, ni dans l’expression particulière Un grand avantage, c’est que taux de reconnaissance d’expression Neutre est 100% On ne teste que sur les séquences Neutre, on ne tient pas compte les moments Neutre dans les séquences d’expression Mémoire de fin d’études de LUONG Hong-Viet Promotion X 43 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Chapitre Workshop eNTERFACE 2006 Pendant mon stage, j’ai participé au Workshop eNTERFACE 2006 Je voudrais présenter mon travail pour projet dans ce Workshop 4.1 Présentation de Workshops eNTERFACE Les workshops eNTERFACE sont organisés par le réseau d’excellence européen SIMILAR [5] Ils ont pour but d’établir des collaborations de recherche et développement entre chercheurs, doctorants et étudiants qui viennent de plusieurs pays pendant semaines Les sorties de chaque projet sont des logiciels sous licence libre et un rapport final de projet En 2006, le second Workshop s’est déroulé en Croatie (Dubrovnik) 4.2 Projet de détection d’émotion (projet 7) Ce projet a pour objectif de développer une technique pour la détection d’émotion multimodale La première modalité est le signal du cerveau via fNIRS (functional Near Infrared Spectroscopy), la deuxième modalité est la vidéo de visage et la troisième modalité est le signal EEG (Electroencephalogram) Trois émotions abordées dans ce projet sont : - Positive : Bonheur - Négative : Dégoût - Neutre Pour enregistrer les signaux, on utilise des instruments suivants: - Capteur fNIRS pour l’enregistrement de signaux des activités de cerveau frontal - Capteur EEG pour capturer les activités de reste de cerveau - Caméra, ordinateur pour l’enregistrement de vidéo de visage Dans ce projet, on a combiné les signaux deux par deux L’EEG est très perturbé par le mouvement des muscles faciaux lors de a production d’expressions faciales Par contre, fNIRS est la modalité qu’on peut combiner avec signal de vidéo ou le signal EEG Mémoire de fin d’études de LUONG Hong-Viet Promotion X 44 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Figure 4-1 L’enregistrement de vidéo et fNIRS Dans ce projet, j’ai travaillé sur la détection d’émotion basée sur vidéo Comme décrit dans la partie précédente, on classe les expressions faciales en utilisant le Modèle de Croyance Transférable La segmentation automatique des traits du visage est effectuée Néanmoins, cause de bandeau des capteurs de fNIRS que le sujet doit porter sur le front, il couvre les sourcils De plus, l’algorithme de suivi de points caractéristiques n’est pas encore ajouté On ne peut pas donc détecter exactement des sourcils Le détecteur se trompe la frontière entre le bandeau et la peau Figure 4-2 Résultat de la segmentation automatique Mémoire de fin d’études de LUONG Hong-Viet Promotion X 45 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Nous avons conỗu la structure de la base de données comme suit Chaque vidéo est enregistrée en image dans chaque fichier Chaque fichier est nommé par nom de sujet, la date et le temps d’enregistrements, le type de stimuli Par exemple : Arman-20060801-182136-599_DISGUST.jpg Résultat sur l’enregistrement de Vidéo et fNIRS : - Avec 16 participants (23 enregistrements) - Trois stimuli par classe (neutre, bonheur, dégoût) - 1h20 de réaction émotionnelle (5h total de l’enregistrement) 4.3 Conclusions et perspectives sur projet Dans ce projet, nous avons construit une base de données commune considérable contenant vidéo, fNIRS, EEG Le problème de synchronisation entre chaque modalité est résolu (à l’exception de la paire EEG et vidéo) En raison du temps limité, nous n’avons pas encore de trouver la solution pour fusionner les informations qu’on a analysées sur chaque modalité Chaque modalité n’est pas suffisante pour l’évaluation d’émotion, donc l’approche multimodale va augmenter certainement la performance de classification Néanmoins, le problème de différence temporelle de chaque modalité est résolu Ceci nous permet d’effectuer l’étape de fusion de données Mémoire de fin d’études de LUONG Hong-Viet Promotion X 46 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Chapitre Conclusions et perspectives La première partie de ce mémoire vous présente la méthode d’analyse de mouvement de la tête et également de mouvements faciaux inspirée par l’approche biologique L’algorithme est efficace pour la détection de l’orientation de la tête Ceci a abouti des applications de détection d’approbation ou négation d’un sujet De surcrt, partir des informations de l’état de l’œil et de la bouche détectée par cet algorithme, nous pouvons détecter le clignement, le bâillement, l’absence de non-parole, la direction de regard, etc Dans la deuxième partie, nous avons présenté quelques contributions en reconnaissance d’expressions faciales par utilisation de la théorie de l’évidence En améliorant la segmentation automatique des traits du visage, nous avons obtenu de bons résultats Ceci prouve que les contours caractéristiques du visage sont suffisants pour la classification des expressions faciales et que l’utilisation de Modèle de Croyances Transférables est appropriée pour résoudre ce problème Un grand avantage de ce modèle est qu’on peut modéliser les expressions Inconnue En raison des erreurs de la segmentation des traits du visage, le taux de reconnaissance est plus faible que celui-ci de la segmentation manuelle Ceci est acceptable Pourtant, il nous reste quelques limitations Premièrement, la contrainte est que la tête doit être fixe Une perspective est qu’on peut utiliser la méthode d’analyse de mouvement de Bent afin de résoudre ce problème Constatons que les traits du visage ne sont pas les seules informations pour la détection d’émotion, mais on peut avantageusement utiliser d’autres informations telles que la parole, les signaux du cerveau (cf objectif du projet de Workshop eNTERFACE06) Mémoire de fin d’études de LUONG Hong-Viet Promotion X 47 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Références [1] A Benoit., A Caplier –Motion Estimator Inspired from Biological Model for Head Motion Interpretation– WIAMIS05, Montreux, Suisse, April 2005 [2] W.H.A Beaudot, “The neural information processing in the vertebrate retina: A melting pot of ideas for artificial vision”, PhD Thesis in Computer Science, INPG (France) december 1994 [3] Z.Hammal – Segmentation des traits du visage, analyse et reconnaissance d’expressions faciales par le Modèle de Croyance Transférable PhD Thesis in Cognitive Science, Université de Joseph Fourier de Grenoble Juin 2006 [4] BENOIT A., CAPLIER A - Hypovigilence Analysis: Open or Closed Eye or Mouth ? Blinking or Yawning Frequency ?- IEEE AVSS, International conference on Advanced Video and Signal based Surveillance, Como, Italy, September 2005 [5] Workshop eNTERFACE 2006 http://www.enterface.net/enterface06/ [6] Machine Perception Toolbox MPT http://mplab.ucsd.edu/grants/project1/freesoftware/mptwebsite/introduction.html [7] Open Computer Vision Library http://sourceforge.net/projects/opencvlibrary/ [8] A.Sarvan, K.Cifti, G.Chanel, J.C.Motta, H-V Luong, B.Sankur, L.Akarun, A.Caplier, M.Rombaut - Emotion Detection in the Loop from Brain Signals and Facial Images – Project 7, Workshop Enterface 2006, Dubrovnik Croatia- Final report http://enterface.tel.fer.hr/docs/reports/P7-report.pdf [9] Smet, PH Data fusion in the Transferable Belief Model Proc ISIF, Frane(2000) 2133 [10] Eveno, N., Caplier, A., Coulon, P.Y.: Automatic and Accurate Lip Tracking IEEE Trans On CSVT, Vol 14 (2004) 706–715 [11] Hammal, Z., Caplier, A : Eye and Eyebrow Parametric Models for Automatic Segmentation IEEE SSIAI, Lake Tahoe, Nevada (2004) [12] Hammal: Facial Features Segmentation, Analysis and Recognition of Facial Expressions using the Transferable Belief Model 29-06-2006 [13] FERET Database http://www.itl.nist.gov/iad/humanid/feret/ [14] BIOID Database http://www.bioid.com/downloads/facedb/index.php [15] BENOIT A., CAPLIER A., BONNAUD L - Gaze direction estimation tool based on head motion analysis or iris position estimation - EUSIPCO2005, Antalya, Turkey, September 2005 Mémoire de fin d’études de LUONG Hong-Viet Promotion X 48 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale [16] BENOIT A., BONNAUD L., CAPLIER A., NGO P., LAWSON L., TREVISAN D., LEVACIC V., MANCAS C., CHANEL G – Multimodal Focus Attention Detection in an Augmented Driver Simulator- eNTERFACE’05 workshop, Mons, Belgium, July 18th, August 12th, 2005 [17] BENOIT A., CAPLIER A - Motion Head Nods analaysis: interpretation of non verbal communication gestures - ICIP2005, Genova, Italy, September 2005 [18] HAMMAL Z., CAPLIER A., ROMBAUT M – A fusion process based on belief theory for classification of facial basic emotions - 8th International conference on Information Fusion, Philadelphia, USA, July 2005 [19] http://martinwinckler.com/article.php3?id_article=461 [20] Lucas B D and Kanade T An iterative image registration technique with an application to stereo vision Proc of International Joint Conference on Artificial Intelligence, 18, no.11:674–680, August Vancouver, Canada, 1981 Mémoire de fin d’études de LUONG Hong-Viet Promotion X 49 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... Mémoire de fin d’études de LUONG Hong-Viet Promotion X LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Résumé La communication non verbale. .. add luanvanchat@agmail.com Reconnaissance de gestes de communication non verbale Chapitre Introduction "La communication non verbale est le fait d''envoyer et de recevoir des messages sans passer... l’identification et la reconnaissance de l’action d’une partie de corps (par exemple : la reconnaissance de gestes, la reconnaissance des expressions faciales, reconnaissance de mouvement de