Reconnaissance multimodale de gestes de communication non verbale

Institut de la Francophonie pour lInformatique Institut National Polytechnique de Grenoble Laboratoire des Images et des Signaux MẫMOIRE DE FIN DẫTUDES Reconnaissance multimodale de gestes de communication non verbale Prộsentộ par Hong-Viet LUONG Promotion X IFI Sous la direction de : Alice CAPLIER Alexandre BENOẻT Novembre 2006 Reconnaissance de gestes de communication non verbale Remerciements Je voudrais exprimer ma profonde reconnaissance mon responsable de stage Mme Alice CAPLIER, qui a dirigộ mon travail, ses conseils et ses commentaires prộcieux m'ont permis de surmonter mes difficultộs et de progresser au cours de mon stage Je tiens ộgalement remercier Monsieur Alexandre Benoợt, doctorant de lINPG, de m'avoir encadrộ et pour m'avoir aidộ chaleureusement tout au long de mon sộjour au laboratoire LIS Merci tous les membres de lIFI, tous mes professeurs, de mavoir enseignộ et mes camarades de la promotion X pour leur aide tout au long de mes ộtudes lIFI Enfin, je voudrais adresser un grand merci ma famille, qui ma soutenue durant mon stage Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X Reconnaissance de gestes de communication non verbale Rộsumộ La communication non verbale est une partie importante dans la communication humaine et sera ộgalement importante dans la communication homme-machine Elle se compose des expressions du visage, des mouvements faciaux, du mouvement de la tờte, de la direction du regard, etc Ce stage a pour but dộtudier la robustesse dune mộthode danalyse des mouvements globaux de la tờte et de mouvements faciaux inspirộe dune approche biologique Dans la deuxiốme partie, on va ộtudier les performances dun systốme de reconnaissance dexpressions faciales basant sur le Modốle de Croyance Transfộrable Ces deux applications ont ộtộ utilisộes lors de projets dộveloppộs lors du Workshop eNTERFACE 2006 Mots clộs : Filtre rộtine, transformation log - polaire, thộorie de lộvidence, Modốle de Croyance Transfộrable Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X Reconnaissance de gestes de communication non verbale Abstract The nonverbal communication is an important part in the human communication and will be also important in the human-machine communication It is composed of the expressions of the face, the facial movements, the movement of the head, the gaze direction, etc This internship is to study the robustness of method of analysis of the global movements of the head and facial movements inspired of a biological approach In the second part, we will study the performance of the system of recognition of the facial expressions based on the Transferable Belief Model These two applications were used for the project development at the Workshop eNTERFACE 2006 Keywords: Retina filter, log-polar transformation, evidence theory, Transferable Belief Model Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X Reconnaissance de gestes de communication non verbale Table de matiốres Chapitre Introduction 1.1 Problộmatique 1.2 Objectif de stage 1.3 Environnement de stage .9 1.4 Organisation de mộmoire Chapitre Analyse des mouvements de tờte et mouvements faciaux par un algorithme inspiration biologique 11 2.1 Description de lalgorithme .11 2.1.1 Le prộ filtrage 12 2.1.2 La transformation log polaire 13 2.2 Dộtection dộvộnements 14 2.2.1 Principe 14 2.2.2 Tests effectuộs 15 2.2.3 Rộsultats obtenus .16 2.2.4 Analyse 18 2.3 Dộtection de lộtat ouvert ou fermộ de la bouche et des yeux 18 2.3.1 Principe 18 2.3.2 Tests effectuộs 20 2.3.3 Rộsultats obtenus .21 2.4 Dộtection de lorientation de mouvement de tờte 22 2.4.1 Principe 22 2.4.2 Tests effectuộs 23 2.4.3 Rộsultats obtenus .23 2.5 Localisation de lil 23 2.5.1 Principe 23 2.5.2 Tests effectuộs 25 2.5.3 Rộsultats obtenus .25 Chapitre Reconnaissance dexpressions faciales 27 3.1 Systốme de reconnaissance dexpressions faciales existant 27 3.2 Segmentation des traits du visage 28 3.3 Extraction de donnộes caractộristiques 29 3.4 Classification par le Modốle de Croyance Transfộrable 29 3.4.1 Modốle de Croyance Transfộrable .30 3.4.2 Fusion de donnộes 31 3.4.3 Posttraitement 32 3.5 Contribution pour le systốme de reconnaissance dexpressions faciales 33 3.5.1 Dộtection de contours et suivi de point 33 3.5.2 Calcul et filtrage de distances 37 3.5.3 Implộmentation 39 3.6 Rộsultats 39 Chapitre Workshop eNTERFACE 2006 44 4.1 Prộsentation de Workshops eNTERFACE 44 4.2 Projet de dộtection dộmotion (projet 7) 44 4.3 Conclusions et perspectives sur projet .46 Chapitre Conclusions et perspectives .47 Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X Reconnaissance de gestes de communication non verbale Liste des figures Figure 2-1 Schộma de lalgorithme de dộtection de mouvement 11 Figure 2-2 Fonction de transfert spatio-temporel [2] .13 Figure 2-3 Transformation log polaire [1] 13 Figure 2-4 Evolution temporelle de lộnergie totale et de lộnergie maximale [1] 14 Figure 2-5 Exemple dun oubli et une fausse alarme 15 Figure 2-6 Evolution de , chaque pic correspond un mouvement 16 Figure 2-7 Un mouvement long est dộtectộ comme une suite dalertes plus courtes 17 Figure 2-8 Spectre log polaire et orientations de la sortie du filtre IPL contours mobiles pour diffộrents mouvement dil : clignement et changement de direction de regard 19 Figure 2-9 ẫvolution dộnergie totale de OPL de loeil et de la bouche 19 Figure 2-10 ẫvolution de lộnergie OPL lors de mouvement de bouche 20 Figure 2-11 Mouvement rigide de la tờte a- translation verticale, b- rotation verticale, c rotation latộrale, d- rotation oblique 22 Figure 2-12 Loeil est localisộ dans un quart de boợte englobante de visage dộtectộ 24 Figure 2-13 Sortie du filtre OPL dans la zone de recherche 25 Figure 3-1 Les ộtapes dans le processus de reconnaissance des expressions faciales .28 Figure 3-2 Extraction des contours et dộfinition des distances 29 Figure 3-3 Les seuils pour chaque distance .31 Figure 3-4 gauche: les traits sont bien dộtectộs et droite (dộgoỷt) les sourcils ne sont pas bien dộtectộs) .34 Figure 3-5 Les points de suivi 35 Figure 3-6 Les contours de la segmentation automatique : avant et aprốs la mise en uvre de lalgorithme de suivi 36 Figure 3-7 Dans le cas de fermeture des yeux, il y a des erreurs .36 Figure 3-8 Les fausses dộtections dans le cas de sujets sont trop expressives 37 Figure 3-9 Lộvolution de distance par rapport distance neutre 38 Figure 3-10 Lộvolution filtrộe 38 Figure 3-11 Quelques illustrations de lexpression Joie Limage gauche correspond lộtat Neutre, droite lộtat Joie cụtộ de chaque image, lindicateur montre la masse dộvidence 40 Figure 3-12 Quelques illustrations de lexpression Dộgoỷt Limage gauche correspond lộtat Neutre, droite lộtat Dộgoỷt cụtộ de chaque image, lindicateur montre la masse dộvidence La barre grise montre une autre possibilitộ, mais avec une masse dộvidence plus faible 41 Figure 3-13 Quelques illustrations de lexpression Surprise Limage gauche correspond lộtat Neutre, droite lộtat Surprise cụtộ de chaque image, lindicateur montre la masse dộvidence 42 Figure 4-1 Lenregistrement de vidộo et fNIRS 45 Figure 4-2 Rộsultat de la segmentation automatique .45 Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X Reconnaissance de gestes de communication non verbale Liste des tableaux Table 2-1 Le rộsultat de dộtection dộvộnements 16 Table 2-2 Les rộsultats de dộtection dộvộnement de vidộo sans bruit et avec bruit 18 Table 2-3 Rộsultat sur la dộtection de lộtat de bouche .21 Table 2-4 Rộsultats de dộtection de lộtat de lil 21 Table 2-5 Rộsultats de dộtection de bõillement 22 Table 2-6 Rộsultat de dộtection de direction de mouvement 23 Table 2-7 Rộsultats de la localisation de lil 25 Table 3-1 Tableau de dộfinition de distances 29 Table 3-2 ẫtats symboliques associộs chaque expression .30 Table 3-3 Rốgle logique des ộtats symboliques pour distance caractộristique D1 31 Table 3-4 Rộsultat de reconnaissance des expressions faciales sur la base HCE 43 Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X Reconnaissance de gestes de communication non verbale Chapitre Introduction "La communication non verbale est le fait d'envoyer et de recevoir des messages sans passer par la parole mais au moyen des expressions du visage, des postures, des gestes, de bruits divers Les choix vestimentaires, la coiffure, la position du corps, le maquillage, les mimiques sont tous des ộlộments de communication non verbale." Martin Winckler[19] 1.1 Problộmatique L'analyse et l'interprộtation des "mouvements humains " sont une des thộmatiques du laboratoire des Images et des Signaux Ce thốme de recherche est relatif lanalyse et linterprộtation de mouvement humain sur la base de vidộos En fait, le langage du corps (gestes, expressions, attitudes, postures) est une partie importante dans la communication en face face Nous nous intộressons lidentification et la reconnaissance de laction dune partie de corps (par exemple : la reconnaissance de gestes, la reconnaissance des expressions faciales, reconnaissance de mouvement de la tờte, etc.) La reconnaissance des expressions faciales s'appuie sur l'analyse de dộformations des traits permanents du visage Les mouvements de la tờte (hochements ) et des traits mobiles du visage (clignements, bõillement) sont aussi des informations intộressantes 1.2 Objectif de stage Une mộthode que LIS a dộveloppộe est d'analyser les dộformations des traits du visage tels que la bouche, les yeux et les sourcils Pourtant, la partie de segmentation automatique de traits du visage nest pas encore rộalisộe Par ailleurs, le laboratoire LIS a dộveloppộ une mộthode d'analyse des mouvements rigides et non rigides de la tờte Lobjectif de ce stage est dộtudier les performances de ces mộthodes et de complộter la partie sur la reconnaissance automatique dexpressions faciales Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X Reconnaissance de gestes de communication non verbale 1.3 Environnement de stage Mon stage sest dộroulộ au laboratoire LIS (Laboratoire des Images et Signaux) pendant six mois Le LIS est une Unitộ Mixte de Recherche relevant conjointement du Centre National de la Recherche scientifique (CNRS), de l'Institut National Polytechnique de Grenoble (INPG) et de l'Universitộ Joseph Fourier Le LIS est un laboratoire rộcent, crộộ en 1998 par la fusion du CEPHAG et du TIRF En 2007, LIS fera parti dun futur regroupement : GIPSA (Grenoble Image Parole Signal Automatique), un nouveau laboratoire crộộ avec l'Institut de la Communication Parlộe (ICP) et le Laboratoire d'Automatique de Grenoble (LAG) Cette nouvelle configuration opốrera un renforcement des thốmes forts en signal, images et communication, ainsi que des collaborations sur la perception, la multi modalitộ et le diagnostic La politique scientifique de LIS est autour des problộmatiques associộes au traitement et l'interprộtation des signaux et des images dans le monde trốs ộvolutif des sciences de l'information L'activitộ scientifique du laboratoire est ciblộe sur le traitement et l'interprộtation des signaux et des images avec deux grands domaines d'application vers la gộophysique et les communications La dynamique de la recherche est supportộe par l'activitộ de cinq ộquipes : Groupe Objets, Traitement et Analyse Non Linộaire Signaux, Images, Communication Signaux et Images dans les milieux Naturels Circuits et Architectures 1.4 Organisation de mộmoire La premiốre partie de ce rapport prộsente les tests sur les mộthodes danalyse de mouvement de tờte et mouvements faciaux Les algorithmes de dộtection de mouvement de la tờte, de dộtection de lộtat de lil, de localisation de lil sont dộcrits dans le deuxiốme chapitre Dans le troisiốme chapitre, le systốme de reconnaissance dexpressions faciales est prộsentộ Puis, je dộcris le travail rộalisộ ainsi que les solutions proposộes afin damộliorer ce systốme Enfin, je prộsente les rộsultats obtenus et quelques comparaisons avec le systốme de Hammal Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X Reconnaissance de gestes de communication non verbale Lintộgration de mon travail lors dun projet portant sur lanalyse multimodale des ộmotions au cours du workshop eNTERFACE 2006 est prộsentộe par la mờme occasion dans le chapitre Finalement, le chapitre donne quelques conclusions et perspectives du travail Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 10 Reconnaissance de gestes de communication non verbale ( x, y ) = [ I t ( x + x, y + y ) I t +1 ( x, y )] w( x) xZ Avec w(x) est la fonction de poids Normalement, w(x) est ộgal 1, mais pour donner plus dimportance au point central, on peut choisir une forme gaussienne ou sinusoùdale Les points de suivi choisis dici sont les coins des yeux, et des sourcils Figure 3-5 Les points de suivi Gộnộralement, lalgorithme de suivi nous donne des points corrects dimage en image Nộanmoins, aprốs quelques images, lerreur sera cumulộe de temps en temps Une combinaison entre lalgorithme de suivi et lalgorithme dextraction de contours statique est mise en uvre Un algorithme suivant est mis en uvre : Si Diffộrence entre point suivi et point dộtectộ > *Seuil Prendre le point suivi Si non Si Diffộrence>Seuil Prendre le moyen de point suivi et point dộtectộ Si non Prendre le point dộtectộ fin fin Le seuil Seuil pour lil et le sourcil est mis 0.3 et celui-ci pour la bouche est ộgal 0.15 Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 35 Reconnaissance de gestes de communication non verbale Figure 3-6 Les contours de la segmentation automatique : avant et aprốs la mise en uvre de lalgorithme de suivi Pourtant, il reste quelques limitations Lors de la fermeture des yeux, le systốme ne peut pas dộtecter les iris Ceci est important pour la segmentation des contours des yeux Dans ce cas-l, le systốme nous donne des erreurs Figure 3-7 Dans le cas de fermeture des yeux, il y a des erreurs Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 36 Reconnaissance de gestes de communication non verbale La figure ci-dessus montre quelques exemples des erreurs Deuxiốmement, lors que le sujet est trop expressif, la bouche est trop ouverte, lil aussi (le cas de surprise), le systốme dộtecte les mauvais contours Figure 3-8 Les fausses dộtections dans le cas de sujets sont trop expressives La figure ci-dessus montre deux exemples de fausse segmentation gauche, lexpression Surprise, les yeux sont trop ouverts Le systốme nous donc donne le mauvais rộsultat Pour la bouche, le systốme se trompe avec la frontiốre entre les dents et les lốvres dans les deux images ( droite, cest lexpression Dộgoỷt) 3.5.2 Calcul et filtrage de distances Les distances mesurộes sont normalisộes par la distance entre les iris afin danalyser le visage Pour regarder facilement le changement de distance selon chaque expression, on peut utiliser lộvolution de distance : Evol (i ) = Dmesurộ (i ) Dneut Diris (i ) Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 37 Reconnaissance de gestes de communication non verbale Figure 3-9 Lộvolution de distance par rapport distance neutre Evol(i) est lộvolution dans limage i de Dmesure(i) et Diris(i) est la distance quon a mesurộe et la distance entre les iris de limage i Dneutre est la distance correspondante dans la premiốre image qui est supposộe ờtre une image expression neutre Lộvolution dela distance est reprộsentộe par la figure ci-dessus Cependant, les points caractộristiques ne sont pas bien dộtectộs Donc, la forme de cette courbe est ondulộe Afin de lisser la courbe, un filtre passe bas (filtre Gaussien) est mis en uvre Voici le rộsultat aprốs le filtrage Figure 3-10 Lộvolution filtrộe Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 38 Reconnaissance de gestes de communication non verbale Aprốs lộtape filtrage, les distances normalisộes sont utilisộes pour lộtape de reconnaissance : Di (k ) = Evoli (k ) * D iris (k ) + Dneut Diris neut 3.5.3 Implộmentation Surtout, le code de programme de reconnaissance dexpressions faciales de Hammal est illisible Jai donc rộộcrit toutes les parties de reconnaissance dộmotion en ajoutant mes contributions afin de vộrifier la performance de thộorie 3.6 Rộsultats Nous avons testộ sur la base HCE (4 expressions avec 4237 frames) Quatre expressions sont disponibles : la Joie, la Surprise, le Dộgoỷt, le Neutre Le tableau ci-dessous donne le rộsultat de reconnaissance basộ sur la segmentation automatique Pourtant, il manque quelques sộquences, donc on ne peut pas complốtement comparer avec le rộsultat de Hammal Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 39 Reconnaissance de gestes de communication non verbale Neutral Neutral Neutral Neutral Joy Joy Joy Joy Figure 3-11 Quelques illustrations de lexpression Joie Limage gauche correspond lộtat Neutre, droite lộtat Joie cụtộ de chaque image, lindicateur montre la masse dộvidence Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 40 Reconnaissance de gestes de communication non verbale Neutral Disgust Joy|Disgust Neutral Disgust Joy|Disgust Neutral Disgust Unknown Neutral Neutral Disgust Unknown Neutral Figure 3-12 Quelques illustrations de lexpression Dộgoỷt Limage gauche correspond lộtat Neutre, droite lộtat Dộgoỷt cụtộ de chaque image, lindicateur montre la masse dộvidence La barre grise montre une autre possibilitộ, mais avec une masse dộvidence plus faible Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 41 Reconnaissance de gestes de communication non verbale Neutral Surprise Surprise Neutral Neutral Neutral Surprise Surprise Figure 3-13 Quelques illustrations de lexpression Surprise Limage gauche correspond lộtat Neutre, droite lộtat Surprise cụtộ de chaque image, lindicateur montre la masse dộvidence Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 42 Reconnaissance de gestes de communication non verbale Voici, le tableau de rộsultat final Expert E1-Joie E2-Surprise E3-Dộgoỷt E7-Neutre Systốme E1 Joie 70.49% 0.00% 3.66% 0.00% E2 Surprise 0.00% 70.23% 0.00% 0.00% E3 Dộgoỷt 0.00% 0.00% 49.43% 0.00% E7 Neutre 3.95% 4.20% 24.26% 100.00% 24.44% 25.57% 16.48% 0.00% 1.13% 0.00% 6.18% 0.00% 71.62% 70.23% 55.61% 100.00% E8 Inconnue E1 U E3 Total Table 3-4 Rộsultat de reconnaissance des expressions faciales sur la base HCE Nous constatons que lexpression Dộgoỷt conduit au taux de reconnaissance le plus faible Mais par rapport aux rộsultats de Hammal, il est plus ộlevộ En raison de limprộcision de la dộtection automatique de traits du visage, lexpression inconnue est souvent dộtectộe la place de la Surprise Quelques images sont reconnues Inconnue parce quelles correspondent aux images intermộdiaires lors que le sujet nest ni dans lộtat Neutre, ni dans lexpression particuliốre Un grand avantage, cest que taux de reconnaissance dexpression Neutre est 100% On ne teste que sur les sộquences Neutre, on ne tient pas compte les moments Neutre dans les sộquences dexpression Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 43 Reconnaissance de gestes de communication non verbale Chapitre Workshop eNTERFACE 2006 Pendant mon stage, jai participộ au Workshop eNTERFACE 2006 Je voudrais prộsenter mon travail pour projet dans ce Workshop 4.1 Prộsentation de Workshops eNTERFACE Les workshops eNTERFACE sont organisộs par le rộseau dexcellence europộen SIMILAR [5] Ils ont pour but dộtablir des collaborations de recherche et dộveloppement entre chercheurs, doctorants et ộtudiants qui viennent de plusieurs pays pendant semaines Les sorties de chaque projet sont des logiciels sous licence libre et un rapport final de projet En 2006, le second Workshop sest dộroulộ en Croatie (Dubrovnik) 4.2 Projet de dộtection dộmotion (projet 7) Ce projet a pour objectif de dộvelopper une technique pour la dộtection dộmotion multimodale La premiốre modalitộ est le signal du cerveau via fNIRS (functional Near Infrared Spectroscopy), la deuxiốme modalitộ est la vidộo de visage et la troisiốme modalitộ est le signal EEG (Electroencephalogram) Trois ộmotions abordộes dans ce projet sont : - Positive : Bonheur - Nộgative : Dộgoỷt - Neutre Pour enregistrer les signaux, on utilise des instruments suivants: - Capteur fNIRS pour lenregistrement de signaux des activitộs de cerveau frontal - Capteur EEG pour capturer les activitộs de reste de cerveau - Camộra, ordinateur pour lenregistrement de vidộo de visage Dans ce projet, on a combinộ les signaux deux par deux LEEG est trốs perturbộ par le mouvement des muscles faciaux lors de a production dexpressions faciales Par contre, fNIRS est la modalitộ quon peut combiner avec signal de vidộo ou le signal EEG Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 44 Reconnaissance de gestes de communication non verbale Figure 4-1 Lenregistrement de vidộo et fNIRS Dans ce projet, jai travaillộ sur la dộtection dộmotion basộe sur vidộo Comme dộcrit dans la partie prộcộdente, on classe les expressions faciales en utilisant le Modốle de Croyance Transfộrable La segmentation automatique des traits du visage est effectuộe Nộanmoins, cause de bandeau des capteurs de fNIRS que le sujet doit porter sur le front, il couvre les sourcils De plus, lalgorithme de suivi de points caractộristiques nest pas encore ajoutộ On ne peut pas donc dộtecter exactement des sourcils Le dộtecteur se trompe la frontiốre entre le bandeau et la peau Figure 4-2 Rộsultat de la segmentation automatique Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 45 Reconnaissance de gestes de communication non verbale Nous avons conỗu la structure de la base de donnộes comme suit Chaque vidộo est enregistrộe en image dans chaque fichier Chaque fichier est nommộ par nom de sujet, la date et le temps denregistrements, le type de stimuli Par exemple : Arman-20060801-182136-599_DISGUST.jpg Rộsultat sur lenregistrement de Vidộo et fNIRS : - Avec 16 participants (23 enregistrements) - Trois stimuli par classe (neutre, bonheur, dộgoỷt) - 1h20 de rộaction ộmotionnelle (5h total de lenregistrement) 4.3 Conclusions et perspectives sur projet Dans ce projet, nous avons construit une base de donnộes commune considộrable contenant vidộo, fNIRS, EEG Le problốme de synchronisation entre chaque modalitộ est rộsolu ( lexception de la paire EEG et vidộo) En raison du temps limitộ, nous navons pas encore de trouver la solution pour fusionner les informations quon a analysộes sur chaque modalitộ Chaque modalitộ nest pas suffisante pour lộvaluation dộmotion, donc lapproche multimodale va augmenter certainement la performance de classification Nộanmoins, le problốme de diffộrence temporelle de chaque modalitộ est rộsolu Ceci nous permet deffectuer lộtape de fusion de donnộes Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 46 Reconnaissance de gestes de communication non verbale Chapitre Conclusions et perspectives La premiốre partie de ce mộmoire vous prộsente la mộthode danalyse de mouvement de la tờte et ộgalement de mouvements faciaux inspirộe par lapproche biologique Lalgorithme est efficace pour la dộtection de lorientation de la tờte Ceci a abouti des applications de dộtection dapprobation ou nộgation dun sujet De surcroợt, partir des informations de lộtat de lil et de la bouche dộtectộe par cet algorithme, nous pouvons dộtecter le clignement, le bõillement, labsence de non-parole, la direction de regard, etc Dans la deuxiốme partie, nous avons prộsentộ quelques contributions en reconnaissance dexpressions faciales par utilisation de la thộorie de lộvidence En amộliorant la segmentation automatique des traits du visage, nous avons obtenu de bons rộsultats Ceci prouve que les contours caractộristiques du visage sont suffisants pour la classification des expressions faciales et que lutilisation de Modốle de Croyances Transfộrables est appropriộe pour rộsoudre ce problốme Un grand avantage de ce modốle est quon peut modộliser les expressions Inconnue En raison des erreurs de la segmentation des traits du visage, le taux de reconnaissance est plus faible que celui-ci de la segmentation manuelle Ceci est acceptable Pourtant, il nous reste quelques limitations Premiốrement, la contrainte est que la tờte doit ờtre fixe Une perspective est quon peut utiliser la mộthode danalyse de mouvement de Benoợt afin de rộsoudre ce problốme Constatons que les traits du visage ne sont pas les seules informations pour la dộtection dộmotion, mais on peut avantageusement utiliser dautres informations telles que la parole, les signaux du cerveau (cf objectif du projet de Workshop eNTERFACE06) Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 47 Reconnaissance de gestes de communication non verbale Rộfộrences [1] A Benoit., A Caplier Motion Estimator Inspired from Biological Model for Head Motion Interpretation WIAMIS05, Montreux, Suisse, April 2005 [2] W.H.A Beaudot, The neural information processing in the vertebrate retina: A melting pot of ideas for artificial vision, PhD Thesis in Computer Science, INPG (France) december 1994 [3] Z.Hammal Segmentation des traits du visage, analyse et reconnaissance dexpressions faciales par le Modốle de Croyance Transfộrable PhD Thesis in Cognitive Science, Universitộ de Joseph Fourier de Grenoble Juin 2006 [4] BENOIT A., CAPLIER A - Hypovigilence Analysis: Open or Closed Eye or Mouth ? Blinking or Yawning Frequency ?- IEEE AVSS, International conference on Advanced Video and Signal based Surveillance, Como, Italy, September 2005 [5] Workshop eNTERFACE 2006 http://www.enterface.net/enterface06/ [6] Machine Perception Toolbox MPT http://mplab.ucsd.edu/grants/project1/freesoftware/mptwebsite/introduction.html [7] Open Computer Vision Library http://sourceforge.net/projects/opencvlibrary/ [8] A.Sarvan, K.Cifti, G.Chanel, J.C.Motta, H-V Luong, B.Sankur, L.Akarun, A.Caplier, M.Rombaut - Emotion Detection in the Loop from Brain Signals and Facial Images Project 7, Workshop Enterface 2006, Dubrovnik Croatia- Final report http://enterface.tel.fer.hr/docs/reports/P7-report.pdf [9] Smet, PH Data fusion in the Transferable Belief Model Proc ISIF, Frane(2000) 2133 [10] Eveno, N., Caplier, A., Coulon, P.Y.: Automatic and Accurate Lip Tracking IEEE Trans On CSVT, Vol 14 (2004) 706715 [11] Hammal, Z., Caplier, A : Eye and Eyebrow Parametric Models for Automatic Segmentation IEEE SSIAI, Lake Tahoe, Nevada (2004) [12] Hammal: Facial Features Segmentation, Analysis and Recognition of Facial Expressions using the Transferable Belief Model 29-06-2006 [13] FERET Database http://www.itl.nist.gov/iad/humanid/feret/ [14] BIOID Database http://www.bioid.com/downloads/facedb/index.php [15] BENOIT A., CAPLIER A., BONNAUD L - Gaze direction estimation tool based on head motion analysis or iris position estimation - EUSIPCO2005, Antalya, Turkey, September 2005 Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 48 Reconnaissance de gestes de communication non verbale [16] BENOIT A., BONNAUD L., CAPLIER A., NGO P., LAWSON L., TREVISAN D., LEVACIC V., MANCAS C., CHANEL G Multimodal Focus Attention Detection in an Augmented Driver Simulator- eNTERFACE05 workshop, Mons, Belgium, July 18th, August 12th, 2005 [17] BENOIT A., CAPLIER A - Motion Head Nods analaysis: interpretation of non verbal communication gestures - ICIP2005, Genova, Italy, September 2005 [18] HAMMAL Z., CAPLIER A., ROMBAUT M A fusion process based on belief theory for classification of facial basic emotions - 8th International conference on Information Fusion, Philadelphia, USA, July 2005 [19] http://martinwinckler.com/article.php3?id_article=461 [20] Lucas B D and Kanade T An iterative image registration technique with an application to stereo vision Proc of International Joint Conference on Artificial Intelligence, 18, no.11:674680, August Vancouver, Canada, 1981 Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 49 [...].. .Reconnaissance de gestes de communication non verbale Chapitre 2 Analyse des mouvements de tờte et des mouvements faciaux par un algorithme dinspiration biologique Les gestes faciaux sont importants dans la communication face face Nous nous intộressons aux mouvements rigides (mouvement de tờte) et mouvements non rigides (mouvements faciaux de la bouche et des yeux) Les mộthodes danalyse des mouvements... Rộsultats de la localisation de lil Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 25 Reconnaissance de gestes de communication non verbale Les rộsultats sont satisfaisants Cependant, la prộcision baisse en cas de prộsence de lunettes Ceci entraợne une attộnuation de la rộponse des contours de lil De plus, certains ộlements ont des contours qui ont dộnergie que liris : la monture de lunettes... lutilisation de lalgorithme de segmentation de contours de lil, des sourcils [11] et de la bouche, les contours de caractộristiques faciales sont extraits automatiquement Voir la figure 3-2 Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 28 Reconnaissance de gestes de communication non verbale 3.3 Extraction de donnộes caractộristiques Les caractộristiques considộrộes contiennent les contours des yeux, des... La description de lexpression Joie et de lexpression Dộgoỷt partir de la combinaison des ộtats donnộs dans le tableau prộcộdent peut conduire une confiusion entre ces deux expressions Afin dộviter lambiguùtộ, Hammal propose lutilisation de la forme de bouche dans une ộtape de post-traitement Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 32 Reconnaissance de gestes de communication non verbale. .. de visage Lidộe de lalgorithme est de chercher la position de lil dans un quart de visage Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 23 Reconnaissance de gestes de communication non verbale Figure 2-12 Loeil est localisộ dans un quart de boợte englobante de visage dộtectộ Nous supposons que lil est le seul ộlộment ayant plusieurs orientations Notre objectif est donc de trouver le point de. .. Largeur de bouche D4 Ouverture de bouche en hauteur D5 Distance entre un coin de la bouche et celui du coin extộrieur de lil Table 3-1 Tableau de dộfinition de distances 3.4 Classification par le Modốle de Croyance Transfộrable Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 29 Reconnaissance de gestes de communication non verbale partir de ces distances caractộristiques, on va utiliser le modốle de. .. est presque parfait Avec 30% de la bouche et 50% de lil, le taux de fausse alarme et doublis sont acceptables Rộsultat de test de bõillement Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 21 Reconnaissance de gestes de communication non verbale Taux de succốs Taux de fausse alarme Taux doubli Naturels 85% 3% 13% Simulộs 87% 2% 11% Table 2-5 Rộsultats de dộtection de bõillement Remarques Les rộsultats... concerne l'ộvaluation des performances du dộtecteur d'ộtat ouvert ou fermộ de la bouche ou des yeux On teste sur la bouche entiốre, une partie de la bouche (50% et 30%) et sur les yeux qui occupent 100% et 50% de la zone d'analyse La taille de lil est Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 20 Reconnaissance de gestes de communication non verbale plus petite que celle de la bouche, donc... dộformations des caractộristiques faciales telles que les yeux, les sourcils, et la bouche On considốre que ces caractộristiques contiennent suffisamment les informations pour la reconnaissance Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 27 Reconnaissance de gestes de communication non verbale Figure 3-1 Les ộtapes dans le processus de reconnaissance des expressions faciales Dans lộtape de segmentation,... Alors E1(t)=E(t)-Ebruit Sinon E1(t)=E1(t-1)*0.9 Fin Ebruit est ộnergie moyenne du bruit Figure 2-4 Evolution temporelle de lộnergie totale et de lộnergie maximale [1] partir de lộnergie totale de tous les contours, on peut dộduire les alertes de mouvement grõce lindicateur Mộmoire de fin dộtudes de LUONG Hong-Viet Promotion X 14 Reconnaissance de gestes de communication non verbale = E (t )2 E1 (t