ANALYSE ACOUSTIQUE DE SONS BIEN IDENTIFIÉS PAR UN SYSTEME DE RECONNAISSANCE AUTOMATIQUE DE LA PAROLE

Institut de la Francophonie pour l’Informatique INRIA de Lorrain - LORIA MÉMOIRE DE FIN D’ÉTUDES ANALYSE ACOUSTIQUE DE SONS BIEN IDENTIFIÉS PAR UN SYSTEME DE RECONNAISSANCE AUTOMATIQUE DE LA PAROLE Lieu : Laboratoire Lorrain en Informatique et ses Applications 615, rue du Jarbin Botanique 54600 Villers-lès-nancy, France Date : avril 2007 – 30 septembre 2007 Par LE Manh Tuan Encadrants : Anne BONNEAU et Martine CADOT Remerciements Tout d’abord, je tiens remercier M Yves Laprie de m’avoir accueilli pendant mes mois dans son équipe Je remercie également mes deux encadrantes, Mme Anne Bonneau et Mme Martine Cadot, qui m’ont donné la direction, les conseils et les explications utiles pour mon stage Je tiens remercier Farid Feiz et Blaise Potard, thésards dans l’équipe Parole, pour leur aide dans la préparation des logiciels nécessaires et de l’environnement de travail Je voudrais aussi exprimer ma gratitude pour mes collègues de bureau, Aminata POUYE et Julie BUSSET, qui ont contribué au bon déroulement de mon travail Enfin, un grand merci mes collègues LORIA, mes amis Nancy pour leurs sentiments, leurs soutiens et leurs encouragements pendant le temps de mon stage Un grand merci tous ! LE Manh Tuan / 82 Résumé Ce sujet procède de la motivation de rechercher des sons qui sont bien réalisés acoustiquement, afin de les renforcer et d’améliorer l’intelligibilité de la parole Il concerne plus particulièrement l’analyse acoustique des sons reconnus par un système de reconnaissance automatique de la parole (RAP) destiné rechercher des sons bien prononcés Basé sur un système de RAP destiné détecter les belles réalisations acoustiques d'un son d'un point de vue acoustique, l’objectif de ce stage est d’analyser les sorties de ce système pour vérifier si les sons reconnus par ce système possèdent ou non des indices acoustiques discriminants (c.-à-d des indices qui permettent de les distinguer aisément des autres sons) Dans le cadre du stage, notre travail se concentre sur l’analyse des indices acoustiques des consonnes occlusives Ces consonnes sont étudiées dans des contextes différents des voyelles Le résultat de cette étude montre qu’il y a des différences entre les sons bien identifiés et les sons mal identifiés Les consonnes qui sont bien identifiées ont tendance être dans une zone de moindre confusion entre les classes, tandis que les consonnes qui sont mal identifiées sont principalement situées dans une région de grande confusion entre les classes Il existe aussi des zones indices acoustiques qui permettent de bien distinguer les consonnes bien identifiées et les consonnes mal identifiées Cependant, ces zones ne sont pas claires et elles dépendent du contexte vocalique Mots-clés : analyse d’indice acoustique, son bien identifié, son mal identifiés, fréquence, émergence, proéminence, durée du bruit, qualité, occupation / 82 Abstract This subject proceeds of the motivation to detect sounds which are well-realized acoustically, in order to reinforce them and to improve the intelligibility of speech It more particularly relates to the acoustic analysis of the sounds recognized by a automatic speech recognition system (ASR) intended to find out well-realized sounds Based on a ASR system intended to detect the good acoustic realizations of a sound from an acoustic point of view, the object of our training course is to analyze the exits of this system to check if the sounds recognized by this system have or not discriminating acoustic indices (it mean : the indices which make it possible to easily distinguish them from the other sounds) According to the scope of the training course, our work concentrates on the analysis of the acoustic indices of the occlusive consonants These consonants are studied in contexts different of the vowels The result of this study shows that there are differences between the well-realized sounds and badly-realized sounds The consonants which are well-realized have tendency to be in a zone of less confusion between the classes, while the consonants which are badly-realized are mainly located in an area of great confusion between the classes There are also acoustic zones indices which make it possible to distinguish the well-realized consonants well and the badly-realized consonants However, these zones are not clear and they depend on the context of vowel Keywords : analyze acoustic index, well-realized, badly-realized, frequency, emergence, prominence, duration of the noise, quality, occupation / 82 Table des matières Remerciements Résumé Abstract Table des matières Liste des figures Liste des tables CHAPITRE INTRODUCTION 1.1 Présentation de l’environnement de travail 1.1.1 Introduction du LORIA 1.1.2 Équipe Parole et leurs projets 10 1.1.3 Environnement de travail 11 1.2 Introduction du stage 12 1.3 Organisation du rapport 13 CHAPITRE LA PAROLE 14 2.1 Qu’est ce que c’est la parole ? 14 2.2 Production de la parole 15 2.3 Caractéristiques phonétiques 17 2.3.1 Phonème 17 2.3.2 Voyelles 17 2.3.3 Consonnes 19 2.4 Lecture de spectrogramme 20 2.4.1 Spectrogramme 20 2.4.2 Lecture de spectrogramme 21 2.4.3 Exemple de lecture de spectrogramme 22 CHAPITRE INDICES ACOUSTIQUES 26 3.1 Introduction de l’indice acoustique 26 3.2 Indices du burst 27 3.2.1 Fréquence et émergence du burst 28 3.2.2 La compacité spectrale 29 3.2.3 La durée du bruit 30 3.3 Indices de transition 30 3.3.1 Les transitions labiales 31 3.3.2 Les transitions dentales 31 3.3.3 Les transitions plato-vélaires 32 / 82 CHAPITRE CONTEXTE DU STAGE 33 4.1 Présentation de Snorri 33 4.2 Présentation de WinSnoori 34 4.3 Contexte du stage 35 CHAPITRE ANALYSE EXPERIMENTAL 38 5.1 Objectif 38 5.2 Hypothèses 39 5.3 Protocole expérimental 39 5.3.1 Corpus 39 5.3.2 Acquisition des indices 40 5.3.3 Analyse acoustique 46 5.4 Analyse des indices acoustiques 49 5.4.1 Objectif 49 5.4.2 Expérimentation 50 5.4.3 Discussion 50 CHAPITRE CONCLUSION ET PERSPECTIVE 64 6.1 Conclusion 64 6.2 Perspectives 64 Références 66 Annexe Code Source 67 Annexe Les plans des indices 71 / 82 Liste des figures Figure Figure Figure Figure Figure Figure Figure Appareil phonatoire [3] 15 Modèle mécanique de production de la parole 16 Exemple de son voisé (haut) et non – voisé (bas) 17 Triangle vocalique pour le français 18 Spectre de ‘my speech’ 21 Un exemple de la lecture du spectrogramme [12] 23 Analyse du burst de la syllabe /ko/ 28 Figure Figure La transition des formants 31 Présentation de l’interface de Snorri 34 Figure 10 Présentation de l’interface de Winsnoori 34 Figure 11 Les étapes de l’apprentissage « Élitiste » 36 Figure 12 Exemple de description d’un triplet 40 Figure 13 Le processus d’acquisition des indices 43 Figure 14 Distribution des sons selon la fréquence du burst (contexte antérieur) 53 Figure 15 Distribution des sons selon la fréquence et l’émergence (contexte antérieur) 54 Figure 16 Distribution des sons selon la fréquence et la durée (contexte antérieur) 55 Figure 17 Distribution des sons selon la fréquence et la qualité (contexte antérieur) 56 Figure 18 Distribution des sons selon la fréquence et l’émergence adaptée aux vélaires et aux dentales (contexte antérieur) 57 Figure 19 Distribution des sons selon la fréquence du burst (contexte central) 60 Figure 20 Distribution des sons selon la fréquence et l’émergence (contexte central) 60 / 82 Liste des tables Table Les phonèmes du français 14 Table La classification des phonème du français en traits distinctifs 20 Table Comptage de confusion pour contexte antérieur (émergence normale) 50 Table Comptage de confusion pour contexte antérieur (émergence adaptée aux vélaires et aux dentale) 52 Table Comptage de confusion pour contexte central (émergence normale) 58 Table Comptage de confusion pour contexte central (émergence adaptée aux vélaires et aux dentales) 59 Table Comptage de confusion pour contexte arrondi (émergence normale) 61 Table Comptage de confusion pour contexte arrondi (émergence adaptée aux vélaires et aux dentales) 62 Table Comptage de confusion pour contexte postérieur (émergence normale) 63 Table 10 Comptage de confusion pour contexte postérieur (émergence adaptée aux vélaires et aux dentales) 63 / 82 CHAPITRE INTRODUCTION Ce stage a été réalisé au LORIA (Laboratoire Lorrain de Recherche en Informatique et ses Applications) Nancy, France, du avril au 30 septembre 2007, au sein de l’équipe PAROLE Dans le premier chapitre nous ferons tout d’abord une petite présentation du laboratoire LORIA et de l’équipe PAROLE ainsi que l’environnement de travail Puis nous ferons une introduction concernant le stage et l’objectif de notre travail 1.1 Présentation de l’environnement de travail 1.1.1 Introduction du LORIA Le Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), est une unité mixte de recherche (UMR 7503) commune plusieurs établissements: • CNRS, Centre National de Recherche Scientifique • INPL, Institut National Polytechnique de Lorraine • INRIA, Institut National de Recherche en Informatique et en Automatique • UHP, Université Henri Poincaré, Nancy • Université Nancy La signature, le 19 décembre 1997, du contrat quadriennal avec le Ministère de l’Education Nationale, de la Recherche et de la Technologie et par une convention entre les cinq partenaires a officialisé la création de cette unité de recherche Cette unité a été renouvelée en 2001 Elle succède ainsi au CRIN (Centre de Recherche en Informatique de Nancy), et associe les équipes communes entre celui-ci et l’unité de Recherche INRIA Lorraine Le LORIA est situé sur le campus de la faculté des sciences de Nancy Depuis février 2007, Karl Tombre est le directeur du LORIA et de L’INRIA Le LORIA est un laboratoire de plus de 450 personnes parmi lesquelles : • 150 chercheurs et enseignants-chercheurs • un tiers de doctorants et post doctorants / 82 • des ingénieurs, techniciens et personnels administratifs Organisé en équipes de recherche et services de soutien la recherche C'est aussi chaque année • une trentaine de chercheurs étrangers invités • des coopérations internationales avec des pays des cinq continents • une quarantaine de contrats industriels Ces personnels sont répartis en 27 équipes de recherche et en services d’aide la recherche Chaque équipe rassemble des chercheurs, des doctorants et des assistants techniques ou administratifs, pour la réalisation d’un projet de recherche Les missions principales du LORIA : • Recherche fondamentale et appliquée au niveau international dans le domaine des Sciences et Technologies de l'Information et de la Communication • Formation par la recherche en partenariat avec les Universités lorraines • Transfert technologique par le biais de partenariats industriels et par l'aide la création d'entreprises 1.1.2 Équipe Parole et leurs projets Ce stage s’est déroulé dans l’équipe PAROLE dirigée par Yves Laprie L’équipe a pour thème de recherche « Analyse, Perception et Reconnaissance automatique de la parole » (Projet INRIA-LORIA) Le thème de recherche de l’équipe Parole est l’étude de la communication parlée et recouvre un vaste spectre d’activités qui comprend l’étude de la perception humaine des indices acoustiques, l’analyse de la parole et la reconnaissance automatique Ces travaux s’inscrivent dans la perspective de construire des interfaces vocales efficaces dans des systèmes embarqués et multimodaux Les activités de recherche de l’équipe Parole sont divisées en deux thèmes : • Analyse de la parole Ce thème concerne l’analyse et la perception du signal acoustique, l’étude de l’inversion acoustico-articulatoire et l’analyse de la parole 10 / 82 /* calcul du score de diffusion */ compact = compacite(sburst, 500., 6000.);//Diffusion entre 1000 et 5000 Hz diffus = interpolLinPoints(xDiffus, yDiffus, sizeof(xDiffus) / sizeof(float), compact); fMax = boite->fmax; //emergence adaptees aux dentales ayant bcp d'energie en haute du spectre if (boite->fmax > 3000 ) { //calcul l'energie moyenne dans la zone 0,3000 if (fin3000 > (NB_CANAUX - 1)) fin3000 = NB_CANAUX - 1; enerMoy3000 = moyenne_f(sburst->spectre, debut3000, fin3000); if (strcmp(tripl->nomPhon[1],"k")) {//dentale //on initialise avec enerMoy3000 si on ne trouve pas de pic emergence du max par rapport a la moyenne emerHF_BF = boite->enMax - enerMoy3000; //emergence du max par rapport au pic max inferieur a 3000 boitesuite = boite->reste; while (boitesuite) { if (boitesuite->fmax < 3000) { emerHF_BF = boite->enMax - boitesuite->enMax; break; } boitesuite = boitesuite->reste; } emer2 = emerHF_BF; } else {//velaire boitesuite = boite->reste; freqBF = 0; while (boitesuite) { if (boitesuite->fmax fmax; break; } boitesuite = boitesuite->reste; } //on initialise avec enerMoy3000 si on ne trouve pas de pic emergence du max par rapport a la moyenne emerBF = boite->enMax - enerMoy3000; //s'il y un pic, rechercher l'emergence par rapport au deuxieme pic dans la zone 0,3000Hz if (freqBF != 0) { emer2 = boitesuite->enMax; boitesuite=boitesuite->reste; if (boitesuite) emerBF = emer2 - boitesuite->enMax; else emerBF = emer2 - enerMoy3000; fMax = freqBF; } 68 / 82 emer2 = emerBF; } } else { emerVelmoy = boite->enMax - enerMoy; boitesuite=boite->reste; if (boitesuite) emer2 = boite->enMax - boitesuite->enMax; else emer2 = emerVelmoy; } if (burst->sburst[2].date[0] > 0) dureeB=tripl->cot[1]->bord - burst->sburst[2].date[0]; else dureeB= tripl->cot[1]->bord - sburst->date[0]; dureeV= triplSuiv->duree; /* sorties de parametres importants (valable aussi pour dentales) */ fprintf(ficOut, "%6.0f\t %4.2f\t %4.2f\t %6.2f\t %4.2i\t %6.2f\t %d", fMax, boite->qual, occup, emer2, dureeB, diffus, dureeV); } else { fprintf(ficOut, "\t- - -"); } } Calcule des indices partir d’une liste des données static void calculerIndicesListFicTriplets(char *file) { FILE *f = fopen(file,"r"); char s1[100],s2[100],s3[100],s4[100], s5[100]; char trip[100]; while (!feof(f)) { int i, tf; fscanf(f,"%s %s", s1, s2); if (s2[0] == '\"') { int end = 0; strcpy(s5,s2+1); strcpy(s2, s5); { fscanf(f,"%s", s5); if (s5[strlen(s5) - 1] == '\"') { s5[strlen(s5) - 1] = 0; end = 1; } strcat(s2, " "); strcat(s2, s5); } while (!end); } fscanf(f,"%s %s\n", s3, s4); 69 / 82 for (i = 0; i < Nb_fmt && strcmp(s2, Fmt_par[i].nfmt); i++); if (i == Nb_fmt) { affiche_erreur(racine, "Format du fichier inconnu"); return; } strcpy(en_cours.nom, s1); strcpy(en_cours.nom_man, ""); strcpy(en_cours.nomAnnot, ""); paramFicParole (s1, &en_cours, Fmt_par[i].fmt); ct.tf = en_cours.longueur / sizeof(SAMPLE); lireEtAfficherSignal(); //lire les etiquettes lireman(&Et, s3); //creer les triplets a partir des etiquettes mantoTripl_(); //sauver sur un fichier strcpy(trip, s1); strcat(trip, ".tri"); sauveFicTripl_(trip); calculeFicIndices(s4, tf); printf("%s %s %s %s\n", s1, s2, s3, s4); } fclose(f); } 70 / 82 Annexe Les plans des indices Note : Dans les plans suivants, nous utilisons les notations suivantes : p,t,k : les occlusives qui sont détectées comme bien identifiées p1, t1, k1 : les occlusives qui sont détectées comme mal identifiées Les plans du contexte antérieur Contexte antérieur émergence 18 16 14 /k/ 12 /k1/ 10 /p/ /p1/ /t/ /t1/ 0 1000 2000 3000 4000 5000 71 / 82 6000 7000 fréquence 8000 Contexte antérieur durée 140 120 /k/ 100 /k1/ 80 /p/ /p1/ 60 /t/ /t1/ 40 20 0 1000 2000 3000 4000 5000 6000 7000 fréquence 8000 Contexte antérieur qualité 1400 1200 /k/ 1000 /k1/ 800 /p/ /p1/ 600 /t/ /t1/ 400 200 0 1000 2000 3000 4000 5000 72 / 82 6000 7000 fréquence 8000 Contexte antérieur occupation 1.2 1.0 /k/ 0.8 /k1/ /p/ 0.6 /p1/ /t/ /t1/ 0.4 0.2 0.0 1000 2000 3000 4000 5000 6000 7000 fréquence 8000 Contexte antérieur diffusion 1.2 1.0 /k/ 0.8 /k1/ /p/ 0.6 /p1/ /t/ /t1/ 0.4 0.2 0.0 1000 2000 3000 4000 5000 73 / 82 6000 7000 fréquence 8000 Contexte antérieur émergence 18 16 14 /k/ 12 /k1/ 10 /p/ /p1/ /t/ /t1/ durée 20 40 60 80 100 120 140 Les plans du contexte central Contexte central émergence 20 18 16 /k/ 14 /k1/ 12 /p/ 10 /p1/ /t/ /t1/ 0 1000 2000 3000 4000 5000 74 / 82 6000 7000 fréquence 8000 Contexte central durée 120 100 /k/ 80 /k1/ /p/ 60 /p1/ /t/ 40 /t1/ 20 0 1000 2000 3000 4000 5000 6000 7000 fréquence 8000 Contexte central qualité 1600 1400 1200 /k/ /k1/ 1000 /p/ 800 /p1/ /t/ 600 /t1/ 400 200 0 1000 2000 3000 4000 5000 75 / 82 6000 7000 fréquence 8000 Contexte central occupation 1.2 1.0 /k/ 0.8 /k1/ /p/ 0.6 /p1/ /t/ /t1/ 0.4 0.2 0.0 1000 2000 3000 4000 5000 6000 7000 fréquence 8000 Contexte central émergence 20 18 16 /k/ 14 /k1/ 12 /p/ 10 /p1/ /t/ /t1/ durée 20 40 60 80 Les plans du contexte arrondi 76 / 82 100 120 140 Contexte arrondi émergence 25 20 /k/ /k1/ 15 /p/ /p1/ /t/ 10 /t1/ 0 1000 2000 3000 4000 5000 6000 7000 fréquence 8000 Contexte arrondi durée 140 120 /k/ 100 /k1/ 80 /p/ /p1/ 60 /t/ /t1/ 40 20 0 1000 2000 3000 4000 5000 77 / 82 6000 7000 fréquence 8000 Contexte arrondi qualité 1200 1000 /k/ 800 /k1/ /p/ 600 /p1/ /t/ 400 /t1/ 200 0 1000 2000 3000 4000 5000 6000 7000 fréquence 8000 Contexte arrondi occupation 1.2 1.0 /k/ 0.8 /k1/ /p/ 0.6 /p1/ /t/ 0.4 /t1/ 0.2 0.0 1000 2000 3000 4000 5000 78 / 82 6000 7000 fréquence 8000 Contexte arrondi diffusion 1.2 1.0 /k/ 0.8 /k1/ /p/ 0.6 /p1/ /t/ /t1/ 0.4 0.2 0.0 1000 2000 3000 4000 5000 6000 7000 fréquence 8000 Contexte arrondi émergence 25 20 /k/ /k1/ 15 /p/ /p1/ /t/ 10 /t1/ durée 20 40 60 80 Les plans du contexte postérieur 79 / 82 100 120 140 Contexte posterieur émergence 25 20 /k/ /k1/ 15 /p/ /p1/ /t/ 10 /t1/ 0 1000 2000 3000 4000 5000 6000 7000 fréquence 8000 Contexte posterieur durée 140 120 /k/ 100 /k1/ 80 /p/ /p1/ 60 /t/ /t1/ 40 20 0 1000 2000 3000 4000 5000 80 / 82 6000 7000 fréquence 8000 Contexte posterieur qualité 1200 1000 /k/ 800 /k1/ /p/ 600 /p1/ /t/ 400 /t1/ 200 0 1000 2000 3000 4000 5000 6000 7000 fréquence 8000 Contexte posterieur occupation 1.2 1.0 /k/ 0.8 /k1/ /p/ 0.6 /p1/ /t/ 0.4 /t1/ 0.2 0.0 1000 2000 3000 4000 5000 81 / 82 6000 7000 fréquence 8000 Contexte posterieur diffusion 1.2 1.0 /k/ 0.8 /k1/ /p/ 0.6 /p1/ /t/ /t1/ 0.4 0.2 0.0 1000 2000 3000 4000 5000 6000 7000 fréquence 8000 Contexte posterieur émergence 25 20 /k/ /k1/ 15 /p/ /p1/ /t/ 10 /t1/ durée 20 40 60 80 82 / 82 100 120 140 [...]... autres sons) Ce travail est donc divisé en deux parties : la partie théorique et la partie pratique En ce qui concerne la partie théorique, nous avons étudié les théories nécessaires concernant notre travail : la parole et la production de la parole, le traitement de la parole, la reconnaissance de la parole, les caractéristiques et les indices acoustiques de sons de la parole Nous avons également lu de. .. ? La parole est un moyen de communication très efficace et naturel de l'humain La parole se distingue des autres sons par ses caractéristiques acoustiques qui ont leur origine dans les mécanismes de production La parole apparaît physiquement comme une variation de la pression de l'air causée et émise par le système articulatoire Les sons de parole sont produits soit par des vibrations des cordes vocales... codes sources importants et les plans des indices acoustiques qui sont utilisés pour cette étude 13 / 82 CHAPITRE 2 LA PAROLE Avant de présenter les contenus principaux, nous présenterons un peu la théorie de la parole qui intéresse notre travail C’est une petite introduction de la parole et sa production et des caractéristiques principales de sons de la parole 2.1 Qu’est ce que c’est la parole ? La. .. des sons de la sortie d un système de reconnaissance automatiquement de la parole destiné à rechercher des sons bien prononcés L’objectif de ce stage est de vérifier si les sorties de ce système correspondent à des belles réalisations d 'un point de vue acoustique, et de vérifier s’ils possèdent des indices acoustiques discriminants (c.-à-d ; des indices qui permettent de les distinguer aisément des... concerne la partie pratique, nous avons débuté par l’étude des sons qui sont reconnus par un système de reconnaissance automatique de la parole Cette étude a pour but d’étudier les contextes et les caractéristiques des sons qui sont utilisés pour faire le corpus Ensuite, basé sur un système de codage et de traitement de la parole, nous avons modifié et ajouté des fonctions qui permettent d’extraire des... acquises sur l’étude de la parole que nous avons réalisé au LORIA dans le cadre de ce stage Le contenu principal du rapport concerne les théories de traitement de la parole, les caractéristiques phonétiques, les indices acoustiques des voyelles et des consonnes, et l analyse acoustique des consonnes qui sont bien identifiés et mal identifiés par un système de RAP Le rapport se compose de 6 chapitres:... présenter les indices acoustiques qui sont utilisés dans cet analyse Ces indices lient aux propriétés de l’explosion (burst), le mouvement des formants avant et après le relâchement de l’air (transition des formant) 3.1 Introduction de l’indice acoustique Un des buts de l’équipe Parole dans le thème d analyse de la parole est d’étudier des caractéristiques acoustiques des sons de la parole (formant, fréquence... point de vue phonétique et bien marqué d 'un point de vue acoustique Les indices forts permettent de rechercher des représentants bien réalisés acoustiquement La détection très fiable de sons bien réalisés peut avoir deux types d’applications : fournir des informations très fiables au système de reconnaissance automatique et élaguer la recherche lexicale d’une part, et améliorer l’intelligibilité de la parole. .. signal de parole de manière très fine (couper, coller, filtrages et atténuations diverses) car le spectrogramme permet de connaître la répercussion acoustique de toutes les modifications À cela s'ajoute un grand nombre de fonctions destinées à étiqueter phonétiquement ou orthographiquement des signaux de parole, des fonctions destinées à extraire la fréquence fondamentale de la parole, des fonctions destinées... de l’équipe de la technique TD-PSOLA (cela implique la modification de la durée de segments et/ou la modification de la fréquence fondamentale) qui 34 / 82 vont être d’une aide précieuse dans le domaine de l’apprentissage de la prosodie anglaise par des locuteurs français 4.3 Contexte du stage Notre travail est basé sur un système de RAP, développée dans l’équipe Parole, et fondée sur les modèles de