Sự đơn định và sự tuần tự trong dự án vcsn

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL LƯU ĐỨC CẢNH DÉTERMINATION ET SÉQUENTIALISATION DANS VCSN SỰ ĐƠN ĐỊNH VÀ TUẦN TỰ TRONG DỰ ÁN VCSN MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI – 2015 UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL LƯU ĐỨC CẢNH DÉTERMINATION ET SÉQUENTIALISATION DANS VCSN SỰ ĐƠN ĐỊNH VÀ TUẦN TỰ TRONG DỰ ÁN VCSN Spécialité: Réseaux et systèmes communicants Code: Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Encadrant: M Akim DEMAILLE HANOI – 2015 LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chưa đ ược công b ố b ất kỳ công trình khác Các thông tin trích dẫn Luận văn rõ nguồn g ốc RÉASSURANCES Je jure ceci est ma recherche Les données et les résultats mentionnés dans le rapport est honnête et n'a jamais été publié dans aucun autre travail Toute l'information citée dans ce rapport été spécifié la source Ha Noi, le 20 Mai 2015 Lưu Đức Cảnh R´ esum´ e Les automates pond´er´es et les transducteurs sont utilis´es dans plusieurs domaines, par exemple dans l’application du traitement du langage naturel, la reconnaissance de la parole, le traitement d’image et l’apprentissage automatique La d´eterminisation et la s´equentialisation sont deux algorithmes importants sur les automates et les transducteurs Apr`es la d´eterminisation d’un automate (s´equentialisation d’un transducteur), nous allons obtenir un automate d´eterministe (transducteur s´equentiel) ´equivalent Les avantages de cet automate (transducteur) : il ne d´epend que des entr´ees Par cons´equent il est plus efficace en termes de calcul Par ailleurs, il est aussi la condition pr´ealable pour l’algorithme de minimisation de Moore De plus, l’algorithme de minimisation de Brzozowski qui repose aussi sur la d´eterminisation Donc il est essentiel de l’impl´ementer dans Vcsn de mani`ere efficace Ce rapport va pr´esenter les bases sur lesquelles s’appuie la d´eterminisation d’automate et la s´equentialisation de transducteur, puis son impl´ementation Mais, contrairement au cas classique des automates bool´eens, dans l’automate pond´er´e les automates d´eterministes et non-d´eterministes ne sont pas ´equivalents La d´eterminisation dans l’automate fini pond´er´e peut ˆetre infinie Et ce rapport aborde aussi la condition d’avoir des “propri´et´es des ´etats jumeaux” afin d’assurer que la d´eterminisation est finie dans le semi-anneau tropical Mots cl´ es : d´eterminisation, s´equentialisation, automate pond´er´e, transducteur i Abstract The weighted automata and the transducers are used in many fields, such as in the natural language processing application, recognition speech, image processing and machine learning The determinization and sequentialization are two important algorithms on automata and transducers After the determinization of an automaton (sequentialization of a transducer), we will get an equivalent deterministic automaton (sequential transducer) The advantages of this automaton (transducer) : it depends only on the inputs Therefore it is more efficient in terms of computation In an other way, it is also the prerequisite for Moore’s minimization algorithms And Brzozowski’s minimization algorithm which is also based on the determinisation So it is essential to implement it in Vcsn more effectively This report will present the foundation on which rely the determinization of automaton and the sequentialization of transducer, then its implementation It isn’t the same with classical boolean automaton, the determinization may be infinite So this report discusses also the condition “twins property” to ensure the determinization is finite in the tropical semiring Keywords : determinization, sequentialization, weighted automaton, transducer ii Remerciements Tout d’abord je tiens tout particuli`erement `a remercier monsieur Akim Demaille pour son encadrement, sa disponibilit´e, sa patience et les nombreux et pr´ecieux conseils qu’il m’a prodigu´e au cours de ces six mois de stage Un grand merci a` tous les membres de l’´equipe Vcsn (Vaucanson) pour une ambiance de travail particuli`erement favorable, pour leur amiti´e et leur soutien Merci pour les heures que nous avons pass´ees ensemble (`a travailler ou non) Je voudrais ´egalement remercier tout le personnel du LRDE aupr`es duquel je suis rest´e pendant ces mois de stage En particulier madame Daniela Becker, messieurs Olivier Ricou, Alexandre Duret-Lutz et Cl´ement ´moulins avec qui j’ai le plus ´echang´e durant ma pr´esence au LRDE De Je tiens a` remercier ensuite tout le personnel et enseignants de l’Institut de la Francophonie pour l’Informatique (IFI) a` Hanoi pour leur conseil et le suivi qu’ils m’ont accord´e pendant mes ´etudes de master Je tiens ´egalement `a remercier mes camarades ´etudiants de l’IFI pour les tr`es bons moments J’aimerais remercier mes amis en France qui m’ont beaucoup aid´e pendant le stage J’adresse un merci particulier `a toute ma famille qui malgr´e la distance n’a cess´e de me prˆeter main forte iii Table des mati` eres R´ esum´ e i Abstract ii Remerciements Introduction 1.1 Contexte 1.2 Probl´ematique 1.3 Objectifs 1.4 Motivation 1.5 Contribution 1.6 Environnement de stage 1.7 Organisation du raport iii Concepts de base de la th´ eorie des automates 2.1 Mono¨ıde et semi-anneau 2.2 Automates et transducteurs 2.2.1 Les d´efinitions d’automate et de transducteur 2.2.2 Le calcul sur les automates pond´er´es 2.2.3 Le calcul sur les transducteurs 1 2 3 5 6 10 ´ Etat de l’art 12 D´ eterminisation 4.1 Am´elioration de la d´eterminisation d’automate traditionnel 4.2 D´eterminisation d’automate fini pond´er´e 4.2.1 Algorithme de d´eterminisation 4.2.2 Propri´et´es des ´etats jumeaux (“Twin properties”) 4.2.3 Ambigu¨ıt´e de cycle (“Cycle ambiguous”) 4.2.4 Composante fortement connexe iv 15 15 17 18 20 23 25 S´ equentialisation 28 5.1 Fonctionalit´e 28 5.2 S´equentialisation 32 Exp´ erimentation 6.1 Les atomates “de bruijn” et “ladybird” 6.2 D´eterminisation d’automate traditionnel 6.3 D´eterminisation d’automate pond´er´e 6.4 Componsante fortement connexe 34 34 36 38 40 Conclusion et perspectives 43 Bibliography 46 A Les points d’am´ elioration de l’algorithme de d´ eterminisation 47 d’automate pond´ er´ e v Table des figures 2.1 2.2 2.3 2.4 2.5 Un automate traditionnel et un automate pond´er´e dans Z Un automate avec le contexte : {a, b, c} → Q Un transducteur avec le contexte : {a, b, c} × {x, y} → Q un automate pond´er´e un transducteur avec le contexte {a, b, c} × {x, y, z} → B 4.1 4.2 4.3 4.4 4.5 10 11 ju 19 19 20 21 4.6 4.7 4.8 4.9 Automate fini pond´er´e dans Z et sa d´eterminisation Automate pond´er´e non-d´eterministe dans Q Automate fini pond´er´e dans Q Propri´et´e des ´etats jumeaux de l’automate A Automate avec le contexte {a} → Q a les propri´et´e des meaux mais pas d´eterminisable Un automate A a une ambigu¨ıt´e de cycle product Un automate avec ses composantes fortement connexes La condensation de l’automate dans la figure 4.8 23 23 25 26 26 5.1 5.2 5.3 5.4 Fonctionalit´e de transducteur {a, b, c} × {x, y, z} → B Un transducteur et son inverse La composition de deux transducteurs T1 et T2 : T = T1 ◦ T2 Un transducteur et sa s´equentialisation 28 29 30 32 6.1 6.2 6.3 6.4 6.5 6.6 6.7 D´efinition le contexte {a, b, c, d, e} → B dans Vcsn Automate de bruijn : {a, b, c, d, e} → B et sa d´eterminisation Automate ladybird : {a, b, c} → B et sa d´eterminisation Automate de bruijn avec le contexte {a, b, c} → B Automate ladybird avec le contexte {a, b, c} → B Automate ladybird avec le contexte {a − zA − Z0 − 9} → B D´emonstration de la d´eterminisation d’un automate pond´er´e dans Vcsn D´emonstration un automate pas d´eterminisable D´emonstration un automate pas d´eterministe 35 35 36 36 37 37 6.8 6.9 vi 38 39 39 6.10 La d´eterminisation automate pond´er´e “ladybird” avec le contexte {a, b, c} → Zmin 6.11 Automate de base d’expression rationnelle (abcde)∗ {2} 6.12 D´emonstration un automate pas d´eterministe 6.13 Composante fortement connexe avec l’automate d’expression rationnelle (abcde)∗ {n} A.1 A.2 A.3 A.4 A.5 A.6 Automate fini pond´er´e dans Q ´ Etape ´ Etape La d´eterminisation avec l’inverse de poids La d´eterminisation avec le “normalize” dans Q La d´eterminisation avec le “normalize” dans Z vii 40 40 41 41 49 49 50 51 51 52