ENTROPIES CONDITIONNELLES ET LEURS APPLICATIONS EN APPRENTISSAGE

Institut de la Francophonie pour Équipe LOFTI l'Informatique Laboratoire d'Informatique de Paris RAPPORT DE STAGE ENTROPIES CONDITIONNELLES ET LEURS APPLICATIONS EN APPRENTISSAGE Réalisé par : DANG Thanh Ha Promotion - IFI Sous la responsabilité de : Mme Bernadette BOUCHON-MEUNIER Directeur de recherche au CNRS Co-encadré par : M Christophe MARSALA Maître de Conférences l’université Paris Soutenu le 15 octobre 2003 devant le jury composé de M Alain BOUCHER (IFI, président) M HO Thuan (Institut de la technologie d’information, examinateur) M HO Tuong Vinh(IFI, examinateur) M NGUYEN Thanh Thuy (Institut Polytechnique de Hanoï, rapporteur) Résultat de la soutenance : 18/20 Paris, septembre 2003 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage REMERCIEMENTS En premier lieu, je tiens exprimer ma plus grande reconnaissance envers mon responsable de stage, Madame B Bouchon-Meunier qui a accepté de m'accueillir en stage dans son équipe de recherche, de m'avoir permis de mener bien ce travail par ses conseils, ses remarques et ses suggestions Je la remercie aussi pour son soutien, l’encouragement qu'elle m'a donné pour faciliter mes conditions de vie Paris, pour me familiariser avec la vie de l'équipe, … Je tiens remercier énormément Christophe Marsala, qui a accepté de co-encadrer mon stage Je le remercie ainsi pour ses conseils, ses suggestions ainsi que son soutien tout au long de mon stage Je remercie également Madame Giulianella Coletti, Université de Perugia - Italie, pour les discussions que nous avons eues C'est l'issue de ses claires explications que j'ai pu comprendre mieux le domaine de recherche Je remercie tous les membres de l'équipe LOFTI pour leurs encouragements, leurs conseils, leurs aides et la sympathie qu'ils m'ont donnée J'aime bien l'ambiance familière qu'ils créent au sein de l'équipe Depuis le début de mon stage en France, j'ai reçu beaucoup d'aides et d'encouragements de mes amis Tout cela me permet de mieux compléter le stage Je les remercie ! Je voudrais également remercier mes parents, ma petite sœur et mon petit frère qui m'encouragent énormément depuis le début de mes études en France DANG Thanh Ha Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Résumé Il existe plusieurs entropies et entropies conditionnelles associées définies par les différentes approches suivantes: approche combinatoire, approche probabiliste, approche algorithmique et approche axiomatique L'entropie la plus classique est celle de Shannon et l'entropie conditionnelle associée, basée sur des probabilités conditionnelles, est couramment employée en apprentissage Néanmoins, d'autres entropies et entropies conditionnelles qui ont été définies dans la littérature, ne sont pas étudiées en apprentissage De plus, des travaux récents ont mis en évidence le conditionnement de mesures différentes, telles que des mesures de possibilité, qui peuvent conduire la définition d'entropies conditionnelles généralisées Celles-ci peuvent servir de mesures de discrimination pour les méthodes d'apprentissage inductif Dans ce rapport, nous présentons nos études sur l’entropie conditionnelle et ses applications en apprentissage D’abord, un état de l'art sur les entropies conditionnelles et sur l’apprentissage inductif est établi Ensuite, les différentes approches pour définir des entropies conditionnelles sont considérées, particulièrement l’approche probabiliste et l’approche axiomatique Nous avons mis en évidence certaines différences ainsi que des points communs entre des entropies conditionnelles existant Enfin, nous comparons les capacités des entropies conditionnelles dans la construction d’arbre de décision partir de données selon l’algorithme ID3 Parmi les étapes de cet algorithme, le choix du meilleur attribut et la discrétisation des attributs prenant ses valeurs dans un domaine continu sont effectuées l’aide d’entropies conditionnelles Des expérimentations sont menées sur certaines bases de données avec les outils informatiques que nous avons développés Mots clés : arbre de décision, apprentissage inductif, théorie de l'information, entropie conditionnelle DANG Thanh Ha Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Abstract Several entropies and associated conditional entropies are defined by the following approaches: the combinatorial approach, the probabilistic approach, the algorithmic approach and the axiomatic approach The most traditional entropy is Shannon’s entropy and the associated conditional entropy, based on conditional probabilities, is usually employed in machine learning Nevertheless, other entropies and conditional entropies which have been defined in the literature are not studied in machine learning Moreover, recent work has shown the conditioning of different measures, such as the possibility measure, which can lead to the definition of generalized conditional entropies Those can be used as measures of discrimination for the methods of inductive learning In this report, we present our studies on conditional entropies and their applications in inductive learning Firstly, a state of the art on the conditional entropies and inductive learning is established Then, the various approaches to define conditional entropies are considered, particularly the probabilistic approach and the axiomatic approach We point out some differences as well as common points between these existing conditional entropies Finally, we compare the capacities of the conditional entropies in the construction of decision tree by the algorithm ID3 Among the stages of this algorithm, the choice of the best attribute and the discretization of the attributes taking values in a continuous domain use conditional entropies These experiments are carried on some databases with the tools which we developed to compare the capabilities of conditional entropy Key words: decision tree, inductive learning, information theory, conditional entropy DANG Thanh Ha Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Table des matières REMERCIEMENTS RESUME ABSTRACT TABLE DES MATIERES CHAPITRE : INTRODUCTION CHAPITRE : ETAT DE L’ART I Apprentissage inductif et arbre de décision Introduction Choix du meilleur attribut 12 Discrétisation des attributs numériques 13 Condition d’arrêt 14 Conclusion 14 II Entropies et entropies conditionnelles 15 Approche combinatoire 15 Approche probabiliste 16 Approche algorithmique 19 Approche axiomatique 20 CHAPITRE : COMPARAISON DES ENTROPIES CONDITIONNELLES 27 I Étude des particularités entre les entropies conditionnelles de Shannon, Rényi, Daroczy et le système d’axiomes proposé par Coletti 27 Première approche 27 Deuxième approche 28 II Comparaison des systèmes d’axiomes 35 Définition de Kampé de Fériet 36 Définition de Benvenuti 36 DANG Thanh Ha Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Définition de Coletti 37 Remarque 37 III Conclusion 37 CHAPITRE : EXPÉRIMENTATION 38 I Choix du meilleur attribut 39 Expérimentation sur des bases artificielles 39 Expérimentation sur des bases réelles 42 II Discrétisation des attributs numériques 44 III Conclusion 48 CHAPITRE : CONCLUSION 49 ANNEXES 51 I Système DTGen 51 Contexte général et description du système existant 51 Conception 52 Implémentation 52 Résultats 54 II Système COMPARAISON 56 Contexte général 56 Présentation du système et de ses caractéristiques principales 57 Conception 60 Implémentation 62 Résultats 63 RÉFÉRENCES 66 DANG Thanh Ha Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Chapitre : INTRODUCTION La notion d'entropie est fondamentale en physique statistique D’abord, elle apparaît dans la deuxième loi de la thermodynamique, et en mécanique statistique En informatique, elle intervient dans la théorie de l'information, sous la forme célèbre de l’entropie de Shannon entre autres Parmi les premières études sur l’entropie en informatique, on peut citer celles de H Nyquist et R Harley Mais la vraie naissance de la théorie d’information est marquée par les études de Shannon En fait, la formule de Shannon est similaire celle de Boltzmann en mécanique statistique mais Shannon a montré la signification de la formule comme une mesure d’information Depuis, la notion d’entropie est devenue très importante en informatique théorique et appliquée : transmission d'information (codage de source, codage de chaîne, détecteur d’erreur), inférence statistique, cryptographie, algorithmique,…[29] L'entropie est utilisée pour mesurer la quantité d'information ou comme mesure d'incertitude Il existe plusieurs approches pour définir l'entropie : approche combinatoire, approche probabiliste, approche algorithmique, approche axiomatique Associée la notion d'entropie, la notion d'entropie conditionnelle représente l’entropie d’un événement sous certaines conditions Cependant, toutes les entropies n’ont pas de formule conditionnelle correspondante Par exemple celles de Harley, Wiener, Burg,… Dans le domaine de l'intelligence artificielle, l'entropie conditionnelle est utilisée en apprentissage inductif [10, 18, 19, 20, 22, 26, 30]: par exemple pour la construction d’un arbre de décision partir d’une base d'apprentissage Dans ce processus, elle sert sélectionner le meilleur attribut parmi un ensemble d’attributs possibles ; établir les critères d’arrêt de l’algorithme; optimiser la discrétisation des attributs prenant leurs valeurs dans un domaine continu L'entropie et l'entropie conditionnelle de Shannon, basées sur des probabilités conditionnelles sont couramment employées Cependant, il existe d’autres entropies conditionnelles dans la littérature comme celle de Rényi, celle de Daroczy, qui n’ont pas encore été étudiées pour le problème d'apprentissage Un des buts de ce stage est de mener des recherches sur l’utilisation des entropies conditionnelles existantes en apprentissage Traditionnellement, l'entropie conditionnelle est définie partir de l'entropie Plus récemment, on a étudié le conditionnement de mesures différentes telles que la probabilité, la possibilité [7, 8, 11, 12] On trouve alors que l'on peut définir la probabilité conditionnelle, possibilité conditionnelle comme des notions primitives et en déduire la probabilité, la DANG Thanh Ha Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage possibilité comme cas particuliers Cette approche nous semble plus raisonnable, plus naturelle et plus prometteuse Ceci nous suggère des définitions d'entropies conditionnelles généralisées et des méthodes d’application en apprentissage Pour aller plus loin, nous avons l’intention d’étudier des formes généralisées d’entropies conditionnelles : l’entropie conditionnelle est directement définie sur l’ensemble des événements conditionnels Le stage consiste en une étude des entropies conditionnelles Nous visons d’abord caractériser les différentes entropies conditionnelles existantes dans la littérature Ensuite, nous étudions leurs applications en apprentissage, plus concrètement pour la construction d’arbres de décision Enfin, nous avons l’intention de rechercher de nouvelles entropies conditionnelles Dans cette voie, nous nous intéressons essentiellement l'approche axiomatique pour définir les entropies conditionnelles, ainsi que la prise en compte des entropies sans condition comme cas particuliers Sur le plan théorique, nous avons étudié la particularité de l’entropie conditionnelle de Rényi, de Daroczy par rapport l’entropie de Coletti et les relations entre l’entropie de Kampé de Fériet, celle de Benvenutti et celle de Coletti Sur le plan pratique, nous avons développé des outils informatiques : une extension de DTGen (Decision Tree Generation), COMPARAISON, pour étudier les comportements de chacune des entropies conditionnelles en apprentissage En dehors des résultats scientifiques, j’ai pu bénéficier d’une formation au métier de chercheur J'ai pu acquérir des méthodes de travail ainsi qu’une expérience de recherche grâce mes responsables de stage et mes collèges dans l'équipe Les résultats obtenus nous engagent continuer les recherches sur les entropies conditionnelles généralisées Ils nous permettent également de développer des outils pour aider les utilisateurs choisir l'entropie conditionnelle utilisée dans leurs problèmes d'apprentissage inductif pour avoir de meilleurs résultats Dans ce but, nous essayons d’étudier les comportements de chaque entropie avec des bases d’apprentissage artificielles et réelles Ce rapport de stage décrit les travaux que j’ai réalisés au cours de mon stage de fin d’études Il est organisé comme suit : nous présentons dans le deuxième chapitre un état de l'art sur les problèmes étudiés dans le stage : le problème d’apprentissage inductif (plus concrètement la construction d’arbres de décision partir d’une base d’apprentissage) ; les approches d’études d’entropies et d’entropies conditionnelles Le troisième chapitre décrit des DANG Thanh Ha Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage études effectuées sur le plan théorique : la particularité des entropies conditionnelles existantes dans la littérature par rapport l’approche axiomatique de Coletti ainsi que la comparaison entre cette approche et d’autres approches axiomatiques : celle de Kampé de Fériet et celle de Benvenuti Les résultats d’expérimentation avec des outils que nous avons développés sont décrits dans le chapitre Enfin, nous concluons par les résultats obtenus ainsi que les perspectives qu’ouvre ce stage Les documents techniques des logiciels développés sont mis en annexe Quelques mots sur l'environnement de stage : Ce stage a duré mois (à partir du premier Avril 2003) dans l'équipe LOgique Floue et Traitement d'Incertitudes - LOFTI - du Laboratoire d'Informatique de Paris - LIP6 Cette équipe est dirigée par Madame Bernadette Bouchon-Meunier, Directeur de recherche au CNRS Les travaux de l'équipe LOFTI portent sur l'apprentissage, la représentation et l'exploitation de connaissances imparfaites, c'est-à-dire imprécises et/ou incertaines Les mots clés de recherche de l’équipe sont : des méthodes d'apprentissage partir d'exemples, la représentation des connaissances (formalisme général pour les relations de ressemblance ou de dissemblance), l'exploitation de connaissances imparfaites (développement de diverses méthodes floues ou possibilistes d'optimisation, de commande, de traitement d'images, d'agrégation d'informations, de comparaison d'objets, de déduction) Les membres de l'équipe LOFTI se sont investis dans la logique floue très tôt (dès 1974) et ont développé des applications dans ce domaine depuis 1987 Des informations plus détaillées sur l'équipe se trouvent sur son site Web http://www-apa.lip6.fr/LOFTI/ DANG Thanh Ha Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Chapitre : ETAT DE L’ART Ce chapitre est consacré un état de l’art dans le domaine d’étude Les problèmes d’apprentissage, des entropies et des entropies conditionnelles sont présentés On considère dans ce rapport que les notions de base de la théorie des sous-ensembles flous et de la théorie de l’information sont connues par le lecteur Pour plus de détails, voir [9, 25] I Apprentissage inductif et arbre de décision Introduction Le problème de l’apprentissage automatique est fondamental en intelligence artificielle Il apparaît par exemple, dans des problèmes de classification, prédiction,…Dans ce rapport, nous nous intéressons l’apprentissage inductif supervisé dans le cadre de la classification Le problème de la classification vise affecter un objet une classe prédéfinie Il existe plusieurs approches pour résoudre ce problème : réseau de neurones, méthode statistique, arbres de décision, … Une des approches les plus efficaces et les plus utilisées en IA est l’utilisation d’arbres de décision D’après cette méthode, la résolution du problème procède en plusieurs étapes L’étape la plus importante consiste établir des règles de classification partir des connaissances disponibles a priori Cette étape utilise soit l’apprentissage déductif, soit l’apprentissage inductif La différence essentielle entre l’apprentissage inductif et apprentissage déductif est la façon de construire des règles En apprentissage déductif, les règles d’affectation sont déterminées a priori par interaction avec des experts Tandis qu’en apprentissage inductif, on essaye de trouver des règles partir d’un ensemble d’exemples, selon une méthode dite du particulier au général À partir de ces règles, on détermine les classes d’affectation des objets En pratique, pour résoudre certains problèmes de classification on a besoin de méthodes qui peuvent combiner les deux types d’apprentissage Une méthode de représentation des règles dans ce cas est l’utilisation d’un arbre de décision Ce dernier est un arbre dont les nœuds non terminaux sont associés une question Les réponses sont associées aux branches menant aux fils d’un nœud non terminal Un chemin de la racine une feuille correspond une série de questions et réponses Les données stockées en feuille sont celles qui correspondent la série de questions et réponses sur le DANG Thanh Ha Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage ArretID3.java : Il faut convertir le paramètre de String Integer Avant : If (base.size() < ((Integer )param.get("Nombre d'exemple minimum")).intValue()) Après la modification : if (base.size() < (Integer.parseInt((String)param.get("Nombre d'exemple minimum")))) Nous trouvons qu’il est préférable de séparer la partie statistique dans DiscriminationID3.java car cette partie est commune tous les algorithmes lors du calcul d’entropie conditionnelle et qu'elle est relativement indépendante des autres Résultats Après avoir été implémentés et compilés, les nouveaux algorithmes apparaîtront dans la fenêtre de choix lorsqu’on lance le système et on peut les utiliser pour la construction des arbres de décision Ce système permet de construire des arbres de décision partir de données en utilisant les différentes entropies conditionnelles pour le choix du meilleur attribut En principe, ce système pourrait être modifié pour appliquer les différentes entropies conditionnelles dans les autres étapes comme nous l’avons abordé dans le deuxième chapitre : discrétisation des attributs prenant leurs valeurs dans un domaine continu, vérification du critère d’arrêt On pourrait ainsi étendre le système pour traiter des attributs flous Voici les copies d’écran associé l’exécution du logiciel : DANG Thanh Ha 54 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Fig 10 : L’écran de bienvenue Fig 11 : Construction et visualisation d’un arbre de décision DANG Thanh Ha 55 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Fig 12 : Classification d’exemples d’une base de test II.Système COMPARAISON Contexte général COMPARAISON est un des systèmes développés durant mon stage, il a pour but de comparer les différents types d'entropies conditionnelles appliquer lors de la construction des arbres de décisions Étant donné un ensemble d'exemples d'apprentissage, dont chaque exemple est décrit par des valeurs alphanumériques associées des attributs, chaque étape de la construction des arbres de décision, il faut choisir l’attribut Ai qui minimise l'entropie de l’ensemble des exemples ou bien celui qui donne l'entropie conditionnelle H(C|Ai) ayant la plus petite valeur Il est évident que, lorsqu'on utilise des entropies conditionnelles différentes, les attributs choisis peuvent être différents Nous voudrions étudier en quoi consistent les différences, quels sont les facteurs qui influent sur les résultats, quel est le comportement de chaque entropie par rapport aux ensembles d'apprentissage À l'aide du système, nous pourrons construire des exemples de base d'apprentissage pour l'illustration et la vérification empirique des principes dégagés dans la recherche théorique DANG Thanh Ha 56 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Dans un premier temps, nous étudions le cas le cas le plus simple : chaque exemple est décrit par seulement deux attributs A1 et A2 L'attribut A1 prend sa valeur dans l'ensemble {v1, v2} et l'attribut A2 prend sa valeur dans l'ensemble {w1, w2} Les entropies conditionnelles utilisées sont l’entropie conditionnelle de Shannon, celle de Rényi et celle de Daroczy Dans le futur, le système devra pouvoir être étendu pour des cas plus généraux (plusieurs attributs, plusieurs valeurs de chaque attribut, utilisation de valeurs numériques, valeurs floues …), pour générer automatiquement des bases d’apprentissage qui servent tester les entropies conditionnelles, pour permettre l'édition des fichiers pour avoir des analyses plus précises Présentation du système et de ses caractéristiques principales En entrée, le système permet l’utilisateur de choisir un fichier qui contient la base d'exemples L'utilisateur peut sélectionner une ou plusieurs entropies conditionnelles utiliser pour choisir le meilleur attribut dans le processus de construction d'un arbre de décision La mode d'affichage des résultats permet l’utilisateur de comparer les entropies conditionnelles À la demande de l'utilisateur les résultats peuvent être écrits dans un fichier Le système permet ainsi de considérer une entropie conditionnelle selon ses paramètres (pour l’entropie de Rényi et celle de Daroczy) Voici le diagramme de cas d'utilisation : Calculer/Choisir le m eilleur attribut Considérer une entropie conditionnelle selon ses paramètres Quitter Fig 13 : Diagramme de cas d'utilisation DANG Thanh Ha 57 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Le système peut être divisé en parties qui correspondent packages lors de l’implémentation : • Lecture /écriture des données • Calcul des entropies conditionnelles, choix du meilleur attribut • Interface graphique a) Lecture / écriture des données Lecture des données Les données d’entrée sont organisées sous forme d'un fichier texte (ASCII), y compris des lignes de commentaires et lignes de données Les lignes de commentaire se trouvent au début du fichier et se débutent par "//" Chaque ligne de données se compose de chaînes alphanumériques séparées par ";", il n'y a pas d'espace devant la première chaîne (valeur de A1) : ( vi ; wj; c; p) vi : valeur d'attribut A1 wj : valeur d'attribut A2 c : nom de classe p : probabilité que cet exemple se présente dans la base d'apprentissage, p est un nombre réel de l’intervalle [0,1] et la somme de ces probabilités est Lors de la lecture du fichier, le système vérifie la cohérence du fichier d’entrée Dans le cas où des incohérences sont détectées, le système le signale l'utilisateur et refuse de continuer avec ce fichier Donc, le format de fichier d’entrée est : //Les commentaires v1 ; w1 ; c1 ; p1 v1 ; w1 ; c2 ; p2 v1 ; w2 ; c1 ; p3 v1; w2; c2; p4 v2 ; w1 ; c1 ; p5 v2 ; w1 ; c2 ; p6 DANG Thanh Ha 58 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage v2 ; w2 ; c1 ; p7 v2 ; w2 ; c2 ; p8 Ecriture des données Le fichier de sortie est constitué des résultats de traitement C'est un fichier texte (ASCII) dont le format est décrit dans le tableau suivant : Description • Le contenu entier du fichier d’entrée Exemple //Ceci est un exemple //A1 est forme, A2 est couleur, classe est + ou rond; rouge; +; 0.1 rond; rouge; -; 0.15 rond; bleu; +; 0.05 rond; bleu; -; 0.1 carré; rouge; +; 0.06 carré; rouge; -; 0.12 carré; bleu; +; 0.09 carré; bleu; -;0.33 • Le nom de l'entropie conditionnelle choisie Rényi; 1.4 (nom + coefficient) (écrit en une ligne) • H(C|A1); H(C|A2) (écrit en une ligne) 0.8; 0.6 • Le meilleur attribut Ai (écrit en une ligne) A2 • Ai = v1 : p(c1) ; p(c2) (écrit en une ligne) A2 = rouge: 0.56; 0.44 • Ai = v2 : p(c1) ; p(c2) (écrit en une ligne) A2 = bleu: 0.29; 0.71 b) Calcul des entropies conditionnelles, choix du meilleur attribut On doit calculer les entropies conditionnelles par différentes méthodes définies dans le deuxième chapitre pour les données concrètes On compare ensuite les deux valeurs : HS(C|A1) et HS(C|A2) pour trouver la plus petite HS(C|Ai) Ai est l'attribut optimal Cet attribut sera utilisé pour partitionner la base d’apprentissage selon ses valeurs Ensuite, pour étudier l’influence du coefficient β, on fait varier ce coefficient dans un intervalle choisi et on trace le diagramme des entropies conditionnelles DANG Thanh Ha 59 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage c) Interface graphique Dans le système, l’interface graphique sert : • Choisir le fichier traiter • Choisir une (des) entropie(s) conditionnelle(s) appliquer • Afficher les courbes de la variation des entropies en fonction du coefficient β • Afficher les valeurs d’entropies conditionnelles et les partitions de chaque base d’apprentissage associée une valeur d’un attribut Conception Le système est divisé suivant les packages suivants : comparaison.data, comparaison.entropie et comparaison.gui entropie gui data Fig 14 : Diagramme de composant a) Package comparaison.data : Ce package sert gérer la lecture, l’écriture des données et modéliser un exemple dans la base d’apprentissage DANG Thanh Ha 60 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Fichiers Exemple Décrire un exem ple dans la base d'apprentissage Implém enter la lecture et l'écriture des fichiers de données Fig 15 : Diagramme de classe du package : comparaison.data b) Package comparaison.entropie: entropieConditionnelleRenyi1 entropieConditionnelleRenyi2 entropieConditionnelleRenyi3 entropieRényi entropieShannon entropie entropieDaroczy entropieConditionnelleDaroczy1 entropieConditionnelleDaroczy2 entropieConditionnelleDaroczy3 Fig 16 : Diagramme de classe du package : comparaison.entropie DANG Thanh Ha 61 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Ce package sert calculer les entropies et les entropies conditionnelles Il est organisé de façon hiérarchique et on peut ajouter de nouvelles entropies conditionnelles c) Package gui : aboutBox javax.swing.JDialog javax.swing.JFrame GUI mainFrame uneEntropie toutesEntropies caramen betaDiagram me diagram me java.awt.Canvas Fig 17 : Diagramme de classe du package : comparaison.gui Implémentation Le système est développé en Java (jdk 1.4.1), sous Linux DANG Thanh Ha 62 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Résultats Lorsque l’on lance le système, un menu permet l'utilisateur de choisir le fichier de données, l’entropie conditionnelle, ainsi que les paramètres nécessaires Le système fournit l'utilisateur la possibilité de choisir les différentes entropies conditionnelles : • Entropie conditionnelle de Shannon • Entropie conditionnelle de Rényi avec différents coefficients β • Entropie conditionnelle de Daroczy avec différents coefficients β • Toutes les entropies conditionnelles existantes Le coefficient apparaissant dans les entropies conditionnelles de Rényi et Daroczy peut être entré en tapant une valeur réelle Fig 18 : L’écran de bienvenue DANG Thanh Ha 63 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Pour chercher le meilleur attribut, on clique sur le bouton « OK », un écran présente alors les résultats : Fig 19 : Résultat des calculs correspondants une entropie conditionnelle DANG Thanh Ha 64 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage On peut voir tous les résultats en même temps lorsque l’on choisit toutes les entropies : Fig 20 : Résultat de calculs correspondants toutes les entropies conditionnelles Pour l’étude de la variation de l’entropie conditionnelle selon le coefficient β, il faut cliquer sur le bouton «Variation selon β » À travers l’interface fournie, l’utilisateur peut choisir l’intervalle d’étude (spécifié par la première et la dernière valeur), le pas de variation de β, l’échelle selon des axes, … On peut ensuite visualiser les courbes des entropies conditionnelles selon β Des copies d’écran sont présentées dans le quatrième chapitre de ce rapport DANG Thanh Ha 65 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage RÉFÉRENCES S Abe, A K Rajagopal, Non additive conditional entropy and its significance for local realism, Physica A 289: (1-2) pp 157-164, Jan 2001 J Aczél, On different Characterizations of Entropies, Probability and Information Theory, Lecture Notes in Mathematics, University of Waterloo, Ont, ? J Aczél et Z Daroczy, On measures of Informations an their Characterization, Mathematics in science and engineering, Volume 115, 1975 B Ben Yaghlane, Independence Concepts for Belief Functions, In Proc of IPMU 2000, pp 357-364, 2000 P Benvenuti, D Vivona, M Divari, A General Information for Fuzzy Sets, In Proc of IPMU (Information Processing and Management of Uncertainty 1990), pp 202-203, 1990 P Benvenuti, Sur l'indépendance dans l'information, Colloques Internationaux du CNRS, No 276, Théorie de l'information, ? B Bouchon-Meunier, G Coletti, C Marsala, Conditional Possibility and Necessity, Technologies for Constructing Intelligent Systems, pp 59 – 71, 2002 B Bouchon-Meunier, G Coletti, C Marsala, Independence and possibilistic conditioning, Annals of Mathematics and Artificial Intelligence, Volume 35, pp 107-123, 2002 B Bouchon-Meunier, La logique floue et ses applications, Addison-Wesley, 1995 10 B Bouchon-Meunier et C Marsala, Measures of discrimination for the construction of fuzzy decisions trees, In Proc of FIP’03, Pékin 2003 11 B Bouchon-Meunier, Hung T Nguyen, Les incertitudes dans les systèmes intelligents, Collection « Que sais-je ?», Paris, 1996 12 G Coletti et R Scozzafava, Probabilistic logic in a coherent setting, Kluwer Academic Publishers, 2002 13 Z Daroczy, Generalized Information Fonctions, Information and Control, 16, pp 36-51, 1970 14 D Dubois and H Prade, Conditioning in possibility and evidence theories – A logical viewpoint, In Proc of IPMU 88, pp 401 – 409, 1988 DANG Thanh Ha 66 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage 15 D Dubois and H Parde, Fuzzy sets and probability : Misunderstandings, bridges and gaps, Proceedings of the Second Conference on Fuzzy Systems (IEEE), pp 1059-1068, 1993 16 J Kampé de Feriet, L'indépendance des événements dans la théorie généralisée de l'information, Journées Lyonnaises des questionnaires, 12-13 Juin 1975 17 J Kampé de Fériet, Mesure de l’information fournie par un événement, Séminaire sur les questionnaires, 24 Novembre et Décembre 1971 18 C Marsala, Apprentissage inductif en présence de données imprécises : Construction et utilisation d'arbres de décision flous, Thèse doctorale de l’Université de Paris VI, 1998 19 C Marsala and B Bouchon-Meunier, Choice of a method for the construction of fuzzy decision trees, In Proc of the IEEE Int Conf on Fuzzy Systems, FUZZ-IEEE'03, St Louis (USA), pp 584-589, May 2003 20 B Nabil, Une approche du choix flou pour les problèmes de classification multicritère, (http://smg.ulb.ac.be/Preprints/Belacel00_13.html), 2000 21 D H Poritz, The Collector Problem in Generalized Information Theory, University of Waterloo, thesis 1975 22 M Ramdani, Système d'induction formelle base de connaissances imprécises, Thèse doctorale de l'Université de Paris VI, 1994 23 A Rényi, Calcul des probabilités (version française traduite par C Bloch), Editeur Dunod – Paris, 1966 24 G Segre, Algorithmic Information Theoretic Issues in Quantum Mechanics, PHD thesis, December 29, 2001 (http://pwh.tin.it/gavriels/thesis.pdf) 25 C.E Shannon, A Mathematical Theory of Communication, Reprinted with correction from the Bell System Technical Journal, vol 27, pp 379-423, 623-656, July, October, 1948 26 D A Simovici – S Jaroszewics, Generalized Entropy and Decisions Trees, EGC'2003, Journées francophones d'Extraction et de Gestion des Connaissances, Lyon 22-23-24 Janvier 2003 27 F Stermann et N Longuet, Document technique de DTGen, Rapport de stage de fin d’étude, DESS IA – Paris 6, Avril 2003 DANG Thanh Ha 67 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage 28 J Vejnarová, Conditional Independence Relations in possibility theory, In Proceedings of the first international symposium on imprecise probabilities and their applications, Ghent, Belgium, June 1999 29 S Verdu, Fifty Years of Shannon Theory, IEEE Transaction on information theory, vol 44, No 6, pp 2057-2078, October 1998 30 L Wehenkel, Une approche de l’intelligence artificielle appliquée l’évaluation de la stabilité transitoire des réseaux électriques, Thèse doctorale de l’Université de Liège Belgique, 1990 31 L Wehenkel, On uncertainty measure used for decision tree induction, In Proc of IPMU 1996, pp 413-418, 1996 32 T Yamano, A possible extension of Shannon’s information theory, Entropy 2001, 3, pp 259-272, 2001 (http://www.mdpi.org/entropy/htm/e3040280.htm) 33 Y Yuan and M J Shaw, Induction of fuzzy decision trees Fuzzy Sets and Systems 69, pp 125-139, 1995 DANG Thanh Ha 68 [...]... stage et au-del en ộtudiant des propriộtộs des entropies conditionnelles et en dộveloppant un systốme pour aider lutilisateur choisir des entropies conditionnelles convenables II Entropies et entropies conditionnelles Dans cette partie, nous prộsentons un bref ộtat de lart sur les diffộrentes approches de dộfinitions des entropies conditionnelles Nous prộsentons aussi les efforts rộalisộs pour ộtendre... et leurs applications en apprentissage Chapitre 3 : COMPARAISON DES ENTROPIES CONDITIONNELLES I ẫtude des particularitộs entre les entropies conditionnelles de Shannon, Rộnyi, Daroczy et le systốme daxiomes proposộ par Coletti Cette partie prộsente les rộsultats de la comparaison des entropies conditionnelles de Rộnyi, Daroczy et de Shannon avec la dộfinition de Coletti Ces entropies ont ộtộ prộsentộes... types dentropies conditionnelles dộfinies ci-dessus En principe, on peut aussi combiner lentropie de Shannon avec les trois types dentropie conditionnelle ci-dessus DANG Thanh Ha 18 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage On va considộrer cette approche dans les parties suivantes c) Dộfinition de lentropie dộvộnements flous Lentropie de Shannon peut ờtre ộtendue... F )d Cette 0 DANG Thanh Ha 15 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage dộfinition nest valable que pour les sous-ensembles flous dont le support est un ensemble fini Cette approche est la plus simple et plus ou moins naùve Il n'y a pas de dộfinition d'entropie conditionnelle associộe Cette approche est rarement utilisộe 2 Approche probabiliste Cette approche...Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage chemin de la racine ce nud La structure arborescente dun arbre est ộquivalente un ensemble de rốgles si alors ce qui justifie une dộcision prise en suivant lun de ses chemins Cette structure de connaissances est trốs proche de celle manipulộe naturellement par un ờtre humain Nous considộrons lapprentissage inductif... comparaisons sont prộsentộs dans le chapitre 3 du rapport Dans la suite, pour la simplification de notation, on ộcrit I (B A) au lieu de I ([B A]) lorsque lon parle de lentropie conditionnelle de Coletti DANG Thanh Ha 25 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Dộfinition II.5 : Soit A une algốbre dộvộnements et B un ensemble additif avec BA et B ne contient pas Une... conditionnelles et leurs applications en apprentissage ii) Choix dun attribut de dộcision iii) Condition darrờt Lentropie conditionnelle est aussi utilisộe pour le partitionnement de la base dapprentissage dans le cas de base dapprentissage ayant des attributs flous Dans la suite, nous prộsentons les applications des entropies conditionnelles dans ces ộtapes Nous nous sintộressons actuellement au choix dattribut... ci-dessous se trouve dans cette voie de recherche Nous nous intộressons bien cette approche en espộrant quelle conduit une dộfinition dentropie conditionnelle gộnộralisộe Comme Coletti a proposộ un systốme daxiomes, dans le cadre du stage, nous continuons les recherches sur cette idộe en vộrifiant la compatibilitộ entre lentropie conditionnelle de Coletti et les diffộrentes entropies conditionnelles existantes... apprentissage DANG Thanh Ha 14 Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Comme il existe plusieurs mesures utiliser, face au problốme dapprentissage inductif, une question qui se pose naturellement est : quelles sont les mesures recommandộes utiliser connaissant les propriộtộs de la base dapprentissage ? Cette question est vraiment difficile Nous essayons de rộsoudre... (quantitộ d'information moyenne des ộlộments de X) est aussi : I ( X ) = log 2 n (comme il ne cause pas dambiguùtộ, dans ce cas, on utilise la mờme notation I pour lentropie dun ộvộnement ainsi que lentropie dun ensemble) Higachi et Klir (1982) ont proposộ une extension de l'entropie de Hartley aux sousensembles flous L'entropie de lensemble flou F qu'ils dộfinissent, est la moyenne des 1 entropies de Harley