(LUẬN VĂN THẠC SĨ) ENTROPIES CONDITIONNELLES ET LEURS APPLICATIONS EN APPRENTISSAGE

Institut de la Francophonie pour Équipe LOFTI l'Informatique Laboratoire d'Informatique de Paris RAPPORT DE STAGE ENTROPIES CONDITIONNELLES ET LEURS APPLICATIONS EN APPRENTISSAGE Réalisé par : DANG Thanh Ha Promotion - IFI Sous la responsabilité de : Mme Bernadette BOUCHON-MEUNIER Directeur de recherche au CNRS Co-encadré par : M Christophe MARSALA Mtre de Conférences l’université Paris Soutenu le 15 octobre 2003 devant le jury composé de M Alain BOUCHER (IFI, président) M HO Thuan (Institut de la technologie d’information, examinateur) M HO Tuong Vinh(IFI, examinateur) M NGUYEN Thanh Thuy (Institut Polytechnique de Hanoï, rapporteur) Résultat de la soutenance : 18/20 Paris, septembre 2003 TIEU LUAN MOI download : skknchat@gmail.com Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage REMERCIEMENTS En premier lieu, je tiens exprimer ma plus grande reconnaissance envers mon responsable de stage, Madame B Bouchon-Meunier qui a accepté de m'accueillir en stage dans son équipe de recherche, de m'avoir permis de mener bien ce travail par ses conseils, ses remarques et ses suggestions Je la remercie aussi pour son soutien, l’encouragement qu'elle m'a donné pour faciliter mes conditions de vie Paris, pour me familiariser avec la vie de l'équipe, … Je tiens remercier énormément Christophe Marsala, qui a accepté de co-encadrer mon stage Je le remercie ainsi pour ses conseils, ses suggestions ainsi que son soutien tout au long de mon stage Je remercie également Madame Giulianella Coletti, Université de Perugia - Italie, pour les discussions que nous avons eues C'est l'issue de ses claires explications que j'ai pu comprendre mieux le domaine de recherche Je remercie tous les membres de l'équipe LOFTI pour leurs encouragements, leurs conseils, leurs aides et la sympathie qu'ils m'ont donnée J'aime bien l'ambiance familière qu'ils créent au sein de l'équipe Depuis le dộbut de mon stage en France, j'ai reỗu beaucoup d'aides et d'encouragements de mes amis Tout cela me permet de mieux compléter le stage Je les remercie ! Je voudrais également remercier mes parents, ma petite sœur et mon petit frère qui m'encouragent énormément depuis le début de mes études en France DANG Thanh Ha TIEU LUAN MOI download : skknchat@gmail.com Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Résumé Il existe plusieurs entropies et entropies conditionnelles associées définies par les différentes approches suivantes: approche combinatoire, approche probabiliste, approche algorithmique et approche axiomatique L'entropie la plus classique est celle de Shannon et l'entropie conditionnelle associée, basée sur des probabilités conditionnelles, est couramment employée en apprentissage Néanmoins, d'autres entropies et entropies conditionnelles qui ont été définies dans la littérature, ne sont pas étudiées en apprentissage De plus, des travaux récents ont mis en évidence le conditionnement de mesures différentes, telles que des mesures de possibilité, qui peuvent conduire la définition d'entropies conditionnelles généralisées Celles-ci peuvent servir de mesures de discrimination pour les méthodes d'apprentissage inductif Dans ce rapport, nous présentons nos études sur l’entropie conditionnelle et ses applications en apprentissage D’abord, un état de l'art sur les entropies conditionnelles et sur l’apprentissage inductif est établi Ensuite, les différentes approches pour définir des entropies conditionnelles sont considérées, particulièrement l’approche probabiliste et l’approche axiomatique Nous avons mis en évidence certaines différences ainsi que des points communs entre des entropies conditionnelles existant Enfin, nous comparons les capacités des entropies conditionnelles dans la construction d’arbre de décision partir de données selon l’algorithme ID3 Parmi les étapes de cet algorithme, le choix du meilleur attribut et la discrétisation des attributs prenant ses valeurs dans un domaine continu sont effectuées l’aide d’entropies conditionnelles Des expérimentations sont menées sur certaines bases de données avec les outils informatiques que nous avons développés Mots clés : arbre de décision, apprentissage inductif, théorie de l'information, entropie conditionnelle DANG Thanh Ha TIEU LUAN MOI download : skknchat@gmail.com Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Abstract Several entropies and associated conditional entropies are defined by the following approaches: the combinatorial approach, the probabilistic approach, the algorithmic approach and the axiomatic approach The most traditional entropy is Shannon’s entropy and the associated conditional entropy, based on conditional probabilities, is usually employed in machine learning Nevertheless, other entropies and conditional entropies which have been defined in the literature are not studied in machine learning Moreover, recent work has shown the conditioning of different measures, such as the possibility measure, which can lead to the definition of generalized conditional entropies Those can be used as measures of discrimination for the methods of inductive learning In this report, we present our studies on conditional entropies and their applications in inductive learning Firstly, a state of the art on the conditional entropies and inductive learning is established Then, the various approaches to define conditional entropies are considered, particularly the probabilistic approach and the axiomatic approach We point out some differences as well as common points between these existing conditional entropies Finally, we compare the capacities of the conditional entropies in the construction of decision tree by the algorithm ID3 Among the stages of this algorithm, the choice of the best attribute and the discretization of the attributes taking values in a continuous domain use conditional entropies These experiments are carried on some databases with the tools which we developed to compare the capabilities of conditional entropy Key words: decision tree, inductive learning, information theory, conditional entropy DANG Thanh Ha TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Table des matières REMERCIEMENTS RESUME ABSTRACT TABLE DES MATIERES CHAPITRE : INTRODUCTION CHAPITRE : ETAT DE L’ART I Apprentissage inductif et arbre de décision Introduction Choix du meilleur attribut 12 Discrétisation des attributs numériques 13 Condition d’arrêt 14 Conclusion 14 II Entropies et entropies conditionnelles 15 Approche combinatoire 15 Approche probabiliste 16 Approche algorithmique 19 Approche axiomatique 20 CHAPITRE : COMPARAISON DES ENTROPIES CONDITIONNELLES 27 I Étude des particularités entre les entropies conditionnelles de Shannon, Rényi, Daroczy et le système d’axiomes proposé par Coletti 27 Première approche 27 Deuxième approche 28 II Comparaison des systèmes d’axiomes 35 Définition de Kampé de Fériet 36 Définition de Benvenuti 36 DANG Thanh Ha TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Définition de Coletti 37 Remarque 37 III Conclusion 37 CHAPITRE : EXPÉRIMENTATION 38 I Choix du meilleur attribut 39 Expérimentation sur des bases artificielles 39 Expérimentation sur des bases réelles 42 II Discrétisation des attributs numériques 44 III Conclusion 48 CHAPITRE : CONCLUSION 49 ANNEXES 51 I Système DTGen 51 Contexte général et description du système existant 51 Conception 52 Implémentation 52 Résultats 54 II Système COMPARAISON 56 Contexte général 56 Présentation du système et de ses caractéristiques principales 57 Conception 60 Implémentation 62 Résultats 63 RÉFÉRENCES 66 DANG Thanh Ha TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Chapitre : INTRODUCTION La notion d'entropie est fondamentale en physique statistique D’abord, elle appart dans la deuxième loi de la thermodynamique, et en mécanique statistique En informatique, elle intervient dans la théorie de l'information, sous la forme célèbre de l’entropie de Shannon entre autres Parmi les premières études sur l’entropie en informatique, on peut citer celles de H Nyquist et R Harley Mais la vraie naissance de la théorie d’information est marquée par les études de Shannon En fait, la formule de Shannon est similaire celle de Boltzmann en mécanique statistique mais Shannon a montré la signification de la formule comme une mesure d’information Depuis, la notion d’entropie est devenue très importante en informatique théorique et appliquée : transmission d'information (codage de source, codage de chne, détecteur d’erreur), inférence statistique, cryptographie, algorithmique,…[29] L'entropie est utilisée pour mesurer la quantité d'information ou comme mesure d'incertitude Il existe plusieurs approches pour définir l'entropie : approche combinatoire, approche probabiliste, approche algorithmique, approche axiomatique Associée la notion d'entropie, la notion d'entropie conditionnelle représente l’entropie d’un événement sous certaines conditions Cependant, toutes les entropies n’ont pas de formule conditionnelle correspondante Par exemple celles de Harley, Wiener, Burg,… Dans le domaine de l'intelligence artificielle, l'entropie conditionnelle est utilisée en apprentissage inductif [10, 18, 19, 20, 22, 26, 30]: par exemple pour la construction d’un arbre de décision partir d’une base d'apprentissage Dans ce processus, elle sert sélectionner le meilleur attribut parmi un ensemble d’attributs possibles ; établir les critères d’arrêt de l’algorithme; optimiser la discrétisation des attributs prenant leurs valeurs dans un domaine continu L'entropie et l'entropie conditionnelle de Shannon, basées sur des probabilités conditionnelles sont couramment employées Cependant, il existe d’autres entropies conditionnelles dans la littérature comme celle de Rényi, celle de Daroczy, qui n’ont pas encore été étudiées pour le problème d'apprentissage Un des buts de ce stage est de mener des recherches sur l’utilisation des entropies conditionnelles existantes en apprentissage Traditionnellement, l'entropie conditionnelle est définie partir de l'entropie Plus récemment, on a étudié le conditionnement de mesures différentes telles que la probabilité, la possibilité [7, 8, 11, 12] On trouve alors que l'on peut définir la probabilité conditionnelle, possibilité conditionnelle comme des notions primitives et en déduire la probabilité, la DANG Thanh Ha TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Fichiers Exemple Décrire un exem ple dans la base d'apprentissage Implém enter la lecture et l'écriture des fichiers de données Fig 15 : Diagramme de classe du package : comparaison.data b) Package comparaison.entropie: entropieConditionnelleRenyi1 entropieConditionnelleRenyi2 entropieConditionnelleRenyi3 entropieRényi entropieShannon entropie entropieDaroczy entropieConditionnelleDaroczy1 entropieConditionnelleDaroczy2 entropieConditionnelleDaroczy3 Fig 16 : Diagramme de classe du package : comparaison.entropie DANG Thanh Ha 61 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Ce package sert calculer les entropies et les entropies conditionnelles Il est organisộ de faỗon hiộrarchique et on peut ajouter de nouvelles entropies conditionnelles c) Package gui : aboutBox javax.swing.JDialog javax.swing.JFrame GUI mainFrame uneEntropie toutesEntropies caramen betaDiagram me diagram me java.awt.Canvas Fig 17 : Diagramme de classe du package : comparaison.gui Implémentation Le système est développé en Java (jdk 1.4.1), sous Linux DANG Thanh Ha 62 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Résultats Lorsque l’on lance le système, un menu permet l'utilisateur de choisir le fichier de données, l’entropie conditionnelle, ainsi que les paramètres nécessaires Le système fournit l'utilisateur la possibilité de choisir les différentes entropies conditionnelles : • Entropie conditionnelle de Shannon • Entropie conditionnelle de Rényi avec différents coefficients β • Entropie conditionnelle de Daroczy avec différents coefficients β • Toutes les entropies conditionnelles existantes Le coefficient apparaissant dans les entropies conditionnelles de Rényi et Daroczy peut être entré en tapant une valeur réelle Fig 18 : L’écran de bienvenue DANG Thanh Ha 63 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage Pour chercher le meilleur attribut, on clique sur le bouton « OK », un écran présente alors les résultats : Fig 19 : Résultat des calculs correspondants une entropie conditionnelle DANG Thanh Ha 64 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage On peut voir tous les résultats en même temps lorsque l’on choisit toutes les entropies : Fig 20 : Résultat de calculs correspondants toutes les entropies conditionnelles Pour l’étude de la variation de l’entropie conditionnelle selon le coefficient β, il faut cliquer sur le bouton «Variation selon β » À travers l’interface fournie, l’utilisateur peut choisir l’intervalle d’étude (spécifié par la première et la dernière valeur), le pas de variation de β, l’échelle selon des axes, … On peut ensuite visualiser les courbes des entropies conditionnelles selon β Des copies d’écran sont présentées dans le quatrième chapitre de ce rapport DANG Thanh Ha 65 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage RÉFÉRENCES S Abe, A K Rajagopal, Non additive conditional entropy and its significance for local realism, Physica A 289: (1-2) pp 157-164, Jan 2001 J Aczél, On different Characterizations of Entropies, Probability and Information Theory, Lecture Notes in Mathematics, University of Waterloo, Ont, ? J Aczél et Z Daroczy, On measures of Informations an their Characterization, Mathematics in science and engineering, Volume 115, 1975 B Ben Yaghlane, Independence Concepts for Belief Functions, In Proc of IPMU 2000, pp 357-364, 2000 P Benvenuti, D Vivona, M Divari, A General Information for Fuzzy Sets, In Proc of IPMU (Information Processing and Management of Uncertainty 1990), pp 202-203, 1990 P Benvenuti, Sur l'indépendance dans l'information, Colloques Internationaux du CNRS, No 276, Théorie de l'information, ? B Bouchon-Meunier, G Coletti, C Marsala, Conditional Possibility and Necessity, Technologies for Constructing Intelligent Systems, pp 59 – 71, 2002 B Bouchon-Meunier, G Coletti, C Marsala, Independence and possibilistic conditioning, Annals of Mathematics and Artificial Intelligence, Volume 35, pp 107-123, 2002 B Bouchon-Meunier, La logique floue et ses applications, Addison-Wesley, 1995 10 B Bouchon-Meunier et C Marsala, Measures of discrimination for the construction of fuzzy decisions trees, In Proc of FIP’03, Pékin 2003 11 B Bouchon-Meunier, Hung T Nguyen, Les incertitudes dans les systèmes intelligents, Collection « Que sais-je ?», Paris, 1996 12 G Coletti et R Scozzafava, Probabilistic logic in a coherent setting, Kluwer Academic Publishers, 2002 13 Z Daroczy, Generalized Information Fonctions, Information and Control, 16, pp 36-51, 1970 14 D Dubois and H Prade, Conditioning in possibility and evidence theories – A logical viewpoint, In Proc of IPMU 88, pp 401 – 409, 1988 DANG Thanh Ha 66 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE Rapport de stage : Entropies conditionnelles et leurs applications en apprentissage 15 D Dubois and H Parde, Fuzzy sets and probability : Misunderstandings, bridges and gaps, Proceedings of the Second Conference on Fuzzy Systems (IEEE), pp 1059-1068, 1993 16 J Kampé de Feriet, L'indépendance des événements dans la théorie généralisée de l'information, Journées Lyonnaises des questionnaires, 12-13 Juin 1975 17 J Kampé de Fériet, Mesure de l’information fournie par un événement, Séminaire sur les questionnaires, 24 Novembre et Décembre 1971 18 C Marsala, Apprentissage inductif en présence de données imprécises : Construction et utilisation d'arbres de décision flous, Thèse doctorale de l’Université de Paris VI, 1998 19 C Marsala and B Bouchon-Meunier, Choice of a method for the construction of fuzzy decision trees, In Proc of the IEEE Int Conf on Fuzzy Systems, FUZZ-IEEE'03, St Louis (USA), pp 584-589, May 2003 20 B Nabil, Une approche du choix flou pour les problèmes de classification multicritère, (http://smg.ulb.ac.be/Preprints/Belacel00_13.html), 2000 21 D H Poritz, The Collector Problem in Generalized Information Theory, University of Waterloo, thesis 1975 22 M Ramdani, Système d'induction formelle base de connaissances imprécises, Thèse doctorale de l'Université de Paris VI, 1994 23 A Rényi, Calcul des probabilités (version franỗaise traduite par C Bloch), Editeur Dunod Paris, 1966 24 G Segre, Algorithmic Information Theoretic Issues in Quantum Mechanics, PHD thesis, December 29, 2001 (http://pwh.tin.it/gavriels/thesis.pdf) 25 C.E Shannon, A Mathematical Theory of Communication, Reprinted with correction from the Bell System Technical Journal, vol 27, pp 379-423, 623-656, July, October, 1948 26 D A Simovici – S Jaroszewics, Generalized Entropy and Decisions Trees, EGC'2003, Journées francophones d'Extraction et de Gestion des Connaissances, Lyon 22-23-24 Janvier 2003 27 F Stermann et N Longuet, Document technique de DTGen, Rapport de stage de fin d’étude, DESS IA – Paris 6, Avril 2003 DANG Thanh Ha 67 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE (LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE(LUAN.VAN.THAC.SI).ENTROPIES.CONDITIONNELLES.ET.LEURS.APPLICATIONS.EN.APPRENTISSAGE