THÔNG TIN TÀI LIỆU
OPTIMISATION DES ARBRES DE DÉCISION BASÉE SUR RECHERCHE À VOISIANGE VARIABLE Le rapport de stage Presenté l'Institut de la Fran
ophonie pour l'Informatique en vue de l'obtention du grade de Mtrise de l'Ingénier en Informatique par DANG Cong Kien June 2006 TIEU LUAN MOI download : skknchat@gmail.com 2006 DANG Cong Kien ALL RIGHTS RESERVED TIEU LUAN MOI download : skknchat@gmail.com OPTIMISATION DES ARBRES DE DÉCISION BASÉE SUR RECHERCHE À VOISIANGE VARIABLE RÉSUMÉ Dans notre jour, on ren
ontre souvent les tâ
hes de lassi
ation, de prédi
tion et de prévision On les a omplit manuellement l'aide des expérien
es ou bien automatiquement par des modèles de lassi
ation Parmi les lassi
ateurs onnus (modèles de lassi
ation) qui sont appelés aussi le système d'aide de dé
ision, l'arbre de dé
ision est un modèle le plus populaire En réalité et aussi dans les re
her
hes, de nombreux algorithmes de réation du modèle qui basent sur l'apprentissage des ma
hines sont mis en oeuvre, par exemple le ID3, C4.5 de Quinlann [9, 11℄ ou CART de l'université Standford [4℄ Par rapport deux autres appro
hes : la statistique et le réseau des neuronnes, l'appro
he d'apprentissage des ma
hines est préférée [1℄ Du point de vue mathématique, surtout l'optimisation, le pro
essus de onstru
tion d'un arbre appartenant ette appro
he est essentiellement le pro
essus d'optimisation ombinatoire dans lequelle les règles de fra
tionnement (règles de partition) sont hoisies selon l'algorthme glouton Alors, ette pro
édure n'assure pas que l'on obtient le optimum global On espère qu'à l'aide des novelles te
hniques d'optimisation globale on peut améliorer la qualité d'un arbre qui est onstruit par un algorithme traditionnel Basant la méta-heuristique Re
her
he Voisinages Variables (RVV) [7℄ qui permet d'explorer systèmatiquement les voisinages d'un optimum lo
al, on propose un algorithme d'optimastion d'arbre de dé
ision étant onstruit par un algorithme traditionnel L'algorithme que l'on propose se ompose deux omposants prin
ipaux : une méthode de re
her
he lo
ale et une méthode d'exploirer les voisinages qui est souvent abordée omme la stru
ture de voisinages Les résultats expérimentaux provent que l'on peut diminuer le taux d'erreur d'apprentissage (améliorer la pré
ision de représentation les é
hantillons d'apprentissage) d'arbre de dé
ision Cependant, si l'on gagne la pré
ision, on doit fa
er au problème du surajustement (over tting) qui a grande in uen
e sur taux d'erreur nal (l'estimation d'erreur) d'arbre A partir de e fait, on propose une pro
édure de onstru
tion d'arbre de dé
ision dans laquelle la apa
ité d'adaptation aux nouvelles données et la apa
ité de représen- TIEU LUAN MOI download : skknchat@gmail.com tation des données existées sont la fois les obje
tifs d'optimisation Essentiallement, la nouvelle pro
édure est une ombinaison entre une méthode de division de donnée et notre méthode d'optimisation On la véri et la ompare ave des méthodes de réation d'arbre de dé
ision universelles par des tests de validation roissée sur des données très onnues dans le monde d'apprentissage des ma
hines - les données d'UCI TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE TABLE DES MATIÈRES Introdu
tion 1.1 1.2 1.3 1.4 Classi
ation Arbre de dé
ision et Méthodes de onstru
tion Optimization ombinatoire et re
her
he heuristique Problématique et Stru
ture du Rapport Classi
ation et Arbre de Dé
ision 2.1 2.2 2.3 Arbre de Dé
ision Constru
tion d'Arbre de Dé
ision 2.2.1 Impureté 2.2.2 Choix de règle de fra
tionnement 2.2.3 Ae
tation de lasse d'un noeud Évaluation d'arbre de dé
ision Optimisation Combinatoire et Re
her
he Voisinage Variable 3.1 3.2 3.3 Prin
ipe de Re
her
he Voisinage Variable Extensions de la Re
her
he Lo
ale Extensions de mé
anisme d'examiner les voisinages 10 11 13 14 16 17 18 20 21 22 24 26 26 28 28 Algorithmes d'Optimisation d'Arbres de Dé
ision basés sur Re
her
he Voisinage Variable 31 4.1 4.2 4.3 4.4 Alogorithme d'Optimisation de base Re
her
he Lo
ale Stru
ture de Voisinages Constru
tion d'arbre basant l'Algorithme d'Optimisation Résultats Expérimentaux 5.1 5.2 5.3 Expérien
e de Re
her
he Lo
ale 5.1.1 Test d'Optimisation des Seuils 5.1.2 Test d'Optimisation de Fra
tionnement 5.1.3 Observation de l'in uen
e de struture d'arbre 5.1.4 Observation de l'in uen
e de la solution initiale Optimisation des arbres de dé
ision Constru
tion des arbre basant l'optimisation 32 33 36 36 38 39 39 40 41 41 45 49 Con
lusion 52 Bibliographie 54 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE LISTE DES TABLEAUX 5.1 Résultat d'optimisation de seuil sur pima 39 5.2 Résultat d'optimisation de seuil sur an
er 39 5.3 Résultat d'optimisation de seuil sur an
er 40 5.4 Résultat d'optimisation de fra
tionnement sur pima 40 5.5 Résultat d'optimisation de fra
tionnement sur an
er 40 5.6 Résultat d'optimisation de fra
tionnement sur iris 41 5.7 Observation d'In uen
e de la stru
ture d'arbre sur pima - optimisation de seuil 5.8 Observation d'In uen
e de la stru
ture d'arbre sur an
er - optimisation de fra
tionnement 5.9 42 42 Observation d'In uen
e de la stru
ture d'arbre sur pima - optimisation de fra
tionnement 43 5.10 Observation d'In uen
e de la stru
ture d'arbre sur an
er - optimisation de fra
tionnement TIEU LUAN MOI download : skknchat@gmail.com 43 (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE TABLE DES FIGURES 2.1 Exemple d'un arbre de dé
ision 17 5.4 Distribution de 100 fois d'optimisation d'arbre aléatoire 4.5 pima 43 5.1 Relation entre la taille d'arbre et la apa
ité d'optimisation 44 5.6 Distribution de 100 fois d'optimisation d'arbre aléatoire 4.5/gini iris 44 5.2 Distribution de 100 fois d'optimisation d'arbre aléatoire 4.5 an
er 45 5.3 Distribution de 100 fois d'optimisation d'arbre aléatoire gini an
er 46 5.5 Distribution de 100 fois d'optimisation d'arbre aléatoire gini pima 47 5.8 Optimisation des arbres de BLD - taille par profondeur espèré 47 5.7 Optimisation des arbres de BLD - taille par nombre des observation 48 5.10 Optimisation des arbres de pima - taille par nombre des observations 48 5.9 Optimisation des arbres de pima - taille par nombre des observation 49 5.11 Constru
tion basant partition 3-1 sans hevau
hement - pima 50 5.12 Constru
tion basant partition 3-1 ave hevau
hement - pima 50 5.13 Constru
tion basant partition 4-1 ave hevau
hement - pima 51 5.14 Comparaison des résultats 51 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE 170 160 150 ◦ 140 ◦ ◦ 130 ◦ ◦ ◦ ◦ ◦◦ ◦ 120 ◦ ◦ "test-result-data.txt" using :3 ◦◦ ◦ ◦ ◦ ◦ ◦ ◦◦ ◦ ◦ ◦ ◦ ◦◦◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦◦ ◦◦ ◦ ◦◦◦ ◦ ◦◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦◦ ◦◦ ◦◦ ◦ ◦ ◦ ◦ ◦◦ 110 ◦ 100 190 Fig 200 210 220 230 240 250 260 270 5.5 Distribution de 100 fois d'optimisation d'arbre aléatoire gini pima 0.4 tree’s error rate tree’s CV error rate Optimized tree’s error rate Optimized tree’s CV error rate 0.35 0.3 0.25 0.2 0.15 0.1 1.5 Fig 2.5 3.5 4.5 5.5 5.8 Optimisation des arbres de BLD - taille par profondeur espèré 47 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE 0.4 tree’s error rate tree’s CV error rate Optimized tree’s error rate Optimized tree’s CV error rate 0.35 0.3 0.25 0.2 0.15 0.1 1.8 Fig 2.2 2.4 2.6 2.8 5.7 Optimisation des arbres de BLD - taille par nombre des observation 0.3 tree’s error rate tree’s CV error rate Optimized tree’s error rate Optimized tree’s CV error rate 0.28 0.26 0.24 0.22 0.2 0.18 0.16 0.14 0.12 0.1 1.6 Fig 1.8 2.2 2.4 2.6 2.8 3.2 3.4 3.6 3.8 5.10 Optimisation des arbres de pima - taille par nombre des observations 48 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE 0.3 tree’s error rate tree’s CV error rate Optimized tree’s error rate Optimized tree’s CV error rate 0.28 0.26 0.24 0.22 0.2 0.18 0.16 0.14 0.12 0.1 Fig 1.5 2.5 3.5 5.9 Optimisation des arbres de pima - taille par nombre des observation 5.3 Constru
tion des arbre basant l'optimisation Le test dernier est de véri er l'e
a
ité de mettre en oeuvre la nouvelle pro
édure de onstru
tion d'arbre de dé
ision Le but on
rête de e test est de trouver un bon ensemble des paramètres de division la base de donnée La pro
édure de test est la même e que on a fait dans le test d'optimisation exe
pte des petits hangements • Dans l'étape (2), après d'avoir réé la donnée d'apprentissage, ette donnée est en suite divisée en deux parties, la partie de onstru
tion et la partie d'optimisation selon les paramètres données • L'algorihtme de onstru
tion d'arbre initial va re
ourir la partie de onstru
tion au lieu de totale de donnée d'apprentissage • L'algorithme d'optimisation re
ourit la partie d'optimisation au lieu de totale de donnée d'apprentissage Bien sûr que les taux d'erreur des arbres origines qui sont onstruits partir de la totale de donnée d'apprentissage sont abrodés dans la omparaison Les arbres onstruits par les algorithmes traditionnels dans e test ne jouent que la r le d'une solution initiale pour l'optimisation 49 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE 0.3 tree’s error rate tree’s CV error rate Optimized tree’s error rate Optimized tree’s CV error rate 0.28 0.26 0.24 0.22 0.2 0.18 0.16 0.14 Fig 1.5 2.5 3.5 5.11 Constru
tion basant partition 3-1 sans hevau
hement - pima 0.3 tree’s error rate tree’s CV error rate Optimized tree’s error rate Optimized tree’s CV error rate 0.28 0.26 0.24 0.22 0.2 0.18 0.16 0.14 Fig 1.5 2.5 3.5 5.12 Constru
tion basant partition 3-1 ave hevau
hement - pima 50 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE 0.3 tree’s error rate tree’s CV error rate Optimized tree’s error rate Optimized tree’s CV error rate 0.28 0.26 0.24 0.22 0.2 0.18 0.16 0.14 Fig 1.5 2.5 3.5 5.13 Constru
tion basant partition 4-1 ave hevau
hement - pima 0.3 tree’s error rate tree’s CV error rate PBO-tree’s CV error rate nonoverlap-3-1 tree’s CV error rate overlap-3-1 tree’s CV error rate overlap-4-1 tree’s CV error rate 0.28 0.26 0.24 0.22 0.2 0.18 0.16 0.14 1.5 Fig 2.5 3.5 5.14 Comparaison des résultats 51 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE Chapitre CONCLUSION On a déjà résolu les problèmes proposés Malgré le résultat nal n'est pas vraiment onvin
u mais on peut faire plus laire des hoses : • Les algorithmes de onstru
tion d'arbre de dé
ision utilisant l'appro
he gloutante ne donnent pas les arbres les meilleurs dans la plupart de as • L'optimisation basant RVV pour le problème d'arbre de dé
ision est une dire
tion potentielle Selon les tests, on trouve que ave un arbre ayant mauvaise lassi
ation n'est pas trop petite, notre re
her
he lo
ale peut donner un autre arbre meilleur C'est la même hose pour les arbres de taille grande Dans le as ou l'arbre est pro
he la solution optimisée lo
ale, 'est évident que l'on n'a pas beau
oup de han
e de l'améliorer Pour les arbres petits, l'appro
he gloutant a l'e
a
ité ar on n'a pas beau
oup d'itération pendant la onstru
tion Don
, le hoix d'une solution la meilleure haque itération peut nous donner un résultat global pas mal En réalité, le résultat inal étant véri é par validation roisée n'est pas e que on désit Parmi douzaine de tests ave les tailles diérentes, on n'obtient que trois ou quatre as é
a
es De plus, es as n'appartiennent dans la région optimale selon la validation roisée dans laquelle la diéren
e entre taux d'erreur d'apprentissage et taux d'erreur de la validation roisée est la plus petite La raison des pauvres résultats peut être : • Les bases de donnée de test sont petites et simples Chaque base de donnée a moins de dix attributs ave entaine des é
hantillons Alors, les arbres générés sont petits et en
ore l'espa
e de la re
her
he est aussi petite • Les bases de donnée de test sont assez propres Don
, les arbres onstruits par les algorithmes traditionnels sont déjà pro
hes l'optimum 52 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE • Les bases de donnée de test sont petites, la partie d'test pour la validation roissée est aussi petite Alors, les résultats sont très sensitifs Un hangement petit d'arbre peut auser hanger beau
oup de résultat nal La plupart de as ou notre algorithme est e
a
e orrespondant aux les tailles petites d'arbres apparenant aussi dans les régions avant la région optimale Alors, on espère que on grâ
e notre peut au moins réer un arbre de même taux d'erreur mais plus simple La nouvelle pro
édure de onstru
tion est in uen
ée par la taille de donnée ar il y une étape dans laquelle on divise la donnée en des plus petites parties Si la donnée origine n'a pas beau
oup de é
hantillons, les parties d'apprentissage et d'optimisation n'ont pas su sament d'information pour onstruire et optimiser le modèle Don
, dans ette ondition, on ne peut pas es
ompter un résultat parfait Ee
tivement, dans notre algorithme, il y a plein de dire
tion d'étendre, parti
ulièrement la mé
anisme de re
her
he lo
ale et la dé nition de stru
ture de voisinage Pour la première version, la simpli
ité a des préorités, alors on dispose des omposants aléatoires Cependant, notre travail dans la future pro
he est de tester l'algorithme d'optimisation et aussi la pro
édure de onstru
tion d'arbre de dé
ision ave des grandes bases de données au lieu de ompliquer des tru
s existés 53 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE (LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE(LUAN.van.THAC.si).OPTIMISATION.DES.ARBRES.DE.DECISION.BASEE.SUR.RECHERCHE.a.VOISINAGE.VARIABLE
Ngày đăng: 18/12/2023, 02:48
Xem thêm: