Tuần 7 cây quyết định (decision tree) và các ứng dụng

10/14/2014 a a !o # $ ! % & 'o & $ ( $& $ &$ () & $* + $ o, $ + o! $!$ -!$ $* / $ a $!$ o! $, + o! ' , $ 0/ o , & ! *a / $ o '( $ $ $!$ , $!$ o '3 $ & $!$ & $ /$ a 51 & $ 51 a & 51 !4 a & / ! '1$ / ! a & & ! ' $* $ + $ a 67 i $ a $ + ( $ & 'o & / & $$ a$ $ o / ! 10/14/2014 6a, 8$ a $ $ ! &o & : a a & $* ' $ ' $ $!$ ,3 a & * & a $; & $ ) &o ( & ,3 $ $ & / $, * & , o& $ &a $ )0, $ $ a ,3 < $ $ a 6a, ( *a ,3 / $, & & $!$ a eo & !o o! -e o &( a $ ) &o > $ *0 a $ ( $ ao !$ & $ ) , -e $* $!$ & +$ o$ o, $ * a & 'o & a 0a a / & , ' o oo & o,e'$a o $ (a 'a & e /e'a 'e & ? > *&* @ a & &( $ ) &o , o * 6a, ( $ & A B &, C$ C ! " ! # ! $ % & ! ! ! ! 10/14/2014 # 'a o $ ) &o 90 E o oo E,e'$a Ga Fe & D 5o' a 5o 'o & Fe # 'a o $ ) &o 90 < o a & / < ! &! ' $ a Fe < / E / Ga D 5o' a Fe () & ! & , $ + ! $ Fe 5o $ + oo E,e'$a & &$ ) Ga $ 5o' a Fe oo E,e'$a 5o Dea 5o E & &$ ) 'o & 5o Dea Fe 10/14/2014 E oo H ∧D E ∧ H :56 H , ∨ H EG H o $ oo E,e'$a D HDea Ga 5o 'o & 5o Dea 5o Fe E oo H ∨D E oo E,e'$a Fe HDea Ga D D 'o & Dea 5o 'o & Fe E oo H ∧ ∨ E oo HE,e'$a ∨ E oo HGa ∧ D E 5o HDea oo Ga Fe 5o D 5o' a Fe Fe H5o' a E,e'$a & Dea 'o & 5o Dea Fe 10/14/2014 ( $ / '3 & ( ' $ *a $!$ $ + &/ !$ " #& $$ a$ $ + / $ a ! $ + ( $$ a '3 & o $ o e ' $ / $ / , $&$ $ o $!$ ! G > $!$ o & $ $!$ / ! # & $B " a # & $B " ') , o $ + " o $* o $ , $% & % & / $ a C 10/14/2014 > $ o a$ $ + $ + $ + $* $ o ! ' / o 'a $ $ *I o ( & % & > & J 9o' a o &a K * $ $!$ % K I K K $ + &/ !/ & K e- $ $!$ $ + & & ! ' $* / , $ a&! ' $ a $ + * !/ &$ o ( & / " $ a i4 $!$ L M0 N & $ $ + 'o & / m / $ + $ i / $o i , j iH " $!$ & ! ' La aI0 M0a N : / $ a / n / $o L :Haj :4 n E(A) = & / si s log i s s i =1 $ + : $* 6% & $ + M0 N I n " $ a ij O 'o/ $ a / / I( s1,s2 , ,s m ) = − > $ + &$ o ( $ / s1 j + + s mj j =1 a '3 / s I( s1 j , , smj ) ! & $ + :4 G(A) = I(s1 , s , , s m ) − E(A) $ /0 $ & a $ ! $ + $* / $ 10/14/2014 ! " ! # ! $ % ! & ! ! ! a $* H A HI H PFe.Q0 I H P5oQ H R0 I H C I(S1 , S2 ) = I(9,5) = − 9 5 = 0.940 log − log 14 14 14 14 3 4 − log − log = 0.985 7 7 & 5o' a T2U0 AVW TXU0 VW 6 1 − log − log = 0.592 7 7 S K $ 14 > + o&IC & ! + C o& Y I o& H 10/14/2014 6 2 − log − log = 0.811 8 8 D Dea 'o & TXU0 IVW 3 3 − log − log = 1.000 6 6 T2U0 2VW S E oo E,e'$a TIU0 2VW Ga TAU0 ZVW T2U0 IVW !""# S S % K $ a t4 GINI(t ) = − V Y / / Z j 'o & * p ( j t ) $!$ p( j t ) $ a $!$ $ $!$ / j 'o & t " / " $ % '3 $, / 10/14/2014 GINI(t ) = − p( j t ) j H ZYX H Z IU KJ5J H S & " I H YX KJ5J H S YX I S CYX H IYX KJ5J H S IYX I S AYX # / $ a p $ a / \/ $ a ( $ + k k GINIchia = 'o & * ni n " " i =1 I I I I H XYX H H S ZU HZ I H CYX HZI [ I H AYX H Z AAA ! &4 0$ ( & ni GINI(i ) n 'o & i 'o & p $ + $* KJ5Jchia ! %/ I $ / ! : p p " K H V CYX IV IYX HZ RA I K 5I H V YX IV AYX HZ CI[ I " 5I ' K ' chia (&) && H Y I]Z RA UCY I]Z CI[ HZ 222 (&) 10/14/2014 a '3 &! ' / $ a / a '3 , & ! ' $* ! &! ' + $!$ " $ / eo & :^v , :_v !$ $ &! ' v ) & 4, & ! ' v 'o & 67 + K $ a * , & ! ' $* K $ \ !$ $ &! ' v * &&* #&* &* + "&* # + & ' !$ ( o 'a &* $ $ * % # * & %&* a_ [Z# ^ [Z# / - / $!$ & ! ' ` & &! ' ' & $ a &&! ' $ a / $ a, + $ % & &! ' / $ a $* $ % & / < ! < % * " ( $ + & J?V O5 & " & $ $ /&! ' $ + $ eo ( o / \/ / \/ :56 S , !$ ! a & $ a / & " 10 10/14/2014 E oo E,e'$a Ga Fe & D 5o' a 5o 'o & Fe $ % &' $ % &' $1% &' $ % &' $ % &' Dea 5o Fe !""# ∧ () *)+ ,! -" !""# ∧ -" ! *)+ ,! /+0 !""# 2+.3 *)+ ,! /+0 !""# $ ∧ " ( *)+ ,! -" !""# $ ∧ + # *)+ ,! /+0 & $$ $) $ o o $ $ &$ $* & , - 8$ $* & ! ' * $* & ! ' o / ' & & $!$ 'a & 'o & $* &a - ( & & /0 a / ! %a $ %a $ '( $V$% & , $ a a %a $ & V $* E' &$ %a & V< & 22 11 10/14/2014 2A 2C 2X 12 10/14/2014 2[ /4YY@@@ o e9 o'e // e Y e-/ $a o & a$ eYa&e ' Y a /4YY@e o$ $ a e' a $aYaa -/ o'eY ea' &Y6e$ o 'ee.Y:// e Y6e$ o 'ee:// e 2R 13 ... I(9,5) = − 9 5 = 0.940 log − log 14 14 14 14 3 4 − log − log = 0.985 7 7 & 5o' a T2U0 AVW TXU0 VW 6 1 − log − log = 0.592 7 7 S K $ 14 > + o&IC & ! + C o& Y I o& H 10/14/2014 6 2 − log − log =... &! ' / $ a / a '3 , & ! ' $* ! &! ' + $!$ " $ / eo & :^v , :_v !$ $ &! ' v ) & 4, & ! ' v 'o & 67 + K $ a * , & ! ' $* K $ !$ $ &! ' v * &&* #&* &* + "&* # + & ' !$ ( o 'a &* $ $ * % # * & %&*