Thông tin tài liệu
!"#$%&'(!)*+ ,-(.!)*+!)*+,/0&1%23%4, 567% "4&8%9,:;!")<;=%9%(2>%2>?@* ;,+)A%$+%23.,+)=%B.?@*!)*/*C DE&8 &2F;,+)%4% G;HI?;!+*J; *+&K %L%23.9%1#$%*,$%#A*+#$%*7&J& / D+)%#$%&'!)%*+!)$%1!"%$%)M 2>.%L2>-?B=4%2>&$9%2HB.!K&BN/DO?P2 2>-?B,H!Q%4N4!(="%>.?@*;?;!+R )B.7& .23?8A C&8N#$%&'! H,-. $&H%4 )!Q!S,-/TN&Q%,$%,+)U2 &&-*L?-*LS.)2&%B*L!)*LHV.=(S&%W BXB%(&Q&2F=("%Y). &$&%E/W &*3?+%4#$%&'AN)S&$1%-%7%=SA -%/*39(%A#.!K&S)%23.%4#$%&'A N!(#&$*E)+)%&7%23.?B%/*O?P2*+,Z9A%E +[(\A.%E&9[-(//!)2I*%&]*E)+?B %%/L& %%7^)%#$%&' %")#%N2%$." )% +]%F#$%&'!,-%8%$%5K/ ,-,]=&_9.%-5%4*J`aTbcd9?P +]%F#$%&'/ e&B.%-5&2F6!>)H&$\`fgfM\Q.2>&K%E %B)%J&S%;,$%1J%H=*J)-NUT+]%F#$%&'V. &8%- HI,$%1&8 %8*$%&2F=%S/ c,$%1WSh.=%S %8 ; %7%&'. )%"*9=S i&8=%S%+H/ HVTH: Nhan Thanh Nhã _jRT+T]Fke$%'\`ffl\Tm ?=99_)9"ORTno`pRqDrs. Tno`tRofuvTwx.Tno`dRR`aTbcd.Tno`yR kz0T{.Tno`|Rax/ HVTH: Nhan Thanh Nhã Page: _jRT+T]Fke$%'\`ffl\Tm Tno`pRqDrs 1.1. D7&J#$%&'!)%*7&J$%1#%N.2> 23)4}#$%&'&Q&X/(&8 )%#$%&'&Q%4,- 9&9&H.)?@*%EF9HI%%1J%* %8!*E)/ -,2> )%_HI?;!+J%.2*3; !+% ,-,%4Q%, %84?&2F%}&2F4%L,?; !+& .~%}#9J,$%#%L%E?;!+& .%,-=$%(?@*%E ?;!+!F!i/ T+]%F#$%&'&K!9%&X%!@Q2> %8%( &9?@%(HIB%O)%9 ,N/T+]%F#$%&'Q% %8?@=9.B!S///9*7&J)%9,N/ &_9%-,-(P%8)%*7&J.)%-&2)%**O ?PP%8*39%E?;!+)• G%4+]%F#$%&'&KQ2> &2F#$%&' 1.2. [%9I&B,-P%8!)%=%9.?;!+&"*&H€ !•!‚%‚5%?S=.I&_9%-}%4=)%?;!+)•I*!ƒ*@ ,9)Q2>&N}%78&2FS)*1?PA+]%F #$%&'!,-3S.$Q% ?;!+&"*!&9%E.%4 #$%&'I&B,9O59 HVTH: Nhan Thanh Nhã Page: E!+ Thuật toán ID3 !"## „…6!O*3%E?;!+&"*† Thông tin _jRT+T]Fke$%'\`ffl\Tm - Minh họathuật toán với tập dữ liệu sau: Bảng 1: 9 %2> F ~%=8? & J=N% =8]!( 23Q% 0$%# p =4 k7% !3 t J 0- k7% 0- !3 d J !3 y =4 =4 0- !3 | J =4 !3 ‡ J k7% !3 ˆ J 0- =4 0- !3 ‰ =4 0- k7% 0- !3 Š =4 0- =4 0- !3 L=2>&=8 %8?@=9 !3,-&8‚%J S%$ Bảng 2: 9 %2> F ] E f D( €%O+) )9%O p % • t % ‚5‚!!‚% d )? • ‚ y ‚ )‚?) • ‚ ‰ ‚ !‹ ‚ ‚5‚!!‚% Š )? !‹ ‚ ‚5‚!!‚% w‚ pŒ % )‚?) • pp % !‹ ‚ • ‚ pt ‚ )‚?) ‚ • ‚ pd % )‚?) ‚ ‚5‚!!‚% ‚ py )? ‚ • ‚ p| ‚ )‚?) ‚5‚!!‚% L=Q2>&J %8&J€!2F=9.; O9F!i&8Y) .%Q%,9 Bảng 3: •‚!? {‚ f% f! ‚? k‚!% •‚ yy ‚? dŒ ‚ [? •‚ d‡ f!‚ tŒ ‚ [? HVTH: Nhan Thanh Nhã Page: _jRT+T]Fke$%'\`ffl\Tm •‚ t‰ f!‚ pt `? ‚! |‡ ‚? ty `? < tˆ ‚? p‰ [? ‚! dp f!‚ p‰ `? ‚! d‡ ‚? pt `? f‚*‚ ty ‚? pd [? < |t ‚? d| ‚ [? < dd f!‚ p| [? f‚*‚ t‡ f!‚ pŒ `? f‚*‚ ty ‚? ‰ [? ‚! tŠ f!‚ pt ‚ [? ‚! t‰ f!‚ pŠ [? L=%%7?@&9&2F,9%,-&Q ,ŽS/ Bảng 4:%L=%%7+]%F#$%&']%F%!ƒ *@%$ 23%8 `)B !2 f% f:%E * ,- ,- ,- * 0- 0- ,- 0- D 0- 0- 9 •% 0- 9 ,- D 0- ,- D O% 9 D Bảng 5: +]%F#$%&'&2F?•%*+N!@#S9=. !K&S/ e5‚)5Z%.B%O=?;!+)•.=% )%X%%(‘9=&2 *#S.#%4%2+#S.%%7 J$%2I&$ -%9#S9=/(."Q%NB%O;$%O R %]„c%†R t&%]&2F5‚)5Z%,’%‚%(‘#S 9=!RR%(yŒ%]*?23yŒ%]/ %8,2R?23yŒ%] „yŒg†.%LyŒ%]%I!(„yŒ“†/ 4&()-„c†R%4&&2F%%SA9B@% "5‚)5Z%&8&2*#S/ %8%‚d)1R “c#R;2> =&SNO#.=%S’.%$ƒ/ HVTH: Nhan Thanh Nhã Page: _jRT+T]Fke$%'\`ffl\Tm “c%R;2> =&SN%S1.%L5.*Y=t* 9!S4&&SN,9/ “0R!;2>2 =&SN/ 4&i!EO%'„†R!)!)d!S4%‚#&' +R “%%R;2> %4&7!i!EO%'+%E%%I !(/„7O%'*6BO%'† “Œ%%R;2> %4&7!i!EO%',-%+ %E%/ “0R;2>2 %4&!iO%'7.%7/ 4&S;„†R!)t%2>F “R;2> 1€S;%4&[%I!(/ “0R21€S;%4&[%I!(/9$%%(O !%E%%O.?@*%E%%O&8?@&99%'%%O&O e$%&'/ e$%&'„ec†R!,$%#A*+9?B#$%&'/t%4 R;2> %8&2*?+#S „w‚†*;2>,-(&2*?+#S„†/ 99%'A9%%O2R c%”•yŒg–yŒ“— c”•c#–c%–0— ”•%%–Œ%%–0— ”•–0— ec”•w‚–— [?;!+)•7!+ %] c e$%' yŒg ?# Œ%% w‚ yŒ“ ?# Œ%% w‚ yŒg ?# Œ%% 0- yŒ“ ?# Œ%% 0- yŒg ?% Œ%% yŒ“ ?% Œ%% w‚ C C C C C yŒ“ ?% 0- ,- w‚ HVTH: Nhan Thanh Nhã Page: _jRT+T]Fke$%'\`ffl\Tm HVTH: Nhan Thanh Nhã Page: _jRT+T]Fke$%'\`ffl\Tm Tno`tRofuvTwx 3.1. $%&%' ( )* T+M%F#$%&'!2H9!7%%1&Q&8#$%&' F!i*&Q!Q* )1OF!i/ !@,$%F;%%1**+%S!E#$%&'/„0‹!‚?‚˜ c‚),†/ 09+)+M%F#$%&'&2F&J57%=I‚!f/f%%%* ;Y)pŠˆŒ/T+M%F#$%&'=_)R • \")J))9%O/ • 1YM%F#$%&'/ • )*+*3=%9 7%Q$/ • TS%&%‚9%2H%9*32>?•/ • 2F%='J)-4B%O*)-4?;!+/ +, /*$%&%' ( ) HVTH: Nhan Thanh Nhã Page: _jRT+T]Fke$%'\`ffl\Tm 3.2. 0123!!4)%' ( )* +, *0123!%' ( • T+M%F#$%&'H=M%F9#$%&'%9%4 67%Q*7%Q=9,$%F956A2>*56!i %-%=)9%O/9=%92*E,-%8™,-%E%+ #$%&2F€=9-P)9%O 92H9&' !2F/ • \•F97#!i,9%L&$%7/ • \•F9B!• )/9=%9O% %O7%Q%2>!(&3 &$J9BI9&H*'1Y)1%]1,92 I9%]1,9/ • TM%F9#$%&'%"%@.!(%.&2F&2)%!".*!" !~!S/ • TM%F9&SA#9%4#$%&'R%4)8.%$%,$.!@N *+%@/ • \•F)%99*#9%4#$%&'/ 3.3. +%' ( )%511* 9+%%-%#!i%E%*9S%&A+%%- %/ HVTH: Nhan Thanh Nhã Page: _jRT+T]Fke$%'\`ffl\Tm T+%%-%#!i 9%O7%R • E%*%-%.23&$9#!i7&J/ • )*+*3?W%-% 7%Q/ 9+M%F#$%&' 9%O7%R • T23&$9#$%&'.9!K&S/ • O88.%O1*3*1/ • c2>?•,I&*,8)9%/ • TM%F9#$%&'9BA!K&S/ 6 783!91:;1 `{cfR`‚?%{!c! f%‚) \B%O*7%(&'!i \fR\%•!‚)‚% f%‚) 2*7*#%'&"%2 kfR?%!k‚!% •)% \B%O7%!2F*=%OB!@ %57% \kš›œšk TS&',$S%O •\fR%‚%*‚•!\! f%‚) \B%O%O.9%.‘) [k{c{c \B%O%'%2>.B9.# 9 3.4. !<=!4)&>%' ( )* %94?*J9%"A)%+M%F#$%&'„ccf ˜?‚%%‚)†*#+;Q!6?P9,9+)&%S „?!†.?;!+„?%†*)-4„)?‚!†/*3;2>%$%,$+% ccf2;2>6?P+%.&J#%N!8&2F9% "&2F%$%,$2%$/2>6?P"=$% %8("94 Iccf/2>%$%,$=$%&2Fccf %8794/ HVTH: Nhan Thanh Nhã Page: 10 [...]... biến cố 4 CP16 Hình 1.5: Sơ đồ cây quyết định HVTH: Nhan Thanh Nhã Page: 16 Đồ Án: Hệ Hổ Trợ Ra Quyết Định PGS TS ĐỖ PHÚC CHƯƠNG 3: GIẢI THUẬT ID3 3.1 Sơ lược về giải thuật ID3 Nhiệm vụ của giải thuật ID3 là học cây quyết định từ một tập các ví dụ rèn luyện (training example) hay còn gọi là dữ liệu rèn luyện (training data) Hay nói khác hơn, giải thuật có: Đầu vào: Một tập hợp các ví dụ Mỗi ví dụ... đáp ứng một cách đúng đắn dữ liệu của chúng ta Trong trường hợp này là các giải thuật học cố gắng tạo ra cây quyết định nhỏ nhất phân loại một cách đúng đắn tất cả các ví dụ đã cho Trong phần kế tiếp, chúng ta sẽ đi vào giải thuật ID3, là một giải thuật quy nạp cây quyết định đơn giản thỏa mãn các vấn đề vừa nêu 3.2 Giải thuật ID3 xây dựng cây quyết định từ trên xuống ID3 xây dựng cây quyết định. .. này, giải thuật ID3 sẽ học một cây quyết định có khả năng phân loại đúng đắn các ví dụ trong tập này, đồng thời hy vọng trong tương lai, nó cũng sẽ phân loại đúng các ví dụ không nằm trong tập này Một cây quyết định ví dụ mà giải thuật ID3 có thể quy nạp được là: HVTH: Nhan Thanh Nhã Page: 18 Đồ Án: Hệ Hổ Trợ Ra Quyết Định PGS TS ĐỖ PHÚC Các nút trong cây quyết định biểu diễn cho một sự kiểm tra trên... dùng chỉ quan tâm đến khía cạnh hỗ trợ quyết định có tính bề mặt của DDS, một số khác lại có thể dùng DDS một cách rất thành thục Đôi khi người ra quyết định dùng DDS một cách trực tiếp, nhưng đôi lúc họ ra quyết định HVTH: Nhan Thanh Nhã Page: 11 Đồ Án: Hệ Hổ Trợ Ra Quyết Định PGS TS ĐỖ PHÚC dựa trên một ban cố vấn và ban cố vấn lại sử dụng DDS Như vậy ban quyết định có thể được xem là phần mở rộng... dụ ở mỗi bước để đưa ra các quyết định dựa trên thống kê, nên kết quả tìm kiếm của ID3 rất ít bị ảnh hưởng bởi một vài dữ liệu sai (hay dữ liệu nhiễu) • Trong quá trình tìm kiếm, giải thuật ID3 có xu hướng chọn cây quyết định ngắn hơn là những cây quyết định dài Đây là tính chất thiên lệch quy nạp của ID3 3.6 Đánh giá hiệu suất của cây quyết định Một cây quyết định sinh ra bởi ID3 được đánh giá là... cách nhìn ID3 như là một giải thuật tìm kiếm trong không gian các giả thuyết, ta có một số nhận xét như sau: • Không gian giả thuyết các cây quyết định của ID3 là một không gian đầy đủ các cây quyết định trên các thuộc tính đã cho trong tập rèn luyện Điều này có nghĩa là không gian mà ID3 tìm kiếm chắc chắn có chứa cây quyết định cần tìm HVTH: Nhan Thanh Nhã Page: 27 Đồ Án: Hệ Hổ Trợ Ra Quyết Định PGS... nhau HVTH: Nhan Thanh Nhã Page: 14 Đồ Án: Hệ Hổ Trợ Ra Quyết Định PGS TS ĐỖ PHÚC • Thành phần đối thoại không chỉ giúp cho người dùng sử dụng tốt mô hình, sử dụng một DDS có hiệu quả để ra quyết định mà còn giúp người dùng xây dựng mô hình của riêng họ, cho những nhu cầu của riêng họ 3.5 Cây quyết định: Cây quyết định bao gồm bốn thành phần: nhánh, nút quyết định, nút biến cố và kết quả Nhánh là một... sẽ khác so với ban đầu: TÀI LIỆU THAM KHẢO [1] PGS.TS Đỗ Phúc, Bài giảng Hệ hổ trợ ra quyết định [2] PHAN QUANG THÁI, TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT XÂY DỰNG HỆ TRỢ GIÚP RA QUYẾT ĐỊNH TRONG CÔNG TÁC QUY HOẠCH CÁN BỘ LÃNH ĐẠO, QUẢN LÝ TẠI TỈNH BÌNH ĐỊNH [3] Nguyễn Dương Hùng, TÓM TẮT LUẬN VĂN THẠC SĨ, ỨNG DỤNG CÂY QUYẾT ĐỊNH ĐỂ PHÂN LOẠI KHÁCH HÀNG VAY VỐN CỦA NGÂN HÀNG THƯƠNG MẠI HVTH: Nhan Thanh... tạo ra các cây quyết định khác nhau trên cùng tập dữ liệu rèn luyện đã cho như kỹ thuật bagging and boosting HVTH: Nhan Thanh Nhã Page: 30 Đồ Án: Hệ Hổ Trợ Ra Quyết Định PGS TS ĐỖ PHÚC CHƯƠNG 4: TRIỂN KHAI Giao diện chính của chương trình Demo gồm 4 phần: Phần 1: Bảng lưu dữ liệu training (Data Training) Phần 2: Ghi ra các bước giải của thuật toán (Solutions) Phần 3: Vẽ cây minh họa cho thuật. .. hợp: “Giá trị của A là v” Xác định Training_Setv = {ví dụ x | x ⊆ Training_Set, xA=v} If (Training_Setv là rỗng) Then HVTH: Nhan Thanh Nhã Page: 21 Đồ Án: Hệ Hổ Trợ Ra Quyết Định PGS TS ĐỖ PHÚC Tạo một nút lá với nhãn lớp ≡ Majority_Class_Label(Training_Set) Gắn nút lá này vào nhánh cây mới vừa tạo Else Gắn vào nhánh cây mới vừa tạo một cây con sinh ra bởi ID3_ algorithm(Training_Setv,Class_Labels, {Attributes . ?;!+&"*!&9%E.%4 #$%&'I&B,9O59 HVTH: Nhan Thanh Nhã Page: E!+ Thuật toán ID3 !"## „…6!O*3%E?;!+&"*† Thông tin _jRT+T]Fke$%'`fflTm -. tin _jRT+T]Fke$%'`fflTm - Minh họa thuật toán với tập dữ liệu sau: Bảng 1: 9 %2> F ~%=8? & J=N% =8]!( 23Q%
Ngày đăng: 21/05/2015, 08:13
Xem thêm: ỨNG DỤNG GIẢI THUẬT ID3 VÀO HỆ HỔ TRỢ RA QUYẾT ĐỊNH, ỨNG DỤNG GIẢI THUẬT ID3 VÀO HỆ HỔ TRỢ RA QUYẾT ĐỊNH, CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
