Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 73 trang
THÔNG TIN TÀI LIỆU
Thông tin cơ bản
Định dạng
Số trang
73
Dung lượng
897,44 KB
Nội dung
!"#$%&'()"*+ ,+ !-".+"/'0123,+456 2'777 897::979 9 ;5-!<=>+"?-"1"@AB+=CDE-";68()"*+DF-G -?=-H56IDJ-KE-"L++3"#K""/=M5NOP5+"0Q" !+"*<=R QS5K"KE--"*+=T",+U("SV"P%WA/54S-S=X<=DF-".+Q.+= "GD#Y+"WZ-"-*6"[-+\SO]=TK"0S",+16 1+"WL %^-".+-EH[-"W5_+"+\S` 10+5]+Qa"/S6RM5SK"`S",+16<=DF OE-Q@%^"W+T+^R+P+"-"L+ 1PV%^-"5G--0P 10"WV"; =I=L%^=1<=DSV"P--Hb-J+T-6+cV";-",+dJ+2/-R"/ <=+eD]3V"P--HbV";=I=-"# /+\S+T-6DSPV%^+P+Kf -"5G-g-"5G-%S-S= $-_"h=$"i==SAJP-Hj+a-A) 1 "W5_+""[-DEK"P+""1RO#$+D;5DF=SAJ"W%[5"/5-_+"+.+ +3"#Q."1Ak-lK"P+""182ZV";=I=-"# /+e $%S-SOSQ< -".+-EA1H[-A$ 1+3K"`-HbK"SRK"T-"bD``-H0O1OP0+P0Dm P=T",+16!<=>D#Y+V"nV-HZ"O16=]-L%^"o=S-_" =TV"o+"0V"nVL%^-"5G--0P8 H0SD0J"/S6R+e $Q.-"S6Dc 1V"P--HbK"Tl+\S 1"+T"/-"T-`+"5 1-H0+P+1"+T"/V";+LR V";=I=R-H56I-"T 1"/-"a+P+%WA/5V"^+ ^-H0+P+Ap" .+K" -ER>F"]`H!8"Z /+-"5-"GV-"T-+3"#"5+;5A#5-HW-"T -+116+1A$8q!+J"D` /+-",+"0P=]-+P+"mJ- 1"S" +"`+P+"0J-D]Q>5[-RK"%0S"+3"#"I5Ap" .+"0J-D] K"P+DF-J0HS+"0+"*-S=]-A#Y%WA/5A#5-HWK"cAm81-H/5CQr %WA/5DFD#Y+Q@%^-H0+P+"0J-D]Q>5[-RK"%0S"RM5A_888R -H0D`+`"I5CQr%WA/5+.+A$+s1SO6-<R-"G=+"_A1-Hh= <HSO6-<8.Oec16DF%&-$=]-6!5+;5+[V-"E-A1+;+`"WKp -"5G- 1+T+^=$Db D]+"56bDcA#Y%WA/5K"cAmKS-"1"+P+ -H-"L++`_+"8lD`R+P+Kp-"5G-("SV"P%WA/5DF-Hr-"1"=]-Ap" .+ -"BQ.+\SIT"/-"T--"E$"/S68]- [DID#Y+Dt-HSA1 V"A1=QS0-H_+"+",D#Y+"W-"T-+`N"pS-l-GV%WA/5A$Db-l u D`+`-"bM56E-D#Y++P+6!5+;5+\S-".+-E"#-HY*VHSM56E-Dj"R%. D0PRv 1("SV"P%WA/54S-S=DFHSDB"i=M56E-+P+6!5+;5 D`8("SV"P%WA/5D#Y+Dj""pSA1'M5P-HZ"-H_+">5[-+P+-"T-+`P -Hj-I=wO!-H0A#YA$%WA/5D#Y+A#5-HW-H0+P+CQr%WA/5RK"0 %WA/58 /S6R01-"5G-WK"SV"P%WA/5R#B-S+k%e=]-Qa-"5G-W K"P++`N"pS-#C "#'K"SV"P-H-"L+-lCQr%WA/5xK0yA<%< =zH0=%S-SOSQ<Q{R-H_+"A,+%WA/5xK0yA<%<<>-HS+-0{RV"?-_+"%W A/5:=&5x%S-S:VS <HSSA6QQ{RK"0+c%WA/5x%S-SSH+"S<0A06{RJ0 n-%W A/5x%S-S%H<%{8"I5#B+0K"SV"P%WA/5 1=]--"5G-W-"T %^K"P+A1K"P=V"P-H-"L+-H0CQr%WA/5x(0yA<%<4Q+0 <H6 4S-SOSQ<Q|(44{A1"#"S5856"!-H!-".+-ERK"SV"P%WA/5+"}A1 =]-O#$+-"E-6E5-H0M5P-HZ"("P=V"P-H-"L+-H0CQr%WA/58 S6-l"W16D;5K">5[-"/R4S-S=DF-Hr-"1"=]--H0 "W>5"#$"!+L5V"cOE-H0Ap" .+",+=P6-_" 1+T"/ -H-"L+8"I5-"1" 5"!+L5+\S4S-S=DFD#Y+PV%^-H0 -".+-E84S-S=+`"I5"#$M5S-H, 1=]--H0+P+"#$D`A1 V"?+^=%WA/5x4S-SA5Q-<H{8"?+^=%WA/5A1M5P-H_"-Z=KE=Db V"?HS+P++^=%WA/5R+P+=&5%WA/5-l-GVCQr%WA/5A$8"?+^=%W A/5A1=]-V"#CV"PV",+K"TP=QP-8H0"Wh=-HrAJD?6R%0 V"#CV"PVV"?+^=%WA/5K"TP=QP-+k"I5"#Y+Db= Z G6%.S -H!",+K"TP=QP- 1",++`P=QP-DFHSDB=]-V"#CV"PVV"? +^=%WA/5=$D`A1V"#CV"PVV"?+^=%WA/5@SP=QP-8"#C V"PVV"?+^=@SP=QP-K"TV"A1=]-V"#CV"PVV"?+^="01 -"/"#`DFV";10K"~+V"^+D#Y+"W"J+"E 1V"P-"56#5Db= +\SV"#CV"PVV"?+^=K"TP=QP-8 • !"# $%&'&& ("# ("SV"P%WA/5x4S-S{A1=]-K"P/=HSDB 10"Wh=+5a+\S -"GVK€•‚78`A1M5P-HZ"-H_+">5[-+P+-"T-+`P-Hj-I=wO!-H0 A#YA$%WA/5D#Y+A#5-HW-H0+P+4dRK"0%WA/5888/S6R01 -"5G-WK"SV"P%WA/5R#B-S+k%e=]-Qa-"5G-WK"P++`N"pS -#C "#'K"SV"P-H-"L+-l4dR-H_+"A,+%WA/5RV"?-_+"%WA/5:=&5R K"0+c%WA/5RJ0 n-%WA/58"I5#B+0("SV"P%WA/5 1=]--"5G- W-"T%^K"P+A1"P-"/-H-"L+-H04dx(0yA<%<4Q+0 <H6 4S-SOSQ<Qƒ(44{A1"#"S5856"!-H!-".+-ERK"SV"P%WA/5+"}A1 =]-O#$+-"E-6E5-H0M5P-HZ""P-"/-H-"L+-H04d8`-"b` 4S-SA1SD0JM5S-H,"[--H0-E-HZ""P-"/-H-"L+-l+C Qr%WA/5R+P+-H-"L+16")-HY-H0 /+HSM56E-Dj"-H0K"0S",+ 1K" %0S"8 )*"+,-.*/01 *(2 ((3-4*56",-.*57( 5P-HZ"V"P-"/-H-"L+-E"1"M5S„SD0J"#"Z" … q~-D;5+\SM5P-HZ"A1K"0%WA/5-"T 1KE--"*+ $-H-"L+D#Y++"E->5[- HS82IAN-"56E--"Z+` †H[-DC"#-".+Q.D?6A1=]-M5P-HZ"H[-K"` K"htVV"H[-"I5 #$=~+"#'M5AN+P+-GV%WA/5RV"AtVDAtV AJ-01O]M5P-HZ"v8 -8 9+/01 GV"YV%WA/5A1O#$+D;5-!-H0M5P-HZ"K"SV"P%WA/58?6A1O#$+ D#Y+K"S-"P+-H0=]-+CQr%WA/5R=]-K"0%WA/5 1-"G=+"_+P+%WA/5 -l+P+5mL%^‡<O8 28 5:(1;(/01 ˆSD0J16%WA/5D#Y+A.S+","0t+V"?+"S-"<0=]-Qa-!5+"5w10 D`V"^+ ^=^+D_+"K"S-"P+R _%^+",-[-+"W#B+`-5cDB-l9…ƒ u… 1+`-HZ"D]DJ",+8 (8 +<=(>"?@1AB(C"2D5 (/01 SD0J-"LOS16A1SD0J"S6OjQS0AFR"#-".+-E`A1=]-O#$+ H[-M5S-H,-H0M5P-HZ"K"SV"P%WA/58]-QaA)-"#B=~+V"-H0 K"0=%WA/5A1-_"K"TD\+"t-+"‰RA0_+82Z G6R%WA/5-"#B+"LS+P+ P-Hj T"pS 1K"T+`K"hKE-a%WA/58 „ 2_%^'-5cŠ„‹u8 SD0J16Q‰-E"1">@AN"W%J%WA/5K"T+"t-+"‰`-H!8 "W%WA/5%J16D#Y+><="#-"T-%#-"lSRK"T+`P-Hj8qr G6RD?6A1=]-M5P-HZ"H[-M5S-H, Z%WA/516E5K"TD#Y+UA1=QJ+" ƒ-I>@ANƒ+"5wOj-H#$+X-"ZQ‰?6!"WKE-M5QSA/+""!=-H,8 /8 EF"GH/01 EV-"<0A1SD0J+"56bDc%WA/5R%WA/5D#SHS+`-"bQ@%^ 1DI5 K"bD#Y+Or /+-c+"L+AJ`R-L+A1%WA/5Q‰D#Y++"56bDc I%JV"e "YV+"0 /+K"SV"POi+P+"-".+"/+P+-"S0-P+"`="0t+-GV"YV8 I8 )-.*/01 ?6A1O#$+=S-_"-#%56-H0K"SV"P%WA/58ˆSD0J16"I5-"5G- -0PK"P+"S5DFD#Y+Q@%^Db-H_+"HS+P+=&5-l%WA/58"5G--0P -"#B%eA156!-~+V"?A0JR56!-~+KE-R 8 888 J8 *"#*(*(1KB2F/L"57( ˆSD0J16R+P+=&5%WA/5D#Y++"E->5[-HSOrV";=I=K"SV"P%W A/58("TV"O[-+L=&5%WA/510+3DI5"W5_+"RDTK"`+kOjQS A/+"82Z G6R+;V"#5-!"W-!5+"5wDP"PDb+"E->5[-HS+P+-H -"L+x(0yA<<{+;+"E->5[-HS8P"PQ."W5_+"+\S+P+=&5Ob5%Œ -H-"L+%.S-H!=]-QaV"nVD08S5D`Q@%^+P+Kf-"5G--HZ"%Œ 1-H.+ M5S"0P%WA/5DbOb5%Œ-H-"L+K"SV"PD#Y++"0#BQ@%^8 H!D?6A1„SD0J+\SM5P-HZ"V"P-"/-H-"L+R-H0D`#-G9="I ("SV"P%WA/5x"S6+k,D`A14S-S{A1SD0JD#Y+M5S-?= "I5"[- *(,MK,-.*/01 qb5%Œ=]--GV%WA/5"S+"I5OS0m=9u+SQ<x-H#B"YV{8)=]- Db=-H!"Z"DJ%/+"0=]-#B S6-I?"1-J=]-Qa-"BDb= -H0M5PK"L84WA/5D#Y+V"?A0J 10"SA$V'"W#BK"T+`K" ‹ h-HY 1"W#B-Z"-HJ S6YDSr-HJ-"P-a-x-L+A1-J-"B Db=D`+`K"h-HY?"1{8 S=^+D_+"+"_"+\SK"SV"P%WA/5-H0-".+-EA1%.D0P 1=T-8 Hình : tập dữ liệu với 2 lớp: có và không có khả năng trả nợ )-.*/01/NG9*" "/= ^+\SK"SV"P%WA/5%.D0PA1D#SHS+P+%.D0P%.S 10+P+Q56 %Œ-H!%WA/5"/-"B8`Q@%^+P+OE"S6+P+-H#B-H0+CQr%W A/5Db%.D0P+P+P-HjK"TOE-"S6+P+P-Hj-#CAS8qS0m=+P+Kp -"5G-'V"?A0Jx+ASQQz+S-0{R"mM56xH<H<QQ0{888 - O"19= ^+-!5+\SV"#CV"PVV"?A0J%WA/5A1%.D0P"FA$V+"0+P+=&5%W A/585P-HZ"V"?A0J%WA/5-"#Bm=9O#$+'>?6%.=T"Z" 1Q@ %^=T"Z"DbV"?A0J%WA/58 • q#$+'•?6%.=T"Z"%.S-H! /+V"?-_+"+P+=&5%WA/5+"0 -H#$+8)=&5-"5]+ I=]-A$VRD#Y+>P+Dj"Or=]--"5]+-_",A1 -"5]+-_"A$V8P+=&5%WA/516+kD#Y+,A1-GV%WA/5"5[ A56/8P+"FA$V+\S-GV%WA/5"5[A56/DI5V"D#Y+>P+Dj" ‚ -H#$+K">?6%.=T"Z"R Z G6V"#CV"PV16+kD#Y+,A1",+ +`P=QP-8 • q#$+9'@%^=T"Z"DbV"?A0J%WA/58H#$+"E-+"*-SV" -_"D]+"_">P++\S=T"Z"8E5D]+"_">P+A1+"[V"GD#Y+R=T "Z"Q‰D#Y+Q@%^Db%.D0P"FA$V+"0+P+=&5%WA/5K"P+-H0 -#CAS8 S6`+P+"K"P+RV"?A0JA1",+=]-"1=P">J=]-=^+%WA/5 10=]- -H0Qa+P+A$V+"0-H#$+8Z"%#$+"0-"[6Q.V"?A0J+\S+P+%WA/5 S6 Y 10-H0"S=IA$V8?"1+`-"bQ@%^+P+=IV"?A0JDb D]M56E-Dj"A/5"W#B S6Y-H0-#CAS+`!+"0 S6"S6 K"T8 Z"V"?A0JD#Y+",+Oi=JCH0+"0-GV%WA/5+"0 S6 #8 P4E "#CV"PV"mM5K"P+ $V"?A0J%WA/5r+")R"mM5%eDb%.D0P I+P+P-HjA!-^++kV"?A0J%WA/5-"Z+"}%eDb%.D0P I+P+P-Hj HBHJ+8 mM56A1",+=]-"1=P">J=]-=^+%WA/5 10=]-OE%.OP0P-Hj -".+8P+L%^"mM56+`"I5R _%^"#DP"P>P+>5[-=]-O/""? Q‰+"E-%.S-H!-GVKE-M5>n-"/=+"wD0PR%.OP0"5+;5+\S#B-!5 %eDa $=]-QV"w=$%.S-H!"0J-D]M5+P0-!5%e8 • )-.*/01+QR (f-"5G-16+`"/= ^=T- I+P+-_"+"[-"0t++P+Dt+-_"+"5+\S%W A/5-H04d"/+`8qS0m=+P+Kf-"5G-'V"?+^=x+A5Q-<H{RV"?-_+" A5G-KE-"YVxSQQ0+S-0H5A<Q{888 - O"(S+ ^+-!5+"_"+\SV"#CV"PVV"?+^=%WA/5A1"`=+P+Da-#Y-#C "S5-H0-GV%WA/5 10+P++^=QS0+"0+P+Da-#Y-"5]++e=]-+^= A1-#CDm+k+P+Da-#Y-"5]++P++^=K"P+"S5Q‰K"T-#CDm8 "?+^=%WA/5A1=]- _%^+\SV"#CV"PV",+K"TP=QP-8("T a"#V"?A0J%WA/5RV"?+^=%WA/5K"TDk"oV"Dj""pS -H#$++P+=&5%WA/5"5[A56/82Z-"ER+`-"b+0V"?+^=%WA/5A1=]- +P+"",+OiM5SQP-xA<SHO60OQ<H S-0{R-H0K"V"?A0J%WA/5A1 ",+Oi _%^xA<SHO6<>S=VA<{8H0V"#CV"PV16OJQ‰K"T-"b OE-KE-M5+P++^=-"5D#Y+Q‰"#-"E10K"O~-D;5M5P-HZ"82Z G6R-"T -"#B+;+`=]-+"56!S IAp" .+D`DbDP"P+P++^=-"5D#Y+8 "?+^=%WA/5D#Y+Q@%^"I5-H0+P+L%^ IV"?D0J-"j -H#BRV"?D0JK"P+""1R"G%J=&5RV"?A0J-HS‡<Ov01HS V"?+^=%WA/5+k+`-"bD#Y+Q@%^"#=]-O#$+-I>@A_+"0+P+-"5G- -0PK"SV"P%WA/5K"P+8 Z"V"?+^=-GV%WA/5+"0 S6 10-H0u+^= 7 [...]... là phân cụm Một cụm là một tập hợp các đối tượng dữ liệu giống nhau trong phạm vi cùng một cụm và không giống nhau với các đối tượng trong các cụm khác Phép phân tích cụm là một hoạt động quan trọng Phép phân tích cụm được dùng rộng rãi trong nhiều ứng dụng, bao gôm nhận dạng, phép phân tích dữ liệu, xử lý ảnh, nghiên cứu thị trường, v.v Bằng phân cụm, ... công bố Điều này chứng tỏ những ưu thế, lợi ích và khả năng ứng dụng thực tế to lớn của khai phá dữ liệu Phần này đã trình bày một số kiến thức tổng quan về khai phá dữ liệu, những kiến thức cơ bản nhất về các phương pháp phân cụm dữ liệu, phân loại dữ liệu và khai phá luật kết hợp 15 Chương II : PHÂN CỤM DỮ LIỆU VA CÁCH TIẾP CẬN 1 Phân cụm là gì Xử lý... để phép phân cụm ngày càng hiệu quả trong các cơ sở dữ liệu lớn Các chủ đề tích cực của nghiên cứu tập trung trên khả năng mở rộng của các phương pháp phân cụm, hiệu quả của các phương pháp phân cụm dữ liệu có hình dạng và kiểu phức tạp, các ky thuật phân cụm cho dữ liệu với số chiều cao và các phương pháp phân cụm có sự pha trộn của dữ liệu số và dữ liệu xác... các phương pháp dựa trên phân chia cần được mở rộng Các phương pháp phân cụm dựa trên phân chia được nghiên cứu sâu hơn trong mục Các phương pháp phân cấp Một phương pháp phân cấp tạo một phân tích phân cấp tập các đối tượng dữ liệu đã cho Một phương pháp phân cấp có thể được phân loại như tích đống hay phân chia, dựa trên việc phân ly phân cấp được hình thành... một loại phương pháp phân cụm Hơn nữa, nhiều ứng dụng có thể có giới hạn phân cụm với yêu cầu tích hợp một số ky thuật phân cụm Trong mục dưới đây ta xem xét từng phương pháp phân cụm trên một cách chi tiết Các giải thuật tích hợp các ý tưởng của một số phương pháp phân cụm cũng được giới thiệu Các phương pháp phân chia Cho trước một cơ sở dữ liệu với n đối... của người dùng đầu cuối, tạo ra một công cụ dễ sử dụng hơn Các ứng dụng của khai phá dữ liệu và những thách thức đối với khai phá dữ liệu Các ứng dụng của khai phá dữ liệu Các ky thuật KDD có thể được áp dụng vào trong nhiều lĩnh vực : Thông tin thương mại: Phân tích dữ liệu tiếp thị và bán hàng, phân tích vốn đầu tư, chấp thuận cho vay, phát hiện gian... cơ sở dữ liệu lớn 17 Phân cụm là một lĩnh vực nghiên cứu có nhiều thách thức, tại đó các ứng dụng tiềm năng của nó đưa ra các yêu cầu đặc biệt Sau đây là các yêu cầu điển hình của phân cụm trong khai phá dữ liệu: 1) Khả năng mở rộng: Nhiều giải thuật phân cụm làm việc tốt trong các tập dữ liệu nhỏ chứa ít hơn 200 đối tượng dữ liệu, tuy nhiên một cơ sở dữ liệu... pháp khác nhau Các kiểu dữ liệu trong phép phân cụm Trong phần này, ta nghiên cứu các kiểu dữ liệu thường xuất hiện trong các phép phân cụm và tiền xử lý chúng như thế nào cho phép phân tích này Giả sử rằng một tập dữ liệu được phân cụm chứa n đối tượng, nó có thể đại diện cho người, nhà, văn bản, đất nước, v.v Các giải thuật phân cụm dựa trên bộ nhớ chính... Phân loại các phương pháp phân cụm chính Hiện có một số lượng lớn các giải thuật phân cụm trong các tài liệu Việc lựa chọn giải thuật phân cụm tuỳ thuộc vào kiểu dữ liệu cho sẵn, mục đích riêng và ứng dụng Nếu như phép phân tích cụm được dùng như một công cụ mô tả hay thăm dò thì có thể thử một vài giải thuật trên cùng dữ liệu để xem xem dữ liệu có thể thể hiện... lợi Phân cụm có thể cần được liên kết với các cách hiểu ngữ nghĩa cụ thể và các ứng dụng cụ thể Việc nghiên cứu mục đích của ứng dụng ảnh hưởng như thế nào đến việc lựa chọn các phương pháp phân cụm là thực sự quan trọng Với các yêu cầu này, ta sẽ lần lượt nghiên cứu các xử lý phép phân tích cụm như sau: Trước tiên ta nghiên cứu các kiểu khác nhau của dữ . /+V"?+^=+P+Da-#Y%WA/5-H0K"TS+`Qa +"I5+S0RDt+O/-A#5NDE%WA/5-H0K"TSQa+"I5+S0+`-"b H[--"#S-"$- 1OjA/+""I58 ‚{ Phân cụm dựa trên ràng buộc:P+L%^-"E$-".++`-"b+;-".+ "/V"?+^=%#$H[-"I5A0JH1O5]+8Q@+T