Tiểu luận khai phá dữ liệu GOM CỤM DỮ LIỆU VÀ CÔNG CỤ WEKA

  LỜI CẢM ƠN   !" #$%&'()*+, !(/0,'( ).%&1)&23$44 56478+9:10/%;#-< %;9:3:"%&;$(3=&44$44 >47,/?#&.09/&;@&/;,AB4 ,%'30"C0+7&D$4 >47E  ! "#$%& "'' ()$*'$ "+,&-  .)"/ FGFH%I;4J9FKKLKLML #/   MỤC LỤC 01234 505 678' 94':;8<<2=>?02@8AB=CDE ''F "G )#/E '$F "G HE 'E;&IJ % '%K "L "MN 'NO&PQ+R "&S "L "T 'N'>- T 'N''U VT 'N'$G#W 'N$S&XW 'N$'U L)W 'N$$0Y&Z&[\ 'NEVU#G#Z&]^ \ 'NE'H _`a\ 'NE$.U#b 'NEEcd &  b 'NE%eU#b 'T&Q "&S "& b 'WfX "G#Z&]^ '* '\Z&Y +R "''' 94$=94=g0h'$ $'U V'$ $'' )HU V'$ $'$i+V ]j"XG#Z&i& U V'E $'EL]U V'N $'%O _&I "U V'N $'N&ZY 'T $$+R "&F "G&_U#- "U#G#Z&]^ 'T $$'k&IU#G#Z&]^ 'b $$$lU#- "Y&&mU#G#Z&]^ 'b $$En &I#$* $$%+[ "&S "& o2 pI)&  q$* $EY&& %N$' FGFH%I;4J9FKKLKLML #/   $E'V&$' $E$O]P`L "]j_]^ ]j)&Q& k&$' $EEO&PQk ]HV&O& $$ $EE'O& c &L$$ $%E$O&  H"&I^$% $%EEO& &Z"&I^$N $E%Y&& %N$T $%+R "U Vrsf#sP EE $%'V&EE $%$^ af#sPEE $%EU Vrsf#sPofqE% $N+R "] "&Y&& EN $TG#]iZ ET $T'PQ&+R "G ET $T$SJ G#&#Z & ]iZ EW $TE &+[ "]O "&#Z Eb $WZ&Y +R "$%* 94Et5>?02@8AB8ut=vn<%' EES "Lvs%E EE'V&S "Lvs%E EE$c iX vs%% EEE`PF vs%% E$% J n_IsIIsIsPP%N E$N J n_IsIPPp#%T EETk&I&Y)w%W EET'k&I&YA%W EET$k&I&Y<Ipp%W EEW- ")Vx ( "n_IsI%\ y2@8ut=<2=>?02@8%b %']z&&Q "%b %''Y&& L "%b %'$O&PQ" +R "&IJ %b   M+R "&IJ N* x ( "M" {N* | "+,} "/ x "L "]j&` ")&&~+R " &IJ N*  &` ")&Y&& )s PN* x ( "M+R "&IJ {N* •ts €s{•&Y)wN' •s€s{lk&psZ&GXN' FGFH%I;4J9FKKLKLML #/   •l!C{Y&.]Ol!C&s_&i_N' •<{c)]j)]&^N' •Is&s‚ )) &P{.iX "]j) "w c ]&^ N' •‚ {.#&Y&& )s ]j")L)N' •sI{l) J ƒ.]&^N' „08uAB9h=‚2…N$ 'Z&Y N$ B202@8<3tNE FGFH%I;4J9FKKLKLML #/B   FGFH%I;4J9FKKLKLML #/B @/0,NO3B44(&NO3 GFPH ! MỞ ĐẦU • L do chn đề tài I "  " ()"† ]U#!]‡&I•& )O&&I "  " +V " "c xV  k&Mˆ -/)#& S " "&I&x ]‡] "x "L "& S " Hˆ - "U  "!&+R " ).!& !&^&I+, "x " !#/!&c ( !)S&I+, "!"L!‰ &S "P /Q+[ "&S "& ]‡]+[_`a&I "&k&Xˆ -]‡ ] "&( "c ] "j! "]+[+&I&I "RP•&Y&I "# U & Ak ]H)&Z ]jŠ]+[&S "& &mRP• F "] "Ik&]+[G &U)&&Ij !S "]Š]+[ "+,&]z&&c "/o>&  "qZ&GXM]‡]s). H& S "&I "&-&ZH]Š]‡)&( " Y &xM  "+,&I " U &RP•V ]jŠ&jiZ   "‹&L]O "Œ&  Š") H+V "&ZY  •&Y&  ]+[L "&I "ˆ - #† V ]+[Z&m&mˆ -RP•! )#/o) ssI  "q!&I& U &.oI&p &s"s sq!a&#Z&&S "& o pI)& &sI#q!_Pk&&Q "coIii&#ŽP&&P&Pq!& &  ( " o"sIpI) s)& "q!+R "& & )H)oPp&)& " )s&"sPqi& M#Z&I "( iX o&s_& )  "q!•sio•si)  "q!Y&Z&[oPP& IsP)  "q! a&#Z&&Y&SoI"Ps&&sI#q!U L)oP&sI "q!U VoPPp& q• I "  " ()&I+V]U#!+R "U V]‡]+[]H_k&! + " S "Š+R "&ZY U . R  _R ‘   " +R "# c V)+R "Š)O&[&Zik&[Ic " P`L "U .f#sP "X]^ I’ "&O& ]OYI,I.AJ Y# ŠIk&jj‰P`L " + "Z&GX&J+]+[&X] " lU#- "U#G#Z&]^ i’ "&Y&& %N-&Ic "+[ "&S "& o2 pI)&  q"X)&jPQ† † PP “&+• "RiX M&Y&&  &O& Š"&I^"+[ "&S "& V  k&Pƒ]+[/ ]jU    + )O&"X‹sIP&Œ&I "/ -&O& U V# c !)O&k ]HM&Y&& &Ic )O&U# Š&jz. H† &I "U#G#Z&]^  fc . ]Š!)O&&O& Š&j]+[} " H† &Ic )O&]+, "]L&jM FGFH%I;4J9FKKLKLML  #/K @/0,NO3B44(&NO3 GFPH ! U#H]Š)"X)GXG&IJ U k>]Š-/ &O& ]jU  k ]HIk&G &I/ "]+[ H / "c x!ŠIk& H S "&IJ ]+[S "iQ&I "  " ()"† ]U#f&.”y>5 94= g0h! t  5‚t<2 =>?02@8AB •5<2=>?02@8vn<– ’) "c x+R "U V")L)L "&I "S "L "MS "L•s&I "  • Mục đích nghiên cứu "c x)O&PQ+R "&Y&& L "&I "i& U V")L)  # • Đối tượng và phạm vi nghiên cứu "c x+R "_U#- "U#G#Z&]^ -&Ic &Y&& %N! +R "U Vrsf#sP+R "")L))s P • Phương pháp nghiên cứu "c xa&#Z&!U &!&F "[!]z&!G&I&I  "k ]H † &Z&]H& FGFH%I;4J9FKKLKLML  #/Q @/0,NO3B44(&NO3 GFPH ! CHƯƠNG 1 TỔNG QUAN KHAI PHÁ DỮ LIỆU VÀ MÁY HỌC 1.1. Tổng quan máy hc #/o s0sI  "q)O& " / "c x&Y&& |)#& Š&j/]+[ )o s&q!P-&-]O "MG# &IJ /_U#- "  "Y&-G P&&I. "&&Ic RP• P-#j M "U#ˆ -IO "V S "ei")/&m Lz)w!)— /&( "+, "!/ŠP-+V "w !•#/j) &I  "L&I+V]Šj)&IS X  "Z&GXM "]+I /) ]j&P`L ".  "Z&GX #&. c   "P-&F "G&   "&I+, "[)V Š "!)#/S "P`L "  "G P&]R ˜H&YM Š)& iO)O&&YY #&+, "]+["/&Yk # z&Y/Y #x  ")w]+[ij‰ &s)O& ]Š]j)#Š&j]/j]+[Yk # i",™ ". !]Š S "X& iOPƒ]+[/)O& _ O&&Z &IJ )#/")$"]. { Giai đoạn hc{&Q "U &RP• Y IP-&+R "&-" ]Q&+[ "Z&GXMU &Š&j Š)]Q&+[ "&I " V!&.IY&!&c ] V]Q&+[ ")V Giai đoạn thử nghiệm{Y&]+[&.IX]+[j) ").i’ " )O&PQ)& & &-&&Ic )O&† M&Yk # z&Ic )O& &YV  1.2. Tổng quan về khai phá dữ liệu Š " "Q&m+R "Ic "i&!)O&&I "  " . "G &I/ " k&&Q "c)#/Q "cŠ " "Q&m& / ]Š k ). ]Z ]O _& /!) ")Q &Z&Y)Š&j Y I&Ic  H & /&I+Vj)&` Š&I "&-&Z"+[.!)#/Š " "QIk& j&I "&-&‰ & & H #w ]Z &-&‰ !P‘ P "j)&` ]jiZ& Š&- &Q&&Z )S "† ,)O&x ")  &x FGFH%I;4J9FKKLKLML  #/R @/0,NO3B44(&NO3 GFPH ! G&IJ & )SJ !&F "Z&  "&I^]+[k#&m&Y&I+VP-&()—U &+[ "V ]j)&mI)w[!ŠŠ&jj ]+[[)w]X)iX& &F "G&+]+[iZ&&I+V]Š!Š Š&j-)w]Š]+I ]O "}[!j]+[Š&jic ^ j&k])w • ( "U &M  "+,S "]†#]M&+VH M!&Q]O&( "&I+• "MIk&V c)]Š  "]x " ). )ƒM•&Y&HX ( "&&Y!+&I! ( "-& & !† )H)!P-& &.H#c )S "I— Š)S&I+, ". &I H^ L!xS "e. &I H"o]QV"U  "!S "# .! . !•qk&X  "]H]Š  "#c  U &]d#& &Ij  1.3. Quá trình khai phá dữ liệu I+V&c !U i&"&Y& "‹)SJ o)sqŒ‹)wo&&sI qŒ } "&I "SJ )O&k&I‹G#)SV Œ!Š&j&F "Z& G H&I+, "[oPsq!&I ")w)O&k&ILiO!&~)‡ i•)O&PQ&&I+, "[z&I ")O&)H  ~MS "" ;&IJ  &I&x&Z  &si+VP{ šf+V'{Y[G P&&m "  "& &Y f+V #Z&PxG &I/ "J Z_]^ Pk ]H&J& iO G&IJ PX ! Š&I• c S!]H #™ ""Q " + " S " "† )H)&k&i.•"]. _]^ #c† "+,} ">Y# "].  #Šƒ"]. &Q  H&,"  k& šf+V${/ /_]^ &Y]&I+, "c G  šf+VE{0)P._i~ ‰!&H _`a>U &&Y[ ]jP`L "&Q&R x "L " šf+V%{X)iV&#j ]F&J)I  "]z&I+ "L "! "X)iV&HziZ !ij‰ .].+[ "ik&iZ  šf+VN{0-/ x ( "&F "Z&!U V!G#!Z&[ U  Š) FGFH%I;4J9FKKLKLML  #/S @/0,NO3B44(&NO3 GFPH ! šf+VT{&I[IG#Z&]^ Y&]+[/ /]+[ Š).]jP`L " &Y & R ‰jR  1.4. Ứng dụng của khai phá dữ liệu )O&i+V&I "G&IJ )&I&x")Š &Y&& &#c } "+V)O&PQG]^ HGX& & k Y ]+[]j&J)I)wz)SJ &I "Š)O&! )L] &J)I)w)SJ ] "& &.&I " RP• + "w — i^sk&i• " "# # Š Hx "L "&I "&-&Z!)O&PQx "L "]j J M Š&j]+[L "]j]+IG#Z&]^ &I "   +{ Marketing{x "L "i")U & M "- Š]R ) "!_]^ Z.Is& "i")GX "!^ &I "!&+ "›!U ].  "!` "!#PX d)&Z&Z  )L!iQ&I` "!Z ^GX " Tài chính và thị trường chứng khoán{=L "U &&˜& L "&cijM "!U ]. &X  Y ]+[!U &]†&+ &  +x " !"k#x " Y !G•&J &+R "!] "&  !& ˜" !>-i"M.FZ&I "&^&I+, " x " ! Bảo hiểm{=L "U &)x]OIMI_X#I]QV&m ".  "!^L#Z +[&J)Z) ")iXj)! Quá trình sản xuất{x "L ""XG#Z&P-&Q+M " & "#c  +)#)Š! U P-! "#c Y&œ&Z&Z&Q+&I "G&IJ  PX _k&!iQ&IU _+• "&Z&ZPX d)!‘ ".  +G&IJ &-]O "- #c† " Y hc và chăm sóc sức khỏe{x "L "i")&J)I)w&I " )lš; "!U && ")]j&J)Ii &Y&!U &)Qc  "&Ix "i !d ] U &X +• "M&Q!GXM ]H&I^œ&Q+MG&IJ _`a&I ")O&i  !)QG " &J &I. "i  U V&J &I. "#c )S MiPˆ! "IŠ Hx "L "Š&j]+[L "&I " ˆ - +/!)S&I+R "!_‡O/!• FGFH%I;4J9FKKLKLML  #/T [...]... Mô tả tập trung vào việc tìm ra các mô hình dữ liệu mà con người có thể hiểu được và biên dịch được 1.5.2.1 Phân cụm Mục tiêu chính của phương pháp phân cụm dữ liệu là nhóm các đối tượng tương tự nhau trong tập dữ liệu vào các cụm sao cho các đối tượng thuộc cùng một cụm là tương đồng còn các đối tượng thuộc các cụm khác nhau sẽ không tương đồng Phân cụm dữ liệu là một ví dụ của phương pháp học không... = U 1.8 Kết luận chương 1 + Chương này đã trình bày tổng quan về khai phá dữ liệu, ứng dụng của khai phá dữ liệu, và giới thiệu một số phương pháp khai phá dữ liệu thông dụng + Trình bày tổng quan về cây quyết định như mô tả cấu trúc cây, tiền xử lý dữ liệu, tạo cây, tiêu chuẩn tách nhánh và phương pháp tỉa cây HVTH: Phạm Ngọc Giàu_CH1101080 Trang 11 Khai phá dữ liệu và nhà kho dữ liệu GVHD:... thấy sự phân cụm tập dữ liệu cho vay vào trong 3 cụm: lưu ý rằng các cụm chồng lên nhau cho phép các điểm dữ liệu thuộc về nhiều hơn một cụm 1.5.2.2 Luật kết hợp Mục tiêu của phân tích luật kết hợp này là phát hiện và đưa ra các mối liên hệ giữa các giá trị dữ liệu trong cơ sở dữ liệu Mẫu đầu ra của giải thuật khai phá dữ liệu là tập luật kết hợp tìm được Khai phá luật kết hợp được thực hiện qua 2... phân lớp dữ liệu, phân cụm dữ liệu không đòi hỏi phải định nghĩa trước các mẫu dữ liệu huấn luyện Vì thế, có thể coi phân cụm dữ liệu là một cách học bằng quan sát, trong khi phân lớp dữ liệu là học bằng ví dụ Trong phương pháp này bạn sẽ không thể biết kết quả các cụm thu được sẽ như thế nào khi bắt đầu quá trình Vì vậy, thông thường cần có một chuyên gia về lĩnh vực đó để đánh giá các cụm thu được... Phân cụm dữ liệu được sử dụng nhiều trong các ứng dụng về phân loại thị trường, phân loại khách hàng, nhận dạng mẫu, phân loại trang Web, … Ngoài ra phân cụm dữ liệu còn có thể được sử dụng như một bước tiền xử lí cho các thuật toán khai phá dữ liệu khác HVTH: Phạm Ngọc Giàu_CH1101080 Trang 7 Khai phá dữ liệu và nhà kho dữ liệu GVHD: PGS TS Đỗ Phúc Hình 1.3 cho thấy sự phân cụm tập dữ liệu. .. tích dữ liệu đầu vào và biểu diễn một mô hình chính xác cho mỗi lớp nhờ sử dụng các đặc điểm hiện có trong dữ liệu Mô hình này thường được sử dụng để phân lớp tập dữ liệu trong tương lai mà tập dữ liệu này chưa được xác định thuộc lớp nào Hay nói cách khác, phân lớp là học một hàm ánh xạ một mục dữ liệu vào một trong số các lớp cho trước Hình 1.2 cho thấy sự phân lớp của các dữ liệu vay nợ vào trong... quyết định 1.5.3.1 Tiền xử lý dữ liệu Một tập dữ liệu thô bao gồm các mẫu dữ liệu ban đầu hay chưa biến đổi từ tổng thể Hầu hết dữ liệu thô hữu ích biểu diễn một cách chính xác Một kết hợp của các mẫu thống kê và sự điều chỉnh của chuyên gia Trong thế giới thực, nói chung dữ liệu thô chắc chắn có mức độ nhiễu Điều này có các nguyên nhân khác nhau như là dữ liệu lỗi, dữ liệu có đại lượng không chính.. .Khai phá dữ liệu và nhà kho dữ liệu GVHD: PGS TS Đỗ Phúc 1.5 Một số phương pháp khai phá dữ liệu thông dụng Hình 1.1 biểu diễn một tập dữ liệu giả hai chiều Mỗi một điểm trên hình đại diện cho một người vay tiền ngân hàng tại một số thời điểm trong quá khứ Dữ liệu được phân loại vào hai lớp: những người không có khả năng trả nợ và những người tình trạng vay... kho dữ liệu GVHD: PGS TS Đỗ Phúc chính xác đối với dữ liệu chưa biết tức là chưa xác định được lớp mới là quan trọng Phương pháp chung để dự đoán được nhiều người chấp nhận nhất là sử dụng tập dữ liệu đã biết trước theo cách như sau : Dùng một phần dữ liệu cho trước (tập dữ liệu học) để huấn luyện hệ thống và xây dựng mô hình (tập luật) Tập luật này sẽ được kiểm tra trên tập dữ liệu còn lại, và. .. một ví dụ, hay một đối tượng Những bộ dữ liệu được phân tích để xây dựng mô hình phân lớp lấy từ trong tập dữ liệu học hay dữ liệu huấn luyện (training data set) Những bộ dữ liệu riêng lẻ tạo thành tập dữ liệu huấn luyện còn gọi là những mẫu huấn luyện (training samples) và được chọn ngẫu nhiên từ kho các mẫu Mô hình được đưa ra sau khi đã phân tích xong tập dữ liệu huấn luyện thường có dạng là những .  #/Q @/0,NO3B44(&NO3 GFPH ! CHƯƠNG 1 TỔNG QUAN KHAI PHÁ DỮ LIỆU VÀ MÁY HỌC 1.1. Tổng quan máy hc #/o s0sI  "q)O& " /.  #/T @/0,NO3B44(&NO3 GFPH ! 1.5. Một số phương pháp khai phá dữ liệu thông dụng J ''ij‰ )O&&Y"XH)O&]j)&Ic. "]H]Š  "#c  U &]d#& &Ij  1.3. Quá trình khai phá dữ liệu I+V&c !U i&"&Y& "‹)SJ o)sqŒ‹)wo&&sI