Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 38 trang
THÔNG TIN TÀI LIỆU
Thông tin cơ bản
Định dạng
Số trang
38
Dung lượng
1,62 MB
Nội dung
Đại Học Quốc Gia TP.HCM Trường Đại Học Công Nghệ Thông Tin BÁO CÁO CHUYÊN ĐỀ HỌC PHẦN ĐỀ TÀI: GVHD: PGS.TS. Đỗ Phúc Người thực hiện: Nguyễn Thị Phương Trang Lớp: CNTT. K6 TP.HCM – 11/2012 Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc MỤC LỤC Nguyễn Thị Phương Trang – CNTT K6 -2 Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc Mục lục hình Nguyễn Thị Phương Trang – CNTT K6 -3 Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc LỜI MỞ ĐẦU Thế giới con người đang ở trong thời đại thông tin, thời đại mà thông tin có giá trị rất lớn. Trong kinh doanh ai có nhiều thông tin hơn người đó sẽ làm chủ thị trường, trong nghiên cứu ai càng nhiều thông tin thì người đó càng có nhiều cơ hội thành công hơn. Nhu cầu thu thập các thông tin có ích càng ngày càng trở nên bức thiết. Bên cạnh đó, con người lại đối mặt với một thế giới tràn ngập thông tin. Thông tin có ở khắp mọi nơi: internet, phương tiện truyền thông,…và thường có khối lượng khổng lồ, các cơ sở dữ liệu (CSDL) thương mại thường có đến hàng triệu bản ghi. Để thu thập được các thông tin có ích từ các “núi thông tin” như vậy là một vấn đề không đơn giản? Các công cụ truy vấn truyền thống cũ như SQL không giúp ích được nhiều trong vấn đề này, và từ đó ngành khai khoáng dữ liệu đã ra đời như một sự tất yếu. Khai khoáng dữ liệu giúp cung cấp những thông tin chúng ta cần và đồng thời cũng loại bỏ những thông tin không phù hợp. Với núi dữ liệu khổng lồ hiện nay, để người sử dụng có thể tìm kiếm được thông tin thích hợp rất khó, vì vậy cần xây dựng các bộ máy tìm kiếm thông minh để giúp người sử dụng chọn được những thông tin gần giống nhau phục vụ yêu cầu của mình. Có nhiều hướng tiếp cận khác nhau để giải quyết vấn đề này, các hướng này thường chú ý giảm sự nhập nhằng bằng các phương pháp lọc hay thêm các tùy chọn để cắt bớt thông tin và hướng biểu diễn các thông tin trả về bởi các máy tìm kiếm thành từng cụm để cho người dùng có thể dễ dàng tìm được thông tin mà họ cần. Đã có nhiều thuật toán phân cụm tài liệu dựa trên phân cụm ngoại tuyến toàn bộ tập tài liệu. Tuy nhiên việc tập hợp tài liệu của các máy tìm kiếm là quá lớn và luôn thay đổi để có thể phân cụm ngoại tuyến. Do đó, việc phân cụm phải được ứng dụng trên tập các tài liệu nhỏ hơn được trả về từ các truy vấn và thay vì trả về một danh sách rất dài các thông tin gây nhập nhằng cho người sử dụng cần có một phương pháp tổ chức lại các kết quả tìm kiếm một cách hợp lý. Nguyễn Thị Phương Trang – CNTT K6 -4 Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc Chính vì thế, trong khuôn khổ báo cáo chuyên đề, em xin trình bày sự khái quát về khai phá dữ liệu, và trình bày thuật toán phân cụm dữ liệu K-Means và thuật toán K- Medoids. Em xin chân thành cảm ơn PGS.TS. Đỗ Phúc – Giảng viên môn học Khai phá dữ liệu và kho dữ liệu đã truyền đạt cho em những kiến thức vô cùng quý báu về môn học, cũng như nhiều phương pháp tiếp cận nghiên cứu khoa học bổ ích, và gợi mở cho em nhiều ý tưởng cho quá trình học tập, rèn luyện, phát triển sau này. Bài báo cáo của em gồm các phần chính: I. Trình bày tổng quan về Khai phá dữ liệu và kho dữ liệu. II. Gom cụm dữ liệu và thuật toán K-Means và thuật toán K-Medoids. III. Trình bày ứng dụng mô phỏng thuật toán K-Means. Nguyễn Thị Phương Trang – CNTT K6 -5 Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc I. Tổng quan về Data mining: 1. Giới thiệu: !"#$#%&''(#$)%*'+,%- !.#/012'31456 708 9*-2'&!4:1%0%!"#$!"#$4;4+ ''4<#514%=1451%0%>'2'#514'?@' A5>.#514>B1<'?!CD )=%''(' 'E !.(#$:'F==>0 G1H'!IJ'H7> KH7!H747L'40MN8' !"#$*!4: • G1H14+'!"#$>0;4+=>0.**%'? '@O''F*-4>!"#$6%=>07P% >+G1H!>=>0>!"#$%>+G1H8 • Q!"#$J'H7>!"#$R'R'@6!4H!!SH#!8 TU5%>+'('6%4!.1%5%,;4H708 9!J'H7>10('V • MN8'1%KH7!H7%L'401WHH!"#$X PY>!"#$OH'0- ?%%@#$& %!'>,OH ;4!'%?WKH7!H=7'Z>[H \#!''';4!'2X4>[H;4!"#$OH .>W'*'?W]^_34!'2'#`4W;4 =('2X%89-4=1%'7!'4;4+0V *'+''*-W-4'? +;401W;40a8 a2'bc1% ;4='R1,'@'O4*'? .;4&''?.F;4*bA >#5141d'L'1e P$'@'#L''O40''%F1&'=>05 54@'%7=>#2'8f @#$2' !"#$1%'>'%A%'a2'@''ghi Nguyễn Thị Phương Trang – CNTT K6 -6 Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc '=%g 21''#514''845a 'j'=>0 2k'?bA !.121''#5148 2. Ứng dụng của Data mining l#$'Ea*#: • mn@'#514%Y2;40b8 o mn@'%;4+1Xb:o4+''ndH>He;4+1X;4 >'%dpfen@'k%7%1W;4d'!!!H11en 'b8 o mn@'%;4+1XE:aL5>'%n@''8 o m1%''/47*8 • '(#$>' o Q67+d?qH1%14De8 o QrH78 o Q#51414<d'4Ye8 '''$>s4a'?+1'''n4k%''''$4- .tk*-4'30'?+8)?'?=*2' 5'L'>u54@'%*#v7b7k;4&'>OHOw0'? #L5O40% O+F18 h'?a ''4;4+-434W'3+4#514 %bc1H''W4'@'3n@'8'>s4a'?'% &*'?W''-+3-3'(B%>'3 tk;4('4aR1-'n@' >.12#514'L'1W'3(#$'''HS'H '1Hx!HH&'O"1X!!d11H1e8 a(#$''7%W4'34'3'?'('6: • L ?'#L''O40%%!#vF1:a L ?;4==>0%@'O4*'''?.;4 &'F;4 #514'L'18f @#$F+:! J'H7>1'?2X'!"#$%5%,i;4H 70VJ'H7>#L%''%!"#$145:''.;4 Nguyễn Thị Phương Trang – CNTT K6 -7 Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc '''i1%''i,'DJ'H7>i=?''!. '? 1W;4*b52X%'?O'O4*y*'8* '+''-4?J'H7>1%2'1%;4=4#514 'E #`W!H!4?!"#$'''#'4'* #4@6`2*'#`8 • L ?'>#5;4>(% .'70:'$a;4=n@'#514! #5#514>'?&'7bz7U5.1W% 2'O'b'89@#$'7%'?5!+z>'? .1W=4172''`4A?'F'0 H'H#dL 4!+z0>'%e8$! MN1'?#!''';4!'7>['?{172'' V h 1% 2' -4 % MN i 34 . H'H#%'$'6#%?>'j1% 43y'%'t1%;4i4%n@'% !"#$W!H'EMN'%#%#5144'%1#/ 0'? F;4'%-4%'%'@O'89@#$:>7 6%KH7!H.!1415 #4=>0'E7% >7OH '4.!'M7*>u.!L 4'4.!'T %{14'`'4.M1%'*%5'4.!''? #43. '4.M%`2'' #4=>0%.i14-789%n 'Z1% ;4=a8 )%'''#2'(#$ i''' 1*>'%1%4n4-%'@>H7%'' %'!+O4*D)?'w'''O'b2'''. ;45''04. %/4i''(';4+''@ 1%>s6'EnW'D''04.7W%.E' '@!'>04'34bD9%?'tY2'O'b2'!L Nguyễn Thị Phương Trang – CNTT K6 -8 Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc ' 'E'''@!'>40i+ %1t'E>'%%12 4'E#D 3. Các bước chính của Data mining a7<''7'!4: • 4 '4z ? #5 14 % #5 14 % . > #5 14 daKH4!He8 • h'''F'04O4*'''(#$n@'#5148 • |"#$''3-n@'@8 • Q0O4*#514###v474<&'#H8 4. Các hướng chính của data mining a2''%'''@: • f+>d''H#H!'e:W-+B2%?R>8 9@#$:?R67+8 • }4>02d!!'41H!e:1%#1474#v(U#>F+8 9@#$:~•^_$5%!W4b044>H#€#='?•^_!., !4W!5"&‚8 • }4>022'(#$-41cL'>#,'!% '@ƒb'(>D • mn1%#Ld'1!!S'ƒH#'e:O0 .2% 51i70'89@#$:n14'H;4.'j%D • „0'%!"#$ !.>s4'Emachine learning 'n ;40bFn888 • mn'$d'14!He:O0''.2HA'$d!.12'ZW'E '$'2'70'e8 • Q'4Yd!H;4H1xH1H!e:FL>14>02 '?W@(L%@8„0'%2'(#$ -41cL'%'@%b'(>=?'?@#L7'8 Nguyễn Thị Phương Trang – CNTT K6 -9 Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc 5. Một số công nghệ thường áp dụng trong data mining: • f@4ndMS'1H41HK>!e:hn1%=%.'? L,';4%#514734A?!4''>0 ;4+A#514%?>'8 • n;40bdaH'!!HH!e: „,''n;40b1%F2'!"#$ i'',';4 A /418hn1%FO*Oj%$'W4'?b'8f& >''n;40b't'?'4!#74#vFF## ('1%''14If-then8 4 '@.*1%4 '@'? 1*1*8 mF,'#`'n;40b%#LW'n;40b1%* 4;4+7U=?'?1%'2' !.121''4 '@%F 5A'n;40b'?y2' .14,'2'8 • G+4#4-dGHH'M1!e:Qs4%!"#$'';4= .270B',1,'LW>0AA>0?8 • mF)1-3*d)HH!H7H#e:hn1%>s4 n1A7+x#514#LW!L>02'E>H'#! '? .4*#514;4>(8 • )4WR'!4#vdp41H#4'e:Qs47?''#514#LW4WR' )04=A''#514.>W8 Nguyễn Thị Phương Trang – CNTT K6 -10 [...]... Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS TS Đỗ Phúc II Gom cụm dữ liệu 1 Giới thiệu: Gom cụm là hình thức học không giám sát trong đó các mẫu chưa được gán nhãn Mục đích của gom cụm dữ liệu là gom dữ liệu tương tự nhau, thành từng cụm theo một chuẩn nào đó Các dữ liệu trong các cụm khác nhau thì có độ tương tự thấp hơn so với các đối tượng trong cùng một cụm Có nhiều phương pháp gom cụm như:... tượng (hay điểm dữ liệu) thứ i Thuật toán k-means gom cụm toàn bộ các điểm dữ liệu trong U thành k cụm { C1,C2,…,Ck }, sao cho mỗi điểm dữ liệu xi nằm trong một cụm duy nhất Để Nguyễn Thị Phương Trang – CNTT K6 -12- Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS TS Đỗ Phúc biết điểm dữ liệu thuộc cụm nào người ta gán cho nó một mã cụm Các điểm có cùng mã cụm thì ở cùng cụm, trong khi... chính của thuật toán K-means là gán mỗi ứng viên vào cụm có tâm cụm gần nó nhất, Nguyễn Thị Phương Trang – CNTT K6 -11- Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS TS Đỗ Phúc trong đó tâm cụm là giá trị trung bình của tất cả các đối tượng trong cụm Với mục tiêu cải thiện hiệu quả thuật toán, có khá nhiều thuật toán khác như là: thuật toán kmedoids thuật toán CLARANS, thuật toán DBSCAN... xét: Thuật toán k-medoids mạnh hơn thuật toán k-means trong các trường hợp dữ liệu có nhiễu vì k-medoids chịu ảnh hưởng ít hơn của nhiễu và các giá trị chênh lệnh so với giá trị trung bình Tuy nhiên cả hai thuật toán này đều yêu cầu đưa vào số lượng cụm k [2] Nguyễn Thị Phương Trang – CNTT K6 -19- Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS TS Đỗ Phúc III Ứng dụng mô phỏng thuật toán. .. như những hướng ứng dụng, cũng như những công nghệ, thuật toán áp dụng trong Data mining, và đặc biệt, nắm rõ nội dung khai phá dữ liệu ứng dụng trong việc phân cụm dữ liệu Bài báo cáo đã trình bày chi tiết về hai thuật toán K-Means và thuật toán KMedoids, cũng như thực hiện được ứng dụng mô phổng quá trình chia cụm dữ liệu đơn giản dựa vào thuật toán K-Means Báo cáo cũng đề cập đến ứng dụng Google Analytis,... thuật toán gom cụm khác nhau thích hợp với các kiểu khác nhau về tập dữ liệu và các mục tiêu khác nhau Vì vậy thuật toán gom cụm “tốt nhất” để sử dụng tùy thuộc vào ứng dụng Thuật toán K-means là phương pháp được sử dụng nhiều nhất trong hướng tiếp cận phân nhóm phân hoạch (Partitional clustering) Thuật toán này có độ phức tạp thấp O(tkn) với t là số lần lặp, k là số cụm, n là số đối tượng sẽ gom cụm. .. toán k-medoids mạnh hơn thuật toán k-means trong các trường hợp dữ liệu có nhiễu vì k-medoids chịu ảnh hưởng ít hơn của nhiễu và các giá trị chênh lệnh so với giá trị trung bình Tuy nhiên, ứng dụng k-means là phương pháp đơn giản hơn 2 Thuật toán k-means K-means là thuật toán gom cụm theo phương pháp phân hoạch và đã được sử dụng rộng rãi Cho tập các đối tượng, mục tiêu gom cụm hay phân mảnh là chia... nhà, giá trị và vị trí địa lý 3 Thuật toán k-medoids Thuật toán k-medoids hay được gọi là PAM (Partitioning Around Medoids) được Kaufman và Rousseeuw đề xuất 1987, là thuật toán mở rộng của thuật toán k-means, có khả năng xử lý hiệu quả đối với dữ liệu nhiễu hoặc các phần tử ngoại lai.Thay vì sử dụng các trọng tâm như k-means, PAM sử dụng các đối tượng medoid để biểu diễn cho các cụm dữ liệu, một đối... điểm vào K cluster Nguyễn Thị Phương Trang – CNTT K6 Hiệu chỉnh lại trọng tâm của các cluster -13- Gán lại Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS TS Đỗ Phúc Hình 1: Minh họa thuật toán K-Means Điểm mạnh của phương pháp gom cụm k-means • Scalable tương đối trong khi sử lý các tập dữ liệu lớn • Độ phức tạp của thuật toán này là O(tkn) Trong đó n là số mẫu trong Cơ sở dữ liệu, ... này thành nhiều nhóm hay cụm sao cho các đối tượng trong một cụm có khuynh hướng tương tự nhau hơn so với đối tượng khác nhóm Thuật toán K-means phân mảnh dữ liệu cho trước thành k cụm, giá trị k do người dùng xác định Thuật toán dễ thực hiện, thi hành nhanh, dễ thích nghi và phổ biến trong thực tế Đây là một trong những thuật toán kinh điển trong khai thác dữ liệu Thuật toán k-means áp dụng cho các . Gom cụm dữ liệu và thuật toán K-Means và thuật toán K-Medoids. III. Trình bày ứng dụng mô phỏng thuật toán K-Means. Nguyễn Thị Phương Trang – CNTT K6 -5 Báo cáo chuyên đề Khai phá dữ liệu và. phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc Chính vì thế, trong khuôn khổ báo cáo chuyên đề, em xin trình bày sự khái quát về khai phá dữ liệu, và trình bày thuật toán phân cụm dữ liệu. cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS. Đỗ Phúc MỤC LỤC Nguyễn Thị Phương Trang – CNTT K6 -2 Báo cáo chuyên đề Khai phá dữ liệu và kho dữ liệu Giảng viên: PGS. TS.