Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 18 trang
THÔNG TIN TÀI LIỆU
Thông tin cơ bản
Định dạng
Số trang
18
Dung lượng
677,49 KB
Nội dung
Bài thu hoạch môn Công nghệ tri thức và ứng dụng TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG ỨNG DỤNG PHÂN LỚP DỮ LIỆU NAIVEBAYES TRONG KHAI PHÁ DỮ LIỆU GVHD: GS.TSKH Hoàng Kiếm HVTH: Vũ Thị Hường MSHV: CH1301089 TP HCM, Tháng 10 năm 2014 Mục Lục HV: Vũ Thị Hường Trang 1 Bài thu hoạch môn Công nghệ tri thức và ứng dụng HV: Vũ Thị Hường Trang 2 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Đặt vấn đề !"!#$%&'()*+", %&'()*+"(/" 0'1 #$ %&23 4) 56#&)! # 0 7 8 9' :"/ #)1 5$;<)" ="(/" 0' ! ">=50:?@5?)=#A' ! ? ?B)"C!-:D) CE5F.,/"5G= /?$ / H)IJ)K)"L= 8/=50:MN5<= /=50:M#0)" C!-:D>:M.) /" 0'#9:CE5F:?@OP?51 0A) #0)"C!-:DQ0I /R (0S)@)"C!-:D K'(/" 0'OT! /& -5?@'()*%EO9,/":K :U+"V) ?N 5"." 5 0CE5$/" 0'.4I.## 1) = ,<"+"0S)@)"C!-:D:M<5'T5$'/=50 ) >"" W,"'(/=50X) '#2!.PO)V2! 1'GY) +:>"" :M5'T5$'/=50./&:(%&,0/&"#5F !-"!P%ZF!-!M##0<O(%9+"%&,0/&"#(,-CE[ ,\(%&,0) C(,I ]O ^5BENT:-__` `-.5 ?B:a)&-' E /!.)!:= ,-I5\C"$b. 9' .?50 K P!M[ c .? #$5?@ ,-Ide', )(,Y -%M) C()V&0. A:?@F,-:M M'+"G!:*PM* 0N ]OTENf b#\ QgD?B HV: Vũ Thị Hường Trang 3 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Phần I: TỔNG QUAN VỀ DATAMING 1. Data ming là gì ? `(0#,"'(/= 50W>"" X"!'(0 ) IW`h5P/ P >%#P)!XM)9(/i:,("? #2E9:M5C()V&:1 )<O9 M ()DW /&:(j)P/#Pk)"XlI") ,[5?@ /=50,4 58) &- >"" 9m,<"<:M5,En )<O9 M<& :1 W"P/X# " </&:(W)P/#PX >"" 5\C"op:-(56#&%" • _"%%[ ,\ • "PZP") (!b • >""2"%P%N%q/=50 • Q%"5r")&C"M"W K'/=50/i*./i%^/R X Các lĩnh vực của Data ming 2.Nhiệm vụ của Data Mining 0 #R +" /"" M * 'T m 5 < :M 5dự đoán (Predictive)#mô tả (Descriptive). (In <+","'(/=50 • E,(0WP'/P%)'X\#E.4 @'#MU,( 0Q</RMU#n2E • ZA,-@'W"%%")5P%X5/ 5A2*/i)Iq/ ,(:N EQ</RHstu" $#%\D-"2"VM$vtu) %[b HV: Vũ Thị Hường Trang 4 Bài thu hoạch môn Công nghệ tri thức và ứng dụng %p"\D2d,JZA,-@':?@I /R ) 56#&,< /".!b.7%.<wD)?B I ,(.## • T5$'#/&:(W5"%%k"w')P/XO-'1:[?@ #1 ) = 5$':a2-)?$Q</R'T5$'#3 :D"5FP/=50B- ?$ -'A!?B %^/R 1%[,xA+""P5P") ?T! C!-:DW/P%)PPX. N)TWP)"5Ph),X.## ?B "d b'T5$'5bM (%(WbMG!X • TRW5%P) XO-'(:[?@ PL RW%[5?@ g ?\ +"R?":?@2-)?$ ?B"d b'TR5b, (%(X • `"'(SW%PCP"5yP')"5'"P)%X?N &?,"'(5A,-@' ? M\<I&#<B "?$ -'A!:?@I /R ) 56#&<#D)?B I ,(#VMM</&2( >?$:T!51%[A('42-:?@/3 ) >"" • >P%)PPT!C!-:DW5"%%k""%,X • P")P%P 2)Z( G9W5"%%k""%,X • P)"5Ph), P)"5W5"%%k""/5%P) "%,X • z5P/ZAC'W5"%%k""%,X • `7P"%A(`7P"%W5%P) "%,X Các thuật toán phổ biến trong Data ming 3. Ứng dụng của khai phá dữliệu >"" !51?$ -'A$? K:?@)9%&C"T +"( \I#'()*B#= I /R &i+"MK "M *50,\)":T!1%[I /R :*V • T</=50#S)@)"C!-:DW/""""5!%%w/P%%'')X HV: Vũ Thị Hường Trang 5 Bài thu hoạch môn Công nghệ tri thức và ứng dụng • )D!bWP/"5)P"PX • PO w{P2 • 7%W27k)"%X • <#D)?B I ,(Wk"Pw%,"),PX • E*W%)"PX • A/ W'"P))P X • | HV: Vũ Thị Hường Trang 6 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Phần II: KỸ THUẬT PHÂN LỚP 1. Giới thiệu về phân lớp Phân lớp dữ liệu5,6A/&")\A'95!0#= ()D"!"!5a +"5$') 11<'T5$'#%^/R M) #0'T5$'/=50$T 5$'g 5\:(55$'+"a\,6A'T5$'M1VI?N &5,6A\:(.,6A\:(,(#$'T5$'qS'T5$'}5\C" :-\:(55$'+"ad,6A\:(V= :( (5\R Kĩ thuật phân lớp được tiến hành bao gồm 2 bướ~T!/& V#%^/R V • Xây dựng mô hìn5E1A'= 5$':?@:D 6")?$) :M S21o•:?@ (1#15$':?@:D 6")?$?5:?@O( :D2q1<a5$'.A'@'+"= 21:?@%^/R ) #0%^/R V:?@ b5A'95!0V:?@2*/i5= 5A'T5$'. T!C!-:D#= I(b • Sử dụng mô hìnQ0%^/R V'R#RR:<'T5$'/=50 ) ?N 5"o'T5$'= :[?@ ?"2-:-)?$,%^/R V ?B"?B 'E:( (<<O(+"V) :Ma :?@2-+"•,*)":?@%%(#$,-CE'T5$'+"V.:1< O(5'G)n+"A'@'•,*)"'T5:K 2qV.A',* )"5:15A'#$A'95!0 T5$'51VIb:?@ (%(I5A'/=5095!0WC"%(. l:DX::#$= a}:D5$'C"%(.= /=50$:?@'T5$' /&")\A'95!0 ?@5#$VIb:?@ (%(5VIb, :?@ (%(5K:M a5$'+"A'/=5095!05, :?@2-:- Các giải thuật phân loại dữ liệu: • T5#$T!C!-:DW/P%)PPX • T5#$ "!P%" • T5#$ P)"5 • T5#$,'G^A G9W,7P")P%P 2)X • T5#$%!/i/&")\V[ W"%P72"%P/)P"% X • T5/&")\-( PW PP"5 )%X • T5#$5F!-A'W) %P%X • T5#$5F!-A'BWkrr!%P%X| HV: Vũ Thị Hường Trang 7 Bài thu hoạch môn Công nghệ tri thức và ứng dụng 2. Phân lớp Bayes 2.1. Giới thiệu thuật toán"€#P"!P% ) 56#&>"" ."!P%P)PW"!"!P%•z5PX5,xA'T5$' /&"##0<O(%9M:,0"!P%•z5P:?@I /R )9)1 )a2q</i *#/i)*," "€#P"!P%5'?N '(''T5/&"#O(%9:?@%^/R )1 )a) 56#&(!b‚P55.ƒ„„s…‚†"%.ƒ„„‡…‚†"%.mttƒ….:?@%^/R 5G:G \) 56#&'T52q")#nƒ„sƒ‚").ƒ„sƒ…%":M)q\'4 2-/3 ) 56#&?) ( RV,-‚zˆ%2P) PP"5.ƒ„‡t….( 215bP"5‚_""P"5.ƒ„„v…| A("€#P"!P%/&")\:D5F"!P%:?@'(2*?%" ‰'/R ) 2('T5.(/=,0 8M • >A'/=5095!0:a:?@#P)M"/?$/ • 'T5$'.#$Š‹ƒ.m.|.Œ • (1<:15A':,0:1#$" P:D5F"!P% P<9:15A':,0 ) :M • 5O(%91'T5$',2-)?$•~ • O(%95'T5$' • O(%91<I," ()DO,,:a2-~1'T5$' (2?$&0A("€#P"!P% • ?$ƒ95!0"€#P"!P%W/&"#A'/=50X.<# • ?$mT5$'."G<O(%91L 'T5$',:a2-)?$~ Ph ~ Ph :?@ (#5$'MO(%95$9P I • • 2.2. Áp dụng cho bài toán phân loại văn bản HV: Vũ Thị Hường Trang 8 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Ý tưởng:•?q N2E+"(-'A"€#P"!P%5%^/R O(%9M: ,0 ="L#+::*/&:(O(%9+:+"1#n2EG'T5* C")b +"'?N '('!<5qS E:D)c %&O90+"9E(L ) #n2E::15A'#$"E:D:M5#0<(0CE# "M N('?N '(',(#V, %^/R #0,-@'(L:*:?")" '(:(+:`-CE/&:(2DE?q 2q,<?$A'/=50.95?@ +" , ":o)? | Hướng dẫn cài đặt: E#P):o)? +"#n2EZ#P)M%[5%[ :o)? ) A'/=50.(:o)? !:1,("-#n2EMI" :o)? :M%pM ()Dƒ. ?@55t A( 8m ":95!0#'T5$' a. Huấn luyện: tính và G# • (#P):o)? +"#n2E) A'95!0W")AO.#$5 %[#P):o)? ) A'95!0.5%[:o)? +"#P)X • A'ay5$'L #P):o)? +"A'95!0 G)" • ( ()DO(%9# • I<:a5)NZ"'5"P ) :M • Ž/% Ž%[#n2E+"A'95!01'T5$' • Ž"5/%Ž%[#n2E) A'95!0 • %['T5$' :o • `qE .M,<?$ • >!0C"(#n2E) A'/=50.:-%[#n2E) S'T5$'5? # • <O(%9L 'T5$'P I)\#5?#E I<:a5)NZ"'5"P ) :M HV: Vũ Thị Hường Trang 9 Bài thu hoạch môn Công nghệ tri thức và ứng dụng • _[#n2E) ) 'T5$'M:o)? I," ()DO , W"!%[#n 2E) 5$'.MO90y, O90:o)? ,X • _[#n2E+"A'95!01'T5$' • _[ ()DM*M+":o)? I, :o • Q$#P):o)? ?E2\)\./ , q:T!" ()D5m.?N I #$O90#, O90>}Mm ()D."M*<"O( %9, O90P I • `qE •.ƒM,<?$5W%['T5$'X.mM ,<?$5W%[:o)? X.•M,<5mW/ , X:*5?( ()D • >!0C"(#n2E) A'/=50.-[ ,\(}%[G- :*<O(%9P I)\#5?#E b. Phân lớp: G# • QP):o)? +"#n2EG'T5$' • ( ()DO(%9# G)" • ay5$'+"#n2EG'T5 • I<O(%91'T5$',2-)?$•~ >&"##P):o)? +"#n2EG'T5$'.('/R I)\<O( %91L 'T5$'#n2E.#b)"5$'MO(%9"9 c. Ví dụ : Q</R%":T!b"#0%^/R "€#P"!P%) #0'T5$'/=50Q</Rƒ M)" /""#B-?%" HV: Vũ Thị Hường Trang 10 [...]... Trang 16 Bài thu hoạch môn Công nghệ tri thức và ứng dụng 4 Kết luận – hướng phát tri n Kết quả demo mới chỉ phản ảnh được ví dụ nhỏ trong đời sống, chưa áp dụng được vào thực tế Trong thời gian tới em sẽ cố gắng tìm hiểu và phát tri n hơn nữa để ứng dụng có thể được tri n khai trong thực tế 1 HV: Vũ Thị Hường Trang 17 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Tài liệu tham khảo 1 Silde bài... sẽ mua một máy tính • 2 Mô tả ứng dụng Thuật toán được cài đặt trên ngôn ngữ lập trình C# Dữ liệu đầu vào tập dữ liệu huấn luyện: HV: Vũ Thị Hường Trang 14 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Tập dữ liệu huấn huyến 3 Hướng dẫn sử dụng Chạy file bayes.exe Click chọn Nhập dữ liệu mẫu HV: Vũ Thị Hường Trang 15 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Chọn mẫu đánh giá đánh giá HV:... như sau Trong đó E là dữ liệu cần phân lớp (dự đoán): HV: Vũ Thị Hường Trang 11 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Vì P(“no”) > P(“yes”) nên kết quả dự đoán Play =“no” HV: Vũ Thị Hường Trang 12 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Phần III: Demo thuật toán 1.Xét bài toán Biểu diễn bài toán phân loại (classification problem) Một tập học D_train, trong đó mỗi ví dụ học x ược biểu... môn Công nghệ tri thức và ứng dụng Sử dụng Naïve Bayes Classifier để xác định khả năng đến chới thể thao (Play = “yes” hay “no”) với thời tiết của ngày quan sát được như sau: Từ Training data ta có dữ liệu như sau: Vì thuộc tính phân lớp Play chỉ có 2 giá trị là “yes” (nghĩa là có đến chơi thể thao) và “no”(không đến chơi thể thao) nên ta phải tính Pr(yes|E) và Pr(no|E) như sau Trong đó E là dữ liệu. .. mua một máy tính hay không? Cho tập dữ liệu mẫu (Traning data) như sau: Biểu diễn bài toán phân loại: HV: Vũ Thị Hường Trang 13 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Ví dụ tập z= (Age=Young, Income = Medium, Student = Yes, Credit_Rating = Fair) • Có 2 phân lớp có thể: c1 (“Mua máy tính”) và c2 (“Không mua máy tính”) Tính giá trị xác suất trước cho mỗi phân lớp: • P(c1 ) = 9/14 • P(c2 ) = 5/14... với phân lớp c2 P(z|c2) = P(Age=Young|c2) x P(Income=Medium|c2) x P(Student=Yes|c2 ) x P(Credit_Rating=Fair|c2 ) = (3/5) x (2/5)x (1/5)x (2/5) = 0.019 Xác định phân lớp có thể nhất (the most probable class) Đối với phân lớp c1: P(c1) x P(z|c1 ) = (9/14) x (0,044) = 0.028 • Đối với phân lớp c2: P(c2) x P(z|c2) = (5/14) x (0.019) = 0.007 0.028 > 0.007→Kết luận: Anh ta (z) sẽ mua một máy tính • 2 Mô tả ứng. .. tập xác định các nhăn lớp: C={c1, c2, , cm } • Với một ví dụ (mới) z, z sẽ được phân vào lớp nào? Mục tiêu: Xác định phân lớp có thể (phù hợp) nhất đối với z • Cmap = argmax P(ci | z) với c∈C Cmap = argmax P(ci |z1,z2, ,zn) Cmap = argmax [ P(z1,z2, , zn | ci ).P(ci) ] / P(z1,z2, , zn) (bởi định lý Bayes) Bài toán: Một sinh viên trẻ với mức thu nhập trung bình và mức đánh giá tín dụng bb ình thường sẽ... giá trị thuộc tính đối với mỗi phân lớp: • P(Age = Young|c1 ) = 2/9; P(Age = Young|c2 ) = 3/5 • P(Income = Medidium|c1 ) = 4/9; P(Income = Medium|c2 ) = 2/5 • P(Student=Yes|c1 ) = 6/9; P(Student=Yes|c2 ) = 1/5 • P(Credit_Rating=Fair|c1 ) = 6/9; P(Credit_Rating=Fair|c2 ) = 2/5 Tính toán xác suất có thể xảy ra (likelihood) của ví dụ đối với mỗi phân lớp: • • Đối với phân lớp c1 P(z|c1) = P(Age=Young|c1... định”, Đại học Quốc Gia TPHCM, 2006 3 Nguyễn Trần Thiên Thanh, Trần Khải Hoàng, Tìm hiểu các hướng tiếp cận bài toán phân loại văn bản và xây dựng phần mềm phân loại tin tức báo điện tử, Khóa luận cử nhân tin học 2005 4 http://doc.edu.vn/tai-lieu/de-tai-ky-thuat-phan-lop-du-lieu -trong- khai- pha-du-lieu8281/ HV: Vũ Thị Hường Trang 18 . môn Công nghệ tri thức và ứng dụng TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG ỨNG DỤNG PHÂN LỚP DỮ LIỆU NAIVEBAYES TRONG. X • | HV: Vũ Thị Hường Trang 6 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Phần II: KỸ THUẬT PHÂN LỚP 1. Giới thiệu về phân lớp Phân lớp dữ liệu 5,6A/&")A'95!0#=. thu hoạch môn Công nghệ tri thức và ứng dụng QVWHJX•WH!P%JX,-CE/&:(5"!ŠHJ HV: Vũ Thị Hường Trang 12 Bài thu hoạch môn Công nghệ tri thức và ứng dụng Phần III: