Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 34 trang
THÔNG TIN TÀI LIỆU
Thông tin cơ bản
Định dạng
Số trang
34
Dung lượng
1,13 MB
Nội dung
KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO MÔN HỌC MÔN MÁY HỌC ĐỀ TÀI: PHÂN LOẠI VĂN BẢN BẰNG THUẬT TOÁN NAIVE BAYES !"# $%&'()* +, / !01) -2 3 #456787967 Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà LỜI MỞ ĐẦU :;<=/.><#%4'3?@AB'+C'+=<D()EF<GHI *%J)KB>#'=L# <#L)L)'#<*.>#=$%)L))K?@)='+) ; <#%4'>#'=L+3''MNO'+='()'P?QR%4'#) O; 'S)'"'M)1T=L5B'B),O'UVO+3'@'#<*5>#P'@'" '+M)1T=L?Q?C)#?B+BOL?=L)KB%R 5B'BTH 'Q?C)'3'))L)>#P'5>#>L=B )L)'#<*?Q+WO;<=/)X?;<#'#<* )1T=L&B?$B'B%?C)TY)X)=%J)?S))KBB'BG=)KB3 ?@# <#>ZR&[<V>#P'5>#>L=*B +3'@5?N)>*'<#'+'\+\'5 P?Q?C)P'?V)'3')'#<*?$'R&]%3'+3'@'MB04'SJTL) '+='()'P<#*)O;<=/&OB%%B<^%4'%B<?V)F?P4O'5P?Q M_O?C)'3'))L)%B<'R&]'[+3'@'MBR&OB%%B<+3' @-R` 5),)$%4'*'[O;<=/?;<#&OB%%B<#?;<#%B<'[' Q>#'=L# ?a)$+3'@ObOLO?V)?B+B'`''=L Bc\dB \&5^8e^8\B+\&'8\>=+f5; A P'?"eg\)&=+\\f50/ \+=;'/=eh+'i)B<\+B<\'j=+Tf#-0eOO=+'-\)'=+0B)\f0k ObOLO?@)=TP'ATL'[')=>#'=L# 5' ObOLOO; <=/.>>l'`''=LdB \&?V)&FJOU>Pb)#!#)#?N' SR` )X\%<(B)C?@'#mPhân loại văn bản bằng thuật toán Bayesm <#%?@'#TP''X)%HC))KB%R X\%E);'#)%b)L)', 5)H>4%H?a'`'R/ \% '+=&[''MBC)'`OnBABM)$&()o/ '`'R)KB)H !" #'+()'PO/ 5)_&(?#='/=)KB)L)', )H>4%HTL) '+='MBABXO)X\%=#'#>#>L=)L=# g=?; <#<,?,' '+QTB%4'*'[)$'S'()'!)B=5AL'+R'+QTB)$'Q)p@ &B&$'0=)L)', )H?$$OGTPXO)X\%Q+qb@>#'=L 04'<,IB)X\%E);'#)%b)L)', )Hr 7 Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà MỤC LỤC s Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà DANH MỤC HÌNH ẢNH t Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà DANH MỤC BẢNG u Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà CHƯƠNG 1. BÀI TOÁN PHÂN LOẠI VĂN BẢN 1.1. Giới thiệu # B 5&(>_U'H'=>"'L)?4>Z&(E3'*)KB)L)& Ob'*#v=+<v\v\>evvvf?a<#%)=THBI<*B'. 'ME 5?@# '/=+B%4''L)'1))=)L)*'['+ 3'H'&B= )=)$*A04''+=IT$T.%#)L)*'['H''MO NO?$<#',&3')`O`')KB)L)'H'AL<:b'1)&FJ3 '+= B=")?B,?V)&[$B5=@'S.V''+4%#Ob'1)# %B</5<#)$'Q<'+I<;#5)`O`'5&FB?U5'R%TP%%4')L)B )$g=?$&[<V.>&[$B# B ?B'.,'\=)3O&[;5)_ &(B'.)KB&[<V.>5),'R%TP%.>)2'.'\=5T?$ O;<=/.>'(?4<#%4' ),)3O'P'?V)?N'+B:;<=/.>XO &]XO)X'B'R%TP%'H'%4')L)B)$b'B RO'R%<, <V''+='n.>5bIBT%#&[<V.>?BB'.%4')L) B)$'R'B='L)'R%<,<V''+='n.>&]%3'+3'@'MB5 )H&1)#<#%4')H*)#%)L#THT'SR'P),O; <=/.>'(?4<#'()&(),'P' $+3'@)H'+R)1@O;<=/.>#?a)$?V)I TP'A?LTS)<*5<#OO=+'-\)'=+0B)\5^w\B+\&'\>=+5\B+ \B&'AB+\&x'5\+B<\'j=+T5Bc\dB \&5\'+=dB&\yQ%))KB )L)ObOLO# ?@(B#=EL)&3''[T=N)(B#='+C&[)KB)L)'n5 )J%'n'+=.>+=%kObOLO?@)$)L)'S'=LTL)B5' )L)ObOLO# ?@O'()*%4'&[>))?,'%k ObOLO&](B#='H'@&(E3'*)KB)L)'n'+=.>e',&[E3' *'+='`O.>5yf?Q>Q!'#/\)'=+5&B?$'_ 'n>#'=L)J 'Q%#)X'B&]A P'?")CLOJObOLO#=5)H'1)'S'=L#= )=O_VO?QO;<=/'`O.>(B'+'`O)L)\)'=+?aE; (?V)Z>) '+5l%%J)?S)?/'?V)TP'AKBO;<=/'['3' z Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà 1.2. Phát biểu bài toán d#'=LO;<=/.>)$'Q?V)OL'>Q&B='+)%4''`O. >g{|6575y5}#'`O)K?@?V)?"DB{|)65)75y5)}*%J)KB >#'=L<#L<Og '4)@ ~ ?a?V)?"DBB $)L)TL)5%J)' )KB>#'=L<#?'R%#%i 1.3. Mô hình tổng quát $+3'@'PO)`>#'=LO;<=/.>?a?V))1 'PO)`>#'=LO;<=/(B'+<G' P'?W'"5)L)'PO)`&FJ<G' P''`O 'H5)L)'PO)`'[Ty 5'3'))L)ObOLO'+?@(B#=)L) ObOLO)<#%L C)?$<#C))$L%&L'5C)THL%&L'#C)'. )M -3?@O;<=/.>'\=ObOLO'[T(B'+TQC))$L% &L'?V)?N)'>B=W%7B?=/B?=/3< *#B?=/O;<O 8 B?=/3< * X'B)$%4''`O3< *5%kO,'F'+='`O3< *?V)L#= %4'=N)@<O%#)X'B&]'Q*)X>l%4'%HR%a=LH 'M5%kO,'F'+='`O3< *?V)'Q*'\=/ef+=?$5<# \)'=+>Q!)=.>'+='`O3< * B?$5)X'B?"DB%4'<O%HR#%4''K'J)3< *O%H R<#C)L)'B%&[)KB>4O;<=/5'K'J)3< *<#%4''`'eB '`' '=Lf?Q)C+B%4'C)L)'B%&['[)=>4O;<=/ R660HRB?=/3< * • Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà ,#=I<*3< *#'`''=L3< * ,+B%HRO;<Oe>4O;<Ow)<B&&i\+f L)>)'+=B?=/3< * R67L)>)'+=B?=/3< * +=?$ I<*3< *T=I<*''`O'n@WTL)B @EF<G) Q?U'#<*'+=T=I<*'#%4'R'1)O_VO ?QO;<=/ -\)'=+=L%a=L.>>Z%4'%HR'+C&[ +S))C?N)'+<=/>€I'ne?N)'+fTH%B'H'T€'# <*l%;)B=*&3'O;<=/#%?4O1)'/O)KB'`''=L3< * `''=L3< *K'J)3< *>4O;<O?Q'R%+BC)L)'B%&[ '[ LL>)?LL*&3'e)3'<Vf)KB>4O;<O 8 B?=/O;<O BT?a=#'#B?=/3< *5%HRO;<O&]?V)LOJ )=)L).>%),O;<=/ • Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà R6s0HRB?=/O;<O L)>)'+=B?=/O;<O R6tL)>)'+=B?=/O;<O 1.4. Mục đích và phạm vi nghiên cứu 0J)?S) ‚ R%Q'`''=LB\dB \&#O/%1J)KB$'+=O; <=/.> ‚ ƒ%+qb@)b)PC)'`O#3< *%L C) ‚ „; (%4')b'+R)$T.O;<=/.>&BT'R% Q'`''=L :/%)1)b'+R'()*'+=%4'A %H)1€ %4'&[<V.>TH@#=T=…699.> † Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà CHƯƠNG 2. CƠ SỞ XÂY DỰNG CHƯƠNG TRÌNH 2.1. Chương trình sử dụng 2.1.1. Microsoft SQL 2008 0)+=&=i'‡799•<#%4'*A'+")b&ZI<*'b'L)M&FJ )/ '+%H'+Mv=j&5$'.'%&1)%/'+=)H'L)'U)1)#'R% TP%'H'5)L)A'ƒ)TQ%'+BI<*5L'+"%N)?"5TH`OI<*)KB 0)+=&=i'‡799•=#'=#?LO1 ),‡<G?V)T[<VI<*< ',&3''+ )`OI<*)B=5?LO1)L)")J'+()' P#?%>=)L) ),@B'=#I<*-*)k'+V)L))ˆg&]XO*'[I<*%/ bT.TP'[5;)3O#>='+R 2.1.2. Microsoft Visual Studio 2010 Microsoft Visual Studio 2010 là ngôn ngữ hoàn thiện và hoạt động theo hướng đối tượng. 0)+=&=i'-&B<'=7969<#HI<`O'+R'HJ'+v=j&5 k'+VA<Gb&ZI<*5<`O'+R'\+\' 0)+=&=i'-&B<'=7969)$@'S.%5)L)?@TQ%)= O‰O'BP')L))b'+R1JTP'VO)L)B=*5)L)EF<G#'S. )KBŠii)\#'+R *'v\>5=#+BT_0)+=&=i'-&B<'=7969&]'P' T*%'MB#)H&1)&=)L)HI<`O'+RTL)TE; ()_%4' 1J 0)+=&=i'-&B<'=7969ƒ<@TL*%<`O'+R'+()ABe-&B<f5 DB<#T'P'TP)b'+R'BR'3 B TP'AAB'n'B='L)#B= *T)b'+R'()*; <#'`<V<&=)L)HI<`O'+R TL) d)/?$50)+=&=i'-&B<'=7969)pk'+V'S.TP'[%H '+MI<*h))\&&5‡5*)<TP'I<*)$'Q'()*>l@)L) 2.2. Cơ sở lý thuyết 2.2.1. Tiền xử lý văn bản 69 [...]... bản: khi ta chọn nhầm văn bản đưa vào phân loại, hay mục đích phân loại cho một văn bản mà ta đưa vào là không cần thiết ta có thế chọn xóa và xóa văn bản này - Phân loại: Phân loại văn bản, trong nút này ta sẽ duyệt văn bản trên lưới mã hóa và trích rút thông tin từ nó sau đó tính xác suất các khả năng phân loại về từng lĩnh vực, xác suất cao nhất sẽ được chọn Cuối cùng văn bản sẽ được chuyển tới... tiết lần huấn luyện, lần huấn luyện, thống kê và mã hóa văn bản • Giao diện mục phân loại Hình 4.4 Giao diện chức năng Phân loại Phần phân loại gồm có các thông tin và chức năng để chúng ta lấy văn bản và đưa vào phân loại chúng Các chức năng bao gồm chọn bộ dữ liệu huấn luyện để thực hiện phân loại, thêm, xóa văn bản chọn để phân loại và phân loại Ngoài ra giao diện 26 Báo cáo Máy Học GV hướng dẫn:... thuộc loại đó là cao nhất - Trong phàn này cũng có phần xem nội dung văn bản như trong chức năng của phần huấn luyện • Giao diện phần quản lý văn bản Hình 4.5 Quản lý Văn bản Chứa các chức năng quản lý văn bản gồm thêm sửa và xóa văn bản Khi thêm văn bản tất cả các mục về trạng thái ban đầu ta chỉ cần chọn link văn bản, sau đó chọn lĩnh vực và loại văn bản và nhấn nút lưu Có thể thêm nhiều văn bản 27... [$],[%],[^],[&],[*],[(],[)]), các chữ số, phép tính toán số học Loại bỏ các stopword (những từ xuất hiện hầu hết trong các văn bản) không có ý nghĩa khi tham gia vào phân loại văn bản … 2.2.2 Phương pháp biểu diễn văn bản Một trong những nhiệm vụ đầu tiền trong việc xử lý phân loại văn bản là chọn được một mô hình biểu diễn văn bản thích hợp Một văn bản ở dạng thô (dạng chuỗi) cần được chuyển sang một... loại văn bản bằng các thuật toán khác, có thể kết hợp với các chức năng về tóm tắt hay phân cụm văn bản Kết luận Mô hình Bayes là mô hình phân lớp dựa trên xác suất Trong một số lĩnh vực khả năng áp dụng của nó có thể so sánh với các phương pháp khác như mạng nơ ron hoặc cây quyết định Trong thực tế mô hình phân loại Bayes thực hiện rât tốt trong phân lớp văn bản như trong các hệ thống phân loại. .. từ Từ vựng Bảng 3.3 Bảng Từ Vựng • Bảng Văn Bản Chứa các văn bản để huấn luyện và cần phân loại Thông tin cần lưu gồm có: Cột id tenvb link idlv loai Kiểu DL int nvarchar ntext int nvarchar Size 100 100 NULL N N N Y Y Diễn giải Mã văn bản Tên văn bản Nơi chứa Mã lĩnh vực Loại Bảng 3.4 Bảng Văn Bản • Bảng Lĩnh Vực Chứa các lĩnh vực mà ta cần phân loại. Các thông tin gồm có: Cột id linhvuc link Kiểu DL... vừa có thể quản lý đươc các văn bản đưa vào để phân loại (các văn bản chưa phân lĩnh vực) Việc thêm văn bản có thể thêm nhiều văn bản cùng một lúc để việc quản lý tiết kiệm thời gian hơn Có thể sử lý với các loại văn bản txt hoặc doc - Về quản lý các lĩnh vực: Xây dựng giao diện quản lý được các thông tin trong từng lĩnh vực đặc biệt là chọn thư mục chứa để có thể phân loại sau này - Ngoài ra chương... được phân loại, và hiển thị kết quả ra màn hình - Chọn bộ dữ liệu: thông tin huấn luyện được lưu trong CSDL gồm nhiều thông tin cho các lần huấn luyện khác nhau Do vậy bạn cần phải lựa chọn đúng thông tin lần huấn luyện cần thiết Mặc định sẽ là lần huấn luyện mới nhất được chọn - Thêm văn bản phân loại: chọn và đưa văn bản cần phân loại vào phân loại, có thể thêm nhiều văn bản cùng một lúc - Xóa văn bản: ... chúng em xây dựng đã đáp ứng được các yêu cầu về phân loại văn bản theo thuật toán Naïve Bayes Chương trình có thể lưu lại các dữ liệu trong các lần huấn luyện để chúng ta có thể dễ dàng sao sánh đánh giá thuật toán Bayes khi mà số lượng văn bản đưa vào huấn luyện thay đổi hay số lượng thuật ngữ thay đổi Giúp chúng ta có cái nhìn rõ hơn về thuật toán Bayes Tuy nhiên độ chính xác của chương trình phụ... CHƯƠNG 3 PHÂN TÍCH VÀ THIẾT KẾ 3.1 Phân tích 3.1.1 Yêu cầu đặt ra Chương trình được xây dựng có khả năng phân loại được các văn bản với độ chính xác cao, dựa trên thuật toán Navie Bayes Chương trình có khả năng quản lý được các văn bản để phục vụ cho mục đích huấn luyện và đưa vào phân loại Ngoài ra chương trình còn có khả năng quản lý các từ vựng được đưa vào nhằm làm tăng độ chính xác khi phân loại Lưu . )H?$$OGTPXO)X\%Q+qb@>#'=L 04'<,IB)X\%E);'#)%b)L)', )Hr 7 Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà MỤC LỤC s Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà DANH MỤC HÌNH ẢNH t Báo cáo Máy Học GV hướng dẫn: TS Nguyễn. KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO MÔN HỌC MÔN MÁY HỌC ĐỀ TÀI: PHÂN LOẠI VĂN BẢN BẰNG THUẬT TOÁN NAIVE BAYES . !"# $%&'()* +, / !01) -2 3 #456787967 Báo cáo Máy Học GV hướng dẫn: TS Nguyễn Thị Thu Hà LỜI MỞ ĐẦU :;<=/.><#%4'3?@AB'+C'+=<D()EF<GHI *%J)KB>#'=L#