Phân lớp vănbản

P h â n lớ p v ã n bản đ ư ợ c c á c n h à n g h iê n cứ u đ ịn h n g h ĩa th ố n g n h ất n h ư là v iệ c gán c á c c h ủ đ ể đ ã đ ư ợ c x á c đ ịn h trước v à o c á c văn bản lex t d ự a trôn n ộ i d u n g c ủ a I1Ó 1311 14-1115II 1 6 | | 2 4 | | 2 7 | . PliAn lớ p văn ban là c ô n g v iệ c d ư ự c s ử d ụ n g d ổ liỏ Irự tron g q u á trìn h tìm k iế m v ãn b ả n , c h iế t lọ c !h ô n g tin (In íb r m a tio n E x tr a c lio n ), lọ c vãn b ản h o ặ c tự đ ộ n g d ẫn đ ư ờ n g c h o c á c văn bản tới n h ữ n g c h ủ đ ể đ ư ợ c x á c đ ịn h trước.

Đ ể p h ân lớ p đ ư ợ c v ăn b ả n , n g ư ờ i ta phải s ử d ụ n g kỹ thuật h ọ c m á y c ó g iá m sát (s u p e r v is e d le a r n in g ). T ậ p d ữ liệ u đ ư ợ c c h ia ra làm hai tập là tập h u ấ n lu y ệ n (tr a in in g s e t ) và tậ p k iể m tra (te s t s e t ) , trước hết phải x â y d ự n g m ô h ìn h th ô n g q u a c á c m ẫ u h ọ c b ằ n g c á c tập h u ấn lu y ệ n , sa u đ ó k iể m tra s ự c h ín h x á c b ằ n g tập d ữ liệ u k iể m tra.

T r o n g lu ậ n v ă n n à y , c h ú n g tô i s ử d ụ n g p h ư ơ n g pháp h ọ c c â y q u y ế t đ ịn h c h o phân lớ p văn b ả n . V i ệ c p h ân tíc h th u ật to á n và n h ữ n g ưu n h ư ợ c đ iể m c ủ a p h ư ơ n g pháp h ọ c c â y q u y ế t đ ịn h s ẽ đ ư ợ c trình b à y d ư ớ i đ ã y .

3 .1 .1 . T h u ậ t to á n h ọ c cAy q u y ế l d ịn li

P h ư ơ n g p h á p h ọ c c â y q u y ế t clịnh là m ộ t tr o n g n h ữ n g p h ư ơ n g p h á p đ ư ợ c sử d ụ n g r ộ n g rãi n h ấ t c h o v iệ c h ọ c q u y n ạp từ m ộ t tâp m ẫ u lớ n . Đ â y là p h ư ơ n g p h áp h ọ c x ấ p x ỉ c á c h à m m ụ c tiê u c ó g iá trị rời rạc. M ặt k h á c , c â y q u y ế t đ ịn h c ò n c ó th ể

c h u y ể n s a n g d ạ n g b iể u d iễ n tư ơ n g d ư ơ n g d ư ớ i d ạ n g c ơ s ờ tri th ứ c là c á c lu ậ t

N ếu -

Thì ( ỉ f - Then).

V í d ụ vổ c â y q u y ô t đ ịn h .

Hình 9:

H ìn h 9 là m ộ t v í d ụ v ề c â y q u y ế t đ ịn h p h â n lớ p A I c á c m ẫ u đ ư a ra tr o n g b ả n g 5 . M ỏ i m ộ t nút c ủ a c ố y b iể u d iỗ n I11ÔI th u ộ c lín h tr o n g c á c m ẫ u (d ô i k hi c ò n đ ư ợ c g ọ i là v í dụ m in h h o ạ h o ặ c d ữ liộ u h u â n lu y ệ n , h o ặ c m ă u h u ấ n lu y ệ n ) , m ỗ i m ộ t n h á n h tớ i nút tư ơ n g ứ n g vớ i m ộ t tr o n g n h ữ n g g iá trị c ó thổ c h o th u ộ c tín h n à y . Đ ể đ ơ n g iả n , c h ú n g tô i b iể u d iễ n c á c th u ộ c tín h d ư ớ i d ạ n g n h ị p h ù n , tứ c là c h ỉ lấ y c á c g iá trị 0 và 1.

D ữ liệ u h u ấ n lu y ệ n g ổ in 10 v ă n b ản (tr o n g th ự c t ế thì s ố lư ợ n g n à y c ó th ể lên đ ế n h à n g n g h ìn ) . M õ i v ã n b àn ilư ự c b iể u d iỗ n b ở i 8 k h á i n iộ m (h a y là c á c th u ộ c tín h ) n h ị p h â n . Đ ó là c á c th u ộ c lín h a i, tim e t a b le , s y s t e m , p a r a lle l, r e la tio n , d a ta b a s e , p r o c e s s , g r a p h ic s . T h u ộ c tín h c u ố i c ù n g Iron g d ữ liộ u h u ấ n lu y ệ n là A I , d ó là h à m m ụ c tiôu c ủ a c h ú n g ta, h à m n à y nhẠn g iá trị I tứ c là v ă n b ản d ó th u ộ c lớ p A I , c ò n g iá trị 0 là v ă n b ản đ ó k h ô n g t h u ộ c lớ p A I.

M ặt k h á c , từ c â y q u y ế t đ ịn h ờ trên c h ú n g ta c ó th ể rút ra c ơ s ờ tri th ứ c c h o tậ p h u ấ n lu y ệ n g ồ m c á c luật sa u đ â y .

N ếu

Thì

N ếu

N ếu

N ếu

TIÙ

Doc ai timetable system parallel relation database process graphics class AI

D I 1 1 0 0 0 0 0 0 1 D 2 1 0 0 0 0 0 0 0 1 D 3 0 1 0 0 1 1 1 1 1 D 4 1 0 0 0 0 0 0 1 1 D 5 1 1 1 1 1 0 0 1 1 D6 0 0 I 1 0 0 0 0 0 D 7 0 0 1 0 0 0 0 1 0 D8 0 0 1 0 1 1 0 0 0 D 9 1 0 1 1 0 1 0 0 0 D 1 0 1 1 0 0 1 1 1 0 0

Bảng 5:

C h ẳ n g h ạ n văn b ả n 3 đ ư ợ c b iể u d iễ n n h ư tr o n g c h ư ơ n g 2 , k h i đ ư a v à o c â y q u y ế t đ ịn h s ẽ p h â n lớ p n h ư s a u 1 AI 1 System 0 Os 0 Database 0 Parallel 0 Relation 0 Process 1 Timetable

Class AI = YES

Những b à i toán nên sử dụ n g việc h ọ c c ả y q u y ế t ơịnh

T r o n g 11 8 ], M itc h e l đ ã c h ỉ ra r ằ n g v iệ c sỉr d ụ n g cA y q u y ế t đ ịn h là p h ù hợ p nh ất đ ể g iả i q u y ế t c á c b ài to á n c ó n h ữ n g đ ặ c trư n g sau:

- G í c m ẫ u h u ấn lu y ệ n đ ư ợ c b iể u d iễ n th àn h n h ữ n g c ặ p g iá trị - t h u ộ c tín h , và c á c th u ộ c tín h là m ộ t tậ p cô' đ ịn h . G iá trị c ủ a th u ộ c tín h d ơ n g iả n n h ấ t là c á c g iá

trị rời n h a u . T u y n h iê n tr o n g c á c ih u â t to á n h ọ c cA y q u y ế t đ ịn h c ả i tiế n sa u n à y n h ư C 4 .5 , n g ư ờ i ta c ó th ể c h o p h é p g iá trị c ủ a c á c th u ộ c tín h là c á c g iá trị th ự c .

I là m m ụ c liổ u c ó c á c g iá Il ị lùíi rạc: C h ẳ n g h ạ n n h ư Ir o n g cA y q u y ế t đ ịn h ở (rên , h à m m ụ c tiôu c h ỉ c ó h ai g iá trị là Y c s h o ặ c N o (T r ư ờ n g h ợ p n à y đ ư ợ c sử d ụ n g p h ổ b iế n n h ấ t). C â y q u y ế t đ ịn h c ó th ể d ễ d à n g m ờ r ộ n g h à m m ụ c tiê u thành n h iề u g iá trị đ ầ u ra.

T im eta b le

- T r ư ờ n g h ợ p b à i to á n c ầ n b iể u d iễ n k ế t q u ả thu đ ư ợ c d ư ớ i d ạ n g c á c m ô tả: C h ả n g h ạn n h ư b ài to á n c ầ n b iể u d iễ n th à n h n h ữ n g luật thì c ấ u trú c c â y q u y ế t đ ịn h c ó (h ể c h u y ể n s a n g m ộ t c á c h lự n h iê n .

- T ậ p d ữ liộ u

huấn

học

CÓ th ê th ự c h iệ n tốt trôn c á c lộ p d ữ liệ u c h ứ a lỏ i, c ả trên c á c lỏ i tr o n g p h â n lớ p v í dụ h u ấ n lu y ệ n c ũ n g n h ư lỏ i trên c á c g iá trị th u ộ c tín h tr o n g c á c v í d ụ n à y .

- T ậ p d ữ liệ u h u ấ n lu y ệ n c ó th ể c ó n h ữ n g g iá trị bị th iế u : P h ư ơ n g p h á p c â y q u y ế t đ ịn h c ó th ể đ ư ợ c s ử d ụ n g tr o n g trư ờ n g h ợ p c á c v í d ụ h u ấ n lu y ệ n c ó n h ữ n g g iá trị c h ư a b iế t.

Thuật toún ID 3

C á c th u ât to á n h ọ c c â y q u y ế t đ ịn h n g à y c à n g đ ư ợ c phát triển v à c ả i tiế n . N h ư n g h ầu h ế t c á c th u ậ t to á n d ó đ ề u d ự a v à o c á c h tiế p c ậ n từ trôn x u ố n g và c h iế n lư ợ c tìm k iế m th a m ãn ( g r e e d y ) tr o n g k h ô n g g ia n tìm k iế m c ù a cfty q u y ế t đ ịn h ...

T r o n g c á c thuẠt to á n h ọ c cAy q u y ế t đ ịn h thì th u ật to á n I D 3 v à th u ậ t to á n c ủ a tiế n c ủ a I

1

M achine Learning, Voí.ỉ, No. ỉ.

T r o n g p h án n à y c h ú n g tô i trìn h b à y th u ậ t to á n 1 D 3 , th u ật to á n đ ư ợ c m ô p h ỏ n g n h ư s a u [ 1 8 ] .

I D 3 ( E x a m p lc s , T a r g c l a ttr ib u lc , A ttr ib u te s )

E xam ples ờ

T urget_am ibute

A ttrib u te s

• T ạ o m ộ t nút g ố c

R o o t

• N ê u to à n b ộ

E xam ples

R o o t

• N ế u to à n b ộ

E xam plesđều

R o o t

• N ế u

A ttrib u te s

R o o t

T arget_alln bu íe

Exainples.

• N g ư ợ e lại B c g in

*A <—

A ttrib u tes

E xum ples.

* T h u ộ c tín h q u y ế t đ ịn h c h o

R o o t <— A

* F o r m ỗ i g iá trị c ó th ể

Vị

A ,

- C ộ n g th ê m m ộ t n h á n h c â y c o n ờ d ư ớ i

R o o t

A -

- Đ ặ t

E x a m p lesy

c h o

A

- N ế u

E x a m p ỉess

-T h ì d ư ớ i m ỏ i n h á n h m ớ i th ê m m ộ t nút lá v ớ i n h ã n = g iá trị p h ổ b iế n nhất c ủ a

Target_ uttribute

E xam pỉes.

Roof.

*

Chọn ỉựii thuộc tính ¡ốt nhất.

V ấ n đ ề t r u n g tâ m c ủ a thuật t o á n ID 3 là c h ọ n lựa th u ộ c tín h t ố t n h ấ t đ ể đư a v à o m ỗ i n ú t c ủ a cA y. Đ ể g i ả q u y ê ì v ấ n đ ề n à y , n g ư ờ i ta sử d ụ n g c á c k ế t q u à c ủ a lý th u y ế t th ô n g t i n ià c á c đ ộ đ o I n f o r m a t i o n g a i n và e n tr o p y .

Entropy

Entropy là đại lưựng do tính dồng nhất hay tính lliuần nhất của các mẫu,

entropy là dại lượng hết sức quan trọng trong lý lliuyết lliông tin. Già sử dưa ra mội

tập s có chứa các mẫu ví dụ dương (positive) và mẫu ví dụ ủm (negative), như vây

chúng ta có hai lớp phân biột. Khi đó enlropy của tạp s được dịnh nghĩa như sau:

Entropy(S) s -pe log2p® - p©log2pQ.

trong đó Pe là phân bô' của các ví dụ dương trong s và p@ là phân bố của các

ví dụ âm trong s, chúng ta định nghĩa 01og0=0.

Để dễ hình dung, giả sử s là một tập hợp gồm 10 mẫu ví dụ (5 ví dụ âm và 5

ví dụ dương), kí hiệu là [5+, 5-J. Khi dó, đại lượng entropy s liên quan tới việc phan

bố của hai lớp dương và am trong tập s là:

Entropy([5+, 5-]) = -(5/10)ỉog2(5/10) - (5/10)log2(5/10) =

= 1.0

Chúng ta đã xét trường hợp dặc biệt đối với tập có số lượng phân bố mỗi lớp

là như nhau. Đại lượng entropy trong trường hợp hai lớp nằm trong khoảng 0 và 1.

Các giá trị của entropy phụ thuộc vào phân bô' của một lớp dược mô tả trong

hình 10.

Chú ý rằng entropy là 0

nếu tất cả các phán tử của s thuộc

vào cùng một lớp. Chẳng hạn,

nếu tất cả phần tử là dương

(p©=l), khi đó p©=0 và

Entropy(S)=-1.0.log2( 1) —

0.log20 = -1.0 —0.log20 = 0.

Entropy là I khi tập hợp chứa số

mẫu ílưưng bằng số mảu âm.

ở trên chúng ta xét trường

hợp phân lớp thành hai lớp, đối

với trường hợp tổng quát thì dại

Đ o à n Sơn - L u ận văn Thạc s ĩ - K h o a C ôn g n gh ệ, Đ H Ọ G H à N ộ i 2 0 0 2

H ình 10.

lư ợ n g e n tr o p y đ ư ợ c x á c đ ịn h n h ư sau :

E n tr o p y (S )

= Pi l°g2Pi

i«l

tr o n g

đ ó Pi

s

ý

bit.

c ó

Inform ation Gain

E n tr o p y là đ ạ i lư ợ n g đ o đ ộ k h ô n g d ồ n g nhất tr o n g m ộ t tập c á c m ẫ u , n gư ờ i ta đ ư a ra m ộ t đ ộ đ o x á c đ ịn h ản h h ư ờ n g c ủ a m ộ t th u ộ c tín h (ro n g m ẫ u đ ó tro n g v iê c ph an lớ p , đ ạ i lư ợ n g đ ó là in fo r m a tio n g a in , tạm d ịc h là đ ộ lấ y th ô n g tin , ph ần tiế p th e o c h ú n g tô i v ẫ n g iữ n g u y ê n tên tiế n g A n h n h ư ban đ ầ u .

In fo r m a tio n G a in c ủ a m ộ t th u ộ c tín h A tron g tập h ợ p

s,

_ |s I

V (tứ c là S v= { s e S I A ( s ) = v | ) .

B iể u thứ c đ ầu E n tr o p y (S ) là đ ạ i lư ợ n g en tr o p y n g u y ô n th u ỷ c ủ a tập

s,

s

Ịs ị

c ủ a c á c S v, n h â n vớ i tỉ sô' c á c v í d ụ - j - y m à th u ộ c v à o S v. G a in (S , A ) d o đ ó là d ộ

g iả m kì v ọ n g ( e x p e c t e d e n tr o p y ) tr o n g e n tr o p y khi b iết g iá trị c á c th u ộ c tín h A . N ó i c á c h k h á c , G a in (S , A ) là th ô n g tin c u n g c ấ p vổ g iá trị h à m m ụ c liô u khi b iết c á c giií trị c ủ a th u ộ c tín h A . G iá trị c ủ a G a in (S , A ) là s ô c á c b ii d ư ự c lưu khi in ã hoú c á c g iá trị m ụ c tiê u c ủ a m ộ t th à n h p h ẩ n c ủ a

s,

C h ẳ n g h ạ n , g iả s ử

s

d ụ ta th ấ y s là m ộ t tẠp g ồ m 10 v í d ụ , [ 5 + , 5 - |. T r o n g 10 VI dụ n à y thì c ó 4 v í dụ d ư ơ n g và 2 ví dụ âm d ố i v ớ i A I = 1, và 1 v í d ụ d ư ơ n g và 3 ví d ụ â m d ố i vớ i A I = 0 . K h i đ ó ta c ó : V a lu c s ( A I ) = F a ls e , T ru e. S = [5 + , 5-J

^Trac (4+. 2-]

Đ ạ i lư ợ ng In fo r m a tio n G a in tro n g th u ật to á n ID 3 đ ư ợ c d ù n g đ ể lựa c h ọ n th u ộ c tín h tốt nhất tại m ỗ i b ư ớ c tro n g x â y d ự n g c â y q u y ế t đ ịn h . V í d ụ m in h h o ạ đ ư ợ c th ể h iê n tr o n g h ìn h 11, tro n g đ ó ta c h ọ n th u ộ c tín h S y ste m vì n ó c h o g iá trị c ủ a in fo r m a tio n g a in lớ n h ơ n g iá trị c ủ a A I.

S:|5+. 5-Ị

Ea 1.0

11+.3-1

E = 0.812

^{14+. 2-1}

|

+.

Gain(S, A l)= Gain(S, Sysiem) =

» 1.0-(4/10)0.812-(6/10)0.918=0.1244 = 1.0 (5/IO)0.722-(5/IO)0.722=0.278

Hình ìỉ.

H iện tượng vượt ngưỡng

M ộ i tr o n g n h ữ n g đ ặ c đ iể m q u a n tr ọ n g tr o n g h ọ c c ó g iá m sát là h iệ n tư ợ n g o v c r íit , c h ú n g tô i tạm d ịc h là vưựl n g ư ỡ n g . T r o n g n h iề u trư ờ n g h ợ p c á c m ẫ u huấn lu y ệ n c ó n h iễ u h o ặ c s ố lư ợ n g c á c m ẫ u h u ấ n lu y ệ n q u á n h ỏ n ôn k h ô n g d ặ c trư n g c h o tập c ầ n h u ấ n lu y ệ n , khi đ ó x ả y ra h iệ n tư ợ n g vượt n g ư ỡ n g d ư ợ c M itc h e l đ ịn h n g h ĩa n h ư sa u tr o n g Ị 18].

C h o m ộ t k h ỏ n g g ia n g ià lliu y ế l II, m ộ t g iả th u y ế t l i e l l chrợc g ọ i là vượt n g ư ỡ n g n ế u tr o n g tẠp h u ấ n lu y ộ n c ó (ổ n lạ i m ộ l g iả th u y ế l k h á c h ’ e l l s a o c h o h c ó lỗ i n h ỏ h ơ n h ’ trôn to à n b ộ tẠp h u ấ n lu y ệ n , n h ư n g h ’ lại c ó lỗ i n h ỏ h ơ n h trôn toàn b ộ c á c m ẫ u v í dụ m in h h o ạ .

Như Milchell đã chỉ ra trong 118|, hiộn tượng vượt ngưỡng là một vấn đẻ

đáng chú ý trong pliương pháp học củy quyết định và trong các phương pháp học

máy khác. Trong phương pháp học cây lịiiyèl định, thòng thường nếu sô' mẫu huấn

luyện càng lớn thì về mặt lý Ihuyết độ chính xác càng cao nhưng trong nhiều Ihỉr

nghiộm, ban díìu d ồ chính xác có tăng nhưng sau d ó lại giảm đi, hiện tượng VƯỢ

ngưỡng làm giảm từ 10-12% độ chính xác của hẩư hết các bài toán trong học cíiy

quyết định.

Trong luận văn này chúng tôi không tập trung nhiều đến việc giải quyết hiện

tượng này, nhưng có hai hướng tiếp cận để giải quyết hiện tượng vượt ngưỡng là:

Ngừng viộc sinh cây quyết định sớm, trước khi nó đạt tới điểm mà phân chia

chính xác dữ liộu huấn luyện.

Cho phép quá trình hình thành cây quyết định xảy ra hiện tượng vượt ngưỡng,

sau dó cắt nhánh cây.

3.1.2. Phân lớp văn bản sử dụng cây quyết định

Trôn cơ sờ phương pháp học cAy quyết định, chúng tôi áp dụng vào việc phân

lớp vãn bản. Hình 10 là một khung cho việc pliAn lớp văn bản do Moulinier đề xuất

trong [19], trong đó bao gồm ba công đoạn chính : Công đoạn thứ nhất là biểu diễn