MÔ HÌNH MAXIMUM ENTROPY

Chất lượng dịch vụ QoS được hiểu và nhìn nhận nhiều hướng khác nhau. Tùy theo đứng trên từng phương diện khác nhau thì chất lượng dịch vụ được hiểu theo các cách khác nhau

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Trần Quang Dũng MÔ HÌNH MAXIMUM ENTROPY VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin HÀ NỘI - 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Trần Quang Dũng MÔ HÌNH MAXIMUM ENTROPY VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin Cán bộ hướng dẫn: Lê Anh Cường HÀ NỘI - 2010 TÓM TẮT NỘI DUNG Trong những năm gần đây, với sự phát triển mạnh mẽ của công nghệ thông tin và nhu cầu sử dụng Internet của tất cả mọi người trên thế giới đã làm tăng vọt lượng thông tin giao dịch trên Internet. Vì vậy mà số lượng văn bản xuất hiện trên Internet tăng nhanh chóng mặt cả về số lượng và chủ đề. Với khối lượng thông tin đồ sộ như vậy, để tìm được những thông tin cần thiết cho mục đích của chúng ta sẽ mất rất nhiều thời gian và công sức. Một câu hỏi được đặt ra, làm thế nào có thể tổ chức và tìm kiếm thông tin một cách nhanh chóng và hiệu quả nhất? Và câu trả lời hợp lý cho câu hỏi trên là phân loại thông tin tự động bằng máy tính. Trong luận văn này, em tập trung tìm hiểu về mô hình cực đại entropy và áp dụng mô hình để xây dựng chương trình phân loại văn bản Tiếng Việt tự động dựa trên tập dữ liệu huấn luyện. Từ đó hướng tới việc xây dựng chương trình chặn nội dung web bằng việc phân tích nội dung web. Hiện nay, việc kiểm soát truy cập Internet vẫn chưa đạt được hiệu quả tốt. Những trang web với nội dung xấu vẫn được truy cập rất dễ dàng mà không có bất kỳ sự kiểm soát nào. Với chương trình chặn nội dung web, em hy vọng có thể giúp ngăn chặn được những trang web có nội dung xấu. Bên cạnh đó, cũng giúp mọi người có thể lọc ra được những trang web có nội dung phù hợp với nhu cầu của từng người trong những lĩnh vực riêng biệt. i LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành và sâu sắc nhất tới Thầy LÊ ANH CƯỜNG đã tận tụy hướng dẫn, động viên, giúp đỡ em trong suốt thời gian thực hiện đề tài. Em xin chân thành cảm ơn quý Thầy Cô trong khoa Công Nghệ Thông Tin đã truyền đạt những kiến thức quý báu cho chúng em trong những năm học vừa qua. Chúng con xin nói lên lòng biết ơn đối với Ông Bà, Cha Mẹ luôn là nguồn động viên, chăm sóc trên bước đường học vấn của chúng con. Xin chân thành cảm ơn các anh chị và bạn bè đã ủng hộ, giúp đỡ và động viên chúng em trong thời gian học tập và nghiên cứu. Mặc dù em đã cố gắng hoàn thành luận văn trong phạm vi và khả năng cho phép nhưng chắc chắn sẽ không tránh khỏi những thiếu sót. Em kính mong nhận được sự cảm thông và tận tình chỉ bảo của quý Thầy Cô và các bạn. Hà nội, 06/2010 Sinh viên thực hiện, Trần Quang Dũng ii Mc lc Chng 1: Tng quỏt 1 1.1 t vn .1 1.2 Gii thiu mụ hỡnh cc i entropy 2 1.3 Mc tiờu ca lun vn .3 Chng 2: Cỏc phng phỏp phõn loi vn bn .5 2.1 Cỏi nhỡn tng quỏt v cỏc phng phỏp phõn loi vn bn 5 2.2 Mụ t bi toỏn phõn loi vn bn .5 2.3 Biu din vn bn .6 2.4 Cỏc phng phỏp phõn loi vn bn 7 2.4.1 Naùve Bayes (NB) .7 2.4.2 k-Nearest Neighbor (kNN) 8 2.4.3 Linear Least Square Fit (LLSF) 9 2.4.4 Support Vector Machine (SVM) 9 Chng 3: Mụ hỡnh cc i entropy 12 3.1 Tng quỏt mụ hỡnh cc i entropy 12 3.2 Mụ hỡnh cc i entropy 15 3.2.1 D liu hun luyn .15 3.2.2 Thng kờ, c trng v rng buc 16 3.2.3 Nguyờn lý cc i entropy .17 3.2.4 Tham s hỡnh thc .18 3.2.5 Mi quan h vi cc i Likelihood .19 3.2.6 Tớnh cỏc tham s 20 3.3 La chn c trng .21 3.3.1 í ngha ca vic la chn c trng .22 3.3.2 C s la chn c trng .23 3.3.3 Giỏ tr gn ỳng 25 Chng 4: Thc nghim phõn loi vn bn .27 4.1 Thng kờ kt qu thc nghim 27 iii 4.2 Các thành phần và chức năng của chương trình .32 4.2.1 Chức năng huấn luyện .32 4.2.2 Chức năng kiểm thử 34 4.2.3 Chức năng gán nhãn .35 4.3 Ứng dụng chặn nội dung web .37 4.3.1 Kỹ thuật lọc web Blue Coat 37 4.3.2 Chức năng ứng dụng chặn nội dung web .38 Chương 5: Kết luận .42 5.1 Kết quả đạt được .42 5.2 Những hạn chế và hướng giải quyết 43 Tài liệu tham khảo .44 Phụ lục .46 iv Danh sách hình Hình 2.1: Các điểm được khoanh tròn là các vector hỗ trợ 10 Hình 3.1: Lựa chọn đặc trưng 24 Hình 3.2 log-likelihood được biểu diễn như hàm lồi 2 tham số 28 Hình 4.1: Giao diện chức năng huấn luyện 34 Hình 4.2: Giao diện chức năng kiểm thử .36 Hình 4.3: Giao diện chức năng gán nhãn .37 Hình 4.4: Giao diện giới thiệu 38 Hình 4.5: Giao diện chặn nội dung web .41 Hình 4.6: Cửa sổ setting .42 Hình 4.7: Cửa sổ giới thiệu 43 v Danh sách bảng Bảng 4.1: Số lượng file của dữ liệu huấn luyện 29 Bảng 4.2: Số lượng file của dữ liệu kiểm thử .30 Bảng 4.3: Mô tả giao diện huấn luyện 35 Bảng 4.4: Kết quả huấn luyện .35 Bảng 4.5: Mô tả chức năng kiểm thử 36 Bảng 4.6: Kết quả kiểm thử 37 Bảng 4.7: Kết quả gán nhãn 38 Bảng 4.8: Chức năng giao diện chặn nội dung web .42 vi Chương 1: Tổng quát 1.1 Đặt vấn đề Trong thời đại bùng nổ công nghệ thông tin hiện nay, các tài liệu giấy dần được số hóa thành các dạng tài liệu được lưu trữ trên máy tính thay thế cho những tài liệu giấy cồng kềnh. Tài liệu số với những ưu điểm gọn nhẹ, dễ bảo quản, lưu trữ được lâu, dễ dàng chia sẻ với bạn bè, có thể sửa đổi . đã ngày càng trở nên phổ biến và tiện dụng. Vì vậy mà số lượng tài liệu số tăng nhanh đến chóng mặt. Với một khối lượng lớn các tài liệu số như vậy, làm cách nào chúng ta có thể lọc ra được những tài liệu thực sự cần thiết cho một mục đích nào đó của chúng ta? Câu trả lời đó là phân loại văn bản tự động! Một chương trình có thể tự động phân loại văn bản theo các chủ đề cụ thể. Khi đó sẽ giúp chúng ta giới hạn được nội dung của tài liệu theo đúng mục đích sử dụng. Với một khối lượng khổng lồ các tài liệu số. Thì việc phân loại văn bản tự động sẽ giúp chúng ta tiết kiệm được rất nhiều thời gian và công sức tìm kiếm. Theo Yang & Xiu (1999), “Việc phân loại văn bản tự động là việc gán các nhãn phân loại lên một văn bản mới dựa trên mức độ tương tự của văn bản đó so với các văn bản đã được gán nhãn trong tập huấn luyện”. Dựa trên thống kê của Yang & Xiu và các tài liệu khác, một số phương pháp phân loại thông dụng hiện nay là: Naïve Bayes [Baker & Mccallum, 2000], k-Nearest Neighbor [Yang, 1994], Linear Least Squares Fit [Yang & Chute, 1994], Support Vector Machine [Joachims, 1998] , 1998], Maximum Entropy [Berger, 1996 và Della Pietra, 1997]. Các phương pháp đều dựa vào xác suất thống kê hoặc thông tin về trọng số của từ trong văn bản. Chi tiết về các phương pháp sẽ được trình bày trong chương 2. Trong phân loại văn bản tiếng Anh, kết quả phân loại là rất khả quan. Còn đối với tiếng Việt vẫn còn nhiều hạn chế. Hạn chế về mặt ngôn ngữ: Tiếng Anh định nghĩa từ là một tập hợp các ký tự có nghĩa và chúng được tách biệt với nhau bởi khoảng trắng. Ví dụ: this, house, wonderland, pacific . Do đó việc tách từ đối với tiếng Anh là rất đơn giản. Tuy nhiên, với tiếng Việt thì việc xác định các từ trở nên khó khăn hơn. Các từ không phải được xác định dựa vào khoảng trắng mà nó phụ thuộc vào ngữ cảnh. Ví dụ các từ 1 sau: “thế giới”, “tiền”, “chiến binh”, “quyển sách” . Hạn chế về tập dữ liệu huấn luyện và kiểm thử chuẩn . Tuy nhiên cũng đã có nhiều nhà nghiên cứu trong lĩnh vực này và đạt được những kết quả ban đầu như [Huỳnh Quyết Thắng và Đinh Thị Phương, 1999], [Nguyễn Linh Giang và Nguyễn Mạnh Hiển, 2005]. Các hướng tiếp cận bao gồm: lý thuyết đồ thị [Đỗ Bích Diệp, 2004], sử dụng lý thuyết tập thô [Nguyễn Ngọc Bình, 2004], thống kê [Nguyễn Linh Giang và Nguyễn Duy Hải, 1999], học không giám sát và đánh chỉ mục [Huỳnh Quyết Thắng và Đinh Thị Phương, 1999]. Luận văn là một đóng góp tiếp tục trong việc nghiên cứu lý thuyết và phát triển các hệ thống thực nghiệm cho việc phân loại văn bản tiếng Việt. Phương pháp phân loại được nghiên cứu trong luận văn là mô hình cực đại entropy [Berger, 1996 và Della Pietra, 1997]. 1.2 Giới thiệu mô hình cực đại entropy Mô hình cực đại entropy là phương pháp phân loại văn bản được sử dụng rộng rãi trong nhiều lĩnh vực của xử lý ngôn ngữ tự nhiên như: ngôn ngữ mô hình hóa [Chen và Rosenfeld, 1999], gán nhãn từ loại [Ratnaparkhi, 1996], phân loại văn bản [Beeferman, 1999]. Mô hình cực đại entropy là kỹ thuật dùng để đánh giá phân phối xác suất của dữ liệu văn bản. Tư tưởng chính của phương pháp là những gì chưa biết hoặc không rõ ràng thì không có bất kỳ giả định gì (cực đại hóa độ hỗn loạn). Tức là áp đặt một phân phối đều lên các sự kiện chưa biết. Dữ liệu đã được gán nhãn được sử dụng để lấy ra tập các ràng buộc cho mô hình mà nó mô tả đặc điểm riêng cho từng lớp cụ thể có thể được gán cho văn bản cần phân lớp. Cuối cùng, thuật toán IIS sẽ tìm ra phân phối mà nó thỏa mãn các ràng buộc đã đưa ra và thỏa mãn cực đại entropy với phân phối xác suất là đều nhất. Để có thể áp dụng được thật toán IIS trên văn bản cần phân lớp. Bước đầu tiên cần phải thực hiện là chuyển văn bản đang ở dạng chuỗi các ký tự thành các vector đặc trưng. Một yếu tố trong quá trình huấn luyện của mô hình cực đại entropy chính là việc lựa chọn các vector đặc trưng cho từng lớp. Các vector đặc trưng này phải miêu tả được đầy đủ nhất tính riêng biệt của từng lớp và phải có khả năng phân loại giữa các lớp với nhau. 2 [...]... Khi dữ liệu có sự thay đổi thì kết quả cũng thay đổi 11 Chương 3: Mô hình cực đại entropy Dựa trên tài liệu mô hình cực đại entropy của [Adam L Berger & Stephen A Della Pietra & Vincent J Della Pietra, 1996] và một số nguồn khác Dưới đấy là những cơ sở lý thuyết cơ bản về mô hình cực đại entropy Về cách xây dựng mô hình, nguyên lý cực đại entropy, cách tính các phân phối xác suất và thuật toán tính trọng.. .Mô hình cực đại entropy có được tối ưu hay không là phụ thuộc rất nhiều vào việc lựa chọn này Ưu điểm lớn nhất của mô hình cực đại entropy là tính mềm dẻo của mô hình: nó cung cấp một hệ thống các quy luật có tính thống kê ngẫu nhiên để bổ sung các cú pháp, ngữ nghĩa và căn cứ vào các vector đặc trưng Tuy nhiên, mô hình cực đại entropy đòi hỏi một chi phí khá lớn... Entropy là bị chặn dưới bởi 0, entropy của mô hình không có sự không chắc chắn nào, và chặn trên bởi log|Y|, entropy của phân phối ngang bằng nhau trên toàn bộ các giá trị có thể |Y| của y Với định nghĩa này, chúng ta đã sẵn sàng để biểu diễn nguyên lý của cực đại entropy: Để lựa chọn mô hình từ một tập C các phân phối xác suất được chấp nhận, lựa chọn mô hình p* € C với cực đại entropy H(p): với p € C p*... gia tăng trên xác suất mô hình pS, chúng ta ràng buộc rằng mô hình tốt nhất chứa các đặc trưng Sυf phải có dạng như sau: p α, f = S 1 PS ( y | x ) exp(α f ( x, y ) Z với các giá trị thật của α (24) Trong đó Z α ( x) = ∑y PS ( y | x) exp(α f ( x, y ) (25) Chỉ duy nhất tham số mà nó phân biệt được các mô hình có dạng (24) là α Trong số các mô hình đó, chúng ta quan tâm tới mô hình mà nó làm tăng tính... lại; xác suất mô hình p* trong C với entropy lớn nhất phản ánh sự hiểu biết tăng mãi mãi và vì vậy việc miêu tả bài toán sẽ trở nên chính xác hơn.Điều này giúp cho không gian chấp nhận được của các mô hình được thu hẹp hơn Có lẽ trực quan hơn, chúng ta có thể miêu tả nó bằng một loạt các tập con được đạt vào P như hình sau: Hình 3.1: Lựa chọn đặc trưng (trích dẫn: trang 12 quyển A Maximum Entropy Approach... quyết định không gian của mô hình: C(S) = {p € P | E(f) = Ẽ (f) 23 với mọi f € S} (19) Mô hình tối ưu trong không gian này, được biểu diễn bởi pS, là mô hình với entropy lớn nhất: PS = arg max p∈C ( S ) H ( p ) (20) Bằng cách thêm đặc trưng f ̃ vào tập S, chúng ta thu được tập mới với các đặc trưng có hiệu lực Sυf̃ Như công thức (19), tập đặc trưng này quyết định tập các mô hình: C(S U f)̃ = {p € P... với cực đại entropy là mô hình trong đó họ tham số p λ(y|x) mà nó cực đại likelihood của xác suất mẫu huấn luyện p̃ Kết quả này giúp làm tăng thêm tính đúng đắn cho nguyên lý cực đại entropy: khi quan niệm việc lựa chọn xác suất mô hình p* trên cơ sở cực đại entropy là không đủ sức thuyết phục, điêu xảy ra với cùng một xác suất p* là một mô hình mà nó, trong số toàn bộ các mô hình của cùng một dạng tham... suất mô hình p được định nghĩa như sau: L ~ ( p ) = log ∏x , y p ( y | x ) p ( x , y ) = ∑x , y ~ ( x, y ) log p ( y | x ) p p ~ (13) Dễ dang có thể kiểm tra được rằng hàm đối ngẫu ψ(λ) của phần trước chính là loglikelihood hàm số mũ của xác suất mô hình pλ: 19 Ψ(λ) = L ~ ( p λ ) p (14) Với cách giải thích này, kết quả của phần trước có thể được viết lại như sau: Mô hình p* € C với cực đại entropy là mô. .. ràng buộc đầu tiên trong xác suất mô hình (p) của chúng ta: p(dans) + p(en) + p(à) + p(au cours de) + p(pendant) = 1 Phương trình này thể hiện tính thống kê đầu tiên trong bài toán của chúng ta; bây giờ chúng ta đã có thể xử lý để tìm ra mô hình phù hợp mà nó tuân theo phương trình này Tất nhiên, có vô số các xác suất mô hình (p) mà nó thỏa mãn ràng buộc trên Một mô hình mà thỏa mãn ràng buộc trên có... nói cách khác, mô hình luôn luôn dự đoán đó là “dans” Mô hình khác tuân theo ràng buộc này dự đoán “pendant” với xác suất là ½, và “à” với xác suất là ½ Nhưng theo cảm giác của chúng ta thì cả hai mô hình này đều không ổn cho lắm: hệ thống dịch luôn luôn lựa chọn 1 trong số 5 từ (cụm từ) tiếng Pháp, và làm thế nào chúng ta có thể chứng minh mỗi phân phối xác suất đó là 12 đúng? Mỗi mô hình mới chỉ dừng . nhiờn, m h nh cc i entropy ũi hi mt chi phớ khỏ ln cho vic t nh toỏn c lng ch nh xỏc cỏc tham s ca m h nh. Trong khi ú m h nh cú hng trm hng ngn thụng. cố gắng hoàn th nh luận văn trong ph m vi và khả năng cho phép nh ng chắc chắn sẽ không tr nh khỏi nh ng thiếu sót. Em k nh mong nh n được sự c m thông và