Trích chọn tự động quan hệ phương thức từ văn bản tiếng Việt dựa trên thuật toán SVM và thử nghiệm đánh giá

i ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Chu Thị Thủy TRÍCH CHỌN TỰ ĐỘNG QUAN HỆ PHƯƠNG THỨC TỪ VĂN BẢN TIẾNG VIỆT DỰA TRÊN THUẬT TOÁN SVM VÀ THỬ NGHIỆM ĐÁNH GIÁ KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ Thông tin Hà Nội - 2011 ii ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Chu Thị Thủy TRÍCH CHỌN TỰ ĐỘNG QUAN HỆ PHƯƠNG THỨC TỪ VĂN BẢN TIẾNG VIỆT DỰA TRÊN THUẬT TOÁN SVM VÀ THỬ NGHIỆM ĐÁNH GIÁ KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ Thông tin Cán bộ hướng dẫn: PGS.TS Hà Quang Thuỵ Cán bộ đồng hướng dẫn: ThS. Nguyễn Thu Trang Hà Nội - 2011 i Lời cảm ơn Trước tiên, tôi xin gửi lời cảm ơn và lòng biết ơn sâu sắc nhất tới Phó Giáo sư Tiến sĩ Hà Quang Thụy và Thạc sỹ Nguyễn Thu Trang, người đã tận tình chỉ bảo và hướng dẫn tôi trong suốt quá trình thực hiện khoá luận tốt nghiệp. Tôi chân thành cảm ơn các thầy, cô đã tạo những điều kiện thuận lợi cho tôi học tập, nghiên cứu tại trường Đại Học Công Nghệ và sự hỗ trợ từ đề tài QG.10.38. Tôi cũng xin gửi lời cảm ơn tới các anh chị và các bạn sinh viên trong nhóm “Khai phá dữ liệu” SIS-KTLab đã giúp tôi rất nhiều trong việc hỗ trợ kiến thức chuyên môn để hoàn thành tốt khoá luận. Cuối cùng, tôi muốn gửi lời cảm vô hạn tới gia đình và bạn bè, những người thân yêu luôn bên cạnh và động viên tôi trong suốt quá trình thực hiện khóa luận tốt nghiệp. Tôi xin chân thành cảm ơn! Sinh viên Chu Thị Thủy ii Tóm tắt Trích chọn các mối quan hệ ngữ nghĩa từ văn bản ngày càng trở nên quan trọng đối với các ứng dụng như hệ thống hỏi đáp, trích chọn thông tin, tóm tắt văn bản và hiểu văn bản. Khóa luận này đề xuất một phương pháp để tự động trích chọn quan hệ phương thức từ văn bản dựa trên học máy SVM. Đưa ra một tập các ký hiệu liên quan tới quan hệ phương thức, bao gồm DOMAIN và RANGE. Phân tích sự gắn kết của quan hệ phương thức với những quan hệ khác. Đồng thời, chúng tôi cũng trình bày các mẫu từ vựng – cú pháp cơ bản biểu diễn quan hệ phương thức. Một tập các đặc trưng riêng được trích chọn làm tăng độ chính xác và tính khả thi của mô hình. Thực nghiệm bước đầu trên tập dữ liệu tiếng Việt gồm khoảng 300 câu chứa/không chứa quan hệ phương thức cho thấy phương pháp đề xuất đạt được một kết quả nhất định: độ đo F trong khoảng 60 - 70%. Dựa vào đó, chúng tôi nhận thấy phương pháp trích chọn quan hệ phương thức đã đề xuất và triển khai là khả quan. iii Lời cam đoan Tôi cam đoan trích chọn tự động quan hệ phương thức từ văn bản tiếng Việt dựa trên thuật toán SVM và thử nghiệm đánh giá được trình bày trong khóa luận này do tôi thực hiện dưới sự hướng dẫn của PGS. TS. Hà Quang Thụy và ThS. Nguyễn Thu Trang. Tất cả những tham khảo từ các nghiên cứu liên quan đều được nêu nguồn gốc một cách rõ ràng từ danh mục tài liệu tham khảo trong khóa luận. Trong khóa luận, không có việc sao chép tài liệu, công trình nghiên cứu của người khác mà không chỉ rõ về tài liệu tham khảo. iv Mục lục Tóm tắt ii Lời cam đoan iii Mục lục iv Danh sách các bảng vi Danh sách các hình vẽ vii Danh sách các hình vẽ vii Danh sách các chữ viết tắt viii Danh sách các chữ viết tắt viii Mở đầu 1 CHƯƠNG 1. GIỚI THIỆU BÀI TOÁN TRÍCH CHỌN QUAN HỆ PHƯƠNG THỨC 4 1.1 Khái niệm Quan hệ phương thức 4 1.2 Bài toán Trích chọn quan hệ phương thức 5 1.3 Một số ký hiệu 7 1.4 Sự gắn kết của quan hệ phương thức với những quan hệ khác 9 CHƯƠNG 2. PHƯƠNG PHÁP TRÍCH CHỌN QUAN HỆ PHƯƠNG THỨC 11 2.1 Các mẫu từ vựng – cú pháp biểu diễn quan hệ phương thức 11 2.1.1 Các mẫu từ vựng – cú pháp cơ bản 11 2.1.2 Nhập nhằng trong các mẫu từ vựng – cú pháp 15 2.2 Hướng tiếp cận giải quyết vấn đề 15 2.2.1 Mô hình phân lớp SVM nhị phân 15 2.2.2 Trích chọn đặc trưng 19 2.2.3 Quan hệ phương thức trong tiếng Việt 22 CHƯƠNG 3. MÔ HÌNH GIẢI QUYẾT BÀI TOÁN TRÍCH CHỌN QUAN HỆ PHƯƠNG THỨC TỪ VĂN BẢN TIẾNG VIỆT 24 CHƯƠNG 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ 28 4.1 Mô tả thực nghiệm 28 4.1.1 Môi trường thực nghiệm 28 4.1.2 Chun bị dữ liệu 29 v 4.1.3 Quá trình thực nghiệm 29 4.2 Kết quả thực nghiệm và Đánh giá 30 4.2.1 Kết quả thực nghiệm 30 4.2.2 Phân tích lỗi 32 4.2.3 Kết hợp với trích chọn các quan hệ khác 32 Kết luận 34 Phụ lục: Ví dụ 25 câu thuộc tập dữ liệu huấn luyện 35 Tài liệu tham khảo 37 vi Danh sách các bảng Bảng 1. Phân tích các lớp ngữ nghĩa được sử dụng trong định nghĩa domain(mnr) và range(mnr) 8 Bảng 2. Các mẫu cú pháp biểu diễn quan hệ phương thức trong propbank, số câu xuất hiện và ví dụ (khảo sát với 7852/8037 câu chứa quan hệ phương thức trong propbank). Trong tất cả các ví dụ về mnr(x,y), x đã được in đậm. 12 Bảng 3. Ví dụ về nốt cha thuộc phân cấp trên trong cây cú pháp của những cụm trạng từ và cụm giới từ. Trong tất cả các ví dụ về mnr(x,y), x đã được in đậm. 13 Bảng 4. Các đặc trưng của cụm trạng từ 19 Bảng 5. Các đặc trưng của cụm giới từ 20 Bảng 6. Một số nhãn từ loại trong jvntextpro 26 Bảng 7. Cấu hình phần cứng sử dụng trong thực nghiệm 28 Bảng 8. Một số phần mềm sử dụng 28 Bảng 9. Đặc trưng cụm trạng từ/cụm giới từ 29 vii Danh sách các hình vẽ Hình 1. Quá trình trích chọn các mối quan hệ ngữ nghĩa [4] 6 Hình 2. Kiến trúc cơ bản của bộ phân tích ngữ nghĩa [4] 7 Hình 3. Mô hình máy vector hỗ trợ khả tách tuyến tính 16 Hình 4. Phương pháp lề mềm 18 Hình 5. Mô hình trích chọn quan hệ phương thức từ văn bản tiếng việt 25 viii Danh sách các chữ viết tắt SVM Support Vector Machines POS Part – Of – Speech NE Named Entities ntao Non Temporal Abstract Objects MNR Manner CAU Cause-Effect LOC Location [...]... trình bày mô hình phân lớp SVM và giới thiệu một tập các đặc trưng để trích chọn quan hệ phương thức Chương 3: Mô hình giải quyết bài toán Từ lý thuyết chương 2, chương 3 này đưa ra mô hình đề xuất để giải quyết bài toán trích chọn quan hệ phương thức và các bước tiến hành trích chọn, tập các đầu vào và đầu ra của hệ thống 2 Chương 4: Thực nghiệm và đánh giá Mô tả thực nghiệm từ quá trình chuNn bị dữ... HÌNH GIẢI QUYẾT BÀI TOÁN TRÍCH CHỌN QUAN HỆ PHƯƠNG THỨC TỪ VĂN BẢN TIẾNG VIỆT Qua quá trình khảo sát phương pháp trích chọn quan hệ phương thức của tác giả Eduardo Blanco và Dan Moldovan (2010) [2], Girju và cộng sự (2003) [3], và dựa trên những điều kiện thực tế về tài nguyên ngôn ngữ học, các kĩ thuật học máy xử lý ngôn ngữ tự nhiên cũng như các đặc trưng riêng của ngôn ngữ tiếng Việt Chúng tôi xin... verb-pas:no} và đây là một ví dụ dương 2.2.3 Quan hệ phương thức trong tiếng Việt Cụm trạng từ/ cụm giới từ là các mẫu cơ bản biểu diễn quan hệ phương thức [2] Dưới đây là một số đặc điểm của những cụm từ này trong tiếng Việt: Cụm trạng từ (hay còn gọi là phó từ) là những từ dùng để bổ nghĩa cho động từ, tính từ, một trạng từ khác hay cho cả câu Trạng từ có thể được phân làm nhiều loại tùy vào vị trí và ý nghĩa... bị động không? Xét đặc trưng thứ 3 và 4, đếm số các cụm giới từ ngang hàng trước và sau cụm giới từ đang xét Bởi vì cụm giới từ thường được sắp xếp theo thứ tự quan hệ phương thức, quan hệ địa điểm, quan hệ thời gian [12] Xét đặc trưng thứ 12, cụm giới từ có dấu ngoặc kép có nhiều khả năng biểu diễn quan hệ phương thức hơn, phân đoạn text giữa các dấu ngoặc kép để trích chọn được cụm từ chỉ quan hệ phương. .. như DOMAIN, RANGE; và sự gắn kết của quan hệ phương thức với những quan hệ khác như quan hệ địa điểm (AT-LOCATION), quan hệ thời gian (ATTIME) Chương 2: Phương pháp trích chọn quan hệ phương thức Đây là chương trình bày tất cả các mẫu từ vựng – cú pháp cơ bản nhất để biểu diễn quan hệ phương thức Đồng thời, cũng phân tích sự nhập nhằng trong các mẫu này và một số phương pháp để tránh sự nhập nhằng đó... thời, SVM có khả năng phân lớp dự đoán với sai số ước lượng rất thấp Nội dung của khoá luận được chia thành các chương như sau: Chương 1: Giới thiệu bài toán trích chọn quan hệ phương thức Chương này trình bày khái quát về quan hệ phương thức và bài toán trích chọn quan hệ phương thức Ngoài ra, cũng đề cập tới một số các ký hiệu xuất hiện trong khái niệm về quan hệ phương thức như DOMAIN, RANGE; và sự... vị văn bản đơn giản như là các từ, tới một cấu trúc phức tạp hơn như là một mệnh đề danh từ phức tạp Một số quan hệ ngữ nghĩa quan trọng nhất trong ngôn ngữ tự nhiên là quan hệ tổng quát – cụ thể (IS-A), quan hệ tổng thể – bộ phận (WHOLEPART), quan hệ phương thức (MANNER), quan hệ nguyên nhân – kết quả (CAUSEEFFECT)… 1.1 Khái niệm Quan hệ phương thức Nói một cách chung nhất, quan hệ phương thức biểu... trạng từ/ cụm giới từ chỉ quan hệ phương thức Dữ liệu kiểm tra Extractor Tiền xử lý văn bản Quá trình học Quá trình phân lớp Hình 5 Mô hình trích chọn quan hệ phương thức từ văn bản tiếng Việt 25 - Bước 1: Chu n bị dữ liệu o Dữ liệu khoảng 300 câu chứa/không chứa quan hệ phương thức được dịch từ bộ corpus Brown [14] o Chia dữ liệu theo tỷ lệ 3:1, nghĩa là khoảng 225 câu trong tập dữ liệu huấn luyện và. .. diễn cách thức, nét đặc trưng, phương pháp thực hiện hoặc kiểu cách của một sự vật nào đó đã xảy ra [2] Theo WordNet4, quan hệ phương thức được định nghĩa như phương pháp thực hiện của hành động hoặc hành vi Theo PropBank annotation guidelines5, quan hệ phương thức là quan hệ được dùng để chỉ cách thức thực hiện một hành động và được xác định bằng trạng từ/ cụm trạng từ/ cụm giới từ Quan hệ phương thức nên... mới Đối với bài toán trích chọn quan hệ phương thức, chúng ta chỉ cần phân vào 2 lớp: một lớp là các cụm trạng từ/ cụm giới từ biểu diễn quan hệ phương thức, một lớp là các từ loại khác không biểu diễn quan hệ phương thức a Trường hợp khả tách tuyến tính Hình 3 Mô hình máy vector hỗ trợ khả tách tuyến tính Đầu vào của thuật toán là một tập dữ liệu huấn luyện, mỗi mẫu được đánh dấu rơi vào một trong hai . trình bày mô hình phân lớp SVM và giới thi u một tập các đặc trưng để trích chọn quan hệ phương thức. Chương 3: Mô hình giải quyết bài toán. Từ lý thuy t chương 2, chương 3 này đưa ra mô. Hà Nội - 2011 ii ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Chu Thị Thủy TRÍCH CHỌN TỰ ĐỘNG QUAN HỆ PHƯƠNG THỨC TỪ VĂN BẢN TIẾNG VIỆT DỰA TRÊN THUẬT TOÁN. viên trong nhóm “Khai phá dữ liệu” SIS-KTLab đã giúp tôi rất nhiều trong việc hỗ trợ kiến thức chuyên môn để hoàn thành tốt khoá luận. Cuối cùng, tôi muốn gửi lời cảm vô hạn tới gia đình và