Dịch câu truy vấn tiếng anh sang đồ thị ý niệm cách tiếp cận ít phụ thuộc vào cú pháp

Đại Học Quốc Gia TP Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA -o0o CAO DUY TRƯỜNG DỊCH CÂU TRUY VẤN TIẾNG ANH SANG ĐỒ THỊ Ý NIỆM: CÁCH TIẾP CẬN ÍT PHỤ THUỘC VÀO CÚ PHÁP Chuyên ngành: Khoa học máy tính LUẬN VĂN THẠC SĨ TP Hồ Chí Minh, tháng 07 – 2008 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học : PGS.TS CAO HOÀNG TRỤ Cán chấm nhận xét : PGS.TS PHAN THỊ TƯƠI Cán chấm nhận xét : PGS.TS ĐINH ĐIỀN Luận văn thạc sĩ bảo vệ HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày 03 tháng 09 năm 2008 LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết tham khảo từ công trình khác ghi rõ luận văn, cơng việc trình bày luận văn chúng tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Ngày 30 tháng năm 2008 Cao Duy Trường LỜI CẢM ƠN Tơi xin gửi lời cảm ơn đến gia đình, người sát cánh, động viên, tạo điều kiện tốt để tơi học tập hoàn tất luận văn tốt nghiệp Xin chân thành cảm ơn thầy PGS.TS Cao Hoàng Trụ, nhiệt tình hướng dẫn tơi hồn thành tốt luận văn Xin chân thành biết ơn tận tình dạy dỗ giúp đỡ tất quý thầy cô trường Đại học Bách khoa, đặc biệt thầy cô khoa Khoa học Kỹ thuật Máy tính TĨM TẮT Các hệ thống tìm kiếm theo từ khố Google hữu ích, chưa xác chưa đầy đủ, từ khoá chưa biểu diễn hết ngữ nghĩa tài liệu truy vấn Tìm kiếm theo ngữ nghĩa nói chung, thực thể có tên nói riêng, cho phép dịch vụ tìm kiếm thơng minh Trong có nhiều ngơn ngữ hình thức để biểu diễn truy vấn với ngữ nghĩa xác, ngơn ngữ tự nhiên phương tiện mà người sử dụng mong muốn Luận văn đưa phương pháp dịch câu truy vấn tự nhiên sang đồ thị ý niệm, phương pháp chấp nhận câu truy vấn yếu cú pháp sử dụng sở tri thức Ontology sẵn có Phương pháp thử nghiệm tập liệu mẫu TREC 2002 TREC 2007 ABSTRACT Current keyword-based systems like Google are very helpful, yet neither sound nor complete, because keywords are not adequate to represent the semantics of documents and queries Searching based on semantics in general, and named entities in particular, would enable more intelligent searching services While there are various formalisms to represent queries with precise semantics, natural language is still the most desirable means to users This thesis proposes a query translation method that is robust to illformed questions and exploits knowledge of an ontology for semantic search It uses conceptual graphs as the target language for the translation As a logical interlingua with smooth mapping to and from natural language, conceptual graphs simplify translation rules and can be easily converted to other formal query languages Experiment results of the method on the TREC 2002 and TREC 2007 data sets are also presented and discussed MỤC LỤC DANH MỤC HÌNH iii DANH MỤC BẢNG iv CHƯƠNG GIỚI THIỆU 1.1 Tổng quan 1.2 Mục tiêu phạm vi CHƯƠNG CÁC NGHIÊN CỨU VÀ HỆ THỐNG LIÊN QUAN 2.1 Các hệ thống hỏi-đáp 2.2 Ontology 11 2.3 Chú thích ngữ nghĩa 14 2.4 Rút trích quan hệ 19 2.5 Sơ lược đồ thị ý niệm 20 2.6 Các phương pháp xây dựng đồ thị ý niệm 21 CHƯƠNG PHƯƠNG PHÁP ĐỀ NGHỊ 23 3.1 Tổng quan 23 3.2 Nhận diện thực thể có tên 27 3.3 Nhận diện thực thể không tên 27 3.4 Nhận diện từ quan hệ 28 3.5 Xác định lớp thực thể 28 3.6 Gom thực thể 29 3.7 Xác định quan hệ ẩn 30 3.8 Xác định quan hệ 30 3.9 Xóa bỏ quan hệ khơng phù hợp 34 3.10 Xây dựng đồ thị ý niệm 35 CHƯƠNG HIỆN THỰC HỆ THỐNG 37 4.1 Các khối hệ thống 37 4.2 Tập luật 41 CHƯƠNG KẾT LUẬN 47 5.1 Kết đề tài 47 5.2 Kết luận hướng phát triển 51 TÀI LIỆU THAM KHẢO 53 PHỤ LỤC A : TẬP CÂU MẪU TREC 2002 58 PHỤ LỤC B : TẬP CÂU MẪU TREC 2007 63 PHỤ LỤC C : CÁC ĐỒ THỊ Ý NIỆM SINH RA ĐÚNG TỪ TREC 2002 KHI CHƯA LÀM GIÀU ONTOLOGY 68 PHỤ LỤC D : MỘT SỐ ĐỒ THỊ Ý NIỆM SINH RA ĐÚNG TỪ TREC 2002 SAU KHI LÀM GIÀU ONTOLOGY 74 PHỤ LỤC E : CÁC ĐỒ THỊ Ý NIỆM SINH RA ĐÚNG TỪ TREC 2007 KHI CHƯA LÀM GIÀU ONTOLOGY 78 PHỤ LỤC F : MỘT SỐ ĐỒ THỊ Ý NIỆM SINH RA ĐÚNG TỪ TREC 2007 SAU KHI LÀM GIÀU ONTOLOGY 82 DANH MỤC HÌNH Hình 2.1 Quá trình xử lý ANNIE 15 Hình 2.2 GATE thích ngữ nghĩa dựa ontology 17 Hình 2.3 Nhập nhằng nhận dạng thực thể có tên KIM 18 Hình 2.4 Loại bỏ nhập nhằng nhận diện thực thể GATE 18 Hình 2.5 Ví dụ đồ thị ý niệm 21 Hình 3.1 Các bước xây dựng đồ thị ý niệm 26 Hình 3.2 Xác định loại quan hệ hai thực thể ei ej 34 Hình 3.3 Đồ thị ý niệm xây dựng 36 Hình 4.1 Khối nhận diện thực thể từ quan hệ 37 Hình 4.2 Khối hiệu chỉnh thực thể từ quan hệ 37 Hình 4.3 Khối xác định quan hệ ngữ nghĩa 38 Hình 4.4 Khối hiệu chỉnh quan hệ ngữ nghĩa 38 Hình 4.5 Khối xây dựng đồ thị ý niệm 38 Hình 4.6 Cấu trúc tập phần tử TransformRules rule 41 Hình 4.7 Cấu trúc phần tử điều kiện luật 43 Hình 4.8 Ví dụ phần tử premise 43 Hình 4.9 Cấu trúc phần tử hành động 44 Hình 4.10 Ví dụ luật hoàn chỉnh 44 Hình 4.11 Cấu trúc từ điển quan hệ 45 Hình 4.12 Ví dụ số phần tử từ điển 46 DANH MỤC BẢNG Bảng 4.1 Giao diện lớp GetEntityandRelationWord 39 Bảng 4.2 Giao diện lớp ProcessingEntityandRelationWord 39 Bảng 4.3 Giao diện lớp MakeQueryTriple 40 Bảng 4.4 Giao diện lớp FindSemanticRelation 40 Bảng 4.5 Giao diện lớp ProcessingSemanticRelation 40 Bảng 4.6 Giao diện lớp QueryOutput 41 Bảng 4.7 Bảng thuộc tính phần tử premise 42 Bảng 4.8 Mô tả thuộc tính phần tử entry 46 Bảng 5.1 Kết thực nghiệm tập TREC 2002 chưa bổ sung Ontoloy 48 Bảng 5.2 Kết thực nghiệm tập TREC 2002 sau bổ sung Ontology 49 Bảng 5.3 Kết thực nghiệm tập TREC 2007 chưa bổ sung Ontoloy 49 Bảng 5.4 Kết thực nghiệm tập TREC 2007 sau bổ sung Ontology 50 PHỤ LỤC D MỘT SỐ ĐỒ THỊ Ý NIỆM SINH RA ĐÚNG TỪ TREC 2002 SAU KHI LÀM GIÀU ONTOLOGY PHỤ LỤC E CÁC ĐỒ THỊ Ý NIỆM SINH RA ĐÚNG TỪ TREC 2007 KHI CHƯA LÀM GIÀU ONTOLOGY PHỤ LỤC F MỘT SỐ ĐỒ THỊ Ý NIỆM SINH RA ĐÚNG TỪ TREC 2007 SAU KHI LÀM GIÀU ONTOLOGY ... phương pháp để xây dựng đồ thị ý niệm cho câu truy vấn, lỗi sai cú pháp dẫn đến không xây dựng đồ thị ý niệm Tương tự hệ thống trên, việc dịch câu truy vấn ngôn ngữ tự nhiên sang đồ thị ý niệm, ... văn phạm thành đồ thị ý niệm Hệ thống [1] đề phương pháp ánh xạ cú pháp thành đồ thị ý niệm cú pháp (syntactic conceptual graph), sau đồ thị ý niệm cú pháp chuyển thành đồ thị ý niệm thực (real... xây dựng đồ thị ý niệm cho câu truy vấn có hình thức câu đầy đủ, đoạn câu Phương pháp xây dựng đồ thị ý niệm cho câu truy vấn khơng cú pháp • Dễ dàng chuyển đổi để thực cho câu truy vấn ngơn