III. CÁC VẤN ĐỀ VÀ THUẬT GIẢ
III.2 RÚT TRÍCH KEYPHRASE
- Rút trích tự động các keyphrase đặc trưng ngữ nghĩa (KĐTNN) cho tin bài là quá trình tự động chọn lọc các từ hay cụm từ mô tả ngắn gọn, chính xác các chủ đề được thảo luận trong tin bài, mang thông tin về
nội dung nồng cốt của tin bài.
- Mục đích của việc rút trích keyphrase là tìm được chính xác các keyphrase nằm trong tin bài mà tồn tại trong CK_ONTO, từ đó tạo được đồ thị keyphrase.
III.2. RÚT TRÍCH KEYPHRASE
- Việc rút trích keyphrase được thực hiện cho một tin bài báo điện tử và câu truy vấn.
- Ý tưởng cơ bản là sử dụng cấu trúc và thứ tự kết hợp của keyphrase đã được định nghĩa trong CK_ONTO, sử dụng một số kỹ thuật trong xử lý ngôn ngữ tự nhiên như phân đoạn từ, phân loại từ…, kết hợp với một số kỹ thuật heuristic để tăng cường tốc độ truy xuất và đạt kết quả tốt hơn.
III.2. RÚT TRÍCH KEYPHRASE
- Việc rút trích keyphrase ở mỗi tin bài được thực hiện trên 4 trường: tiêu đề, tóm tắt, nội dung, tags (một số từ khóa chính).
rút trích keyphrase ở từng câu.
III.2. RÚT TRÍCH KEYPHRASE
Bài toán rút trích keyphrase cho một tin bài và câu truy vấn khá đơn giản. giới thiệu thuật toán rút trích keyphrase cho một câu.
Bài toán rút trích keyphrase cho 1 câu:
- Cho trước tập keyphrase K nằm trong CK_ONTO, tập cấu trúc keyphrase Strs, từ điển từ loại POSDic, tập các cụm từ PhraseG.
- Cho 1 câu S.
III.2. RÚT TRÍCH KEYPHRASE
Các bước rút trích keyphrase cho 1 câu như sau:
Loại bỏ các hư từ Phân đoạn từ và phân loại từ Tạo keyphrase dự tuyển
III.2. RÚT TRÍCH KEYPHRASE
Ví dụ: với câu: “Năng suất lao động của Việt Nam thấp hơn Indonesia 10 lần”
Bước 1 - Loại bỏ các hư từ
Bước 2 - Phân đoạn từ và phân loại từ
Năng suất [keyphrase] | lao động [keyphrase] | của [giới từ] | Việt Nam [chưa xác định] | thấp [tính từ] | hơn Indonesia 10 lần [chưa xác định]
Bước 3 - Tạo keyphrase dự tuyển
Năng suất lao động thấp [k a]
Bước 4 - Lựa chọn keyphrase