Trích rút đoạn tóm tắt sử dụng thuật toán MMR

Một phần của tài liệu Nghiên cứu một số bài toán trong hỏi đáp cộng đồng (Trang 78 - 79)

Thuật toán MMR được sử dụng để trích rút các câu trong đoạn tóm tắt (thuật toán 3.1) được đề xuất bởi Carbonell và cộng sự [91]. Thuật toán này giúp tính độ quan trọng của từng câu s với câu hỏi q và lựa chọn một tập các câu chứa nội dung quan trọng mà không bị chồng chéo về mặt nội dung dùng làm tập tóm tắt. Đầu vào là tập các câu được tách ra từ các câu trả lời và đầu ra là tập con các câu được sắp xếp theo mức độ nổi bật liên quan về ngữ nghĩa với câu hỏi. Câu được chọn làm câu tóm tắt là câu mà độ đo tương đồng ngữ nghĩa với câu hỏi cao nhưng lại là câu có độ tương đồng cực tiểu với các câu đã được chọn làm tóm tắt ở bước trước.

Thuật toán này là thuật toán tham lam mà từng bước chọn ra một câu đưa vào tập tóm tắt qua việc cực đại hóa hàm kết hợp tuyến tính ở dòng 3 của thuật toán. Công thức tại dòng thứ 3 của thuật toán giúp lựa chọn câu s để đưa vào tập tóm tắt R sao cho thỏa mãn câu s tương đồng nhất với câu truy vấn q mà

Thuật toán 3.1Maximal marginal relevance (MMR)

Đầu vào:qlà biểu diễn của câu hỏi,S là tập các câu được tách ra từ các câu trả lời,Llà độ dài tối

đa của đoạn tóm tắt.

Đầu ra: tập tóm tắtR⊂S

Khởi tạo:R=∅; Danh sách các câu được sắp xếp;

1: repeat

2: Tìm một câusbằng thuật toán MMR với siêu tham số0≤κ≤1, sao cho thỏa mãn công thức:

3: s= arg maxs∈S/R(κ.sim(s,q)−(1−κ).maxs0∈Rsim(s,s0)

4: R=R∪s;

5: until|R|> L;

6: returnR;

lại không trùng lặp về nội dung với các câu đã chọn trong tập tóm tắt R. Siêu tham số κ của thuật toán nhận giá trị trong [0,1] để quyết định việc đóng góp giữa hai độ đo (nếu κ = 1 thì việc lựa chọn câu tóm tắt chỉ phụ thuộc vào độ tương đồng lớn nhất giữa câu đó với câu hỏi).sim(s,q) và sim(s,s0)là độ tương tự giữa câu hỏi q với s và độ tương tự của câu hỏi s với s0, qlà câu hỏi, S là tập các câu trong các câu trả lời. L là độ dài của đoạn tóm tắt. R là tập các câu trong đoạn tóm tắt. Độ tương tự của hai câu được tính bằng độ tương tự cosin:

sim(s1,s2) = s1.s2

ks1k.ks2k (3.21)

Một phần của tài liệu Nghiên cứu một số bài toán trong hỏi đáp cộng đồng (Trang 78 - 79)

Tải bản đầy đủ (PDF)

(128 trang)