Giả sử văn bản cần tóm tắt có độ dài là p% độ dài của văn bản gốc.
Chúng tôi xây dựng thủ tục duyệt đồ thị để chọn ra những câu quan trọng theo 3 phương pháp:
a) Phương pháp 1. Dựa vào bậc của các nút trên đồ thị
Bước 1: Tính bậc của mỗi nút trong đồ thị (bậc được tính bằng số liên kết của nút với các nút khác).
Bước 2: Sắp xếp các nút theo thứ tự bậc giảm dần.
Bước 3: Chọn ra các nút có bậc cao nhất, ngừng chọn khi số câu đủ yêu cầu.
Thuật toán 3
Input: Đồ thị liên kết Dis(i,j), tỉ lệ nén p%, số câu n.
Output: Tập các câu được chọn Selection. 1. {Tính số câu cần chọn} NumberOfSent = Round(n * p); 2. {Tính bậc của các nút} for i = 1 to n begin Degree(i) = 0; for j = 1 to n
if Dis(i,j) <> 0 then Degree(i) = Degree(i) + 1; end;
3. Sắp xếp Degree(i), i = 1..n theo chiều giảm dần 4. {Chọn ra các câu}
for i = 1 to NumberOfSent
selection(i) = Số thứ tự của câu tương ứng; 5. Sắp xếp selection theo chiều tăng dần; 6. return selection;
Ví dụ:
Với văn bản Text(1).txt, tỉ lệ nén được chọn là 10%, số câu cần chọn ra là 4. Theo thuật toán 3, thứ tự của các nút được sắp xếp theo bậc giảm dần là (bỏ qua các nút có bậc bằng 0:
Nút Bậc Nút Bậc Nút Bậc 10 5 23 2 12 1 19 4 1 1 13 1 2 3 3 1 16 1 4 3 6 1 17 1 5 3 7 1 20 1 34 3 8 1 26 1 14 2 11 1 27 1
Bảng 1 Bậc của các nút sắp theo thứ tự giảm dần của văn bản Text(1).txt
Kết quả các câu được chọn là 10, 19, 2, 4. Văn bản tóm tắt là:
b) Phương pháp 2. Duyệt theo chiều sâu
Bước 1: Chọn nút bắt đầu là nút đầu tiên (theo thứ tự xuất hiện trong văn bản).
Bước 2: Duyệt đồ thị theo chiều sâu bắt đầu từ nút xuất phát, chọn các nút theo số bậc cao nhất. Quá trình duyệt dừng lại khi nút cuối cùng được chọn không liên kết với nút nào về sau.
Bước 3: Nếu vẫn chưa đủ số câu cần thiết, thực hiện phương pháp 1 đối với các câu còn lại chưa được chọn.
Thuật toán 4
[2]Tuần trước một đoàn khách Australia đã hủy hợp đồng với Trung tâm Du lịch Vietsky Travel vì tỷ giá ngoại tệ thay đổi làm giá tour tăng cao.
[4]Theo ông Đào Hồng Thương - Phó giám đốc Trung tâm Vietsky Travel suy thoái kinh tế thế giới khiến du khách giảm chi tiêu cộng với tỷ giá ngoại tệ trong nước thay đổi liên tục khiến giá tour tăng gây khó khăn cho nhiều đoàn khách châu Âu.
[10]Theo nhận định của một số đơn vị lữ hành ngoài nguyên nhân suy thoái kinh tế thế giới giá dịch vụ trong nước tăng cao cũng khiến khách quốc tế sút giảm.
[19]Ảnh hưởng của suy thoái kinh tế cũng khiến nhiều đoàn khách quốc tế cắt giảm chi tiêu ở Việt Nam.
Input: Đồ thị liên kết Dis(i,j), tỉ lệ nén p%, số câu n.
Output: Tập các câu được chọn Selection. 1. Tính số câu cần chọn;
2. Tính bậc của các nút; 3. {Chọn nút đầu tiên} Count = 1; selected = 1; Selection(count) = selected;
4. {Tạo danh sách kề với nút được chọn}
for i = 1 to n
if (Dis(selected,i) > 0 then Đưa i vào danh sách kề;
5. {Chọn nút có bậc cao nhất trong danh sách kề} Selected = nút có bậc cao nhất trong danh sách kề; Count = Count + 1;
Quay lại bước 4.
6. {Nếu chưa đủ số câu}
If count < NumberOfSent then begin for i = 1 to n
if sent(i) chưa được chọn then Đưa i vào Danh sách còn lại;
Chọn (NumberOfSent – count) câu trong Danh sách còn lại; 7. Sắp xếp selection theo chiều tăng dần;
8. return selection;
Với ví dụ trên, các câu được chọn lần lượt là: 10, 19, 4, 2.
[2]Tuần trước một đoàn khách Australia đã hủy hợp đồng với Trung tâm Du lịch Vietsky Travel vì tỷ giá ngoại tệ thay đổi làm giá tour tăng cao.
[4]Theo ông Đào Hồng Thương - Phó giám đốc Trung tâm Vietsky Travel suy thoái kinh tế thế giới khiến du khách giảm chi tiêu cộng với tỷ giá ngoại tệ trong nước thay đổi liên tục khiến giá tour tăng gây khó khăn cho nhiều đoàn khách châu Âu.
[10]Theo nhận định của một số đơn vị lữ hành ngoài nguyên nhân suy thoái kinh tế thế giới giá dịch vụ trong nước tăng cao cũng khiến khách quốc tế sút giảm.
[19]Ảnh hưởng của suy thoái kinh tế cũng khiến nhiều đoàn khách quốc tế cắt giảm chi tiêu ở Việt Nam.
c) Phương pháp 3. Phân đoạn văn bản
Bước 1: Tách văn bản thành những phân đoạn, căn cứ vào độ dài của văn bản và tỉ lệ nén p.
Bước 2: Áp dụng phương pháp 1 đối với từng phân đoạn, ở mỗi phân đoạn chọn ít nhất một câu. Các câu còn lại được chọn là các nút có bậc cao trong các phân đoạn. Quá trình chọn sẽ dừng lại khi đạt đủ số câu cần thiết.
Thuật toán 5
Input: Đồ thị liên kết Dis(i,j), tỉ lệ nén p%, số câu n.
Output: Tập các câu được chọn Selection. 1. Tính số câu cần chọn;
2. Tính bậc của các nút;
3. {Tính toán số đoạn, số câu chọn mỗi đoạn} SentPerSeg = 1;
NumberOfSent = n/SentPerSeg;
while NumberOfSeg > NumberOfSent begin
SentPerSeg = SentPerSeg + 1 NumberOfSeg = n/SentPerSeg
end;
SelectSentPerSeg = NumberOfSent / NumberOfSeg 4. {Chọn ra các câu trong từng đoạn}
First = 1; Last = SentPerSeg;
while last < n begin
Sắp xếp bậc của các nút trong đoạn [First, Last];
for i = 1 to SelectSentPerSeg chọn câu có bậc lớn nhất;
First = Last + 1;
Last = Last + SentPerSeg;
end;
5. Sắp xếp selection theo chiều tăng dần; 6. return selection;
Cùng với ví dụ văn bản Text(1), văn bản được chia thành 4 phần, mỗi phần 8 câu, phương pháp 3 sẽ chọn ra các câu: 2, 10, 19, 34
Văn bản kết quả là:
Như vậy, với 3 phương pháp lựa chọn các câu để sinh văn bản tóm tắt như trên thì mỗi văn bản đầu vào sẽ có 3 văn bản tóm tắt. Các văn bản tóm tắt được đánh giá nhằm kiểm tra năng lực của từng phương pháp, để từ đó chọn lựa ra phương pháp thích hợp.
Trong chương này, chúng tôi đã giới thiệu mô hình tóm tắt văn bản sử dụng phương pháp cấu trúc và trình bày chi tiết về việc xây dựng chương trình tóm tắt văn bản. Nhằm mục đích kiểm nghiệm tác dụng của bộ tách từ tiếng Việt, từ điển đồng nghĩa, chúng tôi đã cài đặt 3 phiên bản cho ứng dụng này. Trong chương tiếp theo, chúng tôi sẽ trình bày những kết quả thực nghiệm thu được trên các phiên bản này.
[2]Tuần trước một đoàn khách Australia đã hủy hợp đồng với Trung tâm Du lịch Vietsky Travel vì tỷ giá ngoại tệ thay đổi làm giá tour tăng cao.
[10]Theo nhận định của một số đơn vị lữ hành ngoài nguyên nhân suy thoái kinh tế thế giới giá dịch vụ trong nước tăng cao cũng khiến khách quốc tế sút giảm. [19]Ảnh hưởng của suy thoái kinh tế cũng khiến nhiều đoàn khách quốc tế cắt giảm chi tiêu ở Việt Nam.
[34] Năm nay nước này dự kiến tăng khoảng 20% nhưng 9 tháng đầu năm chỉ tăng 6% Singapore năm ngoái đón 10 triệu lượt khách tăng 6,7% thì 9 tháng đầu năm nay chỉ tăng 0,1%.
Chương 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ
Chương này trình bày về những kết quả thu được sau quá trình thử ngiệm chương trình đồng thời đưa ra những đánh giá, nhận xét để từ đó có thể nâng cao được độ chính xác của hệ thống.