Giả sử văn bản cần tóm tắt có độ dài là p% độ dài của văn bản gốc.
Chúng tôi xây dựng thủ tục duyệt đồ thị để chọn ra những câu quan trọng theo 3 phƣơng pháp:
a) Phương pháp 1. Dựa vào bậc của các nút trên đồ thị
Bước 1: Tính bậc của mỗi nút trong đồ thị (bậc đƣợc tính bằng số liên kết của nút với các nút khác).
Bước 2: Sắp xếp các nút theo thứ tự bậc giảm dần.
Bước 3: Chọn ra các nút có bậc cao nhất, ngừng chọn khi số câu đủ yêu cầu.
Thuật toán 3
Input: Đồ thị liên kết Dis(i,j), tỉ lệ nén p%, số câu n.
Output: Tập các câu đƣợc chọn Selection. 1. {Tính số câu cần chọn} NumberOfSent = Round(n * p); 2. {Tính bậc của các nút} for i = 1 to n begin Degree(i) = 0; for j = 1 to n
if Dis(i,j) <> 0 then Degree(i) = Degree(i) + 1;
end;
3. Sắp xếp Degree(i), i = 1..n theo chiều giảm dần 4. {Chọn ra các câu}
for i = 1 to NumberOfSent
selection(i) = Số thứ tự của câu tƣơng ứng; 5. Sắp xếp selection theo chiều tăng dần; 6. return selection;
Ví dụ:
Với văn bản Text(1).txt, tỉ lệ nén đƣợc chọn là 10%, số câu cần chọn ra là 4. Theo thuật toán 3, thứ tự của các nút đƣợc sắp xếp theo bậc giảm dần là (bỏ qua các nút có bậc bằng 0:
Nút Bậc Nút Bậc Nút Bậc 10 5 23 2 12 1 19 4 1 1 13 1 2 3 3 1 16 1 4 3 6 1 17 1 5 3 7 1 20 1 34 3 8 1 26 1 14 2 11 1 27 1
Bảng 1 Bậc của các nút sắp theo thứ tự giảm dần của văn bản Text(1).txt
Kết quả các câu đƣợc chọn là 10, 19, 2, 4. Văn bản tóm tắt là:
b) Phương pháp 2. Duyệt theo chiều sâu
Bước 1: Chọn nút bắt đầu là nút đầu tiên (theo thứ tự xuất hiện trong văn bản).
Bước 2: Duyệt đồ thị theo chiều sâu bắt đầu từ nút xuất phát, chọn các nút theo số bậc cao nhất. Quá trình duyệt dừng lại khi nút cuối cùng đƣợc chọn không liên kết với nút nào về sau.
Bƣớc 3: Nếu vẫn chƣa đủ số câu cần thiết, thực hiện phƣơng pháp 1 đối với các câu còn lại chƣa đƣợc chọn.
Thuật toán 4
[2]Tuần trƣớc một đoàn khách Australia đã hủy hợp đồng với Trung tâm Du lịch Vietsky Travel vì tỷ giá ngoại tệ thay đổi làm giá tour tăng cao.
[4]Theo ông Đào Hồng Thƣơng - Phó giám đốc Trung tâm Vietsky Travel suy thoái kinh tế thế giới khiến du khách giảm chi tiêu cộng với tỷ giá ngoại tệ trong nƣớc thay đổi liên tục khiến giá tour tăng gây khó khăn cho nhiều đoàn khách châu Âu.
[10]Theo nhận định của một số đơn vị lữ hành ngoài nguyên nhân suy thoái kinh tế thế giới giá dịch vụ trong nƣớc tăng cao cũng khiến khách quốc tế sút giảm.
[19]Ảnh hƣởng của suy thoái kinh tế cũng khiến nhiều đoàn khách quốc tế cắt giảm chi tiêu ở Việt Nam.
Input: Đồ thị liên kết Dis(i,j), tỉ lệ nén p%, số câu n.
Output: Tập các câu đƣợc chọn Selection. 1. Tính số câu cần chọn;
2. Tính bậc của các nút; 3. {Chọn nút đầu tiên} Count = 1; selected = 1; Selection(count) = selected;
4. {Tạo danh sách kề với nút đƣợc chọn}
for i = 1 to n
if (Dis(selected,i) > 0 then Đƣa i vào danh sách kề; 5. {Chọn nút có bậc cao nhất trong danh sách kề} Selected = nút có bậc cao nhất trong danh sách kề; Count = Count + 1;
Quay lại bƣớc 4.
6. {Nếu chƣa đủ số câu}
If count < NumberOfSent thenbegin for i = 1 to n
if sent(i) chƣa đƣợc chọn then Đƣa i vào Danh sách còn lại; Chọn (NumberOfSent – count) câu trong Danh sách còn lại;
7. Sắp xếp selection theo chiều tăng dần; 8. return selection;
Với ví dụ trên, các câu đƣợc chọn lần lƣợt là: 10, 19, 4, 2.
[2]Tuần trƣớc một đoàn khách Australia đã hủy hợp đồng với Trung tâm Du lịch Vietsky Travel vì tỷ giá ngoại tệ thay đổi làm giá tour tăng cao.
[4]Theo ông Đào Hồng Thƣơng - Phó giám đốc Trung tâm Vietsky Travel suy thoái kinh tế thế giới khiến du khách giảm chi tiêu cộng với tỷ giá ngoại tệ trong nƣớc thay đổi liên tục khiến giá tour tăng gây khó khăn cho nhiều đoàn khách châu Âu.
[10]Theo nhận định của một số đơn vị lữ hành ngoài nguyên nhân suy thoái kinh tế thế giới giá dịch vụ trong nƣớc tăng cao cũng khiến khách quốc tế sút giảm.
c) Phương pháp 3. Phân đoạn văn bản
Bước 1: Tách văn bản thành những phân đoạn, căn cứ vào độ dài của văn bản và tỉ lệ nén p.
Bước 2: Áp dụng phƣơng pháp 1 đối với từng phân đoạn, ở mỗi phân đoạn chọn ít nhất một câu. Các câu còn lại đƣợc chọn là các nút có bậc cao trong các phân đoạn. Quá trình chọn sẽ dừng lại khi đạt đủ số câu cần thiết.
Thuật toán 5
Input: Đồ thị liên kết Dis(i,j), tỉ lệ nén p%, số câu n.
Output: Tập các câu đƣợc chọn Selection. 1. Tính số câu cần chọn;
2. Tính bậc của các nút;
3. {Tính toán số đoạn, số câu chọn mỗi đoạn} SentPerSeg = 1;
NumberOfSent = n/SentPerSeg;
while NumberOfSeg > NumberOfSent begin
SentPerSeg = SentPerSeg + 1 NumberOfSeg = n/SentPerSeg
end;
SelectSentPerSeg = NumberOfSent / NumberOfSeg 4. {Chọn ra các câu trong từng đoạn}
First = 1; Last = SentPerSeg;
while last < n begin
Sắp xếp bậc của các nút trong đoạn [First, Last];
for i = 1 to SelectSentPerSeg chọn câu có bậc lớn nhất; First = Last + 1;
Last = Last + SentPerSeg;
end;
5. Sắp xếp selection theo chiều tăng dần; 6. return selection;
Cùng với ví dụ văn bản Text(1), văn bản đƣợc chia thành 4 phần, mỗi phần 8 câu, phƣơng pháp 3 sẽ chọn ra các câu: 2, 10, 19, 34
Văn bản kết quả là:
Nhƣ vậy, với 3 phƣơng pháp lựa chọn các câu để sinh văn bản tóm tắt nhƣ trên thì mỗi văn bản đầu vào sẽ có 3 văn bản tóm tắt. Các văn bản tóm tắt đƣợc đánh giá nhằm kiểm tra năng lực của từng phƣơng pháp, để từ đó chọn lựa ra phƣơng pháp thích hợp.
Trong chƣơng này, chúng tôi đã giới thiệu mô hình tóm tắt văn bản sử dụng phƣơng pháp cấu trúc và trình bày chi tiết về việc xây dựng chƣơng trình tóm tắt văn bản. Nhằm mục đích kiểm nghiệm tác dụng của bộ tách từ tiếng Việt, từ điển đồng nghĩa, chúng tôi đã cài đặt 3 phiên bản cho ứng dụng này. Trong chƣơng tiếp theo, chúng tôi sẽ trình bày những kết quả thực nghiệm thu đƣợc trên các phiên bản này.
[2]Tuần trƣớc một đoàn khách Australia đã hủy hợp đồng với Trung tâm Du lịch Vietsky Travel vì tỷ giá ngoại tệ thay đổi làm giá tour tăng cao.
[10]Theo nhận định của một số đơn vị lữ hành ngoài nguyên nhân suy thoái kinh tế thế giới giá dịch vụ trong nƣớc tăng cao cũng khiến khách quốc tế sút giảm. [19]Ảnh hƣởng của suy thoái kinh tế cũng khiến nhiều đoàn khách quốc tế cắt giảm chi tiêu ở Việt Nam.
[34] Năm nay nƣớc này dự kiến tăng khoảng 20% nhƣng 9 tháng đầu năm chỉ tăng 6% Singapore năm ngoái đón 10 triệu lƣợt khách tăng 6,7% thì 9 tháng đầu năm nay chỉ tăng 0,1%.
Chƣơng 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ
Chƣơng này trình bày về những kết quả thu đƣợc sau quá trình thử ngiệm chƣơng trình đồng thời đƣa ra những đánh giá, nhận xét để từ đó có thể nâng cao đƣợc độ chính xác của hệ thống.