Chương 2 CÁC KIẾN THỨC NỀN TẢNG
5.2. Mụ hỡnh túm tắt đa văn bản hướng trớch rỳt
5.2.5. So sỏnh và đỏnh giỏ kết quả
Mụ hỡnh đề xuất cũng được so sỏnh với cỏc nghiờn cứu hiện đại khỏc đó cụng bố trờn cựng bộ dữ liệu thử nghiệm DUC 2007. Phương phỏp DSDR [142] đại diện cho túm tắt đa văn bản dựa trờn cấu trỳc lại cõu. Trong phương phỏp này, cỏc cõu quan trọng được lựa chọn và cấu trỳc lại bằng cỏch học một chức năng cấu trỳc lại cõu. Sau đú, DSDR cung cấp một tập cỏc cõu đại diện tối ưu để ước lượng gần đỳng toàn bộ tập văn bản bằng cỏch giảm thiểu lỗi khi cấu trỳc lại. Phương phỏp PV-DM [143] sử dụng bộ nhớ phõn tỏn để biểu diễn văn bản và chọn cỏc cõu bằng cỏch cấu trỳc lại ở mức văn bản. Phương phỏp PV-DM khụng đỏnh giỏ cho độ đo R-L.
Hai mụ hỡnh cơ sở Random và Lead cũng được sử dụng để so sỏnh với mụ hỡnh đề xuất Kmeans_Centroid_EMDS. Kỹ thuật Random lựa chọn cỏc cõu ngẫu nhiờn
từ cỏc văn bản đầu vào để đưa vào bản túm tắt. Thay vào đú, Lead sắp xếp cỏc văn bản đầu vào theo trỡnh tự thời gian và chọn cỏc cõu dẫn đầu từ mỗi văn bản để đưa vào bản túm tắt. Kết quả so sỏnh và đỏnh giỏ của cỏc phương phỏp được trỡnh bày trong Bảng 5.4 dưới đõy.
Phương phỏp DUC 2007 Corpus_TMV
R-1 R-2 R-L R-1 R-2 R-L Random [142] 32,03 5,43 29,13 - - - Lead [142] 31,45 6,15 26,58 - - - DSDR [142] 39,57 7,44 35,34 - - - PV-DM [143] 39,83 8,51 - - - - K-means + Centroid-based + MMR + Vị trớ cõu 40,39 9,53 37,05 73,86 48,42 68,09
Bảng 5.4. So sỏnh và đỏnh giỏ kết quả của cỏc phương phỏp. Ký hiệu ‘-’ biểu diễn cỏc phương phỏp khụng được thử nghiệm trờn bộ dữ liệu tương ứng
Bảng 5.4 cho thấy mụ hỡnh túm tắt đề xuất Kmeans_Centroid_EMDS cho kết quả tốt hơn so với một số phương phỏp hiện đại đó được cụng bố. Điều đú cũng chứng minh rằng mụ hỡnh đề xuất đó đạt được hiệu quả tốt cho túm tắt đa văn bản hướng trớch rỳt cho tiếng Anh và tiếng Việt.
Bảng 5.5 trỡnh bày mẫu túm tắt của cụm văn bản D0716D trong bộ dữ liệu
DUC 2007 bao gồm một bản túm tắt tham chiếu của con người và bản túm tắt đầu ra của mụ hỡnh đề xuất Kmeans_Centroid_EMDS. Cỏc văn bản nguồn của mẫu túm tắt này xem Phụ lục C.5 trong phần Phụ lục.
Một bản túm tắt tham chiếu
“In October 1997, the Australian government gave permission
to Energy Resources of Australia (ERA) to open the Jabiluka uranium mine on the edge of the Kakadu National Park which is on the World Heritage List, in Australia's Northern Territory. The mine is expected to produce 19.5 million tons of ore and generate 4.46 billion U.S. dollars to Australia's GNP over 28 years. Jabiluka is considered a litmus test for up to 12 other uranium mines in Australia. Conservationists and the Aboriginal "Mirrar" owners of the land oppose the mine while ERA insists that its environmental record has been proven by the 16-year operation of the Ranger mine, also located in the Kakadu Park. Opposition leader Kim Beazley said the Labor Party would stop Jabiluka if it won the government in the October national election. Shortly after construction began in mid June 1998, there were a series of public protests. An ERA office in Darwin was firebombed. A team from the United Nations World Heritage Bureau visited the site, then called for closing the Jabiluka mine because it poses a danger to the cultural and natural values of the Kakadu Park. In November 1998, the U.N. World Heritage Bureau, after intense lobbying by the Australian government, decided not to put the Kakadu National Park on its endangered list, but asked for a detailed report by April 15th 1999 on what has been done to prevent further damage and mitigate all
threats to the Kakadu park by the Jabiluka mine.”
Bản túm tắt của mụ hỡnh đề xuất Kmeans_Centroid_EMDS
“The Australian federal government Thursday rejected a
UNESCO report which called for Kakadu National Park in northwest Australia to be placed on the endangered list because of the threat posed by the Jabiluka uranium mine. CANBERRA, Australia (AP)A United Nations World Heritage committee called Wednesday for the scrapping of the proposed Jabiluka uranium mine in Australia's Northern Territory. The Australian: -- The Australian government's environmental report on the Jabiluka uranium mine (located in Kakadu Natural Park), to be released Thursday, found the area is not under threat and attacked a UNESCO report that said Kakadu Natural Park was in danger. In a major embarrassment to the Howard government, the Bureau of the U.N. World Heritage Committee found Kakadu was under threat, raising the prospect that the committee will this week make Kakadu only the 26th of the world's 552 World Heritage Sites to be placed on its endangered list. The Age -- Australian conservationists and traditional aboriginal owners threatened to blockade development of the huge Jabiluka uranium mine in the country's vast Kakadu National Park, which is on the World Heritage List, after the federal government approved the mining plan for the Jabilika mine yesterday. "The mission has concluded that
Kakadu National Park is exposed to a number of serious threats which are placing it under both ascertained and potential danger," the bureau said in a report after it sent a mission to Australia to examine claims by conservation groups that Kakadu (National Park in Northern
Territory) was under threat from Jabiluka.”
Bảng 5.5. Cỏc mẫu túm tắt của cụm D0716D trong bộ dữ liệu DUC 2007 của mụ hỡnh đề xuất và con người
Bảng 5.6 trỡnh bày mẫu túm tắt của cụm văn bản Cluster_2 trong bộ dữ liệu
Corpus_TMV gồm một bản túm tắt tham chiếu và bản túm tắt của mụ hỡnh đề xuất. Cỏc văn bản nguồn của mẫu túm tắt này xem Phụ lục C.5 trong phần Phụ lục.
Một bản túm tắt tham chiếu
“Tổ chức quan sỏt Nhõn quyền cú trụ sở tại Mỹ cho rằng 82
người, trong đú ớt nhất 57 thường dõn đó thiệt mạng do cỏc cuộc tấn cụng của mỏy bay khụng người lỏi và mỏy bay tấn cụng khỏc ở Yemen giữa thỏng 9/2012 và thỏng 6/2013. Những cuộc tấn cụng như vậy là bừa bói và trỏi với luật phỏp quốc tế. Tuy nhiờn, Mỹ đó ngay lập tức phủ nhận những cỏo buộc trờn. Phỏt ngụn viờn Nhà Trắng Jay Carney cho biết: "Chỳng tụi sẽ xem xột cẩn trọng những bỏo cỏo này”. Carney cũng cho biết, khi quyết định sử dụng mỏy bay khụng người lỏi chống lại cỏc nghi phạm khủng bố, thay vỡ sử dụng quõn đội hoặc sử dụng cỏc loại vũ khớ khỏc, Washington đó "lựa chọn hành động ớt cú khả năng gõy ra thiệt hại nhất đối với những người vụ tội". Theo ụng Carney, chớnh quyền Mỹ đang xem xột cẩn trọng bỏo mới nhất của tổ chức Ân Xỏ Quốc tế về số lượng thường dõn thiệt mạng và bị thương trong cỏc cuộc khụng kớch bằng mỏy bay khụng người lỏi của Mỹ. ễng Carney khẳng định, cỏc chiến dịch chống khủng bố của Mỹ được tiến
hành hồn tồn tũn thủ theo luật phỏp của Mỹ và quốc tế.”
Bản túm tắt của mụ hỡnh đề xuất Kmeans_Centroid_EMDS
“Hụm 22/10 , Tổ chức Ân xỏ Quốc tế và Tổ chức Nhõn quyền cú
trụ sở tại Mỹ ( Human Rights Watch – HRW ) đó cựng đưa ra bỏo cỏo chi tiết về những thương vong trong cỏc hoạt động của Mỹ ở Pakistan và Yemen . Tổ chức quan sỏt Nhõn quyền cú trụ sở tại Mỹ cho rằng 82 người , trong đú ớt nhất 57 thường dõn đó thiệt mạng do cỏc cuộc tấn cụng của mỏy bay khụng người lỏi và mỏy bay tấn cụng khỏc ở Yemen giữa thỏng 9/2012 và thỏng 6/2013 . Tổ chức Ân xỏ quốc tế cú trụ sở tại London thỡ cho biết họ đang lo ngại cỏc cuộc tấn cụng được nờu trong bỏo cỏo và cỏc cuộc tấn cụng khỏc là những hành động giết người trỏi phỏp luật mà theo luật tố tụng cú thể cấu thành tội ỏc chiến tranh . Tổ chức Ân xỏ dẫn nguồn của chớnh phủ Pakistan và cỏc tổ chức phi chớnh phủ cho biết cú đến từ 400 đến 900 thường dõn đó bị giết hại trong hơn 300 cuộc tấn cụng từ năm 2004 đến thỏng 9/2013 . Tuy
nhiờn , Mỹ đó ngay lập tức phủ nhận những cỏo buộc trờn.”
Với cỏc bản túm tắt kết quả trong Bảng 5.5 và Bảng 5.6, cú thể thấy bản túm tắt đầu ra của mụ hỡnh đề xuất đưa ra cỏc thụng tin chớnh giống với bản túm tắt tham chiếu của con người tương ứng. Núi cỏch khỏc, nú chứa thụng tin chớnh của tập cỏc văn bản đầu vào. Tuy nhiờn, trỡnh tự của cỏc cõu cần được xem xột kỹ lưỡng để cải thiện tớnh mạch lạc cho bản túm tắt đầu ra của mụ hỡnh đề xuất.