Nghiên cứu, phát triển một số phương pháp tóm tắt văn bản sử dụng kĩ thuật học sâu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LƯU MINH TUẤN NGHIÊN CỨU, PHÁT TRIỂN MỘT SỐ PHƯƠNG PHÁP TÓM TẮT VĂN BẢN SỬ DỤNG KĨ THUẬT HỌC SÂU LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN HÀ NỘI - 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LƯU MINH TUẤN NGHIÊN CỨU, PHÁT TRIỂN MỘT SỐ PHƯƠNG PHÁP TÓM TẮT VĂN BẢN SỬ DỤNG KĨ THUẬT HỌC SÂU Ngành: Hệ thống thông tin Mã số: 9480104 LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS LÊ THANH HƯƠNG HÀ NỘI - 2022 LỜI CAM ĐOAN Tôi tên Lưu Minh Tuấn, xin cam đoan cơng trình nghiên cứu thân nghiên cứu sinh thời gian học tập nghiên cứu hướng dẫn người hướng dẫn khoa học Các kết nghiên cứu trình bày luận án trung thực, xác chưa cơng bố cơng trình khác Các kết nghiên cứu viết chung với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết sử dụng để tham khảo trích dẫn đầy đủ theo quy định Hà Nội, ngày tháng năm 2022 Nghiên cứu sinh Lưu Minh Tuấn NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS Lê Thanh Hương LỜI CẢM ƠN Trong trình học tập nghiên cứu, nghiên cứu sinh nhận nhiều giúp đỡ ý kiến đóng góp q báu thầy Lời đầu tiên, nghiên cứu sinh xin bày tỏ lịng kính trọng biết ơn sâu sắc tới PGS TS Lê Thanh Hương người hướng dẫn khoa học tận tình bảo, hướng dẫn để nghiên cứu sinh hồn thành luận án Nghiên cứu sinh xin gửi lời cảm ơn chân thành tới PGS TS Nguyễn Bình Minh ý kiến đóng góp quý báu buổi xê mi na khoa học nhiều gian nan suốt thời gian nghiên cứu hoàn thành luận án Nghiên cứu sinh xin gửi lời cảm ơn đến thầy cô Bộ môn Hệ thống thông tin, Viện Công nghệ thông tin truyền thơng, Phịng đào tạo, Trường Đại học Bách khoa Hà Nội, nơi nghiên cứu sinh học tập nghiên cứu tạo điều kiện tốt cho nghiên cứu sinh suốt thời gian học tập nghiên cứu để nghiên cứu sinh hồn thành luận án tiến sĩ cách tốt Xin cảm ơn Ban giám hiệu Trường Đại học Kinh tế Quốc dân, Ban Lãnh đạo Viện Công nghệ thông tin Kinh tế số, thầy cô Bộ môn Công nghệ thông tin - nơi nghiên cứu sinh công tác đồng nghiệp quan tâm giúp đỡ, tạo điều kiện tốt để nghiên cứu sinh hồn thành tốt kế hoạch học tập nghiên cứu Lời cuối, nghiên cứu sinh xin chân thành cảm ơn thành viên gia đình, người thân, bạn bè dành cho nghiên cứu sinh tình cảm tốt đẹp, động viên, giúp đỡ nghiên cứu sinh vượt qua khó khăn q trình học tập nghiên cứu để đạt kết ngày hơm Đây q tinh thần mà nghiên cứu sinh trân trọng gửi tặng đến thành viên gia đình người thân Một lần nghiên cứu sinh xin chân thành cảm ơn! MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT iv DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ ix DANH MỤC KÝ HIỆU TOÁN HỌC xi MỞ ĐẦU Chương TỔNG QUAN VỀ TÓM TẮT VĂN BẢN 12 1.1 Giới thiệu tóm tắt văn 12 1.1.1 Giới thiệu tốn tóm tắt văn 12 1.1.2 Phân loại tốn tóm tắt văn 13 1.1.3 Các bước thực tóm tắt văn 14 1.1.4 Một số đặc trưng văn 14 1.2 Một số phương pháp đánh giá văn tóm tắt tự động 15 1.2.1 Phương pháp dựa độ tương tự nội dung 15 1.2.2 Phương pháp dựa độ tương quan phù hợp 15 1.2.3 Phương pháp ROUGE 16 1.3 Các phương pháp kết hợp văn tóm tắt đa văn 19 1.4 Các phương pháp tóm tắt văn hướng trích rút sở 21 1.4.1 PageRank 21 1.4.2 TextRank 21 1.4.3 LexRank 21 1.4.4 Lead-Based 22 1.5 Các liệu thử nghiệm 22 1.5.1 Các liệu văn tiếng Anh 22 1.5.2 Các liệu văn tiếng Việt 25 1.6 Kết luận chương 26 Chương CÁC KIẾN THỨC NỀN TẢNG 28 2.1 Các kỹ thuật học sâu sở 28 2.1.1 Mạng Perceptron nhiều lớp 28 2.1.2 Mạng nơ ron tích chập 28 2.1.3 Mạng nơ ron hồi quy 31 2.1.4 Các biến thể RNN 32 2.1.5 Mơ hình chuỗi sang chuỗi 36 2.1.6 Cơ chế ý 37 2.1.7 Cơ chế tự ý mơ hình Transformer 40 2.2 Các mơ hình ngôn ngữ dựa học sâu huấn luyện trước 43 2.2.1 Mã hóa từ 43 i 2.2.2 Phương pháp Word2Vec 43 2.2.3 Mơ hình BERT 45 2.2.4 Các phiên chủ yếu mơ hình BERT 48 2.3 Kỹ thuật học tăng cường Q-Learning 50 2.3.1 Học tăng cường Q-Learning 50 2.3.2 Thuật toán học tăng cường Deep Q-Learning 51 2.4 Tìm kiếm Beam 52 2.5 Phương pháp độ liên quan cận biên tối đa 52 2.6 Kết luận chương 54 Chương PHÁT TRIỂN CÁC PHƯƠNG PHÁP TĨM TẮT ĐƠN VĂN BẢN HƯỚNG TRÍCH RÚT 55 3.1 Giới thiệu toán hướng tiếp cận 55 3.2 Mơ hình tóm tắt đơn văn hướng trích rút RoPhoBERT_MLP_ESDS 57 3.2.1 Giới thiệu mơ hình 57 3.2.2 Mơ hình tóm tắt văn đề xuất 57 3.2.3 Thử nghiệm mơ hình 60 3.2.4 Đánh giá so sánh kết 64 3.3 Mơ hình tóm tắt đơn văn hướng trích rút mBERT_CNN_ESDS 65 3.3.1 Giới thiệu mơ hình 65 3.3.2 Mơ hình tóm tắt văn đề xuất 65 3.3.3 Thử nghiệm mơ hình 68 3.3.4 Đánh giá so sánh kết 72 3.4 Mơ hình tóm tắt đơn văn hướng trích rút mBERT-Tiny_ seq2seq_DeepQL_ESDS 72 3.4.1 Giới thiệu mơ hình 72 3.4.2 Mơ hình tóm tắt văn đề xuất 73 3.4.3 Huấn luyện mơ hình với kỹ thuật học tăng cường 75 3.4.4 Thử nghiệm mơ hình 76 3.4.5 Đánh giá so sánh kết 79 3.5 So sánh đánh giá ba mơ hình tóm tắt đơn văn hướng trích rút đề xuất 80 3.6 Kết luận chương 81 Chương PHÁT TRIỂN PHƯƠNG PHÁP TÓM TẮT ĐƠN VĂN BẢN HƯỚNG TÓM LƯỢC 83 4.1 Giới thiệu toán hướng tiếp cận 83 4.2 Mơ hình tóm tắt sở 85 4.2.1 Mơ hình seq2seq mơ hình 85 ii 4.2.2 Cơ chế ý áp dụng mơ hình 86 4.2.3 Mạng chép từ - sinh từ 87 4.2.4 Cơ chế bao phủ 88 4.3 Mơ hình tóm tắt đơn văn hướng tóm lược PG_Feature_ASDS 88 4.3.1 Các đặc trưng đề xuất thêm cho mơ hình 89 4.3.2 Mơ hình tóm tắt đơn văn hướng tóm lược đề xuất 90 4.4 Thử nghiệm mô hình 91 4.4.1 Các liệu thử nghiệm 91 4.4.2 Tiền xử lý liệu 91 4.4.3 Thiết kế thử nghiệm 91 4.5 Đánh giá so sánh kết 92 4.6 Kết luận chương 94 Chương PHÁT TRIỂN CÁC PHƯƠNG PHÁP TÓM TẮT ĐA VĂN BẢN 95 5.1 Giới thiệu tốn tóm tắt đa văn hướng tiếp cận 95 5.2 Mơ hình tóm tắt đa văn hướng trích rút Kmeans_Centroid_EMDS 96 5.2.1 Giới thiệu mơ hình 96 5.2.2 Các thành phần mơ hình 97 5.2.3 Mơ hình tóm tắt đa văn đề xuất 99 5.2.4 Thử nghiệm mơ hình kết 104 5.2.5 So sánh đánh giá kết 106 5.3 Các mơ hình tóm tắt đa văn hướng tóm lược dựa mơ hình tóm tắt đơn văn huấn luyện trước 109 5.3.1 Đặt vấn đề 109 5.3.2 Mô hình tóm tắt đa văn hướng tóm lược dựa mơ hình tóm tắt đơn văn hướng tóm lược huấn luyện trước PG_Feature_AMDS 110 5.3.3 Mơ hình tóm tắt đa văn hướng tóm lược dựa mơ hình tóm tắt đơn văn hỗn hợp huấn luyện trước Ext_Abs_AMDS-mds-mmr 120 5.4 Kết luận chương 131 KẾT LUẬN 132 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ 135 TÀI LIỆU THAM KHẢO 136 PHỤ LỤC Phụ lục A: Văn nguồn văn tóm tắt ví dụ Phụ lục B: Biểu đồ phân bố liệu thử nghiệm Phụ lục C: Văn nguồn mẫu tóm tắt thử nghiệm iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Từ viết tắt AMDS ASDS Beam BERT BERT-Tiny biGRU biLSTM BPTT ConvNet DE Decoder DeepQL EMDS Encoder ESDS GLUE GRU ILP IR LCS LDA LSA LSTM mBERT mds MLP MMR NLP Tiếng Anh Ý nghĩa tiếng Việt Tóm tắt đa văn hướng tóm lược Tóm tắt đơn văn hướng tóm lược Thuật tốn tìm kiếm Beam Mơ hình biểu diễn mã hóa hai chiều từ Transformer Mơ hình BERT thu nhỏ Bidirectional Gated Recurrent Unit Mạng GRU chiều Bidirectional Long Short Term Mạng LSTM chiều Memory Backpropagation Through Time Thuật toán lan truyền ngược liên hồi Convolutional Neural Network Mạng nơ ron tích chập Document Embedding Mã hóa văn Decoder Bộ giải mã Deep Q-Learning Thuật toán học tăng cường dựa mạng nơ ron sâu Extractive Multi-Document Tóm tắt đa văn hướng Summarization trích rút Encoder Bộ mã hóa Extractive Single-Document Tóm tắt đơn văn hướng Summarization trích rút General Language Understanding Đánh giá hiểu ngơn ngữ Evaluation chung Gated Recurrent Unit Mơ hình đơn vị hồi quy có kiểm sốt chiều Integer Linear Programming Quy hoạch tuyến tính ngun Information Retrieval Tìm kiếm thông tin Longest Common Subsequence Dãy chung lớn Latent Dirichlet Allocation Mơ hình chủ đề ẩn Latent Semantic Analysis Phân tích ngữ nghĩa tiềm ẩn Long Short Term Memory Mơ hình mạng nhớ ngắn hạn dài hạn chiều BERT multilingual Mơ hình BERT đa ngơn ngữ multi-document summarization Tóm tắt đa văn Multi Layer Perceptron Mạng Perceptron nhiều lớp Maximal Marginal Relevance Độ liên quan cận biên tối đa Natural Language Processing Xử lý ngôn ngữ tự nhiên Abstractive Multi-Document Summarization Abstractive Single-Document Summarization Beam Search Bidirectional Encoder Representation from Transformers iv OOV PE PG Out Of Vocabulary Position Embedding Pointer – Generator PhoBERT Không có từ vựng Mã hóa vị trí Mơ hình mạng Pointer – Generator Mơ hình tối ưu BERT hỗ trợ cho tiếng Việt Huấn luyện trước Học tăng cường Mạng nơ ron hồi quy Mơ hình tối ưu BERT hỗ trợ cho tiếng Anh for Độ đo Rouge PT RL RNN RoBERTa Pre-trained Reinforcement Learning Recurrent Neural Network ROUGE Recall-Oriented Understudy Gisting Evaluation Sentence Embedding Mã hóa câu Sequence to sequence Mơ hình chuỗi sang chuỗi Stanford Question Answering Dataset Bộ liệu hỏi đáp Stanford Support Vector Machine Mơ hình máy véc tơ hỗ trợ Term Frequency – Inverse Document Trọng số từ (mức độ Frequency quan trọng từ) văn tập văn Tóm tắt văn warmup Quá trình huấn luyện ban đầu (số bước) với tỉ lệ học nhỏ Word Embedding Mã hóa từ SE seq2seq SQuAD SVM TF-IDF TTVB warmup WE v DANH MỤC CÁC BẢNG Bảng 1.1 Ví dụ minh họa văn tóm tắt văn tiếng Anh 13 Bảng 1.2 Ví dụ minh họa văn tóm tắt văn tiếng Việt 13 Bảng 1.3 Phương pháp phân chia liệu CNN/Daily Mail 22 Bảng 1.4 Thống kê thông tin hai liệu CNN Daily Mail 23 Bảng 1.5 Thống kê thơng tin tóm tắt liệu DUC 2001 DUC 2002 sử dụng cho tóm tắt đơn văn 23 Bảng 1.6 Thống kê thông tin tóm tắt liệu DUC 2004 24 Bảng 1.7 Thống kê thơng tin tóm tắt tập liệu Main task liệu DUC 2007 24 Bảng 1.8 Thống kê thơng tin tóm tắt liệu Baomoi 25 Bảng 1.9 Thống kê thơng tin tóm tắt liệu Corpus_TMV 26 Bảng 1.10 Thống kê thơng tin tóm tắt liệu ViMs 26 Bảng 3.1 Kết thử nghiệm số phương pháp tóm tắt văn sở Ký hiệu ‘*’ thể phương pháp triển khai thử nghiệm liệu tương ứng 61 Bảng 3.2 Giá trị siêu tham số thời gian huấn luyện mơ hình xây dựng 62 Bảng 3.3 Kết thử nghiệm mơ hình xây dựng Ký hiệu ‘-’ biểu diễn mơ hình mà luận án khơng thử nghiệm liệu tương ứng 62 Bảng 3.4 Một mẫu tóm tắt liệu CNN 63 Bảng 3.5 Một mẫu tóm tắt liệu Baomoi 64 Bảng 3.6 So sánh đánh giá hiệu phương pháp Ký hiệu ‘*’,‘-’ biểu diễn phương pháp thử nghiệm, không thử nghiệm liệu tương ứng 64 Bảng 3.7 Các kết thử nghiệm mơ hình xây dựng 70 Bảng 3.8 Kết thử nghiệm phương pháp DUC 2001 DUC 2002 Ký hiệu ‘*’, ‘-’ biểu diễn phương pháp thử nghiệm, không thử nghiệm 70 Bảng 3.9 Một mẫu tóm tắt liệu CNN 71 Bảng 3.10 Một mẫu tóm tắt liệu Baomoi 71 Bảng 3.11 So sánh đánh giá hiệu phương pháp Ký hiệu ‘*’, ‘-’ biểu diễn phương pháp thử nghiệm, không thử nghiệm liệu tương ứng 72 Bảng 3.12 Bảng giá trị siêu tham số cài đặt cho mơ hình huấn luyện với kỹ thuật học tăng cường Deep Q-Learning 75 vi B.3 Bộ liệu DUC 2001 Biểu đồ phân bố độ dài trung bình văn nguồn Biểu đồ phân bố độ dài trung bình văn tóm tắt B.4 Bộ liệu DUC 2002 Biểu đồ phân bố độ dài trung bình văn nguồn Biểu đồ phân bố độ dài trung bình văn tóm tắt B.5 Bộ liệu DUC 2004 Biểu đồ phân bố độ dài trung bình văn nguồn Biểu đồ phân bố độ dài trung bình văn tóm tắt B.6 Bộ liệu DUC 2007 Biểu đồ phân bố độ dài trung bình văn nguồn Biểu đồ phân bố độ dài trung bình văn tóm tắt B.7 Bộ liệu Baomoi Biểu đồ phân bố độ dài trung bình văn nguồn Biểu đồ phân bố độ dài trung bình văn tóm tắt B.8 Bộ liệu Corpus_TMV Biểu đồ phân bố độ dài trung bình văn nguồn Biểu đồ phân bố độ dài trung bình văn tóm tắt B.9 Bộ liệu ViMs Biểu đồ phân bố độ dài trung bình văn nguồn Biểu đồ phân bố độ dài trung bình văn tóm tắt Phụ lục C: Văn nguồn mẫu tóm tắt thử nghiệm C.1 Văn nguồn mẫu thử nghiệm mơ hình RoPhoBERT_MLP_ESDS • Nội dung văn nguồn liệu CNN Lois Lilienstein , co - star of " Sharon , Lois & Bram 's Elephant Show " - the Canadian preschool show that ran on Nickelodeon during the early 1990s - has died , aged 78 Her son , David Lilienstein , told CBC News that his mother died in Toronto on Wednesday night from a rare form of cancer first diagnosed last October " She knew it was happening , she was at peace with it , and she died very peacefully and not in pain , " he told the Canadian “ broadcaster Liz Smith at 92 Lilienstein was born in Chicago in 1936 and moved to Toronto in 1996 with her son and her husband , Ernest She joined Sharon Hampson and Bram Morrison to launch their singing trio in 1978 The TV show " Sharon , Lois & Bram 's Elephant Show " ran on CBC in Canada from 1984 to 1989 , before continuing in reruns on Nickelodeon stateside until 1995 The 30 most popular film producers in Hollywood Sally Catto , general manager , programming at CBC Television , paid tribute to Lilienstein for her contribution to Canadian kids TV " Sharon , Lois and Bram got their start at CBC back in the ' 80s with the Elephant Show , and they went on to become icons to children all across North America through various programs and specials Lois will be fondly remembered by her many friends at CBC , " Catto told The Hollywood Reporter ' Ghostbusters ' budget cut The Canadian variety show was best known for songs like " Skinnamarink " and " Peanut Butter " Lilienstein left the Sharon , Lois & Bram performance trio in 2000 The Hollywood Reporter All rights reserved ” • Nội dung văn nguồn liệu Baomoi Nhóm tra viên Cơ quan Năng lượng Nguyên tử Quốc tế ( IAEA ) ngày 18/1 tới thủ đô Tehran Iran để giám sát việc thực thi thoả thuận tạm thời nước nhóm P 5+1 Hãng thơng Fars Iran cho biết , nhóm tra kỹ sư hạt nhân Massimo Aparo dẫn đầu bắt đầu nộp báo cáo cho IAEA vào ngày 20/1 tới – thời điểm mà thoả thuận Iran P 5+1 thức có hiệu lực Đại sứ Iran IAEA Reza Najafi trả lời họp báo trụ sở IAEA Vienna , Áo ( Ảnh AFP ) Các tra thị sát hai nhà máy hạt nhân Natanz Fordow Iran để đảm bảo nước dừng hoạt động sản xuất uranium cấp độ 20% , đồng thời vơ hiệu hố kho uranium làm giàu cách pha loãng Cùng ngày , IAEA cho biết , quan cần thêm tiền tài trợ khoảng triệu Euro vòng tháng tới để trang trải chi phí cho hoạt động giám sát Ngày 24/11/2013 , Iran Nhóm P 5+1 ( gồm Anh , Pháp , Mỹ , Nga , Trung Quốc Đức ) đạt thoả thuận sơ để giải bế tắc đàm phán chương trình hạt nhân gây tranh cãi Iran Theo thoả thuận , Iran tạm dừng phần chương trình hạt nhân để đổi lấy việc phương Tây nới lỏng biện pháp trừng phạt kinh tế nhằm vào nước / Hồng Anh / VOV-Trung tâm Tin Theo Reuters “ ” C.2 Văn nguồn mẫu thử nghiệm mơ hình mBERT_CNN_ESDS 10 • Nội dung văn nguồn liệu CNN Panama City, Panama (CNN) Ending a decade - long standstill in U.S - Cuba relations, President Barack Obama met for an hour Saturday with his Cuban counterpart Raul Castro, the first time the two nations' top leaders have sat down for substantive talks in more than 50 years The meeting in a small conference room on the sidelines of the Summit of the Americas came as the two countries work to end the Cold War enmity that had led to a total freeze of diplomatic ties And while both leaders proclaimed progress had been made, a key stumbling block Cuba's place on the U.S list of countries that sponsor terror remained unresolved "This is obviously an historic meeting, "Obama said at the beginning of his session with Castro, claiming that decades of strain had done little to benefit either Cubans or citizens of the United States "It was time for us to try something new," he said "We are now in a position to move on a path toward the future "Castro, who earlier in the day said he trusted Obama, acknowledged there would be difficult stumbling blocks as his nation works to repair ties with the United States But he said those differences could be surmounted "We are willing to discuss everything, but we need to be patient, very patient," Castro said "We might disagree on something today on which we could agree tomorrow "Speaking to reporters after his session with Castro, Obama said the meeting was "candid and fruitful" and could prove to be a "turning point" in his push to defrost ties with Cuba But he said he hadn't yet decided whether to remove Cuba's designation as a state sponsor of terror, an outcome that had previously been expected during the summit The State Department provided Obama with a review of the terror status this week "I want to make sure I have a chance to read it, study it before we announce publicly what the policy outcome is going to be," Obama said "But in terms of the overall direction of Cuba policy, I think there is a strong majority both in the United States and in Cuba that says our ability to engage, to open up commerce and travel and people to people exchanges is ultimately going to be good for Cuban people "On Friday night, Obama and Castro greeted each other courteously amid an explosion of camera flashes, shaking hands before dining at the inaugural session of the conference The two sat at the same table but not directly next to one another Before Obama arrived in Panama on Wednesday, he spoke with Castro by phone, laying the groundwork for what will become a new era of relations between the neighboring countries "The Cold War has been over for a long time, "Obama said during opening remarks at the summit Saturday "I'm not interested in having battles, frankly, that began before I was born "That exhortation, however, seemed to be lost on Castro himself, who expanded “ 11 what was meant to be a six - minute speech into a 50 minute address lecturing leaders on Cuba's revolution and giving a litany of perceived grievances to Cuba over the past 50 years But he distinguished Obama from past American presidents, saying he respected Obama's move toward reconciliation "In my opinion, President Obama in an honest man, "Castro said through an interpreter "I admire him, and I think his behavior has a lot to with his humble background "U.S administration official said Castro’s long list of grievances was expected, despite the move toward diplomatic ties "(What’s) unique and new is what he said about the president, "the official said of Castro’s praise for Obama Obama announced in December that he was seeking to renew diplomatic relations with Cuba after half a century of strife, including eventually opening embassies in Washington and Havana Obama set to test engagement doctrine with Cuba in Panama His meeting with Castro on Saturday isn’t being billed as a formal bilateral session, but Obama’s aides are still characterizing the event as the highest - level engagement with the Cuban government since then - Vice President Richard Nixon met with Fidel Castro in 1959 "We’re in new territory here, "Ben Rhodes, Obama’s deputy national security adviser, said Friday "The reason we’re here is because the President strongly believes that an approach that was focused entirely on isolation, focused entirely on seeking to cut off the Cuban people from the United States of America had failed "The overtures to Cuba have not been universally popular in the United States; some lawmakers were irate that Obama was seeking to engage what they regard as a corrupt government "A recommendation to remove Cuba from the list of State Sponsors of Terrorism would represent another significant misstep in a misguided policy, "Sen Bob Menendez, a Democrat who used to the chair the Foreign Relations Committee, wrote in a statement last week In Latin America, however, Obama was receiving a warm welcome after announcing he was seeking to engage Havana in talks over reopening embassies and removing barriers to commerce and travel things you wanted to ask about the Cuban embargo He noted to applause during a session Friday that this was the first summit with Cuba in attendance And he’s cast the decision to reopen the U.S relationship with Cuba as beneficial to the entire hemisphere, which has also embraced his immigration executive action But even as Obama landed in Panama, the longstanding gulfs between the two countries ' governments were on display Dissidents opposed to Castro’s regime were violently accosted this week by supporters of the Cuban government, a scuffle the White House said was unacceptable "As we move toward the process of normalization, we’ll have our differences, government to government, with Cuba on many issues just as we differ at times with other nations within the Americas, just as we 12 differ with our closest allies," Obama said at a meeting of civil society leaders Friday "There’s nothing wrong with that." "But I 'm here to say that when we speak out, we’re going to so because the United States of America does believe, and will always stand for, a certain set of universal values, "he said The long history between the U.S and Cuba Obama closed out his time in Panama with a news conference where he covered topics ranging from Hillary Clinton’s expected presidential announcement to his framework deal with Iran on its nuclear program The President had pointed criticism for Sen John McCain, R Arizona Earlier this week, McCain accused Secretary of State John Kerry of intentionally mischaracterizing what the sides had agreed to in the Iran nuclear deal "John Kerry is delusional, "McCain said on the Hugh Hewitt show, a conservative talk radio program, adding that the view from the Supreme Leader of Iran of the provisions agreed to" is probably right, " rather than what the United States maintains are the agreed provisions While discussing the Iran agreement Saturday, Obama brought up those remarks without being asked "When I hear someone like Sen McCain recently suggest that our secretary of state, John Kerry, who served in the United States Senate, (is) a Vietnam veteran, who’s provided exemplary service to this nation, is somehow less trustworthy of the interpretation of what’s in a political agreement than the Supreme Leader of Iran, that’s an indication of the degree to which partisanship has crossed all boundaries," he said at the news conference After the President’s remarks, McCain tweeted "So Pres Obama goes to # Panama, meets with Castro and attacks me - I 'm sure Raul is pleased." As for his 2008 Democratic rival, Obama said, "If she decides to run, if she makes an announcement, she’s going to have some strong messages to deliver," he said ” • Nội dung văn nguồn liệu Baomoi Vụ tai nạn nói xảy vào khoảng 23h15 ngày 19/1, cầu Bến Thuỷ, Quốc lộ 1A Theo đó, vào khoảng thời gian trên, xe mang BKS: 37 A-048 45 điều khiển xe lưu thông theo hướng Bắc - Nam bất ngờ lao lên dải phân cách đường ô tô xe máy Hiện trường vụ tai nạn Sau cú đâm mạnh, đầu xe bị hư hỏng, toàn xe bị nằm gác dải phân cách đường Những người ngồi xe khơng có bị thương Do buồn ngủ, thay sang đường cho ô tô, xe chọn đường riêng cách leo lên dãi phân cách Ngay sau vụ tai nạn xảy ra, chủ xe tiến hành gọi cứu hộ giao thông đến để giải cứu xe Tuy nhiên, phải gần đồng hồ sau, xe tách khỏi dải phân cách Sau "lỡ" leo lên dải phân cách, đầu xe bị hư hỏng nặng Vụ tai nạn xảy đầu cầu nên “ 13 khiến giao thông qua bị hỗn loạn Các nhân viên trạm soát vé cầu Bến Thuỷ phải điều tiết giao thông, tránh ùn tắc nghiêm trọng tuyến đường Sau bị tai nạn, chủ xe gọi điện nhờ xe cứu hộ đến để giải vụ việc ” C.3 Văn nguồn mẫu thử nghiệm mơ hình mBERTTiny_sep2seq_DeepQL_ASDS • Nội dung văn nguồn liệu CNN Duhok , Iraqi Kurdistan ( CNN ) The children laugh and shriek , as some of them seem to always have the capacity to no matter how depressing the circumstances Their bright clothes provide splashes of color against the otherwise drab monotone white of the endless rows of tents A small group plays with rocks , replacements for the toys they left behind when they fled , while others clamber through a jagged tear in the wire fence surrounding the refugee camp The Shariya refugee camp opened around six months ago , made up of some 4,000 tents and counting Thousands of Yazidis now call this corner of Iraqi Kurdistan home , about 18 miles ( 30 kilometers ) from one of the front lines with ISIS , where one can hear the occasional reverberation in the distance of what we are told are airstrikes The vast majority of the camp 's occupants are from the town of Sinjar , which is near the border with Syrian Kurdistan , and fled the ISIS assault there back in August But not everyone escaped ISIS took thousands of Yazidis captive The fighters separated the young women and girls , some as young as years old , to be sold as slaves , for their " masters " to use as concubines Men faced a choice : Convert to Islam or be shot Mahmoud was out running errands when ISIS fighters arrived , taking his wife , Ahlam , their three children the youngest of which was just a month old and his elderly parents " They took our phones , jewelry , money , " Ahlam recalls " They had guns They forced us at gunpoint into big trailer trucks " They were taken to a school turned prison in Tal Afar From there , the family was moved from village to village and at one stage taken to Mosul " They wrote everyone 's name down and they asked where we want to work , in the fields , as cleaners or as herders , " she says Ahlam and her family chose to herd goats They were then taken to a Shia village whose residents had fled , where they were part of a group of around 40 living in one house In the home , Ahlam found a cell phone left behind by its former occupants and called her husband " I said we are alive but we are prisoners " Ahlam 's husband , who up until that moment had lost the will to live , thinking his family was dead , says he cried out of happiness despite his pain Ahlam “ 14 would call when she could , briefly , after midnight , hiding under her bedcovers If she was caught with a phone , she would be killed The village itself was a massive prison , its entrances guarded by ISIS fighters She recalls that two men , in their late 40s or 50s , tried to escape When they were caught , their bones were broken , their bodies tied to the back of a truck and then driven through the streets The Yazidi captives were forced to watch the gruesome spectacle The men 's corpses were then tossed into a ditch and an order given not to bury them One night , some of the Yazidi men risked their lives to toss dirt onto the bodies , to give those slain what dignity they could Ahlam tells us that about a week before we met , ISIS fighters came by and took away her in - laws and the other elderly people living in the house " We did n't know where they were taking them , we thought we would be next , " she remembers So she and the rest of the group realized that they had to try to flee " We decided that either we survive or we n't " They left at midnight Ahlam cradled the baby , as her two other children , ages and years old , clutched at her clothes She prayed the baby would n't cry , that the children could keep walking They knew the general direction to take , but not the exact route , and they could only hope it was toward freedom " When the sun started to come up , I thought that 's it , we are going to get caught , " Ahlam says " And what am I going to with the kids ? I ca n't carry all three of them and run " Luckily , Ahlam never had to answer that impossible question The group made it into Iraqi Kurdistan The couple ca n't put into words their emotions when they were reunited Mahmoud , gently caressing his daughter 's palm , says he could hardly believe that the woman whose stunning eyes and gentle words he had fallen in love with , and their three children , were by his side again It had been eight agonizing months But their joy was tainted by fear for Mahmoud 's parents A few days after Mahmoud and Ahlam were reunited , ISIS released 217 captives No one is disclosing exactly why Among them were 60 children , a handful of men and women , and the rest were elderly including Mahmoud 's parents " We did n't know if they were going to slaughter us or what they were going to with us , " Mahmoud 's father says " They moved us around a lot , and at one stage we stayed in in one place for three days " But Ahlam 's parents are still with ISIS Vian Dakhil , a Yazidi member of Iraq 's parliament , speculates that the Yazidis ISIS released are individuals they were struggling to care for Dakhil is part of Iraqi Prime Minister Haider al - Abadi 's delegation to the United States this week She will be addressing the United Nations pleading for more international support for Iraq and more airstrikes to help defeat ISIS and she will address the plight of the 15 Yazidis " We sometimes say that we wish we had been massacred This would be better than being kidnapped and raped We prefer death now over the fate of what is happening to these girls and women , " Dakhil says " It is now on the government and on the international community to focus on this How to get these captives back It 's inconceivable that in the 21st century , something like this is happening as if we were living in the Stone Age " Ahlam says she was spared because she was breastfeeding and she had young children , which , we 're told , makes her impure and therefore unable to be used as a sex slave For Ahlam , what she went through was not the hardest part of her ordeal It 's the moment when the ISIS fighters began taking away the girls and young women She 's haunted by their screams , the image of them being dragged away sobbing and screaming ” • Nội dung văn nguồn liệu Baomoi Chắc chắn SVĐ San Siro lại rực sáng mà tifosi họ chứng kiến mắt cựu cầu thủ Clarence Seedorf cương vị HLV trưởng AC Milan Tuy nhiên , nhiệm vụ cựu cầu thủ nguời Hà Lan lúc nặng nề AC Milan khơng cịn có sức mạnh thời anh cịn khốc áo Hiện đội bóng áo đỏ đen thành Milan đứng khiêm tốn vị trí thứ 11 sau 19 vịng đấu Tức họ kết thúc luợt nửa cuối BXH Phải tiếp Verona - CLB thi đấu ổn định mùa kiểm tra thực với Clarence Seedorf cương vị mà anh chưa có kinh nghiệm Hiện đội khách Verona có 32 điểm đứng thứ , số điểm AC Milan 22 Thế nên có chiến thắng trận đấu lại , Milan hy vọng chen chân vào nhóm dự cúp châu Âu Hy vọng trận đấu , đội bóng chủ sân San Siro làm cho khán đài họ lại rực sáng trở lại Ở nửa đầu BXH , Juventus gần chắn có trọn vẹn điểm để vững vàng đầu , mà họ thi đấu sân nhà phải tiếp Sampdoria cỏi mùa Vì , thày trị ơng Antonio Conte hồn toan tự tin có trận thắng thứ 18 mùa giải trận đấu vào đêm thứ Bảy tới Trong , với AS Roma , nhiệm vụ họ dễ dàng Juventus họ thi đấu sân nhà Olympico đối thủ đội bóng áo bã trầu thành Rome Livorno - đội bóng có 13 điểm đứng thứ 19 Thế nên , khoảng cách điểm so với Juventus chắn giữ nguyên sau vòng đấu Với Napoli lại khác , thày trị ơng Benitez nhiều gặp khó khăn họ phải hành quân đến Bologna cho dù thời điểm , Bologna có phong độ khơng tốt phải vật lộn với nhóm cầm đèn đỏ Phải thực tập trung biết tôn trọng đối thủ may Napoli ni hy vọng giữ khoảng cách với đội xếp Juventus “ 16 Roma vòng đầu khép lại Trong , Fiorentina lại có chuyến làm khách cho “ dễ thở ” Thày trị ơng Vincenzo Montella phải chơi sân đội bóng cuối bảng Catania Cặp đấu cân sức cân tài vịng đấu có lẽ thuộc Genoa Inter Milan Hiện Inter đứng thứ 32 điểm ( điểm với Verona hiệu số bàn thắng-thua ) , Genoa dù Inter bậc họ lại thi đấu sân nhà Thực sự, phong độ thi đấu sân khách cầu thủ áo xanh đen thành Milan mùa không tốt Thế nên chuyến làm khách hứa hẹn chuyến “ lành nhiều ” Nếu thực có điểm trận đấu thành công với Inter Milan Các cặp đấu cịn lại , khả khơng có nhiều bất ngờ ” C.4 Văn nguồn mẫu thử nghiệm mơ hình PG_Feature_ASDS • Nội dung văn nguồn liệu CNN A Texas English high school teacher has been arrested after being accused of having an improper relationship with a male student older than 17 years old Mary Todd Lowrance , 49 , a teacher at Moises E Molina High School , turned herself into Dallas Independent School District police on Thursday morning , according to Dallas ISD Police Chief Craig Miller Miller said the teacher had been in a relationship with the student for a couple of months Officers learned of the alleged relationship after Lowrance disclosed details to a coworker who then alerted a Dallas ISD officer Mary Todd Lowrance ( above ) , 49 , a Texas English high school teacher was arrested after being accused of having an improper relationship with a male student over the age of 17 , according to authorities If the student had been a juvenile , the case would have been handled by the Dallas Police Department , Miller told The Dallas Morning News When you get 160,000 students and 10,000 teachers , you hear a lot of rumors , and you have to investigate all of them , ' said Miller And in this case , there was something to it The student has been offered counseling We 're doing everything we can for him as well Miller said that after Lowrance 's coworker alerted authorities , it prompted an investigation where interviews were conducted with Lowrance , the student and two witnesses The Dallas ISD police then got an arrest warrant Miller said Lowrance has been on leave for several weeks while investigators worked on the case , according to NBCDFW After she turned herself into authorities , she was booked into the Dallas County jail around 11 am on Thursday on a $ 5,000 bond and was released at 4.40 pm , according to county records Calls made to the “ 17 Dallas Independent School District police on Friday were not immediately returned to Daily Mail Online Lowrance , a teacher at Moises E Molina High School ( file photo above ) , turned herself in on Thursday morning and was released at 4.40 pm , according to county records ” • Nội dung văn nguồn liệu Baomoi Sự việc bị phanh phui vào ngày 30/8 vừa qua Cơ_quan an toàn thực phẩm , phịng cơng_thương , cơng_an quyền thị xã phối hợp điều tra việc trường , 1.000 kg dầu bẩn vừa chuyển tới xe_tải chở hàng Theo nguồn_tin thân cậy , số dầu có xuất xứ từ xưởng chế biến mã điếm , giao châu Ngày 31/8 , tổ cơng_tác gồm phịng an tồn thực phẩm , cơng an quyền mã điếm , giao châu nhanh chóng điều tra làm rõ chân tướng vụ việc Địa cung cấp từ nguồn tin khơng cịn tồn xưởng sản xuất lặn tăm trước vài ngày Nhưng mã điếm xưởng khác nằm đường giao bình Được biết , vốn xưởng chế biến thực phẩm hợp pháp xưởng bắc đô , giao châu Trước , xưởng kinh doanh sản phẩm nông nghiệp Vài ngày trước , xưởng sản xuất dầu bẩn tóp mỡ thịt lợn bầy nhầy da gà chuyển tới , núp bóng doanh nghiệp hợp pháp để hoạt động Chình ình trước cửa xưởng biển lớn với dòng chữ : “ xưởng gia công thực phẩm bắc đô , giao châu ” Trong gian xưởng có diện tích 100 m2 , hai nồi lớn đầy ắp miếng thịt bầy nhầy trộn xẻng lớn Những bịch nilong đựng mỡ chất đống ngổn ngang , ruồi nhặng bâu đen Mé phía đơng có ba nồi lớn , bên cạnh gian nhà ngói ngập ngụa khói Khơng dầu ăn siêu bẩn , tóp mỡ đen sản phẩm lò xưởng Xưởng sản xuất dầu bẩn tóp mỡ đen từ thịt bầy nhầy da gà Chủ xưởng thừa nhận khơng có giấy phép sản xuất , chế biến dầu ăn hoạt_động suôn_sẻ Loại dầu siêu bẩn sau chuyển tới tức mặc , đảo chị không khẳng định địa tiêu thụ xưởng sản xuất bánh trung thu Tuy nhiên , theo điều tra , thùng dầu hoàn toàn trùng khớp với 1.000 kg dầu bẩn xe tải chở hàng đổ mối xưởng bánh trung thu gần đường di khang , tức mặc “ chưa tịch thu sổ nhật ký giao hàng xưởng dầu , nên tạm thời chưa kết luận xưởng bánh trung thu tức mặc có sử dụng loại dầu không Sự việc trình điều tra ” , nhân viên thuộc tổ điều tra giao châu cho biết “ không loại bỏ loại dầu ăn siêu bẩn , chắn xưởng sản xuất tận_dụng để chế biến thực phẩm gây nguy hại tới sức khoẻ người tiêu_dùng ” , người dân tức mặc xúc chia sẻ với báo chí Theo cát miên báo đất việt “ ” 18 C.5 Văn nguồn mẫu thử nghiệm mơ hình Kmeans_Centroid_EMDS • Nội dung văn nguồn liệu DUC 2007 Chi tiết xem cụm liệu D0716D liệu DUC 2007 [81] • Nội dung văn nguồn liệu Corpus_TMV Chi tiết xem cụm liệu Cluster_2 liệu Corpus_TMV [82] C.6 Văn nguồn mẫu thử nghiệm mơ hình PG_Feature_AMDS • Nội dung văn nguồn liệu DUC 2004 Chi tiết xem cụm liệu D30003T liệu DUC 2004 [80] • Nội dung văn nguồn liệu Corpus_TMV Chi tiết xem cụm liệu Cluster_59 liệu Corpus_TMV [82] C.7 Văn nguồn mẫu thử nghiệm mơ hình Ext_Abs_AMDS • Nội dung văn nguồn liệu DUC 2004 Chi tiết xem cụm liệu D30001T liệu DUC 2004 [80] • Nội dung văn nguồn liệu Corpus_TMV Chi tiết xem cụm liệu Cluster_75 liệu Corpus_TMV [82] 19 ... giới thiệu tóm tắt văn bản, bước thực tóm tắt văn bản, số đặc trưng văn bản, phương pháp đánh giá văn tóm tắt phổ biến, phương pháp kết hợp văn tóm tắt đa văn bản, phương pháp tóm tắt văn hướng... cố gắng phát triển cải tiến phương pháp tóm tắt văn có nhằm tạo hệ thống tóm tắt văn hiệu Các phương pháp tóm tắt văn thường trích rút tóm lược áp dụng cho tóm tắt đơn văn tóm tắt đa văn Do đó,... đa văn trở thành tốn tóm tắt đơn văn sử dụng kỹ thuật tóm tắt đơn văn để sinh tóm tắt cuối - Phương pháp thứ hai: Trước hết, văn tập đa văn tóm tắt để sinh văn tóm tắt tương ứng Sau đó, văn tóm