Nghiên cứu, phát triển một số phương pháp tóm tắt văn bản sử dụng kĩ thuật học sâu

LỜI CAM ĐOAN Tôi tên Luu Minh Tuấn, xin cam doan dây cơng trình nghiên cứu thân nghiên cứu sinh thời gian học tập nghiên cứu duới huớng dẫn nguời huớng dẫn khoa học Các kết nghiên cứu trình bày luận án trung thực, xác chua duợc cơng bố cơng trình khác Các kết nghiên cứu viết chung với tác giả khác dều duợc dồng ý dồng tác giả truớc dua vào luận án Các kết sử dụng dể tham khảo dều duợc trích dẫn dầy dủ theo dúng quy dịnh Hà Nội, ngày tháng nam 2022 Nghiên cứu sinh Luu Minh Tuấn NGUỜI HUỚNG DẪN KHOA HỌC LỜI CẢM ON Trong trình học tập nghiên cứu, nghiên cứu sinh dã nhận duợc nhiều giúp dỡ ý kiến dóng góp quý báu thầy cô Lời dầu tiên, nghiên cứu sinh xin duợc bày tỏ lịng kính trọng biết on sâu sắc tới PGS TS Lê Thanh Huong nguời huớng dẫn khoa học dã tận tình bảo, huớng dẫn dể nghiên cứu sinh hồn thành duợc luận án Nghiên cứu sinh xin gửi lời cảm on chân thành tới PGS TS Nguyễn Bình Minh ý kiến dóng góp quý báu buổi xê mi na khoa học nhiều gian nan suốt thời gian nghiên cứu hoàn thành luận án Nghiên cứu sinh xin gửi lời cảm on dến thầy cô Bộ môn Hệ thống thông tin, Viện Công nghệ thơng tin truyền thơng, Phịng tạo, Truờng Đại học Bách khoa Hà Nội, noi nghiên cứu sinh học tập nghiên cứu dã tạo diều kiện tốt cho nghiên cứu sinh suốt thời gian học tập nghiên cứu dể nghiên cứu sinh hồn thành luận án tiến si cách tốt Xin cảm on Ban giám hiệu Truờng Đại học Kinh tế Quốc dân, Ban Lãnh dạo Viện Công nghệ thông tin Kinh tế số, thầy cô Bộ môn Công nghệ thông tin - noi nghiên cứu sinh công tác dồng nghiệp dã quan tâm giúp dỡ, tạo diều kiện tốt dể nghiên cứu sinh hồn thành tốt kế hoạch học tập nghiên cứu Lời cuối, nghiên cứu sinh xin chân thành cảm on thành viên gia dình, nguời thân, bạn bè dã dành cho nghiên cứu sinh tình cảm tốt dẹp, ln dộng viên, giúp dỡ nghiên cứu sinh vuợt qua khó khan trình học tập nghiên cứu dể dạt duợc kết nhu ngày hôm Đây cung quà tinh thần mà nghiên cứu sinh trân trọng gửi tặng dến thành viên gia dình nguời thân Một lần nghiên cứu sinh xin chân thành cảm on! MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ DANH MỤC KÝ HIỆU TOÁN HỌC MỞ ĐẦU Chuong TỔNG QUAN VỀ TÓM TẮT VAN BẢN iv vi ix xi 11 1.1 Giới thiệu tóm tắt van 11 1.1.1 Giới thiệu tốn tóm tắt van 1.1.2 Phân loại tốn tóm tắt van 1.1.3 Các buớc thực tóm tắt van 1.1.4 Một số dặc trung van 1.2 Một số phuong pháp dánh giá van tóm tắt tự dộng 11 12 13 13 14 1.2.1 Phuong pháp dựa dộ tuong tự nội dung 14 1.2.2 Phuong pháp dựa dộ tuong quan phù hợp 14 1.2.3 Phuong pháp ROUGE 15 1.3 Các phuong pháp kết hợp van tóm tắt da van 1.4 Các phuong pháp tóm tắt van huớng trích rút co sở 18 20 1.4.1 PageRank 1.4.2 TextRank 1.4.3 LexRank 1.4.4 Lead-Based 20 20 20 21 1.5 Các liệu thử nghiệm 21 1.5.1 Các liệu van tiếng Anh 21 1.5.2 Các liệu van tiếng Việt 24 1.6 Kết luận chuong 25 Chuong CÁC KIẾN THỨC NỀN TẢNG 27 2.1 Các kỹ thuật học sâu co sở 27 2.1.1 Mạng Perceptron nhiều lớp 2.1.2 Mạng no ron tích chập 2.1.3 Mạng no ron hồi quy 2.1.4 Các biến thể RNN 2.1.5 Mơ hình chuỗi sang chuỗi co 2.1.6 Co chế ý 2.1.7 Co chế tự ý mơ hình Transformer 2.2 Các mơ hình ngơn ngữ dựa học sâu duợc huấn luyện truớc 42 2.2.1 Mã hóa từ i 27 28 30 31 35 36 39 42 2.2.2 Phuong pháp Word2Vec 42 2.2.3 Mơ hình BERT 44 2.2.4 Các phiên chủ yếu mơ hình BERT 47 2.3 Kỹ thuật học tang cuờng Q-Learning 49 2.3.1 Học tang cuờng Q-Learning 49 2.3.2 Thuật toán học tang cuờng Deep Q-Learning 50 2.4 Tìm kiếm Beam 51 2.5 Phuong pháp dộ liên quan cận biên tối da 51 2.6 Kết luận chuong HUỚ NG T RÍCH RÚT 54 53 Chuong P HÁT T RIỂN CÁ C P HUO NG PHÁP TÓM TẮ TĐO N VAN BẢN 3.1 Giới thiệu toán huớng tiếp cận 54 3.2 Mơ hình tóm tắt don van huớ ng trích rút RoPhoBERT_MLP_ESDS 56 3.2.1 Giới thiệu mơ hình 56 3.2.2 Mơ hình tóm tắt van dề xuất 56 3.2.3 Thử nghiệm mơ hình 59 3.2.4 Đánh giá so sánh kết 63 3.3 Mơ hình tóm tắt don van huớ ng trích rút mBERT_CNN_ESDS 64 3.3.1 Giới thiệu mô hình 64 3.3.2 Mơ hình tóm tắt van dề xuất 64 3.3.3 Thử nghiệm mơ hình 67 3.3.4 Đánh giá so sánh kết 71 3.4 Mơ hình tóm tắt don van huớng trích rút mBERT-Tiny_ seq2seq_DeepQL_ESDS 71 3.4.1 Giới thiệu mô hình 3.4.2 Mơ hình tóm tắt van dề xuất 3.4.3 Huấn luyện mơ hình với kỹ thuật học tang cuờng 3.4.4 Thử nghiệm mơ hình 3.4.5 Đánh giá so sánh kết 71 72 74 75 78 3.5 So sánh dánh giá ba mơ hình tóm tắt don van huớ ng trích rút dề xuất 79 3.6 Kết luận chuong HUỚ NG TÓ M L UỢC 82 80 Chuong PHÁ T T RIỂN P HUO NG PHÁ P TÓ M TẮT ĐO N VA N BẢN 4.1 Giới thiệu toán huớng tiếp cận 82 4.2 Mơ hình tóm tắt co sở 84 4.2.1 Mơ hình seq2seq mơ hình 84 ii 4.2.2 Co chế ý áp dụng mơ hình 85 4.2.3 Mạng chép từ - sinh từ 86 4.2.4 Co chế bao phủ 87 4.3 Mô hình tóm tắt don van huớ ng tóm luợ c PG_Feature_ASDS 87 4.3.1 Các dặc trung dề xuất thêm cho mơ hình 88 4.3.2 Mơ hình tóm tắt don van huớng tóm luợc dề xuất 89 4.4 Thử nghiệm mơ hình 89 4.4.1 Các liệu thử nghiệm 89 4.4.2 Tiền xử lý liệu 90 4.4.3 Thiết kế thử nghiệm 90 4.5 Đánh giá so sánh kết 91 4.6 Kết luận chuong 93 Chuong PHÁT T RIỂN CÁ C PHUO NG PHÁP TÓ M TẮ T ĐA VAN BẢN 94 5.1 Giới thiệu tốn tóm tắt da van huớng tiếp cận 94 5.2 Mơ hình tóm tắt da van huớ ng trích rút Kmeans_Centroid_EMDS 95 5.2.1 Giới thiệu mô hình 95 5.2.2 Các thành phần mơ hình 96 5.2.3 Mơ hình tóm tắt da van dề xuất 100 5.2.4 Thử nghiệm mơ hình kết 104 5.2.5 So sánh dánh giá kết 107 5.3 Các mơ hình tóm tắt da van huớng tóm luợc dựa mơ hình tóm tắt don van duợc huấn luyện truớc 110 5.3.1 Đặt vấn dề 110 5.3.2 Mơ hình tóm tắt da van huớng tóm luợc dựa mơ hình tóm tắt don van huớng tóm luợc duợc huấn luyện truớc PG_Feature_AMDS 110 5.3.3 Mơ hình tóm tắt da van huớng tóm luợc dựa mơ hình tóm tắt don van hỗn hợp duợc huấn luyện truớc Ext_Abs_AMDS-mds-mmr 121 5.4 Kết luận chuong 132 KẾT LUẬN 133 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CÔNG BỐ 136 TÀI LIỆU THAM KHẢO 137 PHỤ LỤC Phụ lục A: Van nguồn van tóm tắt ví dụ Phụ lục B: Biểu dồ phân bố liệu thử nghiệm Phụ lục C: Van nguồn mẫu tóm tắt thử nghiệm iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Từ viết tắt AMDS ASDS Beam BERT BERT-Tiny biGRU biLSTM Tiếng Anh Ý nghia tiếng Việt Abstractive Multi-Document Summarization Abstractive Single-Document Summarization Beam Search Bidirectional Encoder Representation from Transformers Tóm tắt da van huớng tóm luợc Tóm tắt don van huớng tóm luợc Thuật tốn tìm kiếm Beam Mơ hình biểu diễn mã hóa hai chiều từ Transformer Mơ hình BERT thu nhỏ Mạng GRU chiều Mạng LSTM chiều BPTT Bidirectional Gated Recurrent Unit Bidirectional Long Short Term Memory Backpropagation Through Time CNN DE Decoder DeepQL Covolutional Neural Network Document Embedding Decoder Deep Q-Learning EMDS GRU Extractive Multi-Document Summarization Encoder Extractive Single-Document Summarization General Language Understanding Evaluation Gated Recurrent Unit ILP Interger Linear Programming IR LCS LDA LSA LSTM Information Retrieval Longest Common Subsequence Latent Dirichlet Allocation Latent Semantic Analysis Long Short Term Memory mBERT mds MLP MMR NLP BERT multilingual multi-document summaryzation Multi Layer Perceptron Maximal Marginal Relevance Natural Language Processing Encoder ESDS GLUE iv Thuật toán lan truyền nguợc liên hồi Mạng no ron tích chập Mã hóa van Bộ giải mã Thuật toán học tang cuờng dựa mạng no ron sâu Tóm tắt da van huớng trích rút Bộ mã hóa Tóm tắt don van huớng trích rút Đánh giá hiểu ngơn ngữ chung Mơ hình don vị hồi quy có kiểm sốt chiều Quy hoạch tuyến tính ngun Tìm kiếm thơng tin Dãy chung lớn Mơ hình chủ dề ẩn Phân tích ngữ nghia tiềm ẩn Mơ hình mạng nhớ ngắn hạn dài hạn chiều Mơ hình BERT da ngơn ngữ Tóm tắt da van Mạng Perceptron nhiều lớp Độ liên quan cận biên tối da Xử lý ngôn ngữ tự nhiên OOV PE PG Out Of Vocabulary Position Embedding Pointer – Generator Khơng có từ vựng Mã hóa vị trí Mơ hình mạng Pointer – Generator Mơ hình tối uu BERT hỗ trợ cho tiếng Việt Huấn luyện truớc Học tang cuờng Mạng no ron hồi quy Mơ hình tối uu BERT hỗ trợ cho tiếng Anh for Độ Rouge PhoBERT PT RL RNN RoBERTa Pre-trained Reinforcement Learning Recurent Neural Network ROUGE Recall-Oriented Understudy Gisting Evaluation Sentence Embedding Mã hóa câu Sequence to sequence Mơ hình chuỗi sang chuỗi Stanford Question Answering Dataset Bộ liệu hỏi dáp Stanford Support Vector Machine Mơ hình máy véc to hỗ trợ Term Frequency – Inverse Document Trọng số từ (mức dộ Frequency quan trọng từ) van tập van Tóm tắt van warmup Q trình huấn luyện ban dầu (số buớc) với tỉ lệ học nhỏ Word Embedding Mã hóa từ SE seq2seq SQuAD SVM TF-IDF TTVB warmup WE v DANH MỤC CÁC BẢNG Bảng 1.1 Ví dụ minh họa van tóm tắt van tiếng Anh 12 Bảng 1.2 Ví dụ minh họa van tóm tắt van tiếng Việt 12 Bảng 1.3 Phuong pháp phân chia liệu CNN/Daily Mail 21 Bảng 1.4 Thống kê thông tin hai liệu CNN Daily Mail 22 22 Bảng 1.5 Thống kê thơng t in tóm tắt l iệu DUC 2001 DUC 2002 sử dụng cho tóm tắt don van Bảng 1.6 Thống kê thơng tin tóm tắt liệu DUC 2004 DUC 2007 Bảng 1.8 Thống kê thơng tin tóm tắt liệu Baomoi 23 Bảng 1.7 Thống kê thơng t in tóm tắt tập liệu Main ta sk li ệu 24 Bảng 1.9 Thống kê thông tin tóm tắt liệu Corpus_TMV Bảng 1.10 Thống kê thơng tin tóm tắt liệu ViMs 23 25 25 Bảng 3.1 Kết thử nghiệm số phuong pháp tóm tắt van co sở Ký hiệu ‘*’ thể phuong pháp duợc triển khai thử nghiệm liệu tu ong ứng 61 60 Bảng 3.2 Giá tr ị siêu tham số thời gian huấn lu yện mơ hình xây dựng 61 Bảng 3.3 Kết thử nghiệm mơ hìn h xây dựng Ký hiệu ‘-’ biểu diễn mơ hình mà luận án khơng thử nghiệm liệu tu ong ứng Bảng 3.4 Một mẫu tóm tắt liệu CNN 62 Bảng 3.5 Một mẫu tóm tắt liệu Baomoi phuong pháp duợc thử nghiệm, không duợc thử nghiệm l iệu tuong ứng Bảng 3.7 Các kết thử nghiệm mơ hình xây dựng 63 63 Bảng 3.6 So sánh dánh giá hiệu phuong pháp Ký hiệu ‘*’,‘-’ biểu diễn 69 69 Bảng 3.8 Kết thử nghiệm phuong pháp l iệu DUC 2001 DUC 2002 Ký hiệu ‘*’, ‘-’ biểu diễn phuong pháp duợc thử nghiệm, không duợc thử nghiệm liệu tuong ứng Bảng 3.9 Một mẫu tóm tắt liệu CNN 70 Bảng 3.10 Một mẫu tóm tắt liệu Baomoi biểu diễn phuong pháp duợc thử nghiệm, không duợc thử nghiệm liệu tuong ứng 70 Bảng 3.11 So sáng dánh giá hiệu phuong pháp Ký hiệu ‘*’, ‘-’ 74 71 Bảng 3.1 Bảng giá trị siêu tham số cài dặt cho mơ hìn h huấn luyện với kỹ thuật học tang cuờng Deep Q-Learning vi Bảng 3.13 Giá trị siêu tham số thời gian huấn luyện mơ hình xây dựng Bảng 3.14 Kết thử nghiệm mơ hình xây dựng Bảng 3.15 Một mẫu tóm tắt liệu CNN 76 77 77 Bảng 3.16 Một mẫu tóm tắt liệu Baomoi 78 Bảng 3.17 So sánh dánh giá kết phuong pháp 78 Bảng 3.18 So sánh dánh giá dộ xác mơ hình dề xuất 79 Bảng 3.19 So sánh dánh giá thời gian thực mơ hình dề xuất hiệu ‘(*)’ mơ hình See cộng [43] ‘(*)’ mơ hìn h See cộng [43] 80 Bảng 4.1 Kết thử nghiệm mơ hìn h liệu CNN /Dai ly Mai l Ký 91 Bảng 4.2 Kết thử nghiệm mô hìn h liệu Baomoi Ký hiệu [43] tóm tắt mơ hình dề xuất l iệu CN N/Daily Mail [43] tóm tắt mơ hình dề xuất l iệu Baomoi 91 Bảng 4.3 Mẫu tóm tắt gồm tóm tắt tham chiếu, tóm tắt mơ hìn h t rong 92 Bảng 4.4 Mẫu tóm tắt gồm tóm tắt tham chiếu, tóm tắt mơ hìn h t rong 105 93 Bảng 5.1 Giá tr ị tham số sử dụng thử nghiệm mơ hình Ký hiệu ‘-‘ biểu diễn mơ hình khơng sử dụng th am số tuong ứng Bảng 5.2 Kết thử nghiệm mơ hình xây dựng hai liệu 106 Bảng 5.3 Kết thử nghiệm phuong pháp tóm tắt liệu DUC 2007 sánh dánh giá kết phuong pháp Ký hiệu ‘-’ biểu diễn phuong pháp không duợc thử nghiệm liệu tuong ứng mẫu tóm tắt cụm D0716D liệu DUC 2007 mơ hình dề xuất nguời mẫu tóm tắt cụm Cluster_2 liệu Corpus_TMV mơ hình dề xuất nguời siêu tham số thời gian huấn luyện mô hình Warmup trình huấn luyện ban dầu với tỷ lệ học nhỏ dể hiệu chỉnh co chế ý thử nghiệm mơ hình tóm tắt don van huớng tóm luợc PG_Feature_ASDS liệu CNN Baomoi thử nghiệm mơ hình PG_Feature_AMDS DUC 2004 Corpus_TMV sử dụng mơ hình PG_Feature_ASDS chua duợc huấn luyện tiếp DUC 2007 ViMs tuong ứng 106 Bảng 5.4 So 107 Bảng 5.5 Các 109 Bảng 5.6 Các 109 Bảng 5.6 Giá trị 118 Bảng 5.7 Kết 118 Bảng 5.8 Kết 119 118 Bảng 5.9 Kết thử nghiệm mơ hình PG_Feature_AMDS DUC 2004 Corpus_TMV sử dụng mơ hình PG_Feature_ASDS dã duợc huấn luyện tiếp DUC 2007 ViMs tuong ứng Bảng 5.10 Một mẫu thử nghiệm liệu DUC 2004 vii 119 Bảng 5.11 Một mẫu thử nghiệm liệu Corpus_TMV sáng dánh giá kết phuong pháp Ký hiệu ‘-’ biểu diễn phuong pháp không duợc thử nghiệm liệu tuong ứng 120 Bảng 5.13 Giá trị siêu tham số thời gian huấn luyện mơ hình 120 Bảng 5.12 So thử nghiệm mơ hình tóm tắt don van liệu CNN/Daily Mail Baomoi thử nghiệm mơ hình xây dựng liệu DUC 2004 Corpus_TMV Bảng 5.16 Một mẫu thử nghiệm liệu DUC 2004 Bảng 5.17 Một mẫu thử nghiệm liệu Corpus_TMV 128 Bảng 5.14 Kết 129 129 Bảng 5.15 Kết 130 131 131 Bảng 5.18 So sáng dánh giá kết phuong pháp Ký hiệu ‘-’ biểu diễn phuong pháp không duợc thử nghiệm liệu tuong ứng viii Biểu dồ phân bố dộ dài trung bình van tóm tắt B.5 Bộ liệu DUC 2004 Biểu dồ phân bố dộ dài trung bình van nguồn Biểu dồ phân bố dộ dài trung bình van tóm tắt B.6 Bộ liệu DUC 2007 Biểu dồ phân bố dộ dài trung bình van nguồn Biểu dồ phân bố dộ dài trung bình van tóm tắt B.7 Bộ liệu Baomoi Biểu dồ phân bố dộ dài trung bình van nguồn Biểu dồ phân bố dộ dài trung bình van tóm tắt B.8 Bộ liệu Corpus_TMV Biểu dồ phân bố dộ dài trung bình van nguồn Biểu dồ phân bố dộ dài trung bình van tóm tắt B.9 Bộ liệu ViMs Biểu dồ phân bố dộ dài trung bình van nguồn Biểu dồ phân bố dộ dài trung bình van tóm tắt Phụ lục C: Van nguồn mẫu tóm tắt thử nghiệm C.1 Van nguồn mẫu thử nghiệm mơ hình RoPhoBERT_MLP_ESDS • Nội dung van nguồn liệu CNN “ Lois Lilienstein , co - star of " Sharon , Lois & Bram 's Elephant Show " - the Canadian preschool show that ran on Nickelodeon during the early 1990s - has died , aged 78 Her son , David Lilienstein , told CBC News that his mother died in Toronto on Wednesday night from a rare form of cancer first diagnosed last October " She knew it was happening , she was at peace with it , and she died very peacefully and not in pain , " he told the Canadian broadcaster Liz Smith at 92 Lilienstein was born in Chicago in 1936 and moved to Toronto in 1996 with her son her husband , Ernest She joined Sharon Hampson and Bram Morrison to launch their singing trio in 1978 The TV show " Sharon , Lois & Bram 's Elephant Show " ran on CBC in Canada from 1984 to 1989 , before continuing in reruns on Nickelodeon stateside until 1995 The 30 most popular film producers in Hollywood Sally Catto , general manager , programming at CBC Television , paid tribute to Lilienstein for her contribution to Canadian kids TV " Sharon , Lois and Bram got their start at CBC back in the ' 80s with the Elephant Show , and they went on to become icons to children all across North America through various programs and specials Lois will be fondly remembered by her many friends at CBC , " Catto told The Hollywood Reporter ' Ghostbusters ' budget cut The Canadian variety show was best known for songs like " Skinnamarink " and " Peanut Butter " Lilienstein left the Sharon , Lois & Bram performance trio in 2000 The Hollywood Reporter All rights reserved and ” • Nội dung van nguồn liệu Baomoi “ Nhóm tra viên Co quan Nang luợng Nguyên tử Quốc tế ( IAEA ) ngày 18/1 dã tới thủ dô Tehran Iran dể giám sát việc thực thi thoả thuận tạm thời nuớc nhóm P 5+1 Hãng thơng Fars Iran cho biết , nhóm tra kỹ su hạt nhân Massimo Aparo dẫn dầu bắt dầu nộp báo cáo cho IAEA vào ngày 20/1 tới – thời diểm mà thoả thuận Iran P 5+1 thức có hiệu lực Đại sứ Iran IAEA Reza Najafi trả lời họp báo trụ sở IAEA Vienna , Áo ( Ảnh AFP ) Các tra thị sát hai nhà máy hạt nhân Natanz Fordow Iran dể dảm bảo nuớc dừng hoạt dộng sản xuất uranium cấp dộ 20% , dồng thời vơ hiệu hố kho uranium dã duợc làm giàu cách pha loãng Cùng ngày , IAEA cho biết , co quan cần thêm tiền tài trợ khoảng triệu Euro vòng tháng tới dể trang trải chi phí cho hoạt dộng giám sát Ngày 24/11/2013 , Iran Nhóm P 5+1 ( gồm Anh , Pháp , Mỹ , Nga , Trung Quốc Đức ) dã dạt duợc thoả thuận so dể giải bế tắc dàm phán chuong trình hạt nhân gây tranh cãi Iran Theo thoả thuận , Iran tạm dừng phần chuong trình hạt nhân dể dổi lấy việc phuong Tây nới lỏng biện pháp trừng phạt kinh tế nhằm vào nuớc / Hồng Anh / VOV-Trung tâm Tin Theo Reuters ” C.2 Van nguồn mẫu thử nghiệm mơ hình mBERT_CNN_ESDS 10 • Nội dung van nguồn liệu CNN “ Panama City, Panama (CNN) Ending a decade - long standstill in U.S - Cuba relations, President Barack Obama met for an hour Saturday with his Cuban counterpart Raul Castro, the first time the two nations' top leaders have sat down for substantive talks in more than 50 years The meeting in a small conference room on the sidelines of the Summit of the Americas came as the two countries work to end the Cold War enmity that had led to a total freeze of diplomatic ties And while both leaders proclaimed progress had been made, a key stumbling block Cuba's place on the U.S list of countries that sponsor terror remained unresolved "This is obviously an historic meeting, "Obama said at the beginning of his session with Castro, claiming that decades of strain had done little to benefit either Cubans or citizens of the nited States "It was time for us to try something new," he said "We are now in a position to move on a path toward the future "Castro, who earlier in the day said he trusted Obama, acknowledged there would be difficult stumbling blocks as his nation works to repair ties with the United States But he said those differences could be surmounted "We are willing to discuss everything, but we need to be patient, very patient," Castro said "We might disagree on something today on which we could agree tomorrow "Speaking to reporters after his session with Castro, Obama said the meeting was "candid and fruitful" and could prove to be a "turning point" in his push to defrost ties with Cuba But he said he hadn't yet decided whether to remove Cuba's designation as a state sponsor of terror, an outcome that had previously been expected during the summit The State Department provided Obama with a review of the terror status this week "I want to make sure I have a chance to read it, study it before we announce publicly what the policy outcome is going to be," Obama said "But in terms of the overall direction of Cuba policy, I think there is a strong majority both in the United States and in Cuba that says our ability to engage, to open up commerce and travel and people to people exchanges is ultimately going to be good for Cuban people "On Friday night, Obama and Castro greeted each other courteously amid an explosion of camera flashes, shaking hands before dining at the inaugural session of the conference The two sat at the same table but not directly next to one another Before Obama arrived in Panama on Wednesday, he spoke with Castro by phone, laying the groundwork for what will become a new era of relations between the neighboring countries "The Cold War has been over for a long time, "Obama said during opening remarks at the summit Saturday "I'm not interested in having battles, frankly, that began before I was born "That exhortation, however, seemed to be lost on Castro himself, who expanded 11 what was meant to be a six - minute speech into a 50 minute address lecturing leaders on Cuba's revolution and giving a litany of perceived grievances to Cuba over the past 50 years But he distinguished Obama from past American presidents, saying he respected Obama's move toward reconciliation "In my opinion, President Obama in an honest man, "Castro said through an interpreter "I admire him, and I think his behavior has a lot to with his humble background " S administration official said Castro’s long list of grievances was expected, despite the move toward diplomatic ties "(What’s) unique and new is what he said about the president, "the official said of Castro’s praise for Obama Obama announced in December that he was seeking to renew diplomatic relations with Cuba after half a century of strife, including eventually opening embassies in Washington and Havana Obama set to test engagement doctrine with Cuba in Panama His meeting with Castro on Saturday isn’t being billed as a formal bilateral session, but Obama’s aides are still characterizing the event as the highest - level engagement with the Cuban government since then - Vice President Richard Nixon met with Fidel Castro in 1959 "We’re in new territory here, "Ben Rhodes, Obama’s deputy national security adviser, said Friday "The reason we’re here is because the President strongly believes that an approach that was focused entirely on isolation, focused entirely on seeking to cut off the Cuban people from the United States of America had failed "The overtures to Cuba have not been universally popular in the United States; some lawmakers were irate that Obama was seeking to engage what they regard as a corrupt government "A recommendation to remove Cuba from the list of State Sponsors of Terrorism would represent another significant misstep in a misguided policy, "Sen Bob Menendez, a Democrat who used to the chair the Foreign Relations Committee, wrote in a statement last week In Latin America, however, Obama was receiving a warm welcome after announcing he was seeking to engage Havana in talks over reopening embassies and removing barriers to commerce and travel things you wanted to ask about the Cuban embargo He noted to applause during a session Friday that this was the first summit with Cuba in attendance And he’s cast the decision to reopen the S relationship with Cuba as beneficial to the entire hemisphere, which has also embraced his immigration executive action But even as Obama landed in Panama, the longstanding gulfs between the two countries ' governments were on display Dissidents opposed to Castro’s regime were violently accosted this week by supporters of the Cuban government, a scuffle the White House said was unacceptable "As we move toward the process of normalization, we’ll have our differences, government to government, with Cuba on many issues just as we differ at times with other nations within the Americas, just as we 12 differ with our closest allies," Obama said at a meeting of civil society leaders Friday "There’s nothing wrong with that." "But I 'm here to say that when we speak out, we’re going to so because the nited States of America does believe, and will always stand for, a certain set of universal values, "he said The long history between the U.S and Cuba Obama closed out his time in Panama with a news conference where he covered topics ranging from Hillary Clinton’s expected presidential announcement to his framework deal with Iran on its nuclear program The President had pointed criticism for Sen John McCain, R - Arizona Earlier this week, McCain accused Secretary of State John Kerry of intentionally mischaracterizing what the sides had agreed to in the Iran nuclear deal "John Kerry is delusional, "McCain said on the Hugh Hewitt show, a conservative talk radio program, adding that the view from the Supreme Leader of Iran of the provisions agreed to" is probably right, " rather than what the United States maintains are the agreed provisions While discussing the Iran agreement Saturday, Obama brought up those remarks without being asked "When I hear someone like Sen McCain recently suggest that our secretary of state, John Kerry, who served in the United States Senate, (is) a Vietnam veteran, who’s provided exemplary service to this nation, is somehow less trustworthy of the interpretation of what’s in a political agreement than the Supreme Leader of Iran, that’s an indication of the degree to which partisanship has crossed all boundaries," he said at the news conference After the President’s remarks, McCain tweeted "So Pres Obama goes to # Panama, meets with Castro and attacks me - I 'm sure Raul is pleased." As for his 2008 Democratic rival, Obama said, "If she decides to run, if she makes an announcement, she’s going to have some strong messages to deliver," he said ” • Nội dung van nguồn liệu Baomoi “ Vụ tai nạn nói xảy vào khoảng 23h15 ngày 19/1, cầu Bến Thuỷ, Quốc lộ 1A Theo dó, vào khoảng thời gian trên, xe mang BKS: 37 A-048 45 dang diều khiển xe luu thông theo huớng Bắc - Nam bất ngờ lao lên dải phân cách duờng ô tô xe máy Hiện truờng vụ tai nạn Sau cú dâm mạnh, dầu xe bị hu hỏng, toàn xe bị nằm gác dải phân cách duờng Những nguời ngồi xe dã khơng có bị thuong Do buồn ngủ, thay di sang duờng cho ô tô, xe chọn duờng riêng cách leo lên dãi phân cách Ngay sau vụ tai nạn xảy ra, chủ xe dã tiến hành gọi cứu hộ giao thông dến dể giải cứu xe Tuy nhiên, phải gần dồng hồ sau, xe tách khỏi dải phân cách Sau "lỡ" leo lên dải phân cách, dầu xe dã bị hu hỏng nặng Vụ tai nạn xảy dầu cầu nên 13 dã khiến giao thông qua dây bị hỗn loạn Các nhân viên trạm soát vé cầu Bến Thuỷ dã phải diều tiết giao thông, tránh ùn tắc nghiêm trọng tuyến duờng Sau bị tai nạn, chủ xe dã gọi diện nhờ xe cứu hộ dến dể giải vụ việc ” C.3 Van nguồn mẫu thử nghiệm mơ hình mBERTTiny_sep2seq_DeepQL_ASDS • Nội dung van nguồn liệu CNN “ D uhok , Iraqi Kurdistan ( CNN ) The children laugh and shriek , as some of them seem to always have the capacity to no matter how depressing the circumstances Their bright clothes provide splashes of color against the otherwise drab monotone white of the endless rows of tents A small group plays with rocks , replacements for the toys they left behind when they fled , while others clamber through a jagged tear in the wire fence surrounding the refugee camp The Shariya refugee camp opened around six months ago , made up of some 4,000 tents and counting Thousands of Yazidis now call this corner of Iraqi Kurdistan home , about 18 miles ( 30 kilometers ) from one of the front lines with ISIS , where one can hear the occasional reverberation in the distance of what we are told are airstrikes The vast majority of the camp 's occupants are from the town of Sinjar , which is near the border with Syrian Kurdistan , and fled the ISIS assault there back in August But not everyone escaped ISIS took thousands of Yazidis captive The fighters separated the young women and girls , some as young as years old , to be sold as slaves , for their " masters " to use as concubines Men faced a choice : Convert to Islam or be shot Mahmoud was out running errands when ISIS fighters arrived , taking his wife , Ahlam , their three children the youngest of which was just a month old and his elderly parents " They took our phones , jewelry , money , " Ahlam recalls " They had guns They forced us at gunpoint into big trailer trucks " They were taken to a school turned prison in Tal Afar From there , the family was moved from village to village and at one stage taken to Mosul " They wrote everyone 's name down and they asked where we want to work , in the fields , as cleaners or as herders , " she says Ahlam and her family chose to herd goats They were then taken to a Shia village whose residents had fled , where they were part of a group of around 40 living in one house In the home , Ahlam found a cell phone left behind by its former occupants and called her husband " I said we are alive but we are prisoners " Ahlam 's husband , who up until that moment had lost the will to live , thinking his family was dead , says he cried out of happiness despite his pain Ahlam 14 would call when she could , briefly , after midnight , hiding under her bedcovers If she was caught with a phone , she would be killed The village itself was a massive prison , its entrances guarded by ISIS fighters She recalls that two men , in their late 40s or 50s , tried to escape When they were caught , their bones were broken , their bodies tied to the back of a truck and then driven through the streets The Yazidi captives were forced to watch the gruesome spectacle The men 's corpses were then tossed into a ditch and an order given not to bury them One night , some of the Yazidi men risked their lives to toss dirt onto the bodies , to give those slain what dignity they could Ahlam tells us that about a week before we met , ISIS fighters came by and took away her in - laws and the other elderly people living in the house " We did n't know where they were taking them , we thought we would be next , " she remembers So she and the rest of the group realized that they had to try to flee " We decided that either we survive or we n't " They left at midnight Ahlam cradled the baby , as her two other children , ages and years old , clutched at her clothes She prayed the baby would n't cry , that the children could keep walking They knew the general direction to take , but not the exact route , and they could only hope it was toward freedom " When the sun started to come up , I thought that 's it , we are going to get caught , " Ahlam says " And what am I going to with the kids ? I ca n't carry all three of them and run " Luckily , Ahlam never had to answer that impossible question The group made it into Iraqi Kurdistan The couple ca n't put into words their emotions when they were reunited Mahmoud , gently caressing his daughter 's palm , says he could hardly believe that the woman whose stunning eyes and gentle words he had fallen in love with , and their three children , were by his side again It had been eight agonizing months But their joy was tainted by fear for Mahmoud 's parents A few days after Mahmoud and Ahlam were reunited , ISIS released 217 captives No one is disclosing exactly why Among them were 60 children , a handful of men and women , and the rest were elderly including Mahmoud 's parents " We did n't know if they were going to slaughter us or what they were going to with us , " Mahmoud 's father says " They moved us around a lot , and at one stage we stayed in in one place for three days " But Ahlam 's parents are still with ISIS Vian Dakhil , a Yazidi member of Iraq 's parliament , speculates that the Yazidis ISIS released are individuals they were struggling to care for Dakhil is part of Iraqi Prime Minister Haider al - Abadi 's delegation to the United States this week She will be addressing the United Nations pleading for more international support for Iraq and more airstrikes to help defeat ISIS and she will address the plight of the 15 Yazidis " We sometimes say that we wish we had been massacred This would be better than being kidnapped and raped We prefer death now over the fate of what is happening to these girls and women , " Dakhil says " It is now on the government and on the international community to focus on this How to get these captives back It 's inconceivable that in the 21st century , something like this is happening as if we were living in the Stone Age " Ahlam says she was spared because she was breastfeeding and she had young children , which , we 're told , makes her impure and therefore unable to be used as a sex slave For Ahlam , what she went through was not the hardest part of her ordeal It 's the moment when the ISIS fighters began taking away the girls and young women She 's haunted by their screams , the image of them being dragged away sobbing and screaming ” • Nội dung van nguồn liệu Baomoi “ Chắc chắn SVĐ San Siro lại rực sáng mà tifosi họ chứng kiến mắt dầu tiên cựu cầu thủ Clarence Seedorf cuong vị HLV truởng AC Milan Tuy nhiên , nhiệm vụ cựu cầu thủ nguời Hà Lan lúc dang nặng nề AC Milan dã khơng cịn có sức mạnh nhu thời anh cịn dang khốc áo Hiện dội bóng áo dỏ den thành Milan dứng khiêm tốn vị trí thứ 11 sau 19 vịng dấu Tức họ dã kết thúc luợt di nửa cuối BXH Phải tiếp Verona - CLB dang thi dấu ổn dịnh mùa kiểm tra thực với Clarence Seedorf cuong vị mà anh chua có kinh nghiệm Hiện dội khách Verona dã có 32 diểm dang dứng thứ , số diểm AC Milan 22 Thế nên có chiến thắng trận dấu lại , Milan hy vọng chen chân vào nhóm dự cúp châu Âu Hy vọng trận dấu , dội bóng chủ sân San Siro làm cho khán dài họ lại rực sáng trở lại Ở nửa dầu BXH , Juventus gần nhu chắn có duợc trọn vẹn diểm dể vững vàng dầu , mà họ duợc thi dấu sân nhà phải tiếp Sampdoria cỏi mùa Vì , thày trị ơng Antonio Conte hồn toan tự tin có trận thắng thứ 18 mùa giải trận dấu vào dêm thứ Bảy tới Trong dó , với AS Roma , nhiệm vụ họ cung dễ dàng nhu Juventus họ duợc thi dấu sân nhà Olympico dối thủ dội bóng áo bã trầu thành Rome Livorno - dội bóng có 13 diểm dang dứng thứ 19 Thế nên , khoảng cách diểm so với Juventus chắn duợc giữ ngun sau vịng dấu Với Napoli lại khác , thày trị ơng Benitez nhiều gặp khó khan họ phải hành quân dến Bologna cho dù thời diểm , Bologna dang có phong dộ khơng tốt dang phải vật lộn với nhóm cầm dèn dỏ Phải thực tập trung biết tơn trọng dối thủ may Napoli nuôi hy vọng giữ khoảng cách với dội xếp Juventus 16 Roma vòng dầu khép lại Trong dó , Fiorentina lại có chuyến làm khách duợc cho “ dễ thở ” hon Thày trị ơng Vincenzo Montella phải choi sân dội bóng cuối bảng Catania Cặp dấu cân sức cân tài vịng dấu có lẽ thuộc Genoa Inter Milan Hiện Inter dang dứng thứ duợc 32 diểm ( diểm với Verona nhung hon hiệu số bàn thắng-thua ) , Genoa dù dang Inter bậc nhung họ lại duợc thi dấu sân nhà Thực sự, phong dộ thi dấu sân khách cầu thủ áo xanh den thành Milan mùa không tốt Thế nên chuyến làm khách hứa hẹn chuyến di “ lành nhiều ” Nếu thực có duợc diểm trận dấu dã thành công với Inter Milan Các cặp dấu lại , khả nang khơng có nhiều bất ngờ ” C.4 Van nguồn mẫu thử nghiệm mơ hình PG_Feature_ASDS • Nội dung van nguồn liệu CNN “ A Texas English high school teacher has been arrested after being accused of having an improper relationship with a male student older than 17 years old Mary Todd Lowrance , 49 , a teacher at Moises E Molina High School , turned herself into Dallas Independent School District police on Thursday morning , according to Dallas ISD Police Chief Craig Miller Miller said the teacher had been in a relationship with the student for a couple of months Officers learned of the alleged relationship after Lowrance disclosed details to a coworker who then alerted a Dallas ISD officer Mary Todd Lowrance ( above ) , 49 , a Texas English high school teacher was arrested after being accused of having an improper relationship with a male student over the age of 17 , according to authorities If the student had been a juvenile , the case would have been handled by the Dallas Police Department , Miller told The Dallas Morning News When you get 160,000 students and 10,000 teachers , you hear a lot of rumors , and you have to investigate all of them , ' said Miller And in this case , there was something to it The student has been offered counseling We 're doing everything we can for him as well Miller said that after Lowrance 's coworker alerted authorities , it prompted an investigation where interviews were conducted with Lowrance , the student and two witnesses The Dallas ISD police then got an arrest warrant Miller said Lowrance has been on leave for several weeks while investigators worked on the case , according to NBCDFW After she turned herself into authorities , she was booked into the Dallas County jail around 11 am on Thursday on a $ 5,000 bond and was released at 4.40 pm , according to county records Calls made to the 17 Dallas Independent School District police on Friday were not immediately returned to Daily Mail Online Lowrance , teacher at Moises E Molina High School ( file photo above ) , turned herself in on Thursday morning and was released at pm , according to county records a 4.40 ” • Nội dung van nguồn liệu Baomoi “ Sự việc bị phanh phui vào ngày 30/8 vừa qua Co_quan an tồn thực phẩm , phịng cơng_thuong , cơng_an quyền thị xã dã phối hợp diều tra việc truờng , 1.000 kg dầu bẩn vừa duợc chuyển tới xe_tải chở hàng Theo nguồn_tin thân cậy , số dầu có xuất xứ từ xuởng chế biến mã diếm , giao châu Ngày 31/8 , tổ cơng_tác gồm phịng an tồn thực phẩm , cơng an quyền mã diếm , giao châu nhanh chóng diều tra làm rõ chân tuớng vụ việc Địa duợc cung cấp từ nguồn tin không tồn xuởng sản xuất dã lặn tam truớc dó vài ngày Nhung mã diếm xuởng khác nằm duờng giao bình Đuợc biết , dây vốn xuởng chế biến thực phẩm hợp pháp xuởng bắc dô , giao châu Truớc dây , xuởng kinh doanh sản phẩm nông nghiệp Vài ngày truớc , xuởng sản xuất dầu bẩn tóp mỡ thịt lợn bầy nhầy da gà dã chuyển tới dây , núp bóng doanh nghiệp hợp pháp dể hoạt dộng Chình ình truớc cửa xuởng biển lớn với dịng chữ : “ xuởng gia cơng thực phẩm bắc dô , giao châu ” Trong gian xuởng có diện tích hon 100 m2 , hai nồi lớn dầy ắp miếng thịt bầy nhầy duợc trộn dều xẻng lớn Những bịch nilong dựng mỡ chất dống ngổn ngang , ruồi nhặng bâu den Mé phía dơng có ba nồi lớn , bên cạnh gian nhà ngói ngập ngụa khói Khơng dầu an siêu bẩn , tóp mỡ den cung sản phẩm duợc lò xuởng Xuởng sản xuất dầu bẩn tóp mỡ den từ thịt bầy nhầy da gà Chủ xuởng thừa nhận khơng có giấy phép sản xuất , chế biến dầu an nhung hoạt_dộng sn_sẻ Loại dầu siêu bẩn sau dó duợc chuyển tới tức mặc , dảo nhung chị không khẳng dịnh dịa tiêu thụ xuởng sản xuất bánh trung thu Tuy nhiên , theo diều tra , thùng dầu dây hoàn toàn trùng khớp với 1.000 kg dầu bẩn duợc xe tải chở hàng dổ mối xuởng bánh trung thu gần duờng di khang , tức mặc “ chua tịch thu duợc sổ nhật ký giao hàng xuởng dầu , nên tạm thời chua kết luận xuởng bánh trung thu tức mặc có sử dụng loại dầu khơng Sự việc dang trình diều tra ” , nhân viên thuộc tổ diều tra giao châu cho biết “ không loại bỏ loại dầu an siêu bẩn , chắn xuởng sản xuất tận_dụng dể chế biến thực phẩm gây nguy hại tới sức khoẻ nguời tiêu_dùng ” , nguời dân tức mặc xúc chia sẻ với báo chí Theo cát miên báo dất việt ” 18 C.5 Van nguồn mẫu thử nghiệm mơ hình Kmeans_Centroid_EMDS • Nội dung van nguồn liệu DUC 2007 Chi tiết xem cụm liệu D0716D liệu DUC 2007 [75] • Nội dung van nguồn liệu Corpus_TMV Chi tiết xem cụm liệu Cluster_2 liệu Corpus_TMV [76] C.6 Van nguồn mẫu thử nghiệm mơ hình PG_Feature_AMDS • Nội dung van nguồn liệu DUC 2004 Chi tiết xem cụm liệu D30003T liệu DUC 2004 [74] • Nội dung van nguồn liệu Corpus_TMV Chi tiết xem cụm liệu Cluster_59 liệu Corpus_TMV [76] C.7 Van nguồn mẫu thử nghiệm mơ hình Ext_Abs_AMDS • Nội dung van nguồn liệu DUC 2004 Chi tiết xem cụm liệu D30001T liệu DUC 2004 [74] • Nội dung van nguồn liệu Corpus_TMV Chi tiết xem cụm liệu Cluster_75 liệu Corpus_TMV [76] 19 ... duợc sử dụng dể phát triển mô hình tóm tắt da van dề xuất luận án Chuong Phát triển phuong pháp tóm tắt da van bản: Chuong giới thiệu toán tóm tắt da van bản, dề xuất phát triển mơ hình tóm tắt. .. Một số nghiên cứu khác cung dã sử dụng kỹ thuật học sâu kết hợp với kỹ thuật khác dể tạo hệ thống tóm tắt tóm luợc hiệu nhu [40,41,42,43] Uu diểm phuong pháp tóm tắt huớng tóm luợc sinh tóm tắt. .. giới thiệu tóm tắt van bản, buớc thực tóm tắt van bản, số dặc trung van bản, phuong pháp dánh giá van tóm tắt phổ biến, phuong pháp kết hợp van tóm tắt da van bản, phuong pháp tóm tắt van huớng