Cải tiến tóm tắt tóm lược văn bản với học sâu và xây dựng dữ liệu

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Cải tiến tóm tắt tóm lược văn với học sâu xây dựng liệu ĐẶNG TRUNG ANH anh.dtcb190197@sis.hust.edu.vn Ngành Công nghệ thông tin Giảng viên hướng dẫn: TS Nguyễn Thị Thu Trang Chữ ký GVHD Viện: Công nghệ thông tin Truyền thông HÀ NỘI, 04/2021 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Đặng Trung Anh Đề tài luận văn: Cải tiến tóm tắt tóm lược văn với học sâu xây dựng liệu Chuyên ngành: Công nghệ thông tin Mã số SV: CB190197 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 08/05/2021 với nội dung sau: Đổi đại từ nhân xưng từ “em” thành “tơi” Bổ sung, trình bày chi tiết tốn tóm tắt tóm lược, mục tiêu toán, đầu vào, đầu hướng tiếp cận đánh giá hệ thống tóm tắt Thêm phần tổng quan hướng tiếp cận tốn tóm tắt tóm lược (phần 1.1, trang 1-2) Thêm nội dung làm rõ tính chất phần mở đầu sử dụng làm tóm tắt tham chiếu liệu Wikipedia (phần 3.2.2, trang 20) Thêm đoạn giải thích lý xây dựng liệu EnwikiMedium-914 có phân phối tương tự liệu Daily Mail/CNN (phần 3.3, trang 22) Thêm phần trình bày vấn đề tóm tắt tóm lược q trình phát triển tốn, từ hướng tiếp cận truyền thống đến phương pháp đại ngày nay, (phần 4.2, trang 34-35) Bổ sung phần đánh giá kết thu liệu Enwiki-914 Daily Mail/CNN, dựa độ đo ROUGE dựa quan sát thực nghiệm, đưa nhận xét tính hiệu mơ hình sử dụng với liệu có tóm tắt tham chiếu có tính chất khác nhau, theo mục tiêu khác (cuối phần 4.7, trang 51-52) Ngày Giáo viên hướng dẫn tháng năm Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG Lời cảm ơn Năm năm đại học, hai năm thạc sỹ mái trường, thời gian đủ dài để nhìn lại, ta thấy hành trình qua, kỷ niệm buồn vui với người nơi đây, để trở thành gắn bó khó qn Đối với tơi, qng thời gian có lẽ quãng thời gian tuyệt vời Cảm ơn Bách Khoa cho kiến thức sâu rộng bổ ích, người bạn, người anh, người chị, người em, người thầy tuyệt vời Đối với tôi, nơi khơng để học, nơi gia đình, gia đình với bố mẹ người thầy ln tận tình, có đơi lúc khắt khe, dạy cho đứa học trị, đứa lên người Tôi xin gửi lời cảm ơn chân thành đến thầy cô trường Đại học Bách khoa Hà Nội thầy cô viện Công nghệ thông tin truyền thông truyền dạy cho kiến thức, kinh nghiệm quý báu suốt q trình học tập rèn luyện Tơi xin gửi lời cảm ơn sâu sắc đến cô giáo, TS Nguyễn Thị Thu Trang Cảm ơn cô giúp định hướng đề tài cho luận văn tốt nghiệp, hướng dẫn bảo tận tình cho tơi suốt q trình nghiên cứu thực luận văn Cuối cùng, xin cảm ơn gia đình bạn bè ln bên tôi, động viên, giúp đỡ động viên tơi suốt q trình học tập hồn thành luận văn tốt nghiệp Tóm tắt nội dung luận văn Trong kỷ nguyên xã hội số, phát triển công nghệ thông tin mang lại cho nhân loại lượng thơng tin vơ lớn, phần lớn biểu diễn dạng văn Mỗi ngày, giờ, số lượng văn ngày tăng nhanh, tiếp cận đến người qua nhiều cách khác nhau, khiến cho khó tổng hợp nắm bắt thông tin Để giải vấn đề này, cần phải tóm tắt nội dung thơng tin văn cách ngắn gọn, súc tích, giúp người đọc nắm bắt thơng tin cách nhanh chóng, hiệu Hiện nay, tóm tắt văn chia thành tóm tắt trích rút (Extractive Summarization) tóm tắt tóm lược (Abstractive Summarization) Nếu tóm tắt trích rút lấy vài câu quan trọng văn làm tóm tắt tóm tắt tóm lược thực tạo tóm tắt dựa việc hiểu ngữ nghĩa, nội dung văn gốc Với phức tạp ngơn ngữ, việc tóm tắt tóm lược trở nên vơ khó khăn thách thức, đặc biệt tiếng Việt Gần đây, với sữ phát triển mạnh mẽ mơ hình mới, nghiên cứu đại tóm tắt tóm lược đạt kết định Tuy nhiên, số lượng tập liệu chất lượng cho toán hạn chế, đa phần lấy từ báo, không đa dạng lĩnh vực kích thước liệu Xuất phát từ thực trạng trên, luận văn tập trung vào việc phân tích, nghiên cứu đề xuất liệu đa dạng kích thước lĩnh vực, ngơn ngữ, phục vụ cho mục đích nghiên cứu khác Với nguồn liệu từ Wikipedia tiếng Anh tiếng Việt, phạm vi đề tài, thực thu thập, phân tích, xử lý dựa kỹ thuật lấy mẫu để đề xuất liệu tóm tắt lược khác Bên cạnh đó, với việc tận dụng phong phú chất lượng từ liệu mới, thực đề xuất cải tiến dựa ý tưởng kỹ thuật transfer learning, sau tiến hành thực nghiệm để thể tính đắn đề xuất Q trình thực luận văn thực ngôn ngữ Python Scala, q trình tính tốn thống kê liệu lớn thực Spark huấn luyện mơ hình thực nghiệm sử dụng thư viện Pytorch Các kết thực nghiệm cho thấy với mơ hình đại tốn, liệu xây dựng đề cho kết tốt, đặc biệt với liệu EnwikiMedium-914 có phân phối với liệu Daily Mail/CNN, cho kết tương đương, đặc biệt cao ROUGE-2 so với Daily Mail/CNN Ở liệu tiếng Việt Viwiki-914, kết thực nghiệm thu cao, quan sát cho thấy tóm tắt thu trôi chảy, ngữ pháp, hứa hẹn liệu sử dụng rộng rãi cho nghiên cứu toán cho tiếng Việt Trong cải tiến đề xuất liệu Daily Mail/CNN, kết thực nghiệm cao so sánh với mơ hình sở, cho thấy giải pháp đề xuất đưa hợp lý, phù hợp với lý thuyết lập luận đưa Với việc đạt kết tốt, mơ hình thu áp dụng vào thực tiễn với toán khác như: (i) Bài toán tạo đoạn sapo cho báo, (ii) Bài tốn tóm tắt nội dung báo, tạp chí… Trong tương lai, sử dụng liệu xây dựng, thực nghiên cứu nhiều này, đặc biệt với liệu chứa báo dài EnwikiLong914 liệu tiếng Việt Viwiki-914 Trên liệu Daily Mail/CNN, áp dụng thêm kỹ thuật mới, cải tiến mơ hình cải thiện kết liệu Bên cạnh đó, độ đo ROUGE khơng phù hợp với tốn tóm tắt tóm lược, tương lai, tơi nghiên cứu đưa độ đo mới, phù hợp cho toán HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC CHƯƠNG GIỚI THIỆU ĐỀ TÀI 1.1 Tóm tắt văn tóm lược 1.2 Mục tiêu phạm vi đề tài 1.3 Định hướng giải pháp 1.4 Bố cục luận văn CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Đặt vấn đề 2.2 Mạng nơ-ron nhân tạo 2.2.1 Kiến trúc 2.2.2 Mạng nơ-ron hồi quy 2.2.3 Mạng Long Short Term Memory 2.3 Mơ hình Sequence-to-Sequence với kỹ thuật Attention 2.4 Word embedding 11 2.5 2.4.1 Tổng quan 11 2.4.2 Word2Vec 11 2.4.3 FastText 13 2.4.4 BERT 14 Các phương pháp lấy mẫu liệu 16 2.5.1 Oversampling undersampling 16 2.5.2 Stratified Sampling 16 CHƯƠNG THIẾT KẾ VÀ XÂY DỰNG BỘ DỮ LIỆU TÓM TẮT TÓM LƯỢC WIKI-914 18 3.1 Đặt vấn đề 18 3.2 Khảo sát lựa chọn nguồn liệu 18 3.2.1 Các liệu tóm tắt tóm lược có 18 3.2.2 Dữ liệu Wikipedia 20 3.3 Đề xuất phương pháp thu thập xây dựng liệu tóm tắt tóm lược 20 3.4 Thu thập tiền xử lý liệu 23 3.5 3.4.1 Phân tích liệu Wikipedia 23 3.4.2 Trích xuất thơng tin chuẩn hóa liệu nguồn 23 Lấy mẫu liệu 25 3.5.1 Tứ phân vị xác suất thống kê 25 3.5.2 Đề xuất thuật toán lấy mẫu liệu 26 3.5.3 Kết xây dựng liệu 32 CHƯƠNG CẢI TIẾN MƠ HÌNH TĨM TẮT TÓM LƯỢC VĂN BẢN VÀ THỰC NGHIỆM 34 4.1 Đặt vấn đề 34 4.2 Tình hình nghiên cứu 34 4.3 Mơ hình Pointer-Genertor kết hợp Coverage 35 4.3.1 Mạng Pointer-Generator 35 4.3.2 Kỹ thuật Coverage 36 4.3.3 Nhận xét 37 4.4 Giải pháp cải tiến đề xuất 37 4.5 Chuẩn bị thực nghiệm 40 4.6 4.7 4.5.1 Môi trường thực nghiệm 40 4.5.2 Dữ liệu thực nghiệm 41 4.5.3 Phương pháp đánh giá 41 Thực nghiệm liệu Wiki-914 42 4.6.1 Thực nghiệm liệu Enwiki-914 42 4.6.2 Thực nghiệm liệu Viwiki-914 46 Thực nghiệm liệu Daily Mail/CNN 47 CHƯƠNG KẾT LUẬN 53 5.1 Kết đạt 53 5.2 Định hướng phát triển đề tài 55 PHỤ LỤC 61 DANH MỤC HÌNH VẼ Hình 2.1 Cấu trúc nơ-ron nhân tạo Hình 2.2 Mơ hình mạng nơ-ron nhân tạo Hình 2.3 Sử dụng Early Stopping tránh Overfitting học máy Hình 2.4 Kiến trúc mạng RNN Hình 2.5 Kiến trúc mạng LSTM Hình 2.6 Mơ hình Sequence-to-Sequence kết hợp Attention [2] 10 Hình 2.7 Mơ hình Skip-gram Word2Vec [4] 12 Hình 2.8 Mơ hình CBOW Word2Vec [4] 13 Hình 2.9 Biểu diễn đầu vào cho mơ hình BERT [9] 15 Hình 3.1 Mơ hình thu thập xây dựng liệu đề xuất 21 Hình 3.2 Cấu trúc xml liệu Wikipedia 23 Hình 3.3 Các phân vị tứ phân vị 25 Hình 3.4 Biều đồ hình hộp số lượng từ tóm tắt 27 Hình 3.5 Biểu đồ hình hộp số lượng từ gốc 28 Hình 3.6 Biểu đồ hình hộp số lượng câu tóm tắt 28 Hình 3.7 Biểu đồ hình hộp theo số lượng từ tóm tắt liệu sau loại bỏ ngoại lệ 29 Hình 3.8 Biểu đồ hình hộp số lượng từ văn gốc liệu sau loại bỏ ngoại lệ 30 Hình 3.9 Biểu đồ hình hộp số lượng câu tóm tắt liệu sau loại bỏ ngoại lệ 30 Hình 4.1 Mạng Pointer-Generator tóm tắt tóm lược văn [2] 35 Hình 4.2 Mơ hình cải tiến sử dụng transfer learning cho tầng embedding, mã hóa giải mã 39 Hình 4.3 Một số biểu đồ giá trị hàm mát trình huấn luyện 43 DANH MỤC BẢNG BIỂU Bảng 3.1 Các liệu phổ biến tóm tắt tóm lược văn 18 Bảng 3.2 Các luật cách thức xử lý liệu Wikipedia 24 Bảng 3.3 Kết thống kê liệu Daily Mail/CNN 26 Bảng 3.4 Các ngưỡng lọc liệu Daily Mail/CNN 29 Bảng 3.5 Các ngưỡng lựa chọn chia liệu tiêu chí Daily Mail/CNN 31 Bảng 3.6 Các ngưỡng lựa chọn chia liệu tiêu chí Viwiki 32 Bảng 3.7 Thông tin liệu xây dựng 32 Bảng 4.1 Các kết thực nghiệm liệu Enwiki 43 Bảng 4.2 Ví dụ tóm tắt sinh từ mơ hình P-G liệu EnwikiShort-914 44 Bảng 4.3 Ví dụ tóm tắt sinh từ mơ hình P-G liệu EnwikiFull-914 44 Bảng 4.4 Ví dụ tóm tắt sinh từ mơ hình P-G liệu EnwikiLong-914 45 Bảng 4.5 Ví dụ tóm tắt sinh từ mơ hình P-G với Coverage liệu EnwikiMedium-914 45 Bảng 4.6 Các kết thực nghiệm liệu Viwiki 46 Bảng 4.7 Ví dụ số tóm tắt tiếng Việt sinh từ mơ hình P-G liệu Viwki-914 46 Bảng 4.8 Ví dụ số tóm tắt tiếng Việt sinh từ mơ hình P-G liệu Viwki-914 47 Bảng 4.9 Các kết thực nghiệm cải tiến đề xuất liệu Daily Mail/CNN với mơ hình khơng sử dụng Coverage 48 Bảng 4.10 Các kết thực nghiệm cải tiến đề xuất liệu Daily Mail/CNN với mơ hình có sử dụng Coverage 48 Bảng 4.11 Ví dụ số tóm tắt sinh từ mơ hình 49 Bảng 4.12 Ví dụ số tóm tắt sinh từ mơ hình 50 CHƯƠNG GIỚI THIỆU ĐỀ TÀI 1.1 Tóm tắt văn tóm lược Trong kỷ nguyên xã hội số, phát triển vượt bậc khoa học kỹ thuật bên cạnh việc giúp cho chất lượng sống người trở nên tốt hơn, đem lại lượng thông tin vô lớn Bên cạnh kênh thông tin truyền thống sách vở, báo chí, ngày nay, đời internet giúp cho việc tiếp nhận truyền tải thông tin khắp giới trở nên vơ đơn giản nhanh chóng Mặc dù việc truy cập thông tin ngày trở nên dễ dàng, đặc biệt với phổ biến thiêt bị smartphone, nhiên khiến cho người gặp nhiều khó khăn việc nắm bắt, mà khối lượng thông tin đến ngày, vô lớn Hiện nay, bên cạnh tiếng nói hình ảnh, đa phần thơng tin biểu diễn dạng văn trang báo, tạp chí, sách…Thơng qua văn bản, lượng thơng tin liên tục tăng khơng ngừng ngày, gây nên khó khăn việc nắm bắt tổng hợp thông tin cho hiệu Xuất phát từ thực trạng này, cần phải tóm tắt nội dung văn lại cách ngắn gọn, súc tích, cho mang lại chi tiết bật mà không thông điệp muốn truyền tải bàn gốc Tuy nhiên, đa dạng độ dài kích thước văn khiến cho việc tóm tắt thủ cơng trở nên vơ khó khăn, tốn nhiều thời gian sức lực Do đó, việc xây dựng hệ thống tóm tắt tự động trở nên vơ cần thiết quan trọng Các kết đạt hệ thống áp dụng cho nhiều tốn khác nhiều lĩnh vực như: (i) Bài toán tạo đoạn sapo cho báo, (ii) Bài tốn tóm tắt cho báo tạp chí, (iii) Bài tốn tổng hợp thơng tin theo chủ đề… Tóm tắt văn phân loại thành dạng theo mục tiêu cụ thể toán, phụ thuộc vào dạng đầu vào đầu hệ thống xây dựng Theo dạng đầu vào, tóm tắt văn chia thành tóm tắt đơn văn tóm tắt đa văn Ở tóm tắt đơn văn bản, với đầu vào văn gốc, cần phải tóm tắt lại nội dung văn thành tóm tắt Mặc khác, tóm tắt đa văn thực tóm gọn lại nội dung từ đầu vào bao gồm tập văn bản, thu đầu tóm tắt cho tồn văn Nếu cách phân chia theo dạng đầu vào dựa số lượng văn gốc đưa vào hệ thống cách phân chia theo dạng đầu lại phân theo phương pháp sử dụng để tóm tắt Cụ thể, theo dạng đầu chia thành tóm tắt trích rút tóm tắt tóm lược Trong tóm tắt trích rút, cách trực quan, phương pháp tưởng tượng trình dùng bút gạch chân câu quan trọng văn cho cô đọng, mang lại đủ nội dung chính, tập hợp câu tóm tắt cho văn đầu vào Với tóm tắt tóm lược, tóm tắt sinh hoàn toàn so với văn gốc, tương tự việc người đọc toàn văn đầu vào, sau tóm tắt lại theo ý hiểu kiến thức sẵn có u cầu đặt cho tốn tóm tắt tóm lược tóm tắt sinh phải ngắn gọn, súc tích, tả, ngữ pháp, khơng chứa nội dung thông tin sai lệch gần với tóm tắt người làm Do vậy, phương pháp khó thực hơn, địi hỏi of Transfer Learning with a Unified Text-to-Text Transformer," in arXiv:1910.10683, 2019 [33] A T Dang and T T T Nguyen, "Abstractive Text Summarization Using Pointer-Generator Networks With Pre-trained Word Embedding," in The Tenth International Symposium on Information and Communication Technology, Halong, 2019 [34] A T Dang, "Final engineer thesis," in Hanoi Universiry of Science and Technology, Hanoi, 2019 [35] Sepp Hochreiter and Jürgen Schmidhuber, "Long Short-Term Memory," in Neural Computation, 1997 60 PHỤ LỤC A1 Các ví dụ thực nghiệm liệu Enwiki A1.1 Văn ví dụ thực nghiệm liệu EnwikiShort-914 international career al-omzae was part of the yemeni squad at the 2019 afc asian cup references A1.2 Văn ví dụ thực nghiệm liệu EnwikiFull-914 history in 1886 , major thomas g beaham ( 1842–1909 ) went to kansas city and bought into a company selling coffee , tea , and spices , which was to become beaham & moffit later , it was renamed faultless starch company after adding bon ami products to the line , the company once again was registered as faultless starch/bon ami company in 1974 major beaham 's first product , dry white starch , was used widely in the 1880s , because it was simple to use and did not require lengthy boiling faultless starch books the 'faultless starch books ' were a line of primers that were given to early purchasers of the product from the 1890s they were used as a marketing technique by john nesbitt faultless starch history and timeline thirty-six of the books were published from the 1890s to the 1930s , including such children 's staples as the abc book , little red riding hood , and the ant and grasshopper , to name a few note : titles included the fairies , trials of mrs graycoat , mother goose rhymes , the princess bride , six little frogs , four little sunbonnets , a trip to the moon , chin-chin and chow , the owl and pussy cat , 10 the indians , 11 the ant and grasshopper , 12 the starch ghosts , 13 conundrums and jokes , 14 proud tommy tilt , 15 old uncle ritts , 16 old granny grak , 17 bin and bun , 18 sallie short and lillie long , 19 abc book , 20 the house that jack built , 21 ten little pickaninnies , 22 upside down land , 23 the reformed pig , 24 three naughty kittens , 25 elisa may , 26 honey , 27 the van troons , 28 gentle jane , 29 mildred and rosa , 30 little jack , 31 the lunch party , 32 hans and gretel , 33 little red riding hood , 34 biddy and paddy , 35 the three wise women , 36 the tuttle 's fourth of july see books of paradise headquarters faultless brands is located in kansas city , missouri , usa 1800s to 2008 the original faultless starch company plant was rebuilt after the flood of 1903 in the west bottoms area of kansas city as the company grew and required more space , the plant was expanded at the existing site at 1025 west eighth street in 1968 , it was apparent that the business had outgrown its office space within the plant building the new england building , constructed in 1887 ( the year faultless was founded ) , was purchased the company offices moved into the building at ninth and wyandotte streets in 1978 in 1991 , the company moved 61 its offices to the river market district of kansas city the company moved to its current headquarters in 2009 A1.3 Văn ví dụ thực nghiệm liệu EnwikiLong-914 location the farm was built around 1863 less than a year after the murders , and after the murder investigation , the farm was completely demolished revealing additional evidence ( the mattock hidden in the attic and a pen-knife in the hay in the barn ) murders prelude strange things began to occur in and around hinterkaifeck sometime shortly before the attack six months before the attack , the family maid quit it has been widely claimed that her reason for leaving was that she had heard strange sounds in the attic and believed the house to be haunted andreas gruber found a strange newspaper from munich on the property in march 1922 he could not remember buying it and this gruber initially believed that the postman had lost the newspaper this was not the case , however , as no one in the vicinity subscribed to the paper just days before the murders , gruber told neighbours he discovered tracks in the fresh snow that led from the forest to a broken door lock in the farm 's machine room later during the night they heard footsteps in the attic , but gruber found no one when he searched the building although he told several people about these alleged observations , he refused to accept help and the details went unreported to the police according to a school friend of the seven-year-old cäzilia gabriel , the young girl reported that her mother viktoria had fled the farm the night before the act after a violent quarrel and only hours later had been found in the forest march 31 – april , 1922 on the afternoon of march 31 , 1922 , a friday , the new maid , maria baumgartner , arrived at the farm maria 's sister had escorted her there and left the farm after a short stay she was most likely the last person to see the inhabitants alive it appears that in the late evening , viktoria gabriel , her seven-year-old daughter cäzilia , and her parents andreas and cäzilia , were lured to the family barn through the stable , where they were murdered , one at a time the perpetrator ( or perpetrators ) used a mattock belonging to the family farm and killed the family with blows to the head the perpetrator moved into the living quarters , where - with the same murder weapon - he killed josef , sleeping in his bassinet , and baumgartner , in her bedchamber discovery four days passed between the murders and the discovery of the bodies on april , coffee sellers hans schirovsky and eduard schirovsky arrived in hinterkaifeck to place an order when no one responded to the knocks on the door and the window , they walked around the yard but found no one they only noticed that the gate to the machine house was open before they decided to leave cäzilia gabriel was absent without excuse for the next few days of school and the family failed to show up for sunday worship assembler albert 62 hofner went to hinterkaifeck on april to repair the engine of the food chopper he stated that he had not seen any of the family and had heard nothing but the sounds of the farm animals and the dog inside the barn after waiting for an hour , he decided to start his repair , which he completed in roughly 4.5 hours around 3:30 pm , schlittenbauer sent his son johann ( 16 ) and stepson josef ( ) to hinterkaifeck to see if they could make contact with the family when they reported that they did not see anyone , schlittenbauer headed to the farm the same day with michael pöll and jakob sigl entering the barn , they found the bodies of andreas gruber , his wife cäzilia gruber , his daughter viktoria gabriel , and his granddaughter cäzilia , murdered in the barn shortly after , they found the chamber maid , maria baumgartner , and the youngest family member , viktoria 's son josef , murdered in the home investigation inspector georg reingruber and his colleagues from the munich police department investigated the killings initial investigations were hampered by the number of people who had interacted with the crime scene , moved bodies and items around , and even cooked and ate meals in the kitchen the day after the discovery of the bodies , court physician johann baptist aumüller performed the autopsies in the barn it was established that a mattock was the most likely murder weapon , though the weapon itself was not at the scene evidence showed that the younger cäzilia had been alive for several hours after the assault – she had torn her hair out in tufts while lying in the straw the skulls of the victims were removed and sent to munich , where they were further examined leuschner , peter ( 1997 ) : hinterkaifeck spuren eines mysteriösen verbrechens p & nbsp ; 76 & nbsp ; ff the police first suspected the motive to be robbery , and they interrogated travelling craftsmen , vagrants , and several inhabitants from the surrounding villages when a large amount of money was found in the house , they abandoned this theory it was clear the perpetrator ( s ) had remained at the farm for several days : someone had fed the cattle , eaten the entire supply of bread from the kitchen , and had recently cut meat from the pantry with no clear motive to be gleaned from the crime scene , the police began to formulate a list of suspects despite repeated arrests , no murderer has ever been found and the files were closed in 1955 nevertheless , the last interrogations took place in 1986 before kriminalhauptkommissar konrad müller retired inconsistencies in the inspection record of the court commission , it was noted that the victims were probably drawn to the barn by restlessness in the stable resulting in noises from the animals a later attempt , however , revealed that at least human screams from the barn could not be heard in the living area on the night after the crime , three days before the bodies were discovered , the artisan michael plöckl happened to pass by hinterkaifeck plöckl observed that the oven had been heated by someone that person had approached him with a lantern and blinded him , whereupon he hastily continued on his way plöckl also noticed that the smoke from the fireplace had a disgusting smell 63 this instance was not investigated and there were no investigations conducted to determine what had been burned that night in the oven on april at am , the farmer and butcher simon reißländer , on the way home near brunnen , saw two unknown figures at the edge of the forest when the strangers saw him , they turned around so that their faces could not be seen later , when he heard of the murders in hinterkaifeck , he thought it possible that the strangers might be involved in the middle of may 1927 , a stranger was said to have stopped a resident of waidhofen at midnight he asked him questions about the murder and then shouted that he was the murderer before he ran into the woods the stranger was never identified suspects karl gabriel the husband of viktoria gabriel , karl gabriel , had reportedly been killed in arras , france by a shell attack in december 1914 , during the world war i however , his body had never been recovered after the murders , people began to speculate if he had indeed died in the war viktoria gabriel had given birth to josef illegitimately in her husband 's absence two-year-old josef was rumoured to be the son of viktoria and her father andreas , who had an incestuous relationship that was documented in court and known in the village after the end of the second world war , war captives from the schrobenhausen region who were released prematurely from soviet captivity claimed that they had been sent home by a german-speaking soviet officer who claimed to be the murderer of hinterkaifeck some of these men later revised their statements , however , which diminishes their credibility many theorized that this soviet might be karl gabriel , because those that claimed to have seen the man after his reported death testified that gabriel had wanted to go to russia lorenz schlittenbauer shortly after the death of his first wife in 1918 , lorenz schlittenbauer was believed to have a relationship with viktoria gabriel and fathered josef schlittenbauer came under suspicion by locals early in the investigation because of his several suspicious actions immediately after the discovery of the bodies when schlittenbauer and his friends came to investigate , they had to break a gate to enter the barn because all of the doors were locked however , immediately after finding the four bodies in the barn , schlittenbauer apparently unlocked the front door with a key and ( suspiciously ) entered the house alone a key to the house had gone missing several days before the murders , though it is also possible that schlittenbauer , as a neighbor or as viktoria 's potential lover , might have been given a key when asked by his companions why he had gone into the house alone when it was unclear if the murderer might still be there , schlittenbauer allegedly stated that he went to look for his son josef regardless of any of the above rumor , it is known that schlittenbauer had disturbed the bodies at the scene , thus potentially compromising the investigation for many years after , local suspicion remained on schlittenbauer because of his strange comments , which were seen as indicating knowledge of details that only the killer would know according to reports in the files for the case , local teacher hans 64 yblagger discovered schlittenbauer visiting the remains of the demolished hinterkaifeck in 1925 upon being asked why he was there , schlittenbauer stated that the perpetrator 's attempt to bury the family 's remains in the barn had been hindered by the frozen ground this was seen as evidence that schlittenbauer had intimate knowledge of the conditions of the ground at the time of the murders , although being a neighbor and familiar with the local land , he may have been making an educated guess another speculation was that schlittenbauer murdered the family after viktoria demanded financial support for young josef before his death in 1941 , schlittenbauer conducted and won several civil claims for slander against persons who described him as the '' murderer of hinterkaifeck '' gump brothers in 1951 , prosecutor andreas popp investigated adolf 's brother anton gump in relation to the murders at hinterkaifeck the sister of the gumps , kreszentia mayer , claimed on her deathbed that her brothers adolf and anton had committed the murders as a result , anton gump was remanded to police custody , but adolf had already died in 1944 after a short time , however , anton was dismissed again , and in 1954 , the case against him was finally discontinued because he could not be proven to have participated in the crime karl s and andreas s in 1971 , a woman named therese t wrote a letter citing an event in her youth : at the age of twelve , she witnessed her mother receiving a visit from the mother of the brothers karl and andreas s the woman claimed that her sons from sattelberg were the two murderers of hinterkaifeck the mother said , '' andreas regretted that he lost his penknife '' in the course of the conversation in fact , when the farm was demolished in 1923 , a pocket knife was found that could not be clearly assigned to anyone however , the knife could have easily belonged to one of the murder victims this track was followed without result kreszenz rieger , the former maid of hinterkaifeck , was certain she had already seen the penknife in the yard during her service peter weber peter weber was named a suspect by josef betz the two worked together in the winter of 1919/1920 as labourers and they shared a chamber according to betz , weber spoke in the time of a remote farm , hinterkaifeck weber knew that only one old couple lived there with their daughter and her two children it is likely he knew about the incest between gruber and his daughter betz testified in a hearing that weber had suggested killing the old man to get the family 's money when betz did not respond to the offer , weber stopped talking about it bichler brothers and georg siegl the former maid kreszenz rieger worked from november 1920 to about september 1921 on hinterkaifeck she suspected the brothers anton and karl bichler to have committed the murders anton bichler had helped with the potato harvest on hinterkaifeck and therefore knew the premises rieger said bichler talked to her often about the gruber and gabriel family anton reportedly suggested that the family ought to be dead the maid also emphasised in her interrogation that the farm 65 dog , who barked at everyone , never barked at anton in addition , she reported speaking with a stranger through her window at night the maid believed that it was karl bichler , the brother of anton she thought that anton and karl bichler could have committed the murder together with georg siegl , who had worked at hinterkaifeck and knew of the family fortune supposedly , siegl had broken into the home in november 1920 and had stolen a number of items , though he denied it he did state that he had carved the handle of the murder weapon when he was working at hinterkaifeck and knew that the tool would have been kept in the barn passage thaler brothers the thaler brothers were also suspected , according to a statement by the former maid kreszenz rieger the brothers had already committed several minor burglaries in the area before the crime rieger said that josef thaler stood at her window at night and asked her questions about the family , but she gave no answer in conversation , josef thaler claimed to know which family member was sleeping in which room and stated that they had a lot of money he also stated that the quayside had a lot of money during their conversation , rieger noted that there was another person nearby according to her statement , josef thaler and the stranger looked at the machine house and turned their eyes upwards paul mueller author bill james , in his book , the man from the train , alleges that paul mueller may have been responsible for the murders the murders bear some similarities to his crimes in the united states , including the slaughter of an entire family in their isolated home , use of the blunt edge of a farm tool as a weapon ( a pick axe ) , and the apparent absence of robbery as a motive the authors suspect that mueller , described as a german immigrant in contemporary media , might have departed the us for his homeland after private investigators and journalists began to notice and publicize patterns in family murders across state lines following the brazen 1912 murder of two families in a single night in colorado springs , colorado and a similar family murder weeks afterward a few hundred miles away in neighboring kansas bill james , rachel mccarthy james ( 2017 ) the man from the train : the solving of a century-old serial killer mystery ny : scribner legacy many books and newspaper articles have been devoted to the murders a series of articles by josef ludwig hecker in the schrobenhausener zeitung revived interest in the murders a documentary film , hinterkaifeck symbol des unheimlichen ( 1981 ) is based on the leuschner book ; hans fegert adapted the book , directed the film ( shot on super , with sound ) , and was the cameraman the film was shown regularly in ingolstadt ten years later , reinhard keilich 's play hinterkaifeck – deutschlands geheimnisvollster mordfall ( 1991 ) was produced , and at the same time kurt k hieber produced another documentary , shot on location , and shown on television and in local cinemas also in 1991 , radio station funkhaus ingolstadt aired a documentary , hinterkaifeck – auf den spuren eines mörders , and the abendzeitung ( münchen ) ran a series of articles called die sechs toten vom einödhof – 66 bayerns rätselhaftestes verbrechen in 2007 , the students of the polizeifachhochschule ( police academy ) in fürstenfeldbruck examined the case using modern criminal investigation techniques in 2017 , the last chapter of the man from the train by bill james and his daughter rachel mccarthy james , briefly discusses the murders at hinterkaifeck the authors explain the possibility that the german crimes might have been committed by paul mueller , the titular serial killer the authors believe killed several families in the united states under similar circumstances between 1898 and 1912 the murders attributed to mueller , including the villisca axe murders , were apparently random nighttime home invasions in or near small railroad towns that left entire families bludgeoned to death with the blunt end of an axe , and were probably motivated by a sadistic and necrophilia attraction to prepubescent girls.the authors rate the chances of mueller as the hinterkaifeck killer as '' more or less a toss-up '' but conclude '' there 's no real reason to believe that it 's not him '' see also list of unsolved murders references bibliography guido golla ( 2016 ) hinterkaifeck : autopsie eines sechsfachmordes norderstedt 2016 , external links interviews , pictures , maps and theories ( german ) A1.4 Văn ví dụ thực nghiệm liệu EnwikiMedium-914 structure the work is in three movements : verbunkos ( recruiting dance ) pihenő ( relaxation ) sebes ( fast dance ) the movements contrast in tempo the first movement contains a cadenza for clarinet and the last one for violin the piece features examples of alternate or dual-thirds ( c and c in an a triad ) : : seiber 1949 this mixed thirds structure may be thought of as bitonal in that the major and minor third of a triad are used this structure may be extended through considering each third of the original triad as also being a possible third in a triad a half step in either direction thus c/d is a major third in an a major triad and the minor third of a b major triad : : various hungarian and romanian dance melodies are incorporated into the work the first movement begins with a lively violin pizzicato , after which the clarinet introduces the main theme , which is then varied this theme is an example of the hungarian dance and music genre '' verbunkos '' , or recruiting dance the genre of music was commonly played at military recruitings the second movement is much more introspective and has a continuously shifting mood without a defined theme the third is a frenzied dance that begins with a scordatura ( g-d-a-e violin section , after which the clarinet introduces the main theme in the middle , there is a slower section in the time signature , after which the pattern of variations on the theme is resumed jános kárpáti has discussed the structural aspects of contrasts in detail kárpáti 1981 szigeti recalled that bartók had told him that the start of contrasts had partial 67 inspiration from the '' blues '' second movement of maurice ravel 's sonata for violin and piano f bónis has further noted the parallel between a short passage in the same ravel movement and a passage in the first movement of contrasts bónis 1963 movements verbunkos '' verbunkos '' features polymodality or what kárpáti terms alternative structures for example , the framing motif of the first movement features , in relation to the root , a , the minor and major third and the perfect and diminished fifth : kárpáti 1981 , p.203 : e is revealed as both an alternative fifth of an a chord and the alternative third of a c chord by the canon at the third at the beginning of the development , bar 58 : : between the six notes of both triads are seven thirds verbunkos was a stately and stylized hungarian recruiting dance '' measured in rhythm and rich in melodic embellishments characterized by the theme '' : : pihenő this movement has been described as volcanic rather than relaxing , e.r 1948 despite its title , '' relaxation '' or '' rest '' sebes the violinist must retune ( scordatura ) two strings for the last movement , lowering the e and raising the g a semitone each the trio of this movement features '' bulgarian rhythm '' seiber 1949 , p.28 and is similar in spirit to the finale of the first violin sonata : seiber 1949 , p.29 : reception the work is said by kárpáti to have '' technical bravura and at the same time.poetic versatility '' in contrast , e.r , assumes that appreciation of the work suffers from its '' lack of variety of mood '' though '' bartók 's genius consists in gifts of rhetoric so rich that he can spread this one mood , and spread it interestingly , over a score or more of large-scale works '' he argues that the '' contrasts '' in the piece are '' of speed rather than of mood '' seiber considers it '' a less weighty , less important work in bartók 's whole œuvre '' though the '' writing for both violin and clarinet '' is '' most effective throughout '' an article describing a program in which '' the standard note on bartók 's contrasts.was replaced by a sequential , diagrammatic sketch , '' concluded that , '' in fact , bartók looks as inscrutable as he sounds '' '' program notes : better unwritten than unread '' , music educators journal , vol 54 , no ( mar , 1968 ) , pp 96-97 references sources bradshaw , susan ( 2001 ) '' piano music : recital repertoire and chamber music '' , cambridge companions to music , p & nbsp ; 116 amanda bayley , ed centenrio belae bartók sacrum e r ( 1943 ) '' review : contrasts , for violin , clarinet and piano by béla bartók '' , music & letters , vol 24 , no ( january 1943 ) , p & nbsp ; 61 seiber , mátyás ( 1949 ) '' béla bartók 's chamber music '' , tempo , new ser , no 13 , bartók number ( autumn , 1949 ) , pp & nbsp ; 19–31 further reading '' program notes : better unwritten than unread '' , music educators journal , vol 54 , no ( mar , 1968 ) , pp & nbsp ; 96–97 features a listening score for contrasts kárpáti , jános bartók 's chamber music stuyvesant , ny : pendragon press ( 1976 ) external links urltoken et 's clarinet studio : contrasts by bela bartok by eric tishkoff urltoken sierra chamber society program notes : contrasts by joseph way urltoken luna nova music ensemble 68 podcasts : contrasts or urltoken urltoken aurelius ensemble - bartók : contrasts urltoken contrasts for clarinet , violin & piano ( mvt i + ii ) performed by yehudi menuhin , thea king , and jeremy menuhin urltoken contrasts for clarinet , violin & piano ( mvt iii ) urltoken composer 's datebook , public radio international , january 8-14 , 2007 urltoken notes to naxos recording , 8.550749 A2 Các ví dụ văn thực nghiệm liệu Viwiki A2.1 Văn ví dụ số thực nghiệm liệu Viwiki-914 thiết_kế chế_tạo hms venerable đặt lườn vào ngày tháng 12 năm 1942 hãng đóng tàu cammell_laird birkenhead , hạ_thủy năm sau , đưa hoạt_động hải_quân hoàng_gia vào ngày 17 tháng năm 1945 lịch_sử hoạt_động hải_quân hoàng_gia anh giống khác lớp colossus hoàn_thành trước kết_thúc chiến_tranh , hms venerable gửi đến viễn_đông để gia_nhập hải_đội tàu sân_bay 11 ( bao_gồm hms colossus ( r15 ) , hms glory ( r62 ) hms vengeance ( r71 ) ) thuộc hạm_đội thái_bình_dương anh_quốc mang theo khoảng 40 máy_bay tiêm_kích vought f4u_corsair máy_bay ném bom - ngư_lôi fairey_barracuda sau chiến_tranh kết_thúc , hms venerable đưa hồi_hương tù_binh chiến_tranh canada australia trước quay trở anh hải_quân hồng_gia hà_lan năm 1948 bán cho hà_lan đặt lại tên hnlms karel_doorman ( r81 ) , tham_gia xung_đột quân_sự năm 1962 tây_new_guinea ( ngày_nay papua papua_barat , thuộc indonesia ) hải_quân argentina năm 1969 , sau tai_nạn cháy phòng nồi_hơi , karel doorman bán cho argentina đặt lại tên ara veinticinco de mayo ( v - ) tham_gia chiến_tranh falklands A2.2 Văn ví dụ số thực nghiệm liệu Viwiki-914 thiên_hà thành_viên bảng bên liệt_kê tên thiên_hà chắc_chắn nằm nhóm thiên_hà dựa theo biên mục thiên_hà gần , kết_quả khảo_sát thực_hiện fouque et_al , biên mục nhóm thiên_hà lyons ba danh_sách nhóm thiên_hà tạo dựa mẫu thiên_hà quang_học gần ( tiếng anh : nearby optical_galaxy ) giuricin et_al thiên_hà có_thể nằm nhóm ( liệt_kê hai nhiều danh_sách ) thiên_hà vơ_định_hình ngc 5238 ugc 8508 nhóm lân_cận nhóm messier 51 ( bao_gồm thiên_hà chong_chóng thiên_hà hoa hướng_dương ) nằm phía đơng_nam nhóm messier 101 nhóm ngc 5866 phía tây bắc khoảng_cách ba 69 nhóm với chúng_ta tương_tự ( có dựa khoảng_cách thiên_hà thành_viên ) do_vậy , ba nhóm có_thể phần cấu_trúc lớn , kéo_dài thưa_thớt tuy_nhiên hầu_hết phương_pháp nhận_dạng nhóm ( bao_gồm phương_pháp sử_dụng tài_liệu tham_khảo trích_dẫn ) xác_định ba nhóm ba nhóm riêng_biệt A3 Các văn thực nghiệm liệu Daily Mail/CNN A3.1 Văn ví dụ số thực nghiệm liệu Daily Mail/CNN despite arsenal winning their eighth premier league game in a row on saturday , the club 's chief executive ivan gazidis says he is ` not happy ' that the club are not going to win the title with top spot set to elude arsenal again , gazidis says the club will ` keep pushing ' chelsea , but he admitted winning the championship is unlikely and gazidis fears arsenal will find it harder in future just to maintain their perennial place in the top four champions league qualification places due to a surge in television cash aaron ramsey smashes the ball home in the win over burnley , arsenal 's eighth victory in a row in the league francis coquelin wins the ball off george boyd as the gunners moved four points clear in second place gazidis says the premier league is ` going to become more competitive which is going to be more challenging for clubs like us ' the gunners have n't won the league since 2004 and their first eight-game winning run since then has propelled them to second earlier setbacks , though , for arsene wenger 's team helped chelsea to establish a commanding lead ` we are not happy but we are going to keep pushing to the end and see how far we can go , ' said gazidis ivan gazidis says he is not happy with second place , and says the club may struggle in the near future A3.2 Văn ví dụ số thực nghiệm liệu Daily Mail/CNN men almost twice the amount of housework after they retire - but they are still doing far less than their wives , according to new research the study of 1,302 german couples found working men did just two hours of house work each day , which almost doubled to 3.9 hours when they retired but they are still lagging behind their stay-at-home female partners when it comes to sharing the burden division of labour : men just two hours of housework a day while working , which increases to 3.9 after they retire - but it is still far less than the amount carried out by their stay-at-home wives the study , published in the journal of marriage and family , found women who did not work did an average of 6.8 hours before their husband 's retired chores 70 included doing the laundry and the washing up , as well as running errands , according to new york magazine however , the number of hours they did each day only dropped to 6.1 after their husbands retired what 's more , it seems the men were still avoiding the washing up , even post-retirement the research noted the increase in the men 's hours was mainly taken up by more ` manly ' chores - like repairs and gardening however , the study - conducted by thomas leopold at the university of amsterdam and jan skopek at the european university institute - does not reveal how the burden was shared when both the husband and wife were working manly : the men were also less likely to the ` female ' chores , sticking to gardening and repairs 71 TÓM TẮT LUẬN VĂN THẠC SĨ Đề tài: Cải tiến tóm tắt tóm lược với học sâu xây dựng liệu Tác giả luận văn: Đặng Trung Anh Khóa: 2019B Người hướng dẫn: TS Nguyễn Thị Thu Trang Từ khóa (Keyword): Tóm tắt tóm lược, Xây dựng liệu Nội dung tóm tắt: Lý chọn đề tài Trong kỷ nguyên xã hội số, phát triển vượt bậc khoa học kỹ thuật bên cạnh việc giúp cho chất lượng sống người trở nên tốt hơn, đem lại lượng thơng tin vơ lớn Bên cạnh kênh thông tin truyền thống sách vở, báo chí, ngày nay, đời internet giúp cho việc tiếp nhận truyền tải thông tin khắp giới trở nên vô đơn giản nhanh chóng Mặc dù việc truy cập thông tin ngày trở nên dễ dàng, đặc biệt với phổ biến thiêt bị smartphone, nhiên khiến cho người gặp nhiều khó khăn việc nắm bắt, mà khối lượng thông tin đến ngày, vô lớn Hiện nay, bên cạnh tiếng nói hình ảnh, đa phần thông tin biểu diễn dạng văn trang báo, tạp chí, sách…Thơng qua văn bản, lượng thông tin liên tục tăng không ngừng ngày, gây nên khó khăn việc nắm bắt tổng hợp thông tin cho hiệu Xuất phát từ thực trạng này, cần phải tóm tắt nội dung văn lại cách ngắn gọn, súc tích, cho mang lại chi tiết bật mà không thông điệp muốn truyền tải bàn gốc Tuy nhiên, đa dạng độ dài kích thước văn khiến cho việc tóm tắt thủ cơng trở nên vơ khó khăn, tốn nhiều thời gian sức lực Do đó, việc xây dựng hệ thống tóm tắt tự động trở nên vô cần thiết quan trọng Các kết đạt hệ thống áp dụng cho nhiều toán khác nhiều lĩnh vực như: (i) Bài toán tạo đoạn sapo cho báo, (ii) Bài tốn tóm tắt báo tạp chí, (iii) Bài tốn tổng hợp thơng tin theo chủ đề… Bài tốn tóm tắt tóm lược văn tốn khó xử lý ngơn ngữ tự nhiên, địi hỏi mơ hình phải hiểu ngữ cảnh văn để sinh tóm tắt có đủ nội dung, ý gốc Hiện nay, nghiên cứu đại tóm tắt tóm lược đạt kết định Tuy nhiên, gần đây, kết thực nghiệm không tăng đáng kể, điều số lượng tập liệu chất lượng cho tốn cịn hạn chế, đa phần lấy từ liệu báo, phần tóm tắt sử dụng từ đoạn sapo nên ngắn, khơng báo qt nhiều nội dung, khó áp dụng rộng rãi 72 Nhiệm vụ tóm tắt tóm lược đặc biệt khó khăn tiếng Việt, mà ngữ pháp từ vựng vô phức tạp đa dạng Sự nhập nhằng tiếng Việt khiến cho từ ngữ cảnh sử dụng khác nhau, ý nghĩa vai trị liên tục thay đổi Hơn nữa, với tốn tóm tắt tóm lược cho tiếng Việt, liệu gần khơng có khơng cơng bố, gây nhiều khó khăn q trình nghiên cứu xây dựng mơ hình cho tốn Xuất phát từ lý trên, tơi chọn đề tài: “Cải tiến tóm tắt tóm lược văn với học sâu xây dựng liệu” với mong muốn đóng góp liệu tóm tắt tóm lược đa dạng, chất lượng cho cộng đồng nghiên cứu tốn hai ngơn ngữ tiếng Việt tiếng Anh Bên cạnh đó, với lợi từ liệu xây dựng, mong muốn đề xuất thêm cải tiến cho mơ hình đại tốn để nâng cao kết thu mơ hình này Mục đích nghiên cứu luận văn, đối tượng, phạm vi nghiên cứu 2.1 Mục đích nghiên cứu - Xây dựng liệu cho tốn tóm tắt tóm lược hai ngơn ngữ tiếng Việt tiếng Anh - Đề xuất cải tiến kết mơ hình đại tóm tắt tóm lược 2.2 Đối tượng nghiên cứu - Bài tốn tóm tắt tóm lược văn - Bộ liệu nguồn Wikipedia - Mơ hình sở Pointer-Generator 2.3 Phạm vi nghiên cứu - Trong giới hạn toán tóm tắt tóm lược văn bản, thực xây dựng liệu đưa cải tiến đề xuất để cải thiện kết Tóm tắt đọng nội dung đóng góp tác giả Trong luận văn này, tác giả thực nghiên cứu, phân tích, đưa phương pháp xử lý lấy mẫu để thu liệu tóm tắt tóm lược dựa liệu nguồn thu thập Wikipedia Các liệu thu có kích thước độ dài khác nhau, hai ngôn ngữ tiếng Anh tiếng Việt Bên cạnh đó, tác giả đề xuất cải tiến dựa sử dụng mơ hình pre-trained fastText embedding lớp biểu diễn từ sử dụng kỹ thuật transfer learning để cải thiện mơ hình Phương pháp nghiên cứu - Phân tích, thống kê, xử lý liệu sử dụng Spark Pandas, sở ngơn ngữ lập trình Scala Python - Sử dụng phương pháp lấy mẫu liệu Stratified sampling q trình trích xuất liệu khác - Sử dụng mơ hình Pointer-Generator làm mơ hình sở, đề xuất cải tiến sử dụng fastText pre-trained kỹ thuật transfer learning 73 Kết luận Các liệu thu có chất lượng tốt, đa dạng kích thước độ dài văn bản, thực nghiệm mơ hình đại cho kết tương đương với liệu phổ biến toán Đặc biệt, với tiếng Việt, kết thu liệu cho kết cao, hứa hẹn thúc đẩy nhiều nghiên cứu cho ngôn ngữ Ở cải tiến đề xuất, với việc sử dụng kết hợp mơ hình pre-trained embedding phương pháp transfer learning, kết thực nghiệm cho thấy điểm ROUGE thu cao so với mơ hình sở, cho thấy cải tiến đề xuất hoàn toàn hợp lý phù hợp với thực tiễn 74 ... đơn văn bản, với đầu vào văn gốc, cần phải tóm tắt lại nội dung văn thành tóm tắt Mặc khác, tóm tắt đa văn thực tóm gọn lại nội dung từ đầu vào bao gồm tập văn bản, thu đầu tóm tắt cho tồn văn. .. đề… Tóm tắt văn phân loại thành dạng theo mục tiêu cụ thể toán, phụ thuộc vào dạng đầu vào đầu hệ thống xây dựng Theo dạng đầu vào, tóm tắt văn chia thành tóm tắt đơn văn tóm tắt đa văn Ở tóm tắt. .. Summarization) Nếu tóm tắt trích rút lấy vài câu quan trọng văn làm tóm tắt tóm tắt tóm lược thực tạo tóm tắt dựa việc hiểu ngữ nghĩa, nội dung văn gốc Với phức tạp ngơn ngữ, việc tóm tắt tóm lược trở