Hướng đến Chuyển đổi Nội dung thông qua sinh văn bản có cơ sở

TRƯỜNG ĐẠI HỌC QUY NHƠN KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO TIỂU LUẬN TÌM HIỂU BÀI BÁO “Hướng đến Chuyển đổi Nội dung thông qua sinh văn bản có cơ sở” Hướng dẫn TS Lê Quang Hùng Thực hiện Đặng Kỳ Duyên Lớp Khoa học máy tính K23 Quy Nhơn, 012022 Shrimai Prabhumoye Carnegie Mellon University 5000 Forbes Avenue Pittsburgh, PA 15219 sprabhumandrew cmu edu Chris Quirk, Michel Galley Microsoft Research One Microsoft Way Redmond, WA 98052 {chrisq,mgalley}microsoft com Tóm tắt Các nghiên cứu gần đây tro.

TRƯỜNG ĐẠI HỌC QUY NHƠN KHOA CÔNG NGHỆ THÔNG TIN - - BÁO CÁO TIỂU LUẬN TÌM HIỂU BÀI BÁO “Hướng đến Chuyển đổi Nội dung thông qua sinh văn có sở” Hướng dẫn: TS Lê Quang Hùng Thực hiện: Đặng Kỳ Duyên Lớp: Khoa học máy tính K23 Quy Nhơn, 01/2022 Shrimai Prabhumoye Chris Quirk, Michel Galley Carnegie Mellon University Microsoft Research 5000 Forbes Avenue One Microsoft Way Pittsburgh, PA 15219 Redmond, WA 98052 sprabhum@andrew.cmu.edu {chrisq,mgalley}@microsoft.com Tóm tắt Các nghiên cứu gần lĩnh vực tạo sinh hệ thần kinh thu hút quan tâm đáng kể kiểm sốt hình thức văn bản, chẳng hạn phong cách, văn phong tính lịch Tuy nhiên cịn nghiên cứu việc kiểm soát sinh văn thần kinh dành cho nội dung Bài báo giới thiệu khái niệm Chuyển đổi nội dung để sinh văn dạng dài, với nhiệm vụ tạo câu vừa phù hợp với ngữ cảnh vừa dựa nguồn văn bên phong phú nội dung, chẳng hạn tin tức Các thử nghiệm liệu Wikipedia cho thấy cải tiến đáng kể so với nghiên cứu khác Ngoài báo này, phát hành tập liệu điểm chuẩn gồm 640 nghìn câu tham chiếu Wikipedia liên kết với báo nguồn để khuyến khích triển khai nhiệm vụ Giới thiệu Các nghiên cứu gần lĩnh vực sinh ngôn ngữ tự nhiên (NLG) thần kinh nhận quan tâm ngày cao việc kiểm soát văn thuộc tính ngơn ngữ liên quan đến hình thức khác nhau, chẳng hạn phong cách (Ficler Goldberg, 2017), tác động (Ghosh cộng sự, 2017), tính lịch (Sennrich cộng sự, 2016), tính cách (Li cộng sự, 2016b), văn phong (Yamagishi cộng sự, 2016), tính xác ngữ pháp (Ji cộng sự, 2017) độ dài (Kikuchi cộng sự, 2016) Xu hướng giúp phát triển công cụ soạn thảo có Grammarly, Google Smart Compose Microsoft Word với khả kiểm sốt nhiều thuộc tính văn hơn, chủ yếu giới hạn ngữ pháp, tả, lựa chọn từ số lượng từ Điều tương đối khám phá nghiên cứu NLG thần kinh khả kiểm soát việc tạo câu khơng hình thức mà cịn nội dung.1 Xem xét ví dụ Hình 1, minh họa tình mà tác giả chỉnh sửa tài liệu (bài viết Wikipedia), mục đích tạo đề xuất câu (màu cam) cho tác giả Loại tác vụ sinh văn dài, không bị giới hạn (Mostafazadeh cộng sự, 2016; Fan cộng sự, 2018) tất nhiên khó khăn Tác vụ sinh tự dễ bị chệch hướng hai yếu tố đối lập Một mặt, việc đảm bảo sản lượng tạo có chất lượng tương đối tốt thường trở nên nhạt nhẽo khơng có nội dung thực tế (Li cộng sự, 2016a) Hình 1: Ví dụ chuyển đổi nội dung: Với văn xếp có (màu vàng) tài liệu có thơng tin liên quan bổ sung (xanh cây), nhiệm vụ cập nhật văn xếp (màu cam) để phản ánh cập nhật bật Mặt khác, kỹ thuật giúp hướng mơ hình nơron nhằm tạo kết đầu có nội dung hay (sử dụng lấy mẫu nhiệt độ (Fan cộng sự, 2018), GAN (Goodfellow cộng sự, 2014), v.v.), thường xuất “ảo giác” (Wiseman cộng sự, 2017) với từ khái niệm hoàn toàn khơng liên quan, khơng thể thuyết phục người dùng Điều cịn thiếu vấn đề nói khái niệm sở: thường có nhiều tài nguyên trực tuyến liên quan đến tài liệu viết Phần lớn kiến thức giới có mục đích chung có sẵn dạng bách khoa tồn thư (ví dụ: Wikipedia), sách (ví dụ: Dự án Gutenberg, Google Sách) báo Mặc dù việc tạo văn chất lượng tốt mà điều kiện nguồn “bên ngồi” (Fan cộng sự, 2018) khó khăn nghiên cứu, chúng tơi cho việc tạo sở trở dễ dàng nhiều, ví dụ Hình 1, đoạn báo (xanh cây) định dạng lại dựa ngữ cảnh tài liệu (màu vàng) để tạo câu tự nhiên (màu cam) Xét khía cạnh này, báo giải vấn đề sinh văn có sở, mục tiêu truyền tải nội dung kiến thức từ nguồn bên ngồi (ví dụ: báo Hình 1) để tạo phần câu tài liệu có Chúng tơi coi hình thức Chuyển đổi nội dung, đặc điểm khác nguồn bên ngồi - chẳng hạn phong cách hình thức ngơn ngữ - khơng kiểm sốt Ngồi việc xây dựng nhiệm vụ này, nghiên cứu có đóng góp sau: Cung cấp tập liệu lớn gồm 640 nghìn phiên chứa liệu song song tài liệu nguồn (tin tức), ngữ cảnh câu tạo Hai phần sau rút trích từ Wikipedia, tập liệu để tạo sở nhiều tuyên bố Wikipedia trích dẫn nguồn bên ngồi (tức dựa báo bên ngồi); Đồng thời chúng tơi cung cấp mơ hình đơn giản hiệu đáp ứng điều kiện viết bên ngữ cảnh tài liệu Chúng so sánh mơ hình với nghiên cứu bên ngồi, bao gồm phương pháp tóm tắt cô đọng báo mà không xem xét ngữ cảnh tài liệu Thử nghiệm cho thấy mô hình kết hợp ngữ cảnh chúng tơi đạt 7,0 điểm ROUGE-L F1 - nói cách khác, xem nhiệm vụ chúng tơi tốn tóm tắt khơng đủ Các đánh giá người cho thấy mô hình nhận thức ngữ cảnh tạo câu có liên quan, trơi chảy, mạch lạc phù hợp Nhiệm vụ Nghiên cứu liên quan đến vấn đề chung hỗ trợ quyền tác giả có sở, tức đề xuất văn để thêm vào thảo tài liệu có, cho tất nội dung thêm vào phản ánh thông tin từ nguồn bên ngoài, chẳng hạn báo sách Loại tác vụ có nhiều hình thức, chúng tơi định thức hóa mà giữ ngun tính chất nhiệm vụ Với tài liệu bên (xanh Hình 1) số văn xếp (màu vàng), cần tạo câu cập nhật (màu cam) Câu cập nhật phải phù hợp với ngữ cảnh phản ánh thơng tin có tài liệu Nhiệm vụ có số điểm tương đồng với tóm tắt tự động (Nenkova McKeown, 2011), cách tiếp cận ban đầu thêm câu tóm tắt tài liệu vào văn xếp Tuy có liên quan hai nhiệm vụ khác hai điểm Đầu tiên, câu tóm tắt phải phù hợp với ngữ cảnh dựa ngữ cảnh trước văn xếp Thứ hai, tóm tắt chủ yếu liên quan đến việc tìm kiếm thơng tin bật, trường hợp này, thông tin liên quan đến ngữ cảnh thực phụ trợ tài liệu bên Phần (Nghiên cứu liên quan) đối chiếu nhiệm vụ với phần tóm tắt Chúng tơi thức xác định nhiệm vụ sau: văn xếp có tài liệu d mơ tả thơng tin liên quan đến văn đó, hệ thống phải tạo văn sửa đổi s1 kết hợp thông tin bật từ d Chúng hạn chế tập trung vào trường hợp lấy văn s1 sửa đổi cách thêm thông tin từ d vào văn Nhìn chung, thơng tin cập nhật từ d địi hỏi thay đổi đáng kể s: có lẽ giả định cốt lõi s bị mâu thuẫn, cần phải bỏ nhiều câu viết lại Chúng tơi hỗn thiết lập để tập trung cho nghiên cứu tương lai bản xếp ban đầu s.2 Đặc biệt, giả sử chúng tơi chuyển đổi văn cũ xếp s thành văn s1 cách thêm câu cập nhật bổ sung x thành s Nhìn chung, thơng tin cập nhật từ d đòi hỏi thay đổi đáng kể s: có lẽ giả định cốt lõi s bị mâu thuẫn, cần phải bỏ nhiều câu viết lại Chúng tơi hỗn thiết lập để tập trung cho nghiên cứu tương lai 3 Mơ hình Bài báo hoạt động môi trường học tập giám sát thông thường Đối với liệu đào tạo, dựa tập liệu lớn văn xếp có S = {s1, , sn}, tài liệu tương ứng với thông tin D = {d1, , dn}, câu cập nhật X = {x1 , xn} Nhiệm vụ chúng tơi tạo câu cập nhật x i nối vào văn xếp si nhằm kết hợp thông tin bổ sung từ tài liệu d i Mục tiêu xác định thông tin (cụ thể di \ si) bật chủ đề trọng tâm văn bản, sau tạo câu đơn đại diện 3.1 Mơ hình sinh Phương thức để tạo câu cập nhật bổ sung x sử dụng mơ hình tổng hợp có điều kiện dựa thông tin văn xếp s tài liệu d Các phương pháp gần lấy cảm hứng từ hệ thống dịch máy thần kinh thành công tạo kết ấn tượng việc tóm tắt trừu tượng (Nallapati cộng sự, 2016).Do đó, bước chúng tơi sử dụng mơ hình mã hóa-giải mã chuỗi (Bahdanau cộng sự, 2015) với quan tâm (Luong cộng sự, 2015) nhiệm vụ chúng tơi Loại mơ hình giả định câu đầu tạo từ Mỗi từ đầu tạo điều kiện hóa tất từ trước trình bày mã hóa ngữ cảnh z: (1) Mơ hình sinh Ngữ cảnh Bất khả tri (CAG): Đường sở đơn giản để tạo chuỗi mơ hình riêng cho tài liệu d khơng kết hợp trực tiếp thông tin từ văn xếp s Ở đây, thuật toán dùng để tạo câu cập nhật khả thi = argmax p (x|d) Trong thiết lập này, coi tài liệu tham chiếu di nguồn câu cập nhật tạo xi đích (2) Bộ mã hóa giải mã khơng trực tiếp nhìn thấy thơng tin từ văn xếp s, cập nhật x vốn có thơng tin Các tham số mơ hình cập nhật tác giả cung cấp kiến thức văn xếp Do nắm bắt số khái quát loại thơng tin vị trí d có nhiều khả đóng góp thơng tin cho s Mơ hình sinh Ngữ cảnh (COG): Thuật tốn dùng để tạo câu cập nhật có khả xảy = arg max p(xs) Mơ hình tương tự CAG ngoại trừ việc coi si xếp nguồn Thiết lập khơng tạo sở nội dung Mơ hình sinh Thông tin Ngữ cảnh (CIG): Bước kết hợp thông tin từ văn xếp s Chúng tơi nối tài liệu văn xếp, đồng thời tiến hành mã hóa trình tự (3) Cách tiếp cận kết hợp thông tin từ hai nguồn, không phân biệt rõ ràng Do đó, mơ hình gặp khó khăn việc xác định phần thơng tin so với văn xếp Để xác định rõ thơng tin có văn xếp s, mơ hình mã hóa s d riêng biệt, sau kết hợp hai vào quy trình tổng hợp Mơ hình sinh Tiếp thu Ngữ cảnh (CRG): Bước chúng tơi điều kiện hóa quy trình tạo cách cụ thể văn xếp Tiến hành điều kiện hóa q trình sinh s bước Về hình thức: (4) (5) (6) đó, θd θs tham số mã hóa cho tài liệu d mã hóa cho văn xếp s, zd zs đại diện mã hóa tài liệu d i văn xếp si Tại bước trình, kết đầu điều chỉnh dựa token tạo bước t nối với zs Do đó, q trình tổng hợp tiếp thu ngữ cảnh bước 3.2 Các mơ hình rút trích Các mơ hình tạo sinh nên câu với điều kiện ngữ cảnh có liên quan có số thách thức mơ hình hóa Mơ hình vừa phải chọn nội dung phù hợp vừa tạo khả nhận biết thông tin cách trôi chảy mặt ngôn ngữ Chúng xem xét mơ hình rút trích: phương pháp tiếp cận chọn câu phù hợp từ tài liệu d để thêm vào văn xếp s Những cách tiếp cận tập trung vào vấn đề lựa chọn nội dung bỏ qua khó khăn tác vụ sinh Việc đơn giản hóa dẫn đến hệ quả: câu thích hợp yêu cầu tập hợp thông tin từ số câu tài liệu kết hợp thông tin từ nhiều câu Sum-Basic (SB): Đường sở phổ biến Sum-Basic, kỹ thuật tóm tắt rút trích dựa thống kê tần suất từ để chọn câu bật (Nenkova Vanderwende, 2005) Bước đầu tiên, xác suất unigram tính tốn từ tập hợp tài liệu đầu vào cách sử dụng ước tính tần suất tương đối Sau đó, câu chọn phạm vi tóm tắt bão hịa Ở lần, mơ hình chọn câu khả thi theo phân phối unigram Câu chọn thêm vào phần tóm tắt bị xóa khỏi nhóm câu có sẵn Xác suất unigram tất từ câu chọn lọc theo phương pháp heuris (được thay bậc hai) Các hoạt động chọn lọc tiếp tục viết xong tóm tắt Bước lọc quan trọng để ngăn chặn lặp lại: từ (hoặc tốt khái niệm) chọn cho phần tóm tắt, khả chọn lần nhiều Chúng sử dụng Sum-Basic mô hình rút trích Ngữ cảnh Bất khả tri: chúng tơi cung cấp tài liệu d làm đầu vào cho mô hình chạy Sum-Basic vịng Câu chọn coi câu cập nhật x Sum-Basic Thông báo Ngữ cảnh (CISB): Chúng phát triển sửa đổi đơn giản theo kỹ thuật Sum-Basic để kết hợp thông tin từ văn xếp s làm ngữ cảnh Xác suất unigram ban đầu tính cách sử dụng số lượng từ văn xếp tài liệu Tiếp theo, câu văn xếp, chúng tơi áp dụng quy trình lọc, cập nhật phân phối xác suất thể câu chọn Cuối cùng, chọn câu đơn từ tài liệu khả thi theo xác suất unigram lọc Việc sửa đổi Sum-Basic giúp chọn câu bật so với văn xếp cách hạ xác suất tất từ có Hình 2: Quy trình tạo tập liệu Mơ hình rút trích CAG, CIG, CRG: Bất kỳ mơ hình tổng hợp x sử dụng làm mơ hình rút trích: chúng tơi cần ước tính khả xảy câu tài liệu theo mơ hình chọn câu có khả xảy Các mơ hình tạo khơng thành cơng chúng khơng thể chọn thơng tin phù hợp đáp án không Xếp hạng rút trích loại bỏ tất lỗi q trình tạo loại vấn đề mơ hình Mơ hình CAG, CIG, CRG hỗn hợp: Vì tài liệu d lớn, mơ hình sinh gặp khó khăn để chọn thơng tin bật dựa ngữ cảnh Để đơn giản hóa nhiệm vụ mơ hình này, chúng tơi lọc trước tài liệu, để phần bật Chúng sử dụng kỹ thuật Sum-Basic thông báotheo ngữ cảnh để chọn năm câu từ tài liệu Chúng cung cấp năm câu thay cho tài liệu nguồn d, sau áp dụng kỹ thuật CAG, CIG CRG mô tả 4 Tập liệu Tập liệu lý tưởng ghi lại chỉnh sửa thực số văn tham chiếu xếp dựa báo mơ tả thay đổi Ví dụ: người ta trì tài liệu phần mềm tham chiếu hệ thống, thực bổ sung thay đổi có email mô tả cập nhật bổ sung Rất tiếc, loại liệu khó lấy vấn đề quyền riêng tư Tuy nhiên, Wikipedia cung cấp nội dung văn tham chiếu đến nguồn Một số đáng kể câu Wikipedia bao gồm trích dẫn đến tài liệu hỗ trợ, nguồn liệu truyền tải nội dung Điều cho thấy số trích dẫn khó theo dõi độ tin cậy thấp: URL bị hỏng dẫn đến thơng tin; trích dẫn sách khó sử dụng phạm vi thơng tin lớn; v.v Vì vậy, chúng tơi xem xét trường hợp mà tài liệu tham khảo liên kết đến số nguồn tin tức bật Dựa tần suất trích dẫn, chọn danh sách gồm 86 tên miền, chủ yếu trang tin tức Trong q trình tạo liệu, chúng tơi xem xét trích dẫn thuộc 86 miền Chúng tơi đưa giả định đơn giản hóa số lý Đầu tiên, kết xuất Wikipedia tiếng Anh chúng tơi chứa khoảng 23,7 triệu URL trích dẫn thuộc 1,6 triệu tên miền; lọc chi tiết nhiệm vụ khó khăn Danh sách miền kiểm duyệt thủ cơng phương tiện có độ xác cao (mặc dù liệu thấp) để chọn liệu Thứ hai, muốn làm cho văn tạo trở nên đáng tin cậy, quán hiệu Hơn nữa, miền tiếng ln có sẵn Common Crawl,4 dẫn đến tập liệu dễ tái tạo Hình minh họa quy trình sử dụng để tạo tập liệu cho nhiệm vụ mô tả Phần từ viết Wikipedia, chúng tơi rút trích văn túy mà khơng cần ghi Khi gặp trích dẫn thuộc miền chọn, cân nhắc câu trước trích dẫn tạo dựa nội dung trích dẫn Câu trở thành câu cập nhật tham chiếu chúng tôi: câu cập nhật bổ sung x thêm vào văn xếp s để tạo văn s1 K câu trước câu đích Wikipedia coi văn xếp s Trong trường hợp này, sử dụng tập hợp k = câu để chọn ngữ cảnh Bài báo trích dẫn đóng vai trị tài liệu d, từ tạo cập nhật x thích hợp Nguồn HTML trích dẫn tải xuống từ Common Crawl dùng để tái tạo quán Sau đó, HTML có nguồn gốc từ Common Crawl xử lý để lấy văn túy báo Tập liệu kết C bao gồm tập liệu chỉnh C = (di; si; xi) i∈ [1,n], n tổng số mẫu tập liệu Ngồi ra, người ta dựa vào lịch sử chỉnh sửa Wikipedia để tạo tập liệu Trong thiết lập này, chỉnh sửa bao gồm trích dẫn đóng vai trị cập nhật x Mặc dù điều có bất lợi nội dung cập nhật phức tạp, nhiều câu, phân tích sơ gợi ý chỉnh sửa không cần thiết -3 Danh sách cung cấp phát hành liệu báo http://commoncrawl.org/ Bảng 1: Các đặc điểm tập liệu: kích thước gần phiên đầu vào đầu ra, kích thước gần tập liệu thu hồi kết đầu tham chiếu so với tài liệu nguồn, thước đo độ khó tập liệu Người chỉnh sửa tạo nội dung trước tiên lần chỉnh sửa, sau thêm trích dẫn lần chỉnh sửa tiếp theo, họ diễn đạt lại phần văn thêm trích dẫn kiểm tra loạt thay đổi tài liệu lần chỉnh sửa Cách tiếp cận dựa câu đơn giản hướng tập liệu thú vị Thống kê Phân tích Tập liệu: Bảng mơ tả số thống kê tập liệu so sánh với tập liệu khác sử dụng cho tác vụ tương tự Điểm số thu hồi ROUGE-1 đầu tham chiếu x so với tài liệu d cho thấy tác vụ khó khăn kỹ thuật tóm tắt rút trích thơng thường Chúng tơi giả thuyết q trình chuyển đổi nội dung, ngơn ngữ tài liệu d thường trải qua biến đổi đáng kể để phù hợp với văn xếp s Độ trùng lặp unigram trung bình (sau loại bỏ từ khóa) tài liệu d câu cập nhật tham chiếu x 55,79%; độ trùng lặp văn xếp s câu cập nhật tham chiếu x 30,12% Điều gợi ý tham khảo cập nhật câu x dẫn xuất từ tài liệu d, không rút trích trực tiếp Hơn nữa, nội dung x khác với nội dung s có liên quan đến chủ đề Tập liệu bao gồm khoảng 290 nghìn báo Wikipedia Một số báo trích dẫn nhiều bao gồm ‘Timeline of investigations into Trump and Russia (2017)’, ‘List of England Test cricketers’ ‘2013 in science’ Chúng chia ngẫu nhiên tập liệu thành 580 nghìn phiên đào tạo, 6049 phiên xác thực 50 nghìn phiên thử nghiệm, đảm bảo viết Wikipedia xuất tập đào tạo khơng xuất q trình xác thực kiểm tra Kết thực nghiệm Chúng đánh giá mơ hình cách sử dụng số tự động đánh giá người tập hợp hệ thống khả thi Điều quan trọng giống câu cập nhật mơ hình sinh câu cập nhật tham chiếu Đồng thời yêu cầu đánh giá ngữ pháp tính mạch lạc -5 Thu hồi ROUGE-1 tính tốn mẫu gồm 50 nghìn trường hợp từ tồn tập liệu Thiết lập siêu thông số: Đối với tất thử nghiệm với mơ hình chung, chúng tơi sử dụng mã hóa hai chiều, hai lớp mã hóa giải mã, -5 Thu hồi ROUGE-1 tính tốn mẫu gồm 50 nghìn trường hợp từ tồn tập liệu kích thước RNN 128, kích thước vectơ từ 100 Chúng sử dụng công cụ câu để sử dụng mã hóa cặp byte (BPE) với kích thước từ vựng 32 nghìn Chúng tơi sử dụng trình tối ưu hóa giảm độ dốc ngẫu nhiên tiêu chí dừng phức tạp tập hợp xác thực Chúng lọc tập liệu để chứa phiên có độ dài tài liệu từ 50 đến 2000 token, độ dài văn xếp từ 20 đến 500 token độ dài câu cập nhật từ đến 200 token 5.1 Đánh giá tự động Chỉ số đánh giá tự động chúng tơi cho câu cập nhật hệ thống tạo sinh ROUGE-L F1 so với câu cập nhật tham chiếu, có BLEU (Papineni cộng sự, 2002) METEOR (Denkowski Lavie, 2011) số bổ sung ROUGE nhóm số tiêu chuẩn cho nhiệm vụ tóm tắt; ROUGE-L đo dãy số chung dài hệ thống tham chiếu, ghi lại từ vựng lựa chọn trật tự từ Bảng 2: Đo tự động; Khoảng tin cậy 95% dấu ngoặc đơn Bảng cho thấy nhiệm vụ khó khăn kỹ thuật rút trích Hơn nữa, kết nhấn mạnh tầm quan trọng việc dùng văn xếp ngữ cảnh tạo cập nhật Trong tất điều kiện thử nghiệm, mơ hình nhận thức ngữ cảnh hoạt động tốt nhiều so với mơ hình bất khả tri Ngược lại với Liu cộng (2018), phương pháp tiếp cận sinh vượt trội phương pháp hỗn hợp, chúng tơi có tài liệu đầu vào CAG, CIG CRG rút trích hoạt động tốt Sum-Basic dạng thơng báo ngữ cảnh CAG rút trích tương đương với CAG sinh, cho thấy câu có chất lượng phù hợp Tuy nhiên bản, CIG CRG sinh tốt hơn: cần viết lại để phù hợp với ngữ cảnh https://github.com/google/sentencepiece Chúng sử dụng công cụ pyrouge với ROUGE-1.5.5: https://github.com/bheinzerling/pyrouge Hệ thống Oracle Bảng nhằm mục đích thiết lập giới hạn đạt phương pháp rút trích, sử dụng thử nghiệm oracle sau: (d i, si; xi), liệt kê câu rút trích e tài liệu di chọn câu có điểm ROUGE-L cao làm câu cập nhật Oracle i (tức i = arg maxe∈di ROUGE-L (xi; e)) Lưu ý điều mang lại giới hạn tích cực, chân lý x i sử dụng để chọn câu rút trích điểm số liệu tự động cuối Tuy nhiên, kết cho hai kết luận: (1 ) Cung cấp góc nhìn tốt để đánh giá hệ thống nonoracle tin điểm đánh giá tự động thấp hợp lý so với giới hạn tích cực (ví dụ: điểm CIGs ROUGE-Ls 55% oracle) (2) Kết oracle cho thấy người thay đổi đáng kể nhận thức qua tóm tắt Wikipedia, khơng, kết oracle gần nhiều với điểm số liệu tối đa (tức 100%) Điều cho thấy phương pháp rút trích không đủ cho tác vụ này, chứng minh cho việc sử dụng kỹ thuật tạo sinh 5.2 Đánh giá người Để đánh giá cẩn thận hiệu suất cấu hình khả thi (mơ hình CAG CIG) cần đánh giá chất lượng Chúng trưng cầu số loại đánh giá, bao gồm hai phép so sánh tương đối cặp đầu hệ thống chất lượng đánh giá tuyệt đối kết đầu hệ thống Gần với tham chiếu (Tương đối): So sánh tương đối đo lường mức độ xác cập nhật tạo phản ánh thông tin cập nhật tham chiếu Ở đây, người thích thấy phần tham chiếu cập nhật câu kết đầu hai hệ thống có nhãn A B theo thứ tự ngẫu nhiên Chúng hỏi người thích "Đầu hệ thống có ý nghĩa gần với cập nhật tham chiếu?" Các thích chọn hệ thống A, hệ thống B hai không ưu tiên Đây nhiệm vụ đánh giá đơn giản có khả thiên vị cập nhật tham chiếu Phù hợp với Ngữ cảnh (Tương đối): So sánh tương đối thứ hai đo xem đầu có chứa thơng tin bật từ tài liệu viết theo cách phù hợp với văn xếp hay không Các nhà giải nhìn thấy tài liệu d, văn xếp s kết đầu hai hệ thống A B, lần theo thứ tự ngẫu nhiên "Đầu hệ thống xác so với thơng tin đoạn trích báo?" Cần phải xem xét liệu thơng tin có phù hợp với văn xếp hay khơng liệu tài liệu hỗ trợ nội dung tạo hệ thống hay không -8 Nghiên cứu trước loại sở liệu đem lại giới hạn cao chúng có xu hướng cao hiệu suất người (Och cộng sự, 2004, Bảng 1) Och cộng đề xuất biện pháp sở liệu luân phiên đảm bảo tham chiếu (định lý bản) sử dụng argmax khác với tham chiếu đánh giá tự động cuối cùng, việc thực với tập test nhiều nguồn tham chiếu Bốn người, người thích 30 cặp đầu cho hai thiết lập so sánh tương đối này, tổng cộng 240 phán đoán tương đối Bảng cho thấy kết quả: hệ thống CIG nhận biết ngữ cảnh tốt đáng kể hai sở -8 Nghiên cứu trước loại sở liệu đem lại giới hạn cao chúng có xu hướng cao hiệu suất người (Och cộng sự, 2004, Bảng 1) Och cộng đề xuất biện pháp sở liệu luân phiên đảm bảo tham chiếu (định lý bản) sử dụng argmax khác với tham chiếu đánh giá tự động cuối cùng, việc thực với tập test nhiều nguồn tham chiếu Bảng 3: Mức độ phù hợp CAG CIG Bảng 4: Đánh giá chất lượng tuyệt đối Nguyên tắc DUC (Tuyệt đối): Ngoài ra, thực đánh giá chất lượng tuyệt đối theo hướng dẫn từ DUC 2007.9 Với đầu hệ thống nhất, họ yêu cầu đánh giá năm khía cạnh đầu hệ thống: ngữ pháp, khả xúc tích, tham chiếu rõ ràng, tính tập trung kết cấu mạch lạc Đối với khía cạnh đánh giá thang điểm năm: (1) Rất kém, (2) Kém, (3) Trung bình, (4) Tốt, (5) Rất tốt Chúng thu thập 120 đánh giá bổ sung thiết lập (4 giám khảo, 30 kết đầu ra) Một lần nữa, CIG nhận biết ngữ cảnh hoạt động tốt CAG diện rộng, thấy Bảng Quan sát: Các hệ thống không nhận biết văn xếp có xu hướng tạo cập nhật dài với từ cụm từ thường xuyên lặp lại Xem xét tỷ lệ token tổng số token đầu ra, ký hiệu R Một chữ R nhỏ cho biết nhiều token lặp lại Chúng nhận thấy 88% thời gian tỷ lệ R giảm xuống 0,5 mơ hình CAG, tức 88% trường hợp, 50% từ đầu lặp lại Con số tương đối nhỏ - 14% CIG 20% CRG - mô hình nhận biết ngữ cảnh Trong cập nhật tham chiếu, có 0,21% trường hợp lặp lại 50% từ http://duc.nist.gov/duc2007/ quality-questions.txt Hình 3: Ví dụ việc sinh văn hiệu quả, câu cập nhật hệ thống gần với tham khảo Hình hiển thị ví dụ tốt xấu tạo mơ hình CIG với tài liệu, văn xếp cập nhật tham chiếu Bảng có tập hợp cập nhật tạo mơ hình CIG cập nhật tham chiếu Như thấy ví dụ 4, mơ hình CIG ghi sai ngày tạo xác nội dung cịn lại Trong ví dụ 2, mơ hình CIG chọn thành cơng đại từ xác để giải quyết, thường bị nhầm lẫn sử dụng đại từ thực thể có tên Ví dụ đại diện cho trường hợp thất bại thiếu từ Nghiên cứu liên quan Nhiệm vụ chuyển đổi nội dung đề xuất rõ ràng có liên quan đến số báo dài phần tóm tắt, bao gồm nghiên cứu gần với kỹ thuật thần kinh (Rush cộng sự, 2015; Nallapati cộng sự, 2016) Đặc biệt, báo gần đưa nhiệm vụ tạo toàn viết Wikipedia toán tổng hợp đa tài liệu (Liu cộng sự, 2018) Cấu hình hoạt động tốt họ khung trừu tượng rút trích hai giai đoạn; cách tiếp cận nhiều giai đoạn giúp tránh khó khăn phương pháp túy trừu tượng với chuỗi token đầu vào lớn Hình 4: Ví dụ đầu chất lượng thấp: câu cập nhật lặp thông tin cách khơng cần thiết bỏ sót chi tiết bật từ tài liệu Ngoài tương đồng nhiệm vụ tạo nội dung theo phong cách Wikipedia, có số khác biệt quan trọng cách tiếp cận Đầu tiên, mục tiêu báo xác định tác giả viết, tập hợp nguồn chính, chẳng hạn báo Tuy nhiên thực tế, viết Wikipedia thường chứa thơng tin bên ngồi nguồn này, bao gồm kiến thức thơng thường, câu lệnh để đặt viết ngữ cảnh suy luận thực từ nguồn Nhiệm vụ giới hạn vào nội dung người biên tập định rõ ràng trích dẫn số nguồn bên ngồi Do đó, nhiều khả tóm tắt kết lấy từ nội dung nguồn bên ngồi Hơn nữa, chúng tơi tập trung vào việc thêm thông tin vào báo có, thay viết báo hồn chỉnh mà khơng có ngữ cảnh Hai kịch hữu ích bổ sung cho nhau: cần tạo văn tham chiếu chưa có trước đây; mặt khác, mục tiêu trì cập nhật tham chiếu có Bảng 5: Các ví dụ sinh văn từ hệ thống CIG, ghép nối với cập nhật người tạo Một nhiệm vụ liên quan chặt chẽ khác tóm tắt cập nhật (Dang Owczarzak, 2008), hệ thống cố gắng cung cấp tóm tắt ngắn gọn thông tin báo giả sử người dùng đọc tài liệu trước biết Chúng tơi tập trung vào việc quản lý nguồn tài ngun có thẩm quyền Ngồi ra, tập liệu lớn hơn, cho phép sử dụng mơ hình tổng hợp khơng gian này, nơi mà kỹ thuật tóm tắt cập nhật trước chủ yếu mang tính rút trích (Fisher Roark, 2008; Li cộng sự, 2015) Đối với nhiệm vụ tạo sinh nào, điều quan trọng phải giải nội dung ("vấn đề" nói đến) phong cách ("cách thức") Gần đây, nhiều nghiên cứu tập trung vào 'cách thức' (Li cộng sự, 2018; Shen cộng sự, 2017), bao gồm nỗ lực thu thập tập liệu song song khác hình thức (Rao Tetreault, 2018), để kiểm soát đặc điểm tác giả câu (Prabhumoye cộng sự, 2018), để kiểm soát đặc điểm tính cách hội thoại (Zhang cộng sự, 2018) Chúng tin chuỗi nghiên cứu bổ sung cho nỗ lực việc tạo 'cái gì' Một hình thức khác chuyển đổi nội dung qua phương thức: sinh văn cung cấp thơng tin tốn học hóa bán cấu trúc Nghiên cứu gần đề cập đến kỹ thuật sinh ngôn ngữ tự nhiên thần kinh đưa loạt nguồn có cấu trúc: chọn ghi sở liệu liên quan tạo mô tả ngôn ngữ tự nhiên (Mei cộng sự, 2016), chọn mô tả cặp giá trị vị trí để tạo phản hồi theo nhiệm vụ cụ thể (Wen cộng sự, 2015), chí tạo tóm tắt tiểu sử Wikipedia cung cấp thông tin Infobox (Lebret cộng sự, 2016) Nhiệm vụ chúng tôi, dựa nội dung bên ngồi, lại khác chỗ sử dụng tảng ngôn ngữ ngữ cảnh văn trước sinh văn Thách thức cho phép thực loạt nhiệm vụ tạo sinh sở có nhiều liệu dạng văn phi cấu trúc Kết luận Bài viết nêu bật tầm quan trọng nhiệm vụ chuyển đổi nội dung: hướng dẫn văn xếp để thiết lập ngữ cảnh giọng điệu, đồng thời dựa nguồn cung cấp thông tin hữu ích Chúng tơi chứng minh nhiều mơ hình giải vấn đề khó khăn tập liệu bắt nguồn từ Wikipedia Common Crawl Tập liệu phát hành rộng rãi với tập lệnh mơ hình 10 Chúng nhận thấy thiết lập tạo hội cho tương tác người với người: trái ngược với phương pháp tiếp cận không dựa ngữ cảnh người tạo ra, thiết lập cộng tác người dùng máy tính Mỗi câu đề xuất bị từ chối, chấp nhận chỉnh sửa trước đưa vào chỉnh sửa cung cấp thêm liệu đào tạo -10 https://www.microsoft.com/en-us/ research/project/content-transfer/ Chúng tơi tin có nhiều ứng dụng tự nhiên cho cơng trình nghiên cứu Các mơ hình mô tả hầu hết phần mở rộng phương pháp tiếp cận có; phương pháp tiếp cận với mục tiêu phát tính mới, tiêu điểm cấu trúc tài liệu có -10 https://www.microsoft.com/en-us/ research/project/content-transfer/ thể dẫn đến cải tiến đáng kể Chúng tơi áp dụng hàng loạt mơ hình để kết hợp thay đổi cho tài liệu Nghiên cứu tương lai khám phá thay đổi sửa đổi nội dung có thay thêm vào Công nhận Chúng xin cảm ơn người đánh giá ẩn danh, Alan W Black, Chris Brockett, Bill Dolan, Sujay Jauhar, Michael Gamon, Jianfeng Gao, Dheeraj Rajagopal Xuchao Zhang nhận xét đề xuất hữu ích họ tác phẩm Chúng xin cảm ơn Emily Ahn, Khyati Chandu, Ankush Das, Priyank Lathwal Dheeraj Rajagopal giúp đỡ họ việc đánh giá người Tham khảo Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio 2015 Neural machine translation by jointly learning to align and translate In International Conference on Learning Representations Hoa Trang Dang and Karolina Owczarzak 2008 Overview of the TAC 2008 update summarization task In In TAC 2008 Workshop - Notebook papers and results, pages 10–23 Michael Denkowski and Alon Lavie 2011 Meteor 1.3: Automatic metric for reliable optimization and evaluation of machine translation systems In Proceedings of the sixth workshop on statistical machine translation, pages 85–91 Association for Computational Linguistics Angela Fan, Mike Lewis, and Yann Dauphin 2018 Hierarchical neural story generation In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 889–898, Melbourne, Australia Jessica Ficler and Yoav Goldberg 2017 Controlling linguistic style aspects in neural language generation In Proc of EMNLP, page 94 Seeger Fisher and Brian Roark 2008 Query-focused supervised sentence ranking for update summaries In TAC Sayan Ghosh, Mathieu Chollet, Eugene Laksana, Louis-Philippe Morency, and Stefan Scherer 2017 Affect-LM: A neural language model for customizable affective text generation In ACL, volume 1, pages 634–642 Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio 2014 Generative adversarial nets In Advances in Neural Information Processing Systems 27, pages 2672–2680 David Graff and Christopher Cieri 2003 English Gigaword LDC2003T05 In Philadelphia: Linguistic Data Consortium Jianshu Ji, Qinlong Wang, Kristina Toutanova, Yongen Gong, Steven Truong, and Jianfeng Gao 2017 A nested attention neural hybrid model for grammatical error correction In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 753– 762, Vancouver, Canada Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura 2016 Controlling output length in neural encoder-decoders In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1328–1338, Austin, Texas Remi Lebret, David Grangier, and Michael Auli 2016 ´ Neural text generation from structured data with application to the biography domain In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1203–1213 Association for Computational Linguistics Chen Li, Yang Liu, and Lin Zhao 2015 Improving update summarization via supervised ILP and sentence reranking In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 1317–1322 Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan 2016a A diversitypromoting objective function for neural conversation models In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 110–119, San Diego, California Association for Computational Linguistics Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan 2016b A persona-based neural conversation model In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 994–1003, Berlin, Germany Juncen Li, Robin Jia, He He, and Percy Liang 2018 Delete, retrieve, generate: a simple approach to sentiment and style transfer In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume (Long Papers), volume 1, pages 1865–1874 Peter J Liu, Mohammad Saleh, Etienne Pot, Ben Goodrich, Ryan Sepassi, Lukasz Kaiser, and Noam Shazeer 2018 Generating wikipedia by summarizing long sequences In International Conference on Learning Representations Thang Luong, Hieu Pham, and Christopher D Manning 2015 Effective approaches to attention-based neural machine translation In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1412–1421 Association for Computational Linguistics Hongyuan Mei, TTI UChicago, Mohit Bansal, and Matthew R Walter 2016 What to talk about and how? selective generation using LSTMs with coarse-to-fine alignment In Proceedings of NAACL-HLT, pages 720–730 Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen 2016 A corpus and cloze evaluation for deeper understanding of commonsense stories In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 839–849, San Diego, California Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Caglar Gulcehre, and Bing Xiang 2016 Abstractive text summarization using sequence-tosequence rnns and beyond In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pages 280–290 Association for Computational Linguistics Ani Nenkova and Kathleen R McKeown 2011 Automatic summarization Foundations and Trends in Information Retrieval, 5(2-3):103–233 Ani Nenkova and Lucy Vanderwende 2005 The impact of frequency on summarization Technical report, Microsoft Research Franz Josef Och, Daniel Gildea, Sanjeev Khudanpur, Anoop Sarkar, Kenji Yamada, Alex Fraser, Shankar Kumar, Libin Shen, David Smith, Katherine Eng, Viren Jain, Zhen Jin, and Dragomir Radev 2004 A smorgasbord of features for statistical machine translation In Proc of HLT-NAACL, pages 161– 168 Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu 2002 BLEU: a method for automatic evaluation of machine translation In Proceedings of the 40th annual meeting on association for computational linguistics, pages 311–318 Association for Computational Linguistics Shrimai Prabhumoye, Yulia Tsvetkov, Ruslan Salakhutdinov, and Alan W Black 2018 Style transfer through back-translation In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 866–876 Sudha Rao and Joel Tetreault 2018 Dear sir or madam, may I introduce the GYAFC dataset: Corpus, benchmarks and metrics for formality style transfer In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume (Long Papers), volume 1, pages 129–140 Alexander M Rush, Sumit Chopra, and Jason Weston 2015 A neural attention model for abstractive sentence summarization In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 379–389, Lisbon, Portugal Rico Sennrich, Barry Haddow, and Alexandra Birch 2016 Controlling politeness in neural machine translation via side constraints In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 35–40, San Diego, California Association for Computational Linguistics Tianxiao Shen, Tao Lei, Regina Barzilay, and Tommi Jaakkola 2017 Style transfer from non-parallel text by cross-alignment In Advances in Neural Information Processing Systems, pages 6830–6841 Tsung-Hsien Wen, Milica Gasic, Nikola Mrksiˇ c, Pei- ´ Hao Su, David Vandyke, and Steve Young 2015 Semantically conditioned LSTM-based natural language generation for spoken dialogue systems In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1711–1721 Sam Wiseman, Stuart Shieber, and Alexander Rush 2017 Challenges in data-todocument generation In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 2253–2263, Copenhagen, Denmark Association for Computational Linguistics Hayahide Yamagishi, Shin Kanouchi, Takayuki Sato, and Mamoru Komachi 2016 Controlling the voice of a sentence in Japanese-to-English neural machine translation In Proceedings of the 3rd Workshop on Asian Translation (WAT2016), pages 203–210, Osaka, Japan The COLING 2016 Organizing Committee Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston 2018 Personalizing dialogue agents: I have a dog, you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 2204– 2213 Association for Computational Linguistics ... với tập test nhiều ngu? ??n tham chiếu Bảng 3: Mức độ phù hợp CAG CIG Bảng 4: Đánh giá chất lượng tuyệt đối Nguyên tắc DUC (Tuyệt đối): Ngồi ra, chúng tơi thực đánh giá chất lượng tuyệt đối theo hướng... Young 2015 Semantically conditioned LSTM-based natural language generation for spoken dialogue systems In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing,... hợp ngu? ??n chính, chẳng hạn báo Tuy nhiên thực tế, viết Wikipedia thường chứa thông tin bên ngồi ngu? ??n này, bao gồm kiến thức thơng thường, câu lệnh để đặt viết ngữ cảnh suy luận thực từ ngu? ??n