1. Trang chủ
  2. » Luận Văn - Báo Cáo

Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention

44 56 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 44
Dung lượng 1,88 MB

Nội dung

Ngày đăng: 27/01/2021, 12:46

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
[1]. Hochreiter S. and Schmidhuber J. (1997), “Long short-term memory”, Neural Computation, pages 32 Sách, tạp chí
Tiêu đề: Long short-term memory”, "Neural Computation
Tác giả: Hochreiter S. and Schmidhuber J
Năm: 1997
[2]. Papineni K., Roukos S., Ward T., Zhu Z-J. (2001), “BLEU: a method for Automatic Evaluation of Machine Translation”, Proceedings of the 20 th Annual Meeting of the Association for Computational Linguistics (ACL), Philadelphia, pages 8 Sách, tạp chí
Tiêu đề: BLEU: a method for Automatic Evaluation of Machine Translation”, "Proceedings of the 20"th" Annual Meeting of the Association for Computational Linguistics (ACL), Philadelphia
Tác giả: Papineni K., Roukos S., Ward T., Zhu Z-J
Năm: 2001
[3]. Ilya Sutskever, Oriol Vinyals, Quoc V. Le (2014), “Sequence to Sequence Learning with Neural Networks”, arXiv:1409.3215, pages 9 Sách, tạp chí
Tiêu đề: Sequence to Sequence Learning with Neural Networks
Tác giả: Ilya Sutskever, Oriol Vinyals, Quoc V. Le
Năm: 2014
[4]. Kyunghyun Cho, Bart Van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio (2014),“Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation”, arXiv:1406.1078, pages 15 Sách, tạp chí
Tiêu đề: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
Tác giả: Kyunghyun Cho, Bart Van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio
Năm: 2014
[5]. Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio (2015), “Neural Machine Translation by Jointly Learning to Align and Translate”, arXiv:1409.0473, pages 15 Sách, tạp chí
Tiêu đề: Neural Machine Translation by Jointly Learning to Align and Translate
Tác giả: Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
Năm: 2015
[6]. Minh-Thang Luong, Hieu Pham, Christopher D. Manning (2015), “Effective Approaches to Attention-based Neural Machine Translation”, arXiv:1508.04025, pages 11 Sách, tạp chí
Tiêu đề: Effective Approaches to Attention-based Neural Machine Translation
Tác giả: Minh-Thang Luong, Hieu Pham, Christopher D. Manning
Năm: 2015
[7]. Colin Raffel, Daniel P. W. Ellis (2015), “Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems”,arXiv:1512.08756, pages 6 Sách, tạp chí
Tiêu đề: Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems
Tác giả: Colin Raffel, Daniel P. W. Ellis
Năm: 2015
[8]. Oriol Vinyals, Quoc Le (2015), “A Neural Conversational Model”, arXiv:1506.05869, pages 8 Sách, tạp chí
Tiêu đề: A Neural Conversational Model
Tác giả: Oriol Vinyals, Quoc Le
Năm: 2015
[9]. Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville and Joelle Pineau (2016), “Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models”,arXiv:1507.04808, pages 8 Sách, tạp chí
Tiêu đề: Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models
Tác giả: Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville and Joelle Pineau
Năm: 2016
[10]. Nhu Bao Vu (2016), “Xây dựng mô hình đối thoại cho tiếng Việt trên miền mở dựa vào phương pháp học chuỗi liên tiếp”, pages 65 Sách, tạp chí
Tiêu đề: Xây dựng mô hình đối thoại cho tiếng Việt trên miền mở dựa vào phương pháp học chuỗi liên tiếp
Tác giả: Nhu Bao Vu
Năm: 2016
[11]. Pierre Lison, Jorg Tiedemann (2016), “OpenSubtitles2016: Extracting Large Parallel Corpora from Movie and TV Subtitles”, Department of Informatics, University of Oslo, pages 7 Sách, tạp chí
Tiêu đề: OpenSubtitles2016: Extracting Large Parallel Corpora from Movie and TV Subtitles”, "Department of Informatics, University of Oslo
Tác giả: Pierre Lison, Jorg Tiedemann
Năm: 2016
[12]. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin (2017),“Attention Is All You Need”, arXiv:1706.03762, pages 15 Sách, tạp chí
Tiêu đề: Attention Is All You Need
Tác giả: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
Năm: 2017
[13]. Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova (2018), “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”, arXiv: 1810.04805, pages 16 Sách, tạp chí
Tiêu đề: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Tác giả: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
Năm: 2018
[14]. Kenji Imamura and Eiichiro Sumita (2019), “Recycling a Pre-trained BERT Encoder for Neural Machine Translation”, National Institute of Information and Communications Technology, pages 9 Sách, tạp chí
Tiêu đề: Recycling a Pre-trained BERT Encoder for Neural Machine Translation”, "National Institute of Information and Communications Technology
Tác giả: Kenji Imamura and Eiichiro Sumita
Năm: 2019
[15]. Richard Csaky, Patrik Purgai and Gabor Recski (2019), “Improving Neural Conversational Models with Entropy-Based Data Filtering”, arXiv:1905.05471, pages 20 Sách, tạp chí
Tiêu đề: Improving Neural Conversational Models with Entropy-Based Data Filtering
Tác giả: Richard Csaky, Patrik Purgai and Gabor Recski
Năm: 2019

HÌNH ẢNH LIÊN QUAN

Hình 1.2: Kết quả của hệ thống hội thoại tiếng Nhật [reppy4620]. - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 1.2 Kết quả của hệ thống hội thoại tiếng Nhật [reppy4620] (Trang 16)
Hình 1.3: Bản dịch tiếng Việt của kết quả của hệ thống hội thoại tiếng Nhật. - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 1.3 Bản dịch tiếng Việt của kết quả của hệ thống hội thoại tiếng Nhật (Trang 16)
Tình hình nghiên cứu trong nước - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
nh hình nghiên cứu trong nước (Trang 17)
Hình 2.1: Mô hình Transformer [viblo.asia forum]. - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 2.1 Mô hình Transformer [viblo.asia forum] (Trang 18)
Đối với mô hình mạng nơ-ron (Neural Network), Encoder là các lớp ẩn (hidden layers). Đối với mô hình CNN, encoder là chuỗi các layers - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
i với mô hình mạng nơ-ron (Neural Network), Encoder là các lớp ẩn (hidden layers). Đối với mô hình CNN, encoder là chuỗi các layers (Trang 19)
Đây chính là một cơ chế Self-Attention (hình 2.4) giúp Transformers “hiểu” được sự liên quan giữa các từ trong một câu - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
y chính là một cơ chế Self-Attention (hình 2.4) giúp Transformers “hiểu” được sự liên quan giữa các từ trong một câu (Trang 21)
Hình 2.4: Self-Attention [phamdinhkhanh's blog]. - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 2.4 Self-Attention [phamdinhkhanh's blog] (Trang 21)
Hình 2.5: Các vector query, key và value tương ứng với từng từ - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 2.5 Các vector query, key và value tương ứng với từng từ (Trang 22)
Hình 2.6: Quá trình tính toán trọng số attention và attention vector cho từ I trong câu I study at school [phamdinhkhanh's blog] - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 2.6 Quá trình tính toán trọng số attention và attention vector cho từ I trong câu I study at school [phamdinhkhanh's blog] (Trang 22)
Hình 2.8: Sơ đồ cấu trúc Multi-head Attention [phamdinhkhanh's blog]. - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 2.8 Sơ đồ cấu trúc Multi-head Attention [phamdinhkhanh's blog] (Trang 23)
2.3.2. Fine-tuning mô hình BERT - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
2.3.2. Fine-tuning mô hình BERT (Trang 25)
Hình 3.1: Tập tin vi.txt - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 3.1 Tập tin vi.txt (Trang 27)
Hình 3.2: Các tập tin được phân tách từ tập tin vi.txt - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 3.2 Các tập tin được phân tách từ tập tin vi.txt (Trang 28)
Hình 3.3: Các tập tin .json cho tập huấn luyện và kiểm tra - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 3.3 Các tập tin .json cho tập huấn luyện và kiểm tra (Trang 30)
Hình 3.4: Nội dung 1 tập tin train.json đã làm “đẹp” (beautify/format). Từ kết quả trên, mỗi tập tin chứa nội dung các đoạn hội thoại trên từng dòng - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Hình 3.4 Nội dung 1 tập tin train.json đã làm “đẹp” (beautify/format). Từ kết quả trên, mỗi tập tin chứa nội dung các đoạn hội thoại trên từng dòng (Trang 31)
3.2. Mô hình hội thoại cho tiếng Việt - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
3.2. Mô hình hội thoại cho tiếng Việt (Trang 33)
Bảng 4.1: Dữ liệu hội thoại tiếng Việt. - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Bảng 4.1 Dữ liệu hội thoại tiếng Việt (Trang 34)
Bảng 4.2: Thời gian huấn luyện mô hình. - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Bảng 4.2 Thời gian huấn luyện mô hình (Trang 36)
Bảng 4.3: Kết quả đánh giá mô hình. - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Bảng 4.3 Kết quả đánh giá mô hình (Trang 37)
Kết quả khi huấn luyện lần 1 (bảng 4.2) trên tập dữ liệu không giới hạn độ dài câu hỏi và câu trả lời như sau: - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
t quả khi huấn luyện lần 1 (bảng 4.2) trên tập dữ liệu không giới hạn độ dài câu hỏi và câu trả lời như sau: (Trang 38)
Như vậy, kết quả thể hiện ở bảng 4.3 và 4.4 cho thấy mô hình của luận văn có thể trả lời được khá nhiều nội dung phù hợp ngữ cảnh của câu thoại, với chất lượng rất khả quan, phụ thuộc vào chất lượng của bộ dữ liệu hỏi đáp - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
h ư vậy, kết quả thể hiện ở bảng 4.3 và 4.4 cho thấy mô hình của luận văn có thể trả lời được khá nhiều nội dung phù hợp ngữ cảnh của câu thoại, với chất lượng rất khả quan, phụ thuộc vào chất lượng của bộ dữ liệu hỏi đáp (Trang 40)
Bảng 4.5: Kết quả thực nghiệm lần 2. - Hội thoại dialog trong tiếng việt dùng phương pháp seq to seq và attention
Bảng 4.5 Kết quả thực nghiệm lần 2 (Trang 40)

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w