1. Trang chủ
  2. » Luận Văn - Báo Cáo

Bắt lỗi chính tả bằng phương pháp transformer

50 211 2

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 50
Dung lượng 2,22 MB

Nội dung

Ngày đăng: 27/01/2021, 12:46

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
[1] Andrej Karpathy, Justin Johnson, and Fei-Fei Li (2015), "Visualizing and understanding recurrent networks", CoRR, abs/1506.02078 Sách, tạp chí
Tiêu đề: Visualizing and understanding recurrent networks
Tác giả: Andrej Karpathy, Justin Johnson, and Fei-Fei Li
Năm: 2015
[2] Andrew McCallum, Kedar Bellare, and Fernando Pereira (2012), "A conditional random field for discriminatively-trained finite-state string edit distance", arXiv preprint, arXiv:1207.1406 Sách, tạp chí
Tiêu đề: A conditional random field for discriminatively-trained finite-state string edit distance
Tác giả: Andrew McCallum, Kedar Bellare, and Fernando Pereira
Năm: 2012
[3] Christopher D. Manning and Hinrich Sch¨utze (1999), "Foundations of Statistical Natural Language Processing", MIT Press, Cambridge, MA, USA Sách, tạp chí
Tiêu đề: Foundations of Statistical Natural Language Processing
Tác giả: Christopher D. Manning and Hinrich Sch¨utze
Năm: 1999
[4] Claudio Lottaz, Christian Iseli, C Victor Jongeneel, and Philipp Bucher (2003), "Modeling sequencing errors by combining hidden markov models", Bioinformatics 19(suppl 2), ii103–ii112 Sách, tạp chí
Tiêu đề: Modeling sequencing errors by combining hidden markov models
Tác giả: Claudio Lottaz, Christian Iseli, C Victor Jongeneel, and Philipp Bucher
Năm: 2003
[5] Clifton Phua, Vincent Lee, and K Smith-Miles (2006), "The personal name problem and a recommended data mining solution", Encyclopedia of Data Warehousing and Mining Sách, tạp chí
Tiêu đề: The personal name problem and a recommended data mining solution
Tác giả: Clifton Phua, Vincent Lee, and K Smith-Miles
Năm: 2006
[6] Culy C. & Riehemann S.S (2003), "The limits of N-gram translation evaluation metrics", Proceedings of the Ninth Machine Translation Summit. New Orleans, Louisiana, USA Sách, tạp chí
Tiêu đề: The limits of N-gram translation evaluation metrics
Tác giả: Culy C. & Riehemann S.S
Năm: 2003
[7] Daphne Koller and Nir Friedman (2009), "Probabilistic Graphical Models: Principles and Techniques - Adaptive Computation and Machine Learning", The MIT Press Sách, tạp chí
Tiêu đề: Probabilistic Graphical Models: Principles and Techniques - Adaptive Computation and Machine Learning
Tác giả: Daphne Koller and Nir Friedman
Năm: 2009
[8] Denny Britz (2015), "Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs", http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ Sách, tạp chí
Tiêu đề: Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs
Tác giả: Denny Britz
Năm: 2015
[9] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio (2014), "Neural machine translation by jointly learning to align and translate", arXiv preprint, arXiv:1409.0473 Sách, tạp chí
Tiêu đề: Neural machine translation by jointly learning to align and translate
Tác giả: Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio
Năm: 2014
[10] Emmanuel J Yannakoudakis and David Fawthrop (1983), "The rules of spelling errors", Information Processing & Management 19(2), 87–99 Sách, tạp chí
Tiêu đề: The rules of spelling errors
Tác giả: Emmanuel J Yannakoudakis and David Fawthrop
Năm: 1983
[11] Fred J. Damerau (1964), "A technique for computer detection and correction of spelling errors", Commun. ACM 7(3), 171–176 Sách, tạp chí
Tiêu đề: A technique for computer detection and correction of spelling errors
Tác giả: Fred J. Damerau
Năm: 1964
[12] Hochreiter S., Schmidhuber J. (1997), "Long Short-Term Memory", Neural Computation 9(8), 1735-1780 Sách, tạp chí
Tiêu đề: Long Short-Term Memory
Tác giả: Hochreiter S., Schmidhuber J
Năm: 1997
[13] Hovy E.H. (1999), "Toward finely differentiated evaluation metrics for machine translation", Proceedings of the Eagles Workshop on Standards and Evaluation, Pisa, Italy Sách, tạp chí
Tiêu đề: Toward finely differentiated evaluation metrics for machine translation
Tác giả: Hovy E.H
Năm: 1999
[14] Ilya Sutskever, Oriol Vinyals, and Quoc V Le (2014), "Sequence to sequence learning with neural networks", Advances in neural information processing systems, 3104-3112 Sách, tạp chí
Tiêu đề: Sequence to sequence learning with neural networks
Tác giả: Ilya Sutskever, Oriol Vinyals, and Quoc V Le
Năm: 2014
[15] Joseph J Pollock and Antonio Zamora (1983), "Collection and characterization of spelling errors in scientific and scholarly text", Journal of the Association for Information Science and Technology 34(1), 51–58 Sách, tạp chí
Tiêu đề: Collection and characterization of spelling errors in scientific and scholarly text
Tác giả: Joseph J Pollock and Antonio Zamora
Năm: 1983
[16] Julian R. Ullmann (1977), "A binary n-gram technique for automatic correction of substitution, deletion, insertion and reversal errors in words", The Computer Journal 20(2), 141–147 Sách, tạp chí
Tiêu đề: A binary n-gram technique for automatic correction of substitution, deletion, insertion and reversal errors in words
Tác giả: Julian R. Ullmann
Năm: 1977
[18] Kyunghyun Cho, Bart Van Merri¨enboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio (2014), "Learning phrase representations using rnn encoder-decoder for statistical machine translation", arXiv preprint, arXiv:1406.1078 Sách, tạp chí
Tiêu đề: Learning phrase representations using rnn encoder-decoder for statistical machine translation
Tác giả: Kyunghyun Cho, Bart Van Merri¨enboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio
Năm: 2014
[19] Lawrence Philips (1990), "Hanging on the metaphone", Computer Language Magazine 7(12), 39–44 Sách, tạp chí
Tiêu đề: Hanging on the metaphone
Tác giả: Lawrence Philips
Năm: 1990
[20] Leon Davidson (1962), "Retrieval of misspelled names in an airlines passenger record system", Communications of the ACM 5(3), 169–171 Sách, tạp chí
Tiêu đề: Retrieval of misspelled names in an airlines passenger record system
Tác giả: Leon Davidson
Năm: 1962
[21] Linda G Means (1988), "Cn yur cmputr raed ths?", In Proceedings of the second conference on Applied natural language processing, 93–100 Sách, tạp chí
Tiêu đề: Cn yur cmputr raed ths
Tác giả: Linda G Means
Năm: 1988

HÌNH ẢNH LIÊN QUAN

Bảng 1.1: Một số lỗi chính tả tiếng Việt [34] - Bắt lỗi chính tả bằng phương pháp transformer
Bảng 1.1 Một số lỗi chính tả tiếng Việt [34] (Trang 13)
Hình 2.1 minh họa mô hình Sequenceto sequence, đầu vào là chuổi = (x1,x2,...xT), trong Encoder véc-tơ đơn vị ẩn cuối cùng hT được dùng để tính vector ngữ cảnh c, ví dụ Encoder sử dụng LSTM và hàm tanh được tính như sau: ht = LSTM(xt, ht-1), c = tanh(h - Bắt lỗi chính tả bằng phương pháp transformer
Hình 2.1 minh họa mô hình Sequenceto sequence, đầu vào là chuổi = (x1,x2,...xT), trong Encoder véc-tơ đơn vị ẩn cuối cùng hT được dùng để tính vector ngữ cảnh c, ví dụ Encoder sử dụng LSTM và hàm tanh được tính như sau: ht = LSTM(xt, ht-1), c = tanh(h (Trang 22)
Hình 2.2: Minh họa mô hình seq2seq dùng kỹ thuật attention[9] - Bắt lỗi chính tả bằng phương pháp transformer
Hình 2.2 Minh họa mô hình seq2seq dùng kỹ thuật attention[9] (Trang 23)
Transformer là một lớp mô hình seq2seq gồm hai phân đoạn encoder và decoder. Mô hình hoàn toàn không sử dụng các kiến trúc Recurrent Neural Network của RNN mà chỉ sử dụng các lớp attention để nhúng (embedding) các từ trong câu - Bắt lỗi chính tả bằng phương pháp transformer
ransformer là một lớp mô hình seq2seq gồm hai phân đoạn encoder và decoder. Mô hình hoàn toàn không sử dụng các kiến trúc Recurrent Neural Network của RNN mà chỉ sử dụng các lớp attention để nhúng (embedding) các từ trong câu (Trang 27)
Hình 3.2: Toàn bộ tiến trình pre-training và fine-tuning của BERT[39]. - Bắt lỗi chính tả bằng phương pháp transformer
Hình 3.2 Toàn bộ tiến trình pre-training và fine-tuning của BERT[39] (Trang 29)
Hình 3.3: Sơ đồ kiến trúc BERT cho tá vụ Masked ML. - Bắt lỗi chính tả bằng phương pháp transformer
Hình 3.3 Sơ đồ kiến trúc BERT cho tá vụ Masked ML (Trang 31)
dấu cũng tạo ra vô số các kịch bản nhập vào cho mô hình huấn luyện nên mô hình cần phải huấn luyện rất lâu mới học được toàn bộ các khả năng - Bắt lỗi chính tả bằng phương pháp transformer
d ấu cũng tạo ra vô số các kịch bản nhập vào cho mô hình huấn luyện nên mô hình cần phải huấn luyện rất lâu mới học được toàn bộ các khả năng (Trang 32)
• Thay đổi tên chuyên mục và ngày để quét các bài viết khác. Hình 4.1 minh họa công cụ quét các bài viết trong 3 ngày - Bắt lỗi chính tả bằng phương pháp transformer
hay đổi tên chuyên mục và ngày để quét các bài viết khác. Hình 4.1 minh họa công cụ quét các bài viết trong 3 ngày (Trang 35)
tạo nên phiên bản sai chính tả của câu, bảng 4.1 mô tả các luật biến đổi mà đề tài đã sử dụng - Bắt lỗi chính tả bằng phương pháp transformer
t ạo nên phiên bản sai chính tả của câu, bảng 4.1 mô tả các luật biến đổi mà đề tài đã sử dụng (Trang 36)
Hình 4.2: Minh họa kết quả tạo các câu sai từ một câu đúng. - Bắt lỗi chính tả bằng phương pháp transformer
Hình 4.2 Minh họa kết quả tạo các câu sai từ một câu đúng (Trang 37)
và Eiichiro Sumita[38] cải tiến sử dụng mô hình BERT[39] đã huấn luyện để thay thế cho Encoder của Transformer - Bắt lỗi chính tả bằng phương pháp transformer
v à Eiichiro Sumita[38] cải tiến sử dụng mô hình BERT[39] đã huấn luyện để thay thế cho Encoder của Transformer (Trang 38)
Trong thử nghiệm thực tế, mô hình bắt được hầu hết các lỗi chính tả trong phạm vi luận văn như minh họa trong bảng 5.4 - Bắt lỗi chính tả bằng phương pháp transformer
rong thử nghiệm thực tế, mô hình bắt được hầu hết các lỗi chính tả trong phạm vi luận văn như minh họa trong bảng 5.4 (Trang 43)

TỪ KHÓA LIÊN QUAN

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w