1. Trang chủ
  2. » Luận Văn - Báo Cáo

Bắt lỗi chính tả bằng phương pháp transformer

50 206 2

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 50
Dung lượng 2,22 MB

Nội dung

Ngày đăng: 27/01/2021, 12:46

HÌNH ẢNH LIÊN QUAN

Bảng 1.1: Một số lỗi chính tả tiếng Việt [34] - Bắt lỗi chính tả bằng phương pháp transformer
Bảng 1.1 Một số lỗi chính tả tiếng Việt [34] (Trang 13)
Hình 2.1 minh họa mô hình Sequenceto sequence, đầu vào là chuổi = (x1,x2,...xT), trong Encoder véc-tơ đơn vị ẩn cuối cùng hT được dùng để tính vector ngữ cảnh c, ví dụ Encoder sử dụng LSTM và hàm tanh được tính như sau: ht = LSTM(xt, ht-1), c = tanh(h - Bắt lỗi chính tả bằng phương pháp transformer
Hình 2.1 minh họa mô hình Sequenceto sequence, đầu vào là chuổi = (x1,x2,...xT), trong Encoder véc-tơ đơn vị ẩn cuối cùng hT được dùng để tính vector ngữ cảnh c, ví dụ Encoder sử dụng LSTM và hàm tanh được tính như sau: ht = LSTM(xt, ht-1), c = tanh(h (Trang 22)
Hình 2.2: Minh họa mô hình seq2seq dùng kỹ thuật attention[9] - Bắt lỗi chính tả bằng phương pháp transformer
Hình 2.2 Minh họa mô hình seq2seq dùng kỹ thuật attention[9] (Trang 23)
Transformer là một lớp mô hình seq2seq gồm hai phân đoạn encoder và decoder. Mô hình hoàn toàn không sử dụng các kiến trúc Recurrent Neural Network của RNN mà chỉ sử dụng các lớp attention để nhúng (embedding) các từ trong câu - Bắt lỗi chính tả bằng phương pháp transformer
ransformer là một lớp mô hình seq2seq gồm hai phân đoạn encoder và decoder. Mô hình hoàn toàn không sử dụng các kiến trúc Recurrent Neural Network của RNN mà chỉ sử dụng các lớp attention để nhúng (embedding) các từ trong câu (Trang 27)
Hình 3.2: Toàn bộ tiến trình pre-training và fine-tuning của BERT[39]. - Bắt lỗi chính tả bằng phương pháp transformer
Hình 3.2 Toàn bộ tiến trình pre-training và fine-tuning của BERT[39] (Trang 29)
Hình 3.3: Sơ đồ kiến trúc BERT cho tá vụ Masked ML. - Bắt lỗi chính tả bằng phương pháp transformer
Hình 3.3 Sơ đồ kiến trúc BERT cho tá vụ Masked ML (Trang 31)
dấu cũng tạo ra vô số các kịch bản nhập vào cho mô hình huấn luyện nên mô hình cần phải huấn luyện rất lâu mới học được toàn bộ các khả năng - Bắt lỗi chính tả bằng phương pháp transformer
d ấu cũng tạo ra vô số các kịch bản nhập vào cho mô hình huấn luyện nên mô hình cần phải huấn luyện rất lâu mới học được toàn bộ các khả năng (Trang 32)
• Thay đổi tên chuyên mục và ngày để quét các bài viết khác. Hình 4.1 minh họa công cụ quét các bài viết trong 3 ngày - Bắt lỗi chính tả bằng phương pháp transformer
hay đổi tên chuyên mục và ngày để quét các bài viết khác. Hình 4.1 minh họa công cụ quét các bài viết trong 3 ngày (Trang 35)
tạo nên phiên bản sai chính tả của câu, bảng 4.1 mô tả các luật biến đổi mà đề tài đã sử dụng - Bắt lỗi chính tả bằng phương pháp transformer
t ạo nên phiên bản sai chính tả của câu, bảng 4.1 mô tả các luật biến đổi mà đề tài đã sử dụng (Trang 36)
Hình 4.2: Minh họa kết quả tạo các câu sai từ một câu đúng. - Bắt lỗi chính tả bằng phương pháp transformer
Hình 4.2 Minh họa kết quả tạo các câu sai từ một câu đúng (Trang 37)
và Eiichiro Sumita[38] cải tiến sử dụng mô hình BERT[39] đã huấn luyện để thay thế cho Encoder của Transformer - Bắt lỗi chính tả bằng phương pháp transformer
v à Eiichiro Sumita[38] cải tiến sử dụng mô hình BERT[39] đã huấn luyện để thay thế cho Encoder của Transformer (Trang 38)
Trong thử nghiệm thực tế, mô hình bắt được hầu hết các lỗi chính tả trong phạm vi luận văn như minh họa trong bảng 5.4 - Bắt lỗi chính tả bằng phương pháp transformer
rong thử nghiệm thực tế, mô hình bắt được hầu hết các lỗi chính tả trong phạm vi luận văn như minh họa trong bảng 5.4 (Trang 43)

TỪ KHÓA LIÊN QUAN

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w