luận văn thạc sĩ nghiên cứu dịch máy trung việt dựa vào mô hình transformer​

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ──────── * ─────── Phạm Minh Nguyên NGHIÊN CỨU DỊCH MÁY TRUNG-VIỆT DỰA VÀO MƠ HÌNH TRANSFORMER LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN HÀ NỘI 08 – 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ──────── * ─────── Phạm Minh Nguyên NGHIÊN CỨU DỊCH MÁY TRUNG-VIỆT DỰA VÀO MƠ HÌNH TRANSFORMER Ngành : Cơng nghệ thông tin Chuyên ngành : Hệ thống thông tin Mã số LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Văn Vinh HÀ NỘI 08 – 2020 LỜI CAM ĐOAN Với mục đích học tập, nghiên cứu để nâng cao kiến thức trình độ chuyên môn nên làm luận văn cách nghiêm túc hoàn toàn trung thực Trong luận văn tơi có sử dụng số tài liệu tham khảo số tác giả Tơi thích nêu phần tài liệu tham khảo cuối luận văn Tôi xin cam đoan chịu trách nhiệm nội dung trung thực luậnvăn tốt nghiệp Thạc sĩ Hà Nội, ngày 20 tháng 08 năm 2020 Phạm Minh Nguyên LỜI CẢM ƠN Lời đầu tiên, xin ch n thành cảm n thầy cô giáo tr ờng Đại Học Công Nghệ - Đại học Quốc Gia Hà Nội, đ c iệt thầy cô khoa Công Nghệ Thông Tin truyền đạt cho kiến thức, kinh nghiệm vô quý báu suốt thời gian qua Tôi xin gửi lời cảm n đến TS Nguyễn Văn Vinh – giảng viên khoa Công Nghệ Thông tin – Tr ờng Đại học Cơng Nghệ tận tình giúp đỡ, trực tiếp bảo h ớng dẫn tận tình suốt trình làm luận văn Cuối cùng, tơi xin đ ợc cảm n đến gia đình, ạn è động viên, đóng góp ý kiến giúp đỡ q trình học tập, nghiên cứu hồn thành luận văn Do thời gian, kiến thức kinh nghiệm tơi cịn hạn chế nên khóa luận khơng thể tránh khỏi sai sót Tơi hy vọng nhận đ ợc ý kiến nhận xét, góp ý thầy cô giáo bạn để đồ án đ ợc hồn h n Tơi xin chân thành cảm n! Hà Nội, ngày 20 tháng 08 năm 2020 Phạm Minh Nguyên MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC HÌNH VẼ DANH MỤC BẢNG BIỂU MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ DỊCH MÁY 1.1.Khái niệm dịch máy 1.2.Kiến trúc chung hệ dịch máy 1.3.Các cách tiếp cận dịch máy 1.3.1 Dịch máy thống kê 1.3.2 Dịch máy mạng n ron 1.4.Tiếng Trung Quốc vấn đề dịch máy T CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1.Mạng n ron nh n tạo 2.1.1 Mạng n ron truyền thẳng 2.1.2 Mạng n ron hồi quy 2.1.3 Mạng nhớ dài - ngắn (LSTM) 2.1.4 Huấn luyện mạng n ron 2.2 Word Embedding 2.2.1 Word2vec 2.2.2 GloVe 2.3.Mơ hình seq2seq 2.4.Mơ hình Transformer 2.4.1 Giới thiệu 2.4.2 Self-attention 2.4.3 Tổng quan mơ hình 2.4.4 Bộ mã hóa 37 2.4.5 Bộ giải mã 40 2.4.6 Ứng dụng Attention mơ hình Transformer 41 CHƯƠNG 3: DỊCH MÁY TRUNG-VIỆT DỰA VÀO MƠ HÌNH TRANSFORMER 42 3.1 Giới thiệu 42 3.2 Định h ớng giải pháp 42 3.3 Thử nghiệm 42 3.3.1 Thử nghiệm mơ hình Transformer 42 3.3.2 Thử nghiệm mơ hình dịch máy n ron sử dụng RNN Attention 44 3.4 Đánh giá 45 3.4.1 Ph ng pháp đánh giá 45 3.4.2 Kết 46 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 49 TÀI LIỆU THAM KHẢO 50 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu viết tắt RNN FFNN NLP LSTM Word2Vec BOW CBOW GloVe BLEU DANH MỤC HÌNH VẼ Hình 1.1: Q trình xử lý tài liệu dịch máy 12 Hình 1.2: Các loại hệ thống dịch máy 13 Hình 1.3: Kiến trúc mã hóa – giải mã 15 Hình 1.4: Ví ụ xếp từ tiếng Trung tiếng Việt .16 Hình 2.1: Mơ hình mạng n ron đ n giản 18 Hình 2.2: Ví ụ n ron nh n tạo 19 Hình 2.3: Một số hàm kích hoạt thông dụng 20 Hình 2.4: Mạng n ron truyền thẳng 21 Hình 2.5: Mạng n ron hồi quy 22 Hình 2.6: Mạng nhớ dài ngắn 23 Hình 2.7: Cổng quên 23 Hình 2.8: Cổng vào 24 Hình 2.9: Cổng 24 Hình 2.10: Cấu trúc huấn luyện mạng n ron 25 Hình 2.11: iểu diễn Word Embedding 26 Hình 2.12: Mơ hình C OW Skip-grams 27 Hình 2.13: Kiến trúc mơ hình Seq2Seq 28 Hình 2.14: Minh họa mơ hình seq2seq dung tốn dịch máy 30 Hình 2.15: Q trình tính toán v ctor att ntion 32 Hình 2.16: Kiến trúc mơ hình Transformer 36 Hình 2.17: ộ mã hóa giải mã mơ hình transformer 37 Hình 2.18: Một lớp mã hóa mơ hình Transformer 38 Hình 2.19: Ví ụ biểu diễn từ đầu vào 39 Hình 2.20: Q trình tính toán v ctor att ntion với nhiều “h a ” 39 Hình 2.21: ộ giải mã mơ hình transformer 40 DANH MỤC BẢNG BIỂU ảng 3-1: Thơng tin cấu hình phần cứng 42 ảng 3-2: Thống kê liệu sử dụng 43 ảng 3-3: Các tham số huấn luyện mơ hình Transformer 44 ảng 3-4: Các tham số huấn luyện sử dụng RNN Attention 44 ảng 3-5: Điểm BLEU hệ thống dịch máy Trung – Việt 46 ảng 3-6: Một số kết dịch 46 MỞ ĐẦU Cùng với phát triển quan hệ kinh tế Trung – Việt, số l ợng văn dịch Trung – Việt ngày lớn, o nhu cầu đ t cần thiết kế mơ hình tự động để hỗ trợ dịch thuật Tr ớc đ y ịch máy đ ợc thực theo từ hay cụm từ, tức dựa vào hàng triệu từ hay cụm từ đ ợc dịch để đối chiếu, so sánh chọn cụm từ sát ph ng pháp thống kê để đ a vào kết Hiện dịch máy thực theo câu, dùng ngữ cảnh để định xem từ ngữ cảnh chọn nghĩa cho xác Các nghiên cứu o chuyển dần sang dịch máy n ron (N ural Machin Translation), đ y cách tiếp cận dịch máy phổ biến năm gần đ y cho kết thực tốt, tới mức ngang ho c h n ng ời RNN, LSTM, GRU ph ng pháp tiếp cận đại mơ hình ngơn ngữ dịch máy, từ khắc phục đ ợc hạn chế việc phụ thuộc xa mạng n ron truyền thống Tuy nhiên nhiều toán dịch thuật, việc cải thiện khơng đáng kể Chính kỹ thuật att ntion đ ợc áp dụng để mang lại hiệu cao h n Cách tiếp cận sequence-to-sequence with attention mơ hình áp dụng kỹ thuật attention kết hợp với LSTM Năm 2017, kỹ s Googl giới thiệu kỹ thuật self-att ntion đề xuất mơ hình Transformer, cho phép thay hồn tồn kiến trúc recurrent mơ hình RNN mơ hình fullconnected Dịch máy lúc hoàn toàn dựa vào kỹ thuật attention Tại Việt Nam, vấn đề dịch máy đ ợc quan tâm Tuy nhiên, nghiên cứu tiếng Việt cịn Khoảng năm trở lại đ y có số nhóm nghiên cứu dịch máy tiếng Việt nh ng chủ yếu tập trung vào hệ dịch Anh-Việt, Pháp-Việt Hiện Google hệ thống dịch mở đ ợc sử dụng nhiều giới tích hợp tiếng Việt vào hệ thống họ Hệ dịch mở Google dịch tốt tiếng Anh với ngôn ngữ khác, nhiên với c p ngôn ngữ khác nh Trung-Việt Google sử dụng tiếng Anh làm trung gian nên chất l ợng dịch thấp Trong phạm vi khóa luận trình bày mơ hình Transformer – mơ hình dịch máy hình hồn tồn dựa vào kĩ thuật attention ứng dụng vào dịch máy Trung-Việt Luận văn có bố cục gồm ch ng chính: Chƣơng 1: Tổng quan dịch máy Ch ng giới thiệu tổn quan dịch máy, số cách tiếp cận dịch máy, tiếng Trung vấn đề dịch máy Trung – Việt Chƣơng 2: C sở lý thuyết 10 Đ n giản cần nhiều ma trận query, key, value Mỗi “h a ” cho output riêng, ma trận đ ợc kết hợp với nhân với ma trận trọng số để có đ ợc ma trận attention MultiHead(Q, K, V ) = Concat(head1 , , headh)W O Mỗi encoder decoder Transformer sử dụng N attention Mỗi attention biến đổi tuyến tính q, k, k với ma trận huấn luyện khác t ng ứng Mỗi phép biến đổi cung cấp cho phép chiếu khác cho q, k v Vì vậy, N attention cho phép xem mức độ phù hợp từ N quan điểm khác Điều cuối đẩy độ xác tổng thể cao h n, theo kinh nghiệm Việc chuyển đổi làm giảm kích th ớc đầu chúng, o đó, chí N att ntion đ ợc sử dụng, độ phức tạp tính tốn giữ ngun Trong multi-head att ntion, ghép v ct đầu theo sau phép biến đổi tuyến tính 2.4.5 Bộ giải mã Bộ giải mã thực chức giải mã vector câu nguồn thành c u đích, o ộ giải mã nhận thơng tin từ mã hóa vector key value Kiến trúc giải mã giống với mã hóa, ngoại trừ có thêm masked multi-head attention nằm giữ ùng để học mối liên quan giữ từ đ ợc dịch với từ đ ợc câu nguồn H nh 2.21: Bộ giải mã mơ hình transformer 40 Masked multi-head attention tất nhiên multi-h a att ntion mà nói đến trên, nhiên từ t ng lai ch a đ ợc mơ hình dịch đến đ ợc che lại Trong giải mã cịn có multi-head attention khác có chức ý từ mã hóa, layer nhận vector key value từ mã hóa, output từ layer phía ới Đ n giản muốn so sánh t ng quan giữ từ đ ợc dịch vời từ nguồn 2.4.6 Ứng dụng Attention mơ hình Transformer Mơ hình Transformer sử dụng multi-head attention theo cách khác [2] Thứ Trong lớp “ nco r- co r att ntion”, c u truy vấn đến từ lớp giải mã tr ớc khóa giá trị đến từ đầu mã hóa Điều cho phép tất các vị trí giải mã tham gia vào tất vị trí chuỗi đầu vào Nó t ng tự nh c chế encoder-decoder attention mơ hình sequence-to-sequence Tiếp đến mã hóa chứa lớp self-attention Trong lớp self-attention, tất khóa, giá trị truy vấn đến từ n i, tr ờng hợp đầu lớp tr ớc mã hóa Mỗi vị trí mã hóa tham gia vào tất vị trí lớp tr ớc mã hóa Ngoài ra, lớp self-attention giải mã cho phép vị trí giải mã tham dự tất vị trí giải mã bao gồm vị trí Chúng ta cần ngăn ch n luồng thông tin bên trái giải mã để bảo tồn thuộc tính tự động hồi quy Điều đ ợc thực bên scaled dot-product attention cách che tất giá trị đầu vào softmax t ng ứng với kết nối không hợp lệ 41 CHƢƠNG 3: DỊCH MÁY TRUNG-VIỆT DỰA VÀO MƠ HÌNH TRANSFORMER 3.1 Giới thiệu Dịch máy vấn đề khó l u đời trí tuệ nhân tạo M c dù có lịch sử l u đời nh ng vấn đề dịch động nhiều thách thức vấn đề m t ngôn ngữ văn hóa Luận văn tập trung vào việc nghiên cứu dịch thuật với c p ngôn ngữ Trung – Việt 3.2 Định hƣớng giải pháp Để xây dựng hệ thống dịch máy Trung-Việt, đ y sử d tiếp cận dịch máy mạng n ron, sử dụng mơ hình Transform r nh ch ng Đầu tiên, hệ thống đ ợc “học” để có đ ợc mạng n số t ng ứng Đầu vào tập liệu tiếng Trung dịch tiế ứng Dữ liệu đ ợc tiền xử lý, sau đ a vào huấn luyện Q trình dịch sử dụng thông tin “học” đ ợc để xây dựng câu dịch 3.3 Thử nghiệm 3.3.1 Thử nghiệm mơ hình Transformer 3.3.1.1 Cấu hình phần cứng Cấu hình CPU GPU RAM OS 3.3.1.2 Dữ liệu sử dụng Dữ liệu tiếng Trung đ ợc lấy từ tập truyện “我我我我”tại http://www.jjwxc.net/, dịch tiếng Việt đ ợc nhóm dịch giả nhà Xuất Hà Nội dịch Dữ liệu bao gồm 16.483 c p câu Trung-Việt, đ ợc chia thành tập liệu nh sau: 42 ảng 3-2: Thống kê liệu sử dụng train.vi train.cn dev.vi dev.cn test.vi test.cn Dữ liệu sau đ ợc thu thập đ ợc tách từ, sử dụng công cụ VnCoreNLP [12] với tiếng Việt Stanford Word Segmenter [9] với tiếng Trung đ ợc biểu diễn v ctor để đ a vào huấn luyện Quá trình huấn luyện sử dụng Tensor2Tensor 3.3.1.3 Tối ưu hóa Có nhiều thuật tốn tối u hóa sử dụng, bật h n SGD M c dù Adam đ ợc mắt gần đ y đ ợc cộng đồng nghiên cứu NLP sử dụng th ờng xuyên v ợt trội rõ ràng Adam so với SGD Ở đ y sử dụng Adam [6] Tuy nhiên learning rate đ ợc điều chỉnh suốt trình học, ý t ởng khởi động tốc độ học an đầu giảm dần cuối theo cơng thức sau: ( ) Ngồi việc điều chỉnh siêu tham số có tác động lớn tới độ phức tạp độ n ng mơ hình, đ y lựa chọn tham số nh sau:  Mơ hình: T2T cung cấp hai mơ hình với hai tham số đ ợc xác định tr ớc transformer_big_single_gpu (BIG) transformer_base_single_gpu (BASE) mà khác biệt kích th ớc mơ hình Theo báo “Att ntion Is All You N ” [2], mơ hình BIG tỏ tốt h n mơ hình ASE, m c dù BIG tốn nhiều nhớ h n Ở đ y lựa chọn mơ hình BIG  Kích th ớc lơ (batch size): tập liệu huấn luyện chia nhỏ thành batch, batch chứa training samples, số l ợng samples 43 đ ợc gọi batch size Việc lựa chọn batch size lớn hay nhỏ ảnh h ởng đến tốc độ tính tốn thơng l ợng đào tạo Tốc độ tính tốn giảm dần tăng ần batch size tất hoạt động GPU hoạt động song song th o lô Ng ợc lại, thơng l ợng đào tạo tăng tuyến tính với kích th ớc lơ [6] Ở đ y lựa chọn batch size 2000  Bộ mã hóa giải mã tổng hợp xếp chồng lên layer Mỗi layer bao gồm layer (sub-lay r) su -lay r multi-head selfattention với số head 16 Sub-layer thứ hai feedforward n twork Đầu sub-layer có số chiều 1024 Tham số N hiden size batch size num head optimizer warmup_steps train steps 3.3.2 Thử nghiệm mơ hình dịch máy nơ ron sử dụng RNN Attention Để so sánh với mơ hình Transformer, tiến hành thử nghiệm hệ thống dịch sử dụng RNN Attention cấu hình phần cứng liệu sử dụng với mơ hình Transformer Để huấn luyện hệ dịch, sử dụng công cụ OpenNMT [11], sử dụng tham số theo báo Sennrich cộng [14] Cụ thể nh sau: ảng 3-4: Các tham số huấn luyện sử dụng RNN Attention Tham số hidden layer size embedding size encoder depth Tham số decoder depth hidden dropout embedding dropout source word dropout label smoothing optimizer learning_rate warmup_scheme infer_mode 3.4 Đánh giá 3.4.1 Phương pháp đánh giá Bilingual Evaluation Understudy Score hay ngắn gọn BLEU score thang điểm đ ợc dùng phổ biến đánh giá chất l ợng dịch máy LEU đ ợc Kishore Papineni cộng đề xuất lần đầu vào năm 2002 qua ài nghiên cứu “A Method for Automatic Evaluation of Machine Translation” [4] LEU đ ợc tính dựa số l ợng n-grams giống câu dịch mơ hình (output) với câu tham chiếu t ng ứng (label) có xét tới yếu tố độ dài câu Số n-grams tối đa BLEU không giới hạn, nh ng xét ý nghĩa, cụm từ ài th ờng khơng có nhiều ý nghĩa, nghiên cứu cho thấy với 4-gram, điểm số BLEU trung bình cho khả dịch thuật ng ời giảm nhiều nên n-grams tối đa th ờng đ ợc sử dụng 4-gram Công thức để tính điểm đánh giá nh sau: {∑ () ∑ ( ∑ 45 )} Trong đó:  số l ợng n-grams ph n đoạn j dịch ùng để tham khảo  số l ợng n-grams ph n đoạn j dịch máy  số l ợng n-grams ph n đoạn j dịch máy  số l ợng từ dịch máy Giá trị scor đánh giá mức độ t ng ứng hai dịch đ ợc thực ph n đoạn, đ y ph n đoạn đ ợc hiểu đ n vị tối thiểu dịch, thông th ờng ph n đoạn câu ho c đoạn Việc thống kê đồ trùng khớp n-grams dựa tập hợp ngrams ph n đoạn, tr ớc hết đ ợc tính ph n đoạn, sau tính lại giá trị tất ph n đoạn 3.4.2 Kết D ới đ y điểm số BLEU sử dụng hệ thống để dịch liệu kiểm thử từ tiếng Trung sang tiếng Việt Để đánh giá hệ thống, so sánh với hệ thống dịch sử dụng RNN attention với chung liệu huấn luyện kiểm thử Có thể thấy mơ hình Transformer cho kết tốt h n mơ hình ịch n ron sử dụng RNN attention ảng 3-5: Điểm BLEU hệ thống dịch máy Trung – Việt Loại dịch máy RNN + Attention Transformer D ới đ y số kết dịch Trung Việt sử dụng mơ hình Transformer: ảng 3-6: Một số kết dịch STT Đầu vào 我我我我我我我我我我 我我我我我我我我我我 我我我我我我我我我我 我我我我我我我我我我 我我我 “ 我我我我我我 ” 我我我我我我我我我我 我我我 我我我我我我我我我我 我我我我我我我我 我我我我我我我我我我 我我我我我我 我我我我我我我我我我 我我我我我我我我我我 我我我我我我我我我我 我我我我我我我我我我 我我我我我我我 我我我我我我我我我我 我我我我我我我我我我 我我我我我我我我我我 我我我我我我 我 我 我 我 我 我 我 Nh ng lần này, gã Nh ng lúc đ y, khơng thuận theo , 我我 我 我我 我我 我我 ng ời mà không làm 我 我我 我 我 我 我我 trạng thái Bá Thể, trạng thái cuồng bạo để 我我 我 我 我我 我 我我 cơng kích vào trạng thái, 我 我 我我 我 我我 我 tăng tốc cơng kích Nguyệt Trung Miên 我我我 我 我我 我 我我 我我我我我 tùy tiện 47 我我我我我我我 我我我我我我我我 我我我我我我我我我 我我 我我 我 我我我 我我我我我我我我 我我我我我我我我 我我我我我我我我我 我我我我我我我我我 我 48 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Sau thời gian nghiên cứu, ới h ớng dẫn tận tình TS Nguyễn Văn Vinh, tơi hồn thành luận văn “Nghiên cứu dịch máy Trung – Việt dựa vào mơ hình Transformer” Luận văn đạt đ ợc kết nh sau:  Tìm hiểu hệ thống kiến thức liên quan: o Tổng quan dịch máy, số cách tiếp cận dịch máy o Mạng n ron nh n tạo, huấn luyện mạng n ron o Mơ hình dịch máy n ron tập trung nghiên cứu mơ hình Transformer  Cài đ t thử nghiệm mơ hình Transformer tối u tham số mơ hình áp dụng cho c p ngôn ngữ Trung – Việt  Thử nghiệm so sánh mơ hình Transformer với mơ hình dịch máy n ron sử dụng RNN Attention  Trau dồi kiến thức ngôn ngữ dịch thuật Hƣớng phát triển tƣơng lai Với kiến thức kỹ có đ ợc từ khóa luận,trong t ng lai tơi tiếp tục thu thập bổ sung ngữ liệu cho hệ thống, đồng thời khai thác thêm đ c tr ng ngôn ngữ thêm nguồn liệu mở nh từ điển vào hệ thống để nâng cao chất l ợng dịch Đồng thời tìm hiểu thêm biến thể mơ hình Transformer thử nghiệm với nhiều c p ngôn ngữ kh p 49 TÀI LIỆU THAM KHẢO Tiếng Việt: [1] GS Hồ Tú Bảo, GS L ng Chi Mai (2005), “Về xử lý tiếng Việt công nghệ http://www.jaist.ac.jp/~bao/Writings/VLSPwhitepaper%20-%20Final.pdf Tiếng Anh: [2] A Vaswani 2017 Available: http://arxiv.org/abs/1706.03762 [3] Daniel Jurafsky & James H Martin, 2006 Speech and Language Processing: An introduction to natural language processing, computational linguistics, and speech recognition [4] G Do ington, “Automatic valuation of machin translation quality using n-gram cooccurr nc statistics,” in Proc ings of th s int rnational conference on Human Language Technology Research, San Diego, California, 2002, p 138, doi: 10.3115/1289189.1289273 [5] Krzysztof Wołk, Krzysztof Maras k, 2015 Neural-based Machine Translation for Medical Text Domain Based on European Medicines Agency Leaflet Texts ScienceDirect Available at: http://www.sciencedirect.com/science/article/pii/S1877050915025910 [6] M Pop l an O ojar, “Training Tips for th Transform r Mo l,” Th Pragu Bulletin of Mathematical Linguistics, vol 110, no 1, pp 43–70, Apr 2018 [7] M.-T Luong, H Pham, an C D Manning, “Eff ctiv Approach s to Attention- as N ural Machin Translation,” arXiv:1508.04025 [cs], S p 2015 Available: http://arxiv.org/abs/1508.04025 [8] M.-T Luong, Q V Le, I Sutskever, O Vinyals, an L Kais r, “Multi-task S qu nc to S qu nc L arning,” arXiv:1511.06114 [cs, stat], Mar 2016 Availa l : http://arxiv.org/abs/1511.06114 [9] P.-C Chang, M Gall y, an C D Manning, “Optimizing Chin s wor segmentation for machine translation p rformanc ,” in Proc ings of th Thir Workshop on Statistical Machine Translation - StatMT ’08, Colum us, Ohio, 2008, pp 224–232 [10] P Ko hn, “N ural Machin Translation,” arXiv:1709.07809 [cs], S p 2017 Available: http://arxiv.org/abs/1709.07809 [11] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, Alexander M Rush 2017 OpenNMT: Open-Source for Neural Machine Translation Proceedings of AMTA 2018, vol 1: MT Research Track 50 [12] T Vu, D Q Nguyen, D Q Nguyen, M Dras, and M Johnson, “VnCor NLP: A Vi tnam s Natural Languag Proc ssing Toolkit,” in Proc ings of th 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, New Orleans, Louisiana, Jun 2018, pp 56–60, doi: 10.18653/v1/N18-5012 [13] T Mikolov, K Ch n, G Corra o, an J D an, “Effici nt Estimation of Wor R pr s ntations in V ctor Spac ,” arXiv:1301.3781 [cs], S p 2013 Availa l : http://arxiv.org/abs/1301.3781 [14] R S nnrich an Zhang, “R visiting Low-Resource Neural Machine Translation: A Cas Stu y,” in Proc ings of th 57th Annual M ting of th Association for Computational Linguistics, Florence, Italy, Jul 2019, pp 211–221, doi: 10.18653/v1/P19-1021 51 ... khóa luận trình bày mơ hình Transformer – mơ hình dịch máy hình hồn tồn dựa vào kĩ thuật attention ứng dụng vào dịch máy Trung-Việt Luận văn có bố cục gồm ch ng chính: Chƣơng 1: Tổng quan dịch máy. .. họa nh hình 1.3 T ng tự nh ịch máy thống kê, dịch máy dựa mạng n ron mơ hình dịch máy dựa liệu, phụ thuộc vào liệu song ngữ sử dụng để huấn luyện Trong luận văn sử dụng h ớng tiếp cận dịch máy n... Nguyên NGHIÊN CỨU DỊCH MÁY TRUNG-VIỆT DỰA VÀO MƠ HÌNH TRANSFORMER Ngành : Cơng nghệ thông tin Chuyên ngành : Hệ thống thông tin Mã số LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Văn Vinh