Biểu diễn từ vựng theo ngữ cảnh học sâu để cải tiến hiệu suất phân tích cú pháp tiếng Việt

Bài viết giới thiệu một biểu diễn từ vựng theo ngữ cảnh bằng học sâu, mô hình hóa cả (1) đặc điểm phức tạp của việc sử dụng từ vựng (ví dụ: Cú pháp và ngữ nghĩa) và (2) cách sử dụng biểu diễn từ vựng này theo ngữ cảnh ngôn ngữ .

ĐẠI HỌC CÔNG NGHIỆP QUẢNG NINH Biểu diễn từ vựng theo ngữ cảnh học sâu để cải tiến hiệu suất phân tích cú pháp tiếng Việt Nguyễn Hồng Quân Khoa Công nghệ thông tin, Trường Đại học Công nghiệp Quảng Ninh * Email: nguyenhongquan@qui.edu.vn Mobile: 0988677861 Tóm tắt Từ khóa: Biểu diễu từ vựng; học sâu; xử lý ngôn ngữ tự nhiên; vector hóa từ vựng Bài báo giới thiệu biểu diễn từ vựng theo ngữ cảnh học sâu, mơ hình hóa (1) đặc điểm phức tạp việc sử dụng từ vựng (ví dụ: cú pháp ngữ nghĩa) (2) cách sử dụng biểu diễn từ vựng theo ngữ cảnh ngôn ngữ Các vectơ từ học hàm trạng thái nội mơ hình ngơn ngữ hai chiều sâu (biLM), tiền huấn luyện với kho liệu lớn Chúng áp dụng biểu diễn từ vựng làm cải thiện đáng kể hiệu suất toán phân tích cú pháp tiếng Việt Abstract Keywords: word embedding; deep learning; NLP; word representation, biLM The paper introduces a contextual lexical representation by deep learning, modeling both (1) the complex characteristics of vocabulary use (e.g syntax and semantics) and (2) usage represent this vocabulary in linguistic context Vectors of word learn the functions of the intrinsic states of the bidirectional language models (biLM), pre-training with a large corpus We apply this new representation and significantly improve the performance of the parsing problem in Vietnamese GIỚI THIỆU Các biểu diễn từ vựng tiền huấn luyện [3] thành phần nhiều mơ hình học máy mạng nơ ron hiểu ngôn ngữ Tuy nhiên, việc học biểu diễn từ vựng chất lượng cao thực thách thức Biểu diễn từ vựng cần phải mơ hình hóa cách lý tưởng thách thức sau: (1) đặc điểm phức tạp việc sử dụng từ (ví dụ: ngữ pháp ngữ nghĩa) (2) cách sử dụng biến đổi theo ngữ cảnh ngơn ngữ (đối với mơ hình đa ngơn ngữ) Trong báo này, giới thiệu biểu diễn từ vựng theo ngữ cảnh học sâu, trực tiếp giải hai thách thức trên, dễ dàng tích hợp vào mơ hình có cải thiện đáng kể hiệu suất trường hợp xem xét qua loạt vấn đề thách thức hiểu ngôn ngữ Biểu diễn từ vựng học sâu với kiểu nhúng từ truyền thống chỗ, biểu diễn cho token cụ thể hàm toàn câu đầu vào Chúng sử dụng vectơ dẫn xuất từ mạng nơ ron LSTM hai chiều (biLSTM) huấn luyện với mục tiêu mơ hình ngơn ngữ hai chiều (biLM) kho liệu lớn Do đó, biểu diễn từ vựng gọi biểu diễn từ vựng theo mơ hình ngơn ngữ ELMo (Embeddings from Language Models) Khác với cách tiếp cận trước để học vectơ từ theo ngữ cảnh [1], biểu diễn từ vựng ELMo có chiều sâu, theo nghĩa chúng hàm nội tất lớp mơ hình ngơn ngữ chiều (biLM) Cụ thể hơn, biểu diễn từ vựng học tổ hợp tuyến tính vectơ xếp chồng lên từ (word) đầu vào cho tác vụ cuối, giúp cải thiện rõ rệt hiệu suất cách sử dụng lớp LSTM Kết hợp trạng thái nội theo cách cho phép biểu diễn từ vựng phong phú Sử dụng ước lượng nội tại, thực nghiệm cho thấy trạng thái LSTM mức cao nắm bắt ngữ nghĩa từ theo ngữ cảnh tốt (có thể sử dụng với toán phân biệt nhập nhằng ngữ nghĩa từ có giám sát); trạng thái LSTM mức thấp lại nắm bắt vấn đề cú pháp tốt (chúng sử dụng tốn gán nhãn từ loại) Việc phân tích đồng thời tất thơng tin hữu ích, cho phép mơ hình học lựa 269 * HNKHCN Lần VI tháng 05/2020 ĐẠI HỌC CÔNG NGHIỆP QUẢNG NINH chọn kiểu bán giám sát có lợi cho toán cuối CÁC PHƯƠNG PHÁP BIỂU DIỄN TỪ VỰNG TRUYỀN THỐNG 2.1 Bag-of-Word (BoW) Đây cách biểu diễn vector truyền thống phổ biến sử dụng Để chuyển đổi ngôn ngữ tự nhiên dạng 1-of-N, ta thực bước sau: - Xây dựng từ vựng - Mỗi vector đại diện cho từ có số chiều số từ từ vựng Trong đó, vector có phần tử khác (bằng 1) vị trí tương ứng với vị trí từ từ vựng Ví dụ: Giả sử từ vựng có từ: Vua, Hồng hậu, Phụ nữ, Đàn ơng Trẻ Ta mã hóa cho từ “Hồng Hậu” sau: Mỗi từ n-gram từ mô tả vector có số chiều số từ từ vựng Tại vị trí tương ứng với vị trí từ túi từ, phần tử vector đánh dấu Những vị trí lại đánh dấu Nhược điểm phương pháp ta xác định nghĩa thực từ từ tương quan với chúng Trong phương pháp BoW, từ giống đánh trọng số Phương pháp không xét đến tần suất xuất từ hay ngữ cảnh từ Và thực tế, để cần hiểu nghĩa từ, ta cần xác định từ văn cảnh xét nghĩa độc lập từ 2.2 TF-IDF TF- IDF (term frequency–inverse document frequency) - tần suất- tần suất đảo nghịch từ Đây phương pháp thống kê, nhằm phản ánh độ quan trọng từ n-gram văn toàn tài liệu đầu vào TF-IDF thể trọng số từ theo ngữ cảnh văn TFIDF có giá trị tăng tỷ lệ thuận với số lần xuất từ văn số văn có chứa từ tồn tập tài liệu Phương pháp giúp cho TF-IDF có tính phân loại cao so với phương pháp trước * HNKHCN Lần VI tháng 05/2020 Trong đó, i=1 D, ni tần số xuất từ văn i; Ni tổng số từ văn i Trong đó, D tổng số tài liệu có tập liệu; d số lượng tài liệu có xuất từ Tuy nhiên, phương pháp TFIDF dựa BOW thể trọng số từ khác văn bản, phương pháp không biểu diễn nghĩa từ 2.3 Word2vec Word2vec mạng neural lớp với tầng ẩn, lấy đầu vào corpus lớn sinh không gian vector (với số chiều khoảng vài trăm), với từ corpus gắn với vector tương ứng không gian Các word vectors xác định không gian vector cho từ có chung ngữ cảnh corpus đặt gần khơng gian Mơ hình dự đốn học biểu diễn vector từ thơng qua từ ngữ cảnh xung quanh nhằm cải thiện khả dự đốn ý nghĩa từ Có hai cách xây dựng mơ hình Word2vec để biểu diễn phân tán từ không gian vector CBOW SKIP-gram Mô hình CBOW: lấy ngữ cảnh từ làm đầu vào cố gắng dự đoán từ tương ứng với ngữ cảnh Hãy xem xét ví dụ: Hơm tơi học Chúng ta cố gắng dự đoán từ mục tiêu (đi) cách sử dụng từ ngữ cảnh đầu vào (học) Mơ hình Skip-gram: phiên đảo ngược mơ hình CBOW Cho trước vị trí ngữ cảnh, mơ hình cần đưa phân bố xác suất từ vị trí Trong hai trường hợp, mạng sử dụng lan truyền ngược để học biểu diễn vector từ Theo Mikolov [3], tác giả word2vec, hai phương pháp có ưu điểm nhược điểm riêng Skip Gram hoạt động tốt với lượng liệu nhỏ hoạt động với tập từ vựng có chứa từ Mặt khác, CBOW học thời gian ngắn cho biểu diễn tốt cho từ thông dụng 270 ĐẠI HỌC CƠNG NGHIỆP QUẢNG NINH mã hóa LSTM lớp dự đoán nhãn từ loại POS tốt lớp thứ hai Cuối cùng, lớp LSTM để mã hóa ngữ cảnh từ (Melamud [14]) trình bày cách học biểu diễn nghĩa từ Chúng cho thấy thông tin tương tự tạo mơ hình ngơn ngữ sửa đổi biểu diễn ELMo chúng tơi hữu hích học mơ hình tác vụ bên mà pha trộn kiểu bán giám sát khác Dai cộng [15] ghép cặp encoder-decoder cách sử dụng mơ hình ngơn ngữ autoendcoder sau tinh chỉnh với tốn giám sát cụ thể Hình Mơ hình CBOW Skip-gram CÁC CƠNG TRÌNH CĨ LIÊN QUAN Do khả nắm bắt thông tin cú pháp ngữ nghĩa từ vựng từ kho liệu lớn chưa gắn nhãn, vectơ từ vựng tiền huấn luyện Mikolov [3] thành phần tiêu chuẩn hầu hết kiến trúc NLP đại, bao gồm toán hỏi đáp [4], tìm kiếm văn [5] gán nhãn vai nghĩa [6] Tuy nhiên, theo cách tiếp cận này, việc học để tạo vectơ từ vựng cho thấy rằng, từ có biểu diễn từ phụ thuộc vào ngữ cảnh Khắc phục số thiếu sót vectơ từ vựng truyền thống, Wieting [7] Bojanowski [8] đề xuất phương pháp làm phong phú biểu diễn từ vựng thông tin từ phụ học vectơ riêng cho nghĩa từ Các cơng trình gần khác tập trung vào việc học biểu diễn theo ngữ cảnh Context2vec [9] sử dụng Bộ nhớ dài hạn hai chiều (LSTM) để mã hóa ngữ cảnh xung quanh từ Các cách tiếp cận khác để học nhúng theo ngữ cảnh bao gồm từ biểu diễn từ vựng tính tốn với mã hóa hệ thống dịch máy neural (MT) có giám sát (CoVe; McCann [10]) mơ hình ngơn ngữ khơng giám sát Peter đồng [1] Cả hai cách tiếp cận dựa liệu lớn, cách tiếp cận MT bị giới hạn kích thước kho ngữ liệu song ngữ Một số tiếp cận khác cho thấy, lớp khác mạng nơ ron tái phát sâu hai chiều (biRNN) mã hóa loại thơng tin khác Ví dụ: giám sát cú pháp đa nhiệm (bài toán gán nhãn từ loại), lớp thấp mạng LSTM sâu cải thiện hiệu suất tổng thể tốn tốn phân tích cú pháp (Hashimoto [11]) siêu CCG gắn thẻ (Søgaard [12]) Trong hệ thống dịch máy encoder-decoder dựa RNN, Belinkov [13] biểu diễn từ vựng học lớp BIỂU DIỄN TỪ VỰNG THEO MƠ HÌNH NGƠN NGỮ Khác với các phương pháp vector hóa từ vựng truyền thống word2vec, vectơ ELMo gán cho token từ thực hàm tồn câu có chứa từ Do đó, từ có vectơ từ khác ngữ cảnh khác Giả sử có vài câu: (1) Tơi để sách lên bàn (2) Nói làm để thêm buồn Từ để (1) động từ, (2) kết từ quan hệ nhân – Đây trường hợp đa nghĩa, từ có nhiều nghĩa Các phương pháp truyền thống đưa vectơ cho từ "để” hai câu Hệ thống không phân biệt từ đa nghĩa Những vectors nắm bắt ngữ cảnh mà từ sử dụng Các vectơ từ ELMo giải thành công vấn đề Các biểu diễn từ ELMo đưa toàn câu đầu vào vào phương trình để tính tốn vector Do đó, thuật tốn đọc từ “để” có vectơ ELMo khác ngữ cảnh khác Chúng tính tốn lớp biLM hai lớp với kết hợp ký tự, hàm tuyến tính trạng thái mạng nội 4.1 Mơ hình ngơn ngữ chiều Cho trước chuỗi có N token, (t1, t2,,…,tN), mơ hình ngơn ngữ tiến (forward) tính tốn xác suất chuỗi cách mơ hình xác suất tk token thứ k cho trước lịch sử xuất token trước (t1, …, tk-1 ) : 271 (1) * HNKHCN Lần VI tháng 05/2020 ĐẠI HỌC CÔNG NGHIỆP QUẢNG NINH Các mơ hình ngơn ngữ nơ ron đại gần (Merity [16]) tính tốn biểu diễn token độc lập theo ngữ cảnh (thơng qua vector hóa token mạng nơ ron tích chập CNN với ký tự) sau chuyển biểu diễn qua lớp L mạng nơ ron LSTM tiến Tại vị trí k, lớp LSTM đưa biểu diễn phụ thuộc vào ngữ cảnh j = 1, ,L Đầu lớp LSTM, vector sử dụng để dự đoán token tk + với lớp Softmax Mơ hình ngơn ngữ lùi (LM-backward) hoạt động tương tự mơ hình ngơn ngữ LM- tiến, chạy theo thứ tự ngược lại Nghĩa là, mơ hình dự đốn token phía trước cho trước ngữ cảnh tương lai: (2) Tương tự với mơ hình ngôn ngữ LMtiến, lớp j mạng nơ ron LSTM-lùi lớp L mơ hình sâu có nhiều lớp tạo biểu diễn tk cho trước (tk + 1, , tN) Một biLM kết hợp LM -tiến và LMlùi Công thức sau mơ tả tối đa hóa khả theo hướng tiến lùi nhau: (3) Công thức xác suất có điều kiện (3) bao gồm: Θx: Các tham số biểu diễn token theo hai hướng Θs: Tham số cho Softmax theo hai hướng tiến lùi : Các tham số riêng cho LSTM theo hướng Nhìn chung, cơng thức tương tự cách tiếp cận Peters [1], có điểm khác chia sẻ số trọng số hướng thay sử dụng tham số hồn toàn độc lập Trong phần tiếp theo, báo giới thiệu cách tiếp cận để học cách biểu diễn từ vựng kết hợp tuyến tính lớp biLM * HNKHCN Lần VI tháng 05/2020 Hình Cố định tham số mơ hình biLM 4.2 Biểu diễn từ vựng theo mơ hình ngơn ngữ Biểu diễn từ vựng theo mơ hình ngơn ngữ (Embedding from Language Models – ELMo) kết hợp nhiệm vụ cụ thể biểu diễn lớp trung gian mơ hình ngơn ngữ hai chiều biLM Đối với token tk, lớp L biLM tính toán tập 2L + biểu diễn = (4) lớp token =[ ] cho lớp mạng nơ ron hai chiều biLSTM Để đưa vào mơ hình thứ cấp, ELMo thu gọn tất lớp R thành vectơ nhất, ELMok = E(Rk; Θe) Trong trường hợp đơn giản nhất, ELMo chọn lớp cùng, E(Rk) = mơ hình TagLM [1] CoVe [] Tổng qt hơn, biểu diễn tính tốn trọng số riêng tất lớp biLM: (5) 272 Trong ĐẠI HỌC CƠNG NGHIỆP QUẢNG NINH Trong đó: stask trọng số chuẩn hóa tầng softmax, γtask tham số vơ hướng cho phép mơ hình tác vụ chia theo tỷ lệ với tồn vectơ ELMo γ có ý nghĩa quan trọng thiết thực hỗ trợ trình tối ưu hóa Hình Đưa biểu diễn ELMo vào mơ hình học trọng số tổ hợp tuyến tính tốn 4.3 Sử dụng biLM cho tốn NLP có giám sát Cho trước mạng nơ ron mơ hình ngơn ngữ hai chiều biLM huấn luyện trước kiến trúc có giám sát cho tốn NLP cụ thể Chúng ta cải thiện hiệu suất mơ hình tốn áp dụng biLM đơn giản Chúng ta cần chạy biLM ghi lại tất biểu diễn lớp cho từ vựng Sau đó, mơ hình tác vụ cuối học kết hợp tuyến tính biểu diễn Q trình mơ tả sau: Đầu tiên lấy lớp thấp mơ hình giám sát mà khơng có biLM Hầu hết mơ hình tốn NLP có giám sát có chung kiến trúc lớp thấp nhất, cho phép bổ sung biểu diễn theo ELMo theo cách thống Cho trước chuỗi token (t1,…, tN), tiêu chuẩn để xây dựng biểu diễn token độc lập ngữ cảnh xk cho vị trí token Việc sử dụng vector từ vựng tiền huấn luyện biểu diễn vector dựa ký tự khác Sau đó, mơ hình tạo biểu diễn cảm ngữ cảnh hk, cách sử dụng mạng nơ ron tái phát RNN hai chiều, mạng nơ ron tích chập CNN mạng nơ ron truyền thẳng Để đưa thêm ELMo vào mơ hình có giám sát, trước tiên, cố định trọng số biLM nối vectơ với vector xk thành biểu diễn ELMo nâng cao [xk; ], sau truyền biểu diễn ELMo nâng cao vào tốn mạng nơ ron tái phát RNN (hình hình 3) CÁC KẾT QUẢ THỰC NGHIỆM Chúng tơi sử dụng ngữ liệu có tiếng Việt 4GB để tiền huấn luyện cho embedding mô hình Trong thực nghiệm mình, chúng tơi sử dụng cài đặt siêu tham số tương tự Peters cộng [2] cho biLM mạng CNN với ký tự Chúng huấn luyện tham số cho mơ hình tập hợp liệu 20 triệu từ lấy mẫu ngẫu nhiên từ văn thô thu thập thông tin chung từ mạng Internet Có thực số thay đổi sau: - Hỗ trợ ký tự unicode; - Sử dụng kỹ thuật softmax mẫu để huấn luyện từ vựng lớn Sử dụng cửa sổ từ xung quanh từ đích làm mẫu âm cho thấy hiệu suất tốt thử nghiệm sơ Các biLM tiền huấn luyện báo tập trung vào biLM quy mơ lớn tốn phân tích cú pháp, Peters [1] nhấn mạnh tầm quan trọng việc sử dụng biLM so với mơ hình ngơn ngữ túy tiến huấn luyện quy mô lớn Để cân phức tạp mơ hình ngơn ngữ tổng thể với kích thước mơ hình u cầu tính tốn cho tốn cụ thể mà trì biểu diễn đầu vào (input) hồn tồn ký tự, chúng tơi giảm nửa tất kích thước nhúng Mơ hình cuối sử dụng lớp L = biLSTM với 4096 đơn vị phép chiếu 512 chiều kết nối lại từ lớp thứ đến lớp thứ hai biLM cung cấp ba lớp biểu diễn cho token đầu vào, bao gồm lớp tập huấn luyện đầu vào túy ký tự Ngược lại, phương pháp vector hóa từ vựng truyền thống cung cấp lớp biểu diễn cho token ngữ cảnh cố định Sau xử lý trước, biLM tính tốn biểu diễn cho tác vụ Trong số trường hợp, việc tinh chỉnh biLM liệu cụ thể miền dẫn đến giảm đáng kể nhập nhằng nghĩa từ tăng hiệu suất cho toán NLP Việc huấn luyện ELMo ngôn ngữ tiếng Việt khoảng ngày với GPU NVIDIA P100 Bài tốn phân tích cú pháp được đánh giá ngữ liệu tiếng Việt (Viet Treebank) với 10 nghìn câu gán nhãn Điểm đánh giá hiệu suất mơ hình chúng tơi sử dụng thuật tốn EVALB Collins [22] Để đánh giá khảo nghiệm, sử dụng mơ hình phân tích cú pháp tiếng Việt công bố báo [17] [19] [20] [21] Kết cho thấy có cải thiện hiệu suất thông qua sử dụng ELMo (bảng 1) 273 * HNKHCN Lần VI tháng 05/2020 ĐẠI HỌC CÔNG NGHIỆP QUẢNG NINH Bảng Một số kết PTCP cho tiếng Việt Mơ hình RNN p^(y|x) [17] In-order [19] Self-attention [20] Labelattention[21] Cơ 76.19 80.92 81.11 81.98 F1 (%) ELMo 77.63 82.13 82.57 82.96  +1.44 +1.21 +1.46 +0.98 Hình Biểu đồ hiệu suất PTCP KẾT LUẬN Trong báo này, giới thiệu vector hóa từ vựng dựa mơ hình ngơn ngữ ELMo thực có hiệu với tốn phần tích cú pháp Nếu kết hợp với mơ hình phức tạp hơn, chắn mang lại hiệu suất cao Việc áp dụng ELMo khơng giới hạn ở tốn phân tích cú pháp Nó dụng cho tốn NLP khác: Dịch máy, Mơ hình hóa ngơn ngữ, Tóm tắt văn bản, Nhận dạng thực thể đặt tên, Hệ thống hỏi đáp TÀI LIỆU THAM KHẢO [1] Matthew E Peters, Waleed Ammar, Chandra Bhagavatula, and Russell Power 2017 Semisupervisedsequence tagging with bidirectional language models In ACL [2] Matthew E Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer: Deep Contextualized Word Representations NAACL-HLT 2018: 2227-2237 [3] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean 2013 Distributed * HNKHCN Lần VI tháng 05/2020 representations of words and phrases and their compositionality In NIPS [4] Xiaodong Liu, Yelong Shen, Kevin Duh, and Jianfeng Gao 2017 Stochastic answer networks for machine reading comprehension arXiv preprint arXiv:1712.03556 [5] Qian Chen, Xiao-Dan Zhu, Zhen-Hua Ling, Si Wei, Hui Jiang, and Diana Inkpen 2017 Enhanced lstm for natural language inference In ACL [6] Luheng He, Kenton Lee, Mike Lewis, and Luke S Zettlemoyer 2017 Deep semantic role labeling: What works and what’s next In ACL [7] John Wieting, Mohit Bansal, Kevin Gimpel, and Karen Livescu 2016 Charagram: Embedding words and sentences via character ngrams In EMNLP [8] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov 2017 Enriching word vectors with subword information TACL 5:135-146 [9] Oren Melamud, Jacob Goldberger, and Ido Dagan 2016 context2vec: Learning generic context embedding with bidirectional lstm In CoNLL [10] Bryan McCann, James Bradbury, Caiming Xiong, and Richard Socher 2017 Learned in translation: Contextualized word vectors In NIPS 2017 [11] Kazuma Hashimoto, Caiming Xiong, Yoshimasa Tsuruoka, and Richard Socher 2017 A joint many-task model: Growing a neural network for multiple nlp tasks In EMNLP 2017 [12] Anders Søgaard and Yoav Goldberg 2016 Deep multi-task learning with low level tasks supervised at lower layers In ACL 2016 [13] Yonatan Belinkov, Nadir Durrani, Fahim Dalvi, Hassan Sajjad, and James R Glass 2017 What neural machine translation models learn about morphology? In ACL [14] Oren Melamud, Jacob Goldberger, and Ido Dagan 2016 context2vec: Learning generic context embedding with bidirectional lstm In CoNLL [15] Andrew M Dai and Quoc V Le 2015 Semisupervised sequence learning In NIPS 274 ĐẠI HỌC CÔNG NGHIỆP QUẢNG NINH [16] Stephen Merity, Nitish Shirish Keskar, and Richard Socher 2017 Regularizing and optimizing lstm language models CoRR abs/1708.02182 [17] Nguyễn Hồng Quân (2017), Phân tích cú pháp tiếng Việt với mạng nơron tái phát, Kỷ yếu Hội nghị khoa học trường Đại học Công nghiệp Quảng Ninh lần thứ V, 2017 [18] Nguyễn Hồng Quân, Nguyễn Phương Thái (2016), Khảo sát lỗi phân tích cú pháp tiếng Việt với phân tích cú pháp đa ngôn ngữ, Kỷ yếu Hội thảo Quốc gia lần thứ XIX, Một số vấn đề chọn lọc công nghệ thông tin truyển thông [19] Nguyễn Hồng Quân (2018), Giải pháp tăng hiệu suất phân tích cú pháp thành phần tiếng Việt phương pháp thứ tự giữa, Tập san trường Đại học công nghiệp Quảng Ninh số 45 [20] Nguyễn Hồng Quân (2018), Cải tiến phân tích cú pháp tiếng Việt với kỹ thuật attention Tập san trường Đại học công nghiệp Quảng Ninh số 46 [21] Nguyễn Hồng Quân (2019), Nâng cao hiệu suất phân tích cú pháp chế diễn dịch label-attention Tập san trường Đại học công nghiệp Quảng Ninh số 49 [22] M Collins Head-Driven Statistical Models for Natural Language Parsing PhD thesis, University of Pennsylvania, 1999 275 * HNKHCN Lần VI tháng 05/2020 ... Giải pháp tăng hiệu suất phân tích cú pháp thành phần tiếng Việt phương pháp thứ tự giữa, Tập san trường Đại học công nghiệp Quảng Ninh số 45 [20] Nguyễn Hồng Quân (2018), Cải tiến phân tích cú pháp. .. [13] biểu diễn từ vựng học lớp BIỂU DIỄN TỪ VỰNG THEO MƠ HÌNH NGƠN NGỮ Khác với các phương pháp vector hóa từ vựng truyền thống word2vec, vectơ ELMo gán cho token từ thực hàm toàn câu có chứa từ. .. dụng Bộ nhớ dài hạn hai chiều (LSTM) để mã hóa ngữ cảnh xung quanh từ Các cách tiếp cận khác để học nhúng theo ngữ cảnh bao gồm từ biểu diễn từ vựng tính tốn với mã hóa hệ thống dịch máy neural