Mô hình ngôn ngữ cho một số bài toán xử lý ngôn ngữ tự nhiên 319824

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI -- - LUẬN VĂN THẠC SĨ 2019A - TỐN TIN MƠ HÌNH NGƠN NGỮ CHO MỘT SỐ BÀI TỐN XỬ LÝ NGƠN NGỮ TỰ NHIÊN NGUYỄN HOÀNG ĐẠT NGUYỄN HOÀNG ĐẠT dat.nhca190266@sis.hust.edu.vn Chuyên ngành Toán Tin CA190266 Giảng viên hướng dẫn: TS Nguyễn Thị Thanh Huyền Viện: Toán ứng dụng Tin học HÀ NỘI, 2020 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ MƠ HÌNH NGƠN NGỮ CHO MỘT SỐ BÀI TỐN XỬ LÝ NGƠN NGỮ TỰ NHIÊN NGUYỄN HỒNG ĐẠT dat.nhca190266@sis.hust.edu.vn Chuyên ngành Toán Tin Giảng viên hướng dẫn: TS Nguyễn Thị Thanh Huyền Viện: Toán ứng dụng Tin học Chữ ký GVHD HÀ NỘI, 09/2020 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Nguyễn Hồng Đạt Đề tài luận văn: Mơ hình ngơn ngữ cho số tốn xử lý ngơn ngữ tự nhiên Chun ngành: Tốn Tin Mã số SV: CA190266 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 23/09/2020 với nội dung sau: • Khơng sửa chữa Ngày 24 tháng 09 năm 2020 Giáo viên hướng dẫn Tác giả luận văn TS Nguyễn Thị Thanh Huyền Nguyễn Hoàng Đạt CHỦ TỊCH HỘI ĐỒNG TS Lê Chí Ngọc Lời cảm ơn Lời đầu tiên, tác giả xin gửi lời cảm ơn chân thành đến Tiến sĩ Nguyễn Thị Thanh Huyền trợ giúp nhiệt tình suốt trình nghiên cứu Tác giả xin trân trọng cảm ơn Viện Toán ứng dụng Tin học, Phòng đào tạo - Bộ phận quản lý đào tạo sau đại học, Trường Đại học Bách Khoa Hà Nội tạo điều kiện thuận lợi để để tác giả hoàn thành luận văn Đồng thời tác giả xin gửi lời cảm ơn tới Tiến sĩ Lê Chí Ngọc với tồn thể thành viên phịng nghiên cứu phát triển cơng ty Cổ phần Truyền thông Công nghệ iCOMM Việt Nam suốt trình làm luận văn hỗ trợ liệu góp ý chun mơn để tác giả nghiên cứu hoàn thành đề tài Hà Nội, ngày 30 tháng năm 2020 Nguyễn Hồng Đạt Tóm tắt nội dung Trong vài năm gần đây, lĩnh vực xử lý ngơn ngữ tự nhiên có bước chuyển lớn Những nghiên cứu liên quan đến mơ hình ngôn ngữ liên tục tạo kết đột phá, gần trở thành tiêu chuẩn cho nghiên cứu ngôn ngữ tự nhiên Trong luận văn này, tơi giới thiệu hai mơ hình xây dựng dựa mơ hình ngơn ngữ học trước, áp dụng cho toán nhận diện tên thực thể phân loại sắc thái văn Mơ hình ngơn ngữ cho phép mã hóa nhiều thơng tin quan trọng ngơn ngữ, dễ dàng đưa vào mơ hình phân loại Cả hai mơ hình đạt kết tốt cho hai toán, đồng thời linh hoạt, dễ dàng áp dụng, mở rộng cho tốn phân loại khác xử lý ngơn ngữ tự nhiên Mã nguồn mơ hình viết ngơn ngữ lập trình Python, sử dụng Pytorch Từ khóa: Mơ hình ngơn ngữ, nhận diện tên thực thể, phân loại sắc thái văn bản, mạng biến đổi, chế ý, Python, Pytorch Mục lục Lời nói đầu Cơ sở lý thuyết 1.1 Xử lý ngôn ngữ tự nhiên 1.1.1 Giới thiệu xử lý ngôn ngữ tự nhiên 1.1.2 Cơ sở lý thuyết ngôn ngữ tự nhiên 1.1.3 Hướng tiếp cận xử lý ngơn ngữ tự nhiên 11 1.1.4 Biểu diễn văn ngôn ngữ tự nhiên 16 Mơ hình ngơn ngữ 17 1.2.1 Giới thiệu mơ hình ngơn ngữ 17 1.2.2 Mơ hình ngơn ngữ cổ điển 18 1.2.3 Mơ hình ngơn ngữ đại 21 1.2 Mơ hình ngơn ngữ áp dụng cho số toán nhận diện thực thể 2.1 2.2 31 Bài toán nhận diện tên thực thể tiếng Việt 32 2.1.1 Phát biểu toán 32 2.1.2 Nghiên cứu liên quan 34 Mơ hình sử dụng 34 LUẬN VĂN THẠC SĨ 2.3 NGUYỄN HOÀNG ĐẠT 2.2.1 Hướng tiếp cận 34 2.2.2 Kiến trúc mô hình 35 Thực nghiệm kết 40 2.3.1 Dữ liệu 40 2.3.2 Mơ hình ngơn ngữ 41 2.3.3 Thực nghiệm 42 2.3.4 Kết luận 48 Mơ hình ngơn ngữ áp dụng cho tốn phân loại sắc thái văn 3.1 50 Bài toán phân loại sắc thái văn 51 3.1.1 Phát biểu toán 51 3.1.2 Nghiên cứu liên quan 53 3.2 Mơ hình sử dụng 54 3.3 Thực nghiệm kết 56 3.3.1 Dữ liệu 56 3.3.2 Mơ hình 58 3.3.3 Thực nghiệm 59 3.3.4 Kết luận 62 Kết luận 65 Các hướng nghiên cứu 66 Tài liệu tham khảo 66 Danh sách hình vẽ 1.1 Một neuron đơn giản 14 1.2 Mạng neuron lan truyền thuận 15 1.3 Mơ hình ngơn ngữ sử dụng mạng lan truyền tiến [3] 20 1.4 Cơ chế ý tích vector theo thang chế ý đa đầu [55] 23 1.5 Kiến trúc biến đổi [55] 24 1.6 Đầu vào mơ hình BERT 26 1.7 Từ bước học trước đến bước điều chỉnh BERT 28 2.1 Ví dụ nhận diện thực thể 32 2.2 Ví dụ thực thể lồng thực thể khác 32 2.3 Mơ hình xác định thực thể 36 2.4 Mơ hình xác định thực thể - biến thể 40 2.5 Giá trị hàm mát mơ hình PhoBERT câu hỏi truy vấn đầy đủ 43 2.6 Độ xác độ thu hồi tập kiểm thử 44 3.1 Hướng tiếp cận tốn phận tích sắc thái văn [52] 53 3.2 Một số mơ hình học sâu cho tốn phân tích sắc thái 54 3.3 Mơ hình đề xuất cho tốn phân loại sắc thái văn 55 3.4 Độ xác thu hồi tập liệu kiểm thử 60 Danh sách bảng 2.1 Ví dụ câu hỏi cho thực thể 35 2.2 Miêu tả tập liệu VLSP-2016 41 2.3 Bộ câu hỏi đầy đủ 42 2.4 Độ xác, độ thu hồi điểm F1 nhãn tập thử 44 2.5 Độ xác, độ thu hồi điểm F1 macro micro 44 2.6 So sánh mơ hình với số nghiên cứu trước 45 3.1 Thống kê liệu VLSP 2018 58 3.3 Kết mơ hình với tập liệu nhà hàng 61 3.2 Kết mô hình với tập liệu khách sạn 61 Lời nói đầu Trong năm gần đây, lĩnh vực nghiên cứu xử lý ngơn ngữ tự nhiên có bước chuyển vơ lớn, bước sang trang Sự chuyển đổi xuất mơ hình ngơn ngữ ELMO, ULMFIT, BERT, XLNET Những mơ hình việc học trước từ khối liệu vô lớn, nhanh chóng ghi danh hàng loạt tốn xử lý ngơn ngữ Trước đó, cơng thức chung cho phần lớn tốn xử lý ngơn ngữ tự nhiên bắt nguồn từ vector từ nhúng word2vec, Glove Tuy nhiên, biểu diễn phương pháp nhúng từ trước giống phần tảng băng chìm, chứa đựng phần thông tin nhỏ từ Trong đó, mơ hình ngơn ngữ chứa đựng nhiều tầng thơng tin, sâu hơn, trừu tượng Mơ hình ngơn ngữ dần thay vector từ nhúng nhiều tốn Thay sử dụng lớp từ nhúng học trước mơ hình dùng sử dụng kiến trúc học trước, thêm vài tầng điều chỉnh để đạt kết vượt trội phương pháp khác Mô hình tiêu biểu thời gian gần GPT-3, tự viết luận, cho thấy mơ hình ngơn ngữ bước đệm để đạt trình độ ngang người, chí chuyên gia xử lý ngôn ngữ Thúc đẩy lý trên, luận văn thạc sĩ, chọn đề tài xây LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT chỉnh Qua so sánh liệu hai chủ đề, văn liệu chủ đề khách sạn viết rõ ràng, mạch lạc, nhiều liệu nhà hàng Các văn liệu nhà hàng giống bình luận mạng xã hội, sử dụng nhiều biểu cảm, cách viết rối Hai ví dụ sau đại diện cho hai tập liệu Ví dụ 3.2 "Chúng tơi đặt phịng Deluxe, có giường đơi, thoải mái cho người Chúng lưu trú 02 đêm thật thích tồn nơi Các bữa ăn sáng bao gồm giá phòng, chất lượng tốt cung cấp nhiều lựa chọn Wifi tầng lầu kết nối internet cung cấp miễn phí, truyền hình với nhiều kênh Nhân viên thân thiện lịch Chúng chắn lại lần nữa." Ví dụ 3.3 "Thố vị sate, cay the th tẹo thơi, thố đc ếch lun í Ếch mà bự chà bá lửa ln, đùi bự nên thịt nhiều mà tươi dai nha Giá 60k/ phần Cháo có loại, gọi thêm 5k/tô người ăn thố tơ cháo đủ no đó, ăn khoẻ một phần ln :))))" 3.3.4 Kết luận Ở chương này, việc sử dụng cấu trúc mơ hình tương tự chương trước, mơ hình đạt kết tốt cho tốn phân tích sắc thái văn bản, với liệu bình luận mạng xã hội vốn nhiều nhiễu Một ưu điểm dễ thấy mơ hình khơng q nhiều cơng sức để chọn đặc trưng cho tốn Vector văn trích xuất từ mơ hình ngơn ngữ biểu diễn tốt, áp dụng hiệu cho nhiều toán Một ưu điểm khác 62 LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT với kiến trúc, cần thêm câu truy vấn chuyển đổi sang tốn phân loại văn khác, khiến cho mơ hình linh hoạt Một vấn đề cần lưu ý, mơ hình PhoBERT học dựa vào liệu Wikipedia báo chí, cịn liệu cho tốn phân tích sắc thái lại bình luận hay đánh giá người dùng thường Đặc điểm liệu sử dụng lối viết văn nói vắn tắt, dùng nhiều từ viết tắt, có nhiều lỗi sai tả, khơng chuẩn chỉnh báo chí Mặc dù thế, mơ hình đạt kết tốt liệu bình luận Mơ hình học thông tin quan trọng ngữ nghĩa không phụ thuộc vào văn phong Thực nghiệm cho thấy câu hỏi truy vấn sử dụng dạng kích hoạt để mơ hình biết tập trung vào thông tin nào, việc câu hỏi truy vấn miêu tả giống nhãn đem lại cải thiện kết 63 Kết luận chung Trong luận văn này, tơi thử nghiệm mơ hình xây dựng dựa tảng mơ hình ngơn ngữ hai toán phân loại tiếng Việt: nhận diện tên thực thể phân tích sắc thái bình luận Mơ hình tơi sử dụng chuyển hai tốn phân tích đa nhãn toán trả lời câu hỏi Trong đó, nhãn gắn với câu hỏi truy vấn, sau mơ hình dự đốn khả cụm từ đoạn văn câu trả lời cho câu hỏi Thông qua kết thực nghiệm, tơi tóm tắt thành số nhận xét sau: • Mơ hình hoạt động tốt cho hai tốn phân loại, điều cho thấy mơ hình học cách làm lên thông tin quan trọng nhãn cụm từ hay văn ghép với câu hỏi tương ứng Theo nghiên cứu tương tự trước [31] thử nghiệm tốn sắc thái, việc thay đổi câu hỏi truy vấn sát với miêu tả nhãn đem lại vài cải thiện kết Sự cải thiện q nhiều, cho thấy mơ hình sử dụng câu hỏi truy vấn dạng kích hoạt Câu hỏi truy vấn sát với nhãn kết tốt chứng tỏ mơ hình có tận dụng thơng tin ngữ nghĩa câu hỏi • Mơ hình ngơn ngữ sử dụng PhoBERT, học trước chủ yếu dựa vào liệu lấy từ Wikipedia liệu báo chí, có kết 64 LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT tốt với tốn Mơ hình học cách xác định thơng tin ngữ nghĩa Ở mơ hình cho hai tốn thử nghiệm, hạn chế thể rõ hao tốn tài nguyên thơi gian sử dụng mơ hình lớn nhiều so vơi mơ hình khác Bản thân mơ hình ngơn ngữ có khối lượng lớn kiến trúc phức tạp Hạn chế ảnh hưởng lớn đến khả ứng dụng lên liệu lớn 65 Các hướng nghiên cứu Từ kết luận văn này, số hướng nghiên cứu thực hiện: • Nghiên cứu áp dụng mơ hình ngơn ngữ tối ưu tài nguyên hiệu để áp dụng mơ hình vào thực tế • Nghiên cứu mơ hình cho tốn khác phân tích cú pháp, phát kiện, mối quan hệ Nghiên cứu mở rộng sang lớp tốn học khơng giám sát phân cụm, tóm tắt văn • Phân tích kết quả, q trình suy diễn mơ hình, làm rõ cách thức mơ hình hoạt động Tính minh bạch mơ hình nhân tố quan trọng để đưa mơ hình vào thực tiễn 66 Tài liệu tham khảo [1] AIVIVN Phân loại sắc thái bình luận https://www.aivivn.com/ contests/1, 2019 [2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio Neural machine translation by jointly learning to align and translate arXiv preprint arXiv:1409.0473, 2014 [3] Yoshua Bengio, Réjean Ducharme, Pascal Vincent, and Christian Jauvin A neural probabilistic language model Journal of machine learning research, 3(Feb):1137–1155, 2003 [4] Andrew Borthwick and Ralph Grishman A maximum entropy approach to named entity recognition PhD thesis, Citeseer, 1999 [5] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al Language models are few-shot learners arXiv preprint arXiv:2005.14165, 2020 [6] Kyunghyun Cho, Bart Van Merriăenboer, Dzmitry Bahdanau, and Yoshua Bengio On the properties of neural machine translation: Encoder-decoder approaches arXiv preprint arXiv:1409.1259, 2014 67 LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT [7] Jinho D Choi Dynamic feature induction: The last gist to the state-ofthe-art In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 271–281, 2016 [8] Gobinda G Chowdhury Natural language processing Annual review of information science and technology, 37(1):51–89, 2003 [9] Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning Electra: Pre-training text encoders as discriminators rather than generators arXiv preprint arXiv:2003.10555, 2020 [10] Ronan Collobert, Jason Weston, Léon Bottou, Michael Karlen, Koray Kavukcuoglu, and Pavel Kuksa ing (almost) from scratch Natural language process- Journal of machine learning research, 12(ARTICLE):2493–2537, 2011 [11] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li FeiFei Imagenet: A large-scale hierarchical image database In 2009 IEEE conference on computer vision and pattern recognition, pages 248–255 Ieee, 2009 [12] Li Deng and Yang Liu Deep learning in natural language processing Springer, 2018 [13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova Bert: Pre-training of deep bidirectional transformers for language understanding arXiv preprint arXiv:1810.04805, 2018 [14] Radu Florian, Abe Ittycheriah, Hongyan Jing, and Tong Zhang Named 68 LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT entity recognition through classifier combination In Proceedings of the seventh conference on Natural language learning at HLT-NAACL 2003, pages 168–171, 2003 [15] I Goodfellow, Y Bengio, and A Courville Deep Learning Adaptive computation and machine learning MIT Press, 2016 [16] James Hammerton Named entity recognition with long short-term memory In Proceedings of the seventh conference on Natural language learning at HLT-NAACL 2003, pages 172–175, 2003 [17] Geoffrey E Hinton, Simon Osindero, and Yee-Whye Teh A fast learning algorithm for deep belief nets Neural computation, 18(7):1527–1554, 2006 [18] Sepp Hochreiter and Jăurgen Schmidhuber Long short-term memory Neural computation, 9(8):17351780, 1997 [19] Benjamin Hoover, Hendrik Strobelt, and Sebastian Gehrmann exbert: A visual analysis tool to explore learned representations in transformers models arXiv preprint arXiv:1910.05276, 2019 [20] Minqing Hu and Bing Liu Mining and summarizing customer reviews In Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining, pages 168–177 ACM, 2004 [21] Zhiheng Huang, Wei Xu, and Kai Yu Bidirectional lstm-crf models for sequence tagging arXiv preprint arXiv:1508.01991, 2015 [22] Nguyen Thi Minh Huyen and Vu Xuan Luong Vlsp 2016 shared task: 69 LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT Named entity recognition Proceedings of Vietnamese Speech and Language Processing (VLSP), 2016 [23] Nitin Indurkhya and Fred J Damerau Handbook of natural language processing, volume CRC Press, 2010 [24] Ganesh Jawahar, Benoˆıt Sagot, and Djamé Seddah What does bert learn about the structure of language? 2019 [25] Xiaoqi Jiao, Yichun Yin, Lifeng Shang, Xin Jiang, Xiao Chen, Linlin Li, Fang Wang, and Qun Liu Tinybert: Distilling bert for natural language understanding arXiv preprint arXiv:1909.10351, 2019 [26] D Jurafsky and J.H Martin Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition Prentice Hall series in artificial intelligence Prentice Hall, 2000 [27] John Lafferty, Andrew McCallum, and Fernando CN Pereira Conditional random fields: Probabilistic models for segmenting and labeling sequence data 2001 [28] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut Albert: A lite bert for self-supervised learning of language representations arXiv preprint arXiv:1909.11942, 2019 [29] Ngoc C Lê, Nguyen The Lam, Son Hong Nguyen, and Duc Thanh Nguyen On vietnamese sentiment analysis: A transfer learning method 70 LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT In 2020 RIVF International Conference on Computing and Communication Technologies (RIVF), pages 1–5 IEEE, 2020 [30] Ngoc C Lê, Ngoc-Yen Nguyen, Anh-Duong Trinh, and Hue Vu On the vietnamese name entity recognition: A deep learning method approach In 2020 RIVF International Conference on Computing and Communication Technologies (RIVF), pages 1–5 IEEE, 2020 [31] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li A unified mrc framework for named entity recognition arXiv preprint arXiv:1910.11476, 2019 [32] Bing Liu Sentiment analysis and subjectivity In Handbook of Natural Language Processing, Second Edition, pages 627–666 Chapman and Hall/CRC, 2010 [33] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov Roberta: A robustly optimized bert pretraining approach arXiv preprint arXiv:1907.11692, 2019 [34] Ilya Loshchilov and Frank Hutter Sgdr: Stochastic gradient descent with warm restarts arXiv preprint arXiv:1608.03983, 2016 [35] Minh-Thang Luong, Hieu Pham, and Christopher D Manning Effective approaches to attention-based neural machine translation arXiv preprint arXiv:1508.04025, 2015 [36] Christopher D Manning and Hinrich Schăutze Foundations of statistical natural language processing MIT press, 1999 71 LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT [37] Andrew McCallum and Wei Li Early results for named entity recognition with conditional random fields, feature induction and webenhanced lexicons 2003 [38] Michael McCloskey and Neal J Cohen Catastrophic interference in connectionist networks: The sequential learning problem In Psychology of learning and motivation, volume 24, pages 109–165 Elsevier, 1989 [39] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean Distributed representations of words and phrases and their compositionality In Advances in neural information processing systems, pages 3111–3119, 2013 [40] T.M Mitchell Machine Learning McGraw-Hill international editions - computer science series McGraw-Hill Education, 1997 [41] Sudha Morwal, Nusrat Jahan, and Deepti Chopra Named entity recognition using hidden markov model (hmm) International Journal on Natural Language Computing (IJNLC), 1(4):15–23, 2012 [42] Manish Munikar, Sushil Shakya, and Aakash Shrestha Fine-grained sentiment classification using bert In 2019 Artificial Intelligence for Transforming Business and Society (AITB), volume 1, pages 1–5 IEEE, 2019 [43] Dat Quoc Nguyen and Anh Tuan Nguyen Phobert: Pre-trained language models for vietnamese arXiv preprint arXiv:2003.00744, 2020 [44] Huyen TM Nguyen, Hung V Nguyen, Quyen T Ngo, Luong X Vu, 72 LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT Vu Mai Tran, Bach X Ngo, and Cuong A Le Vlsp shared task: sentiment analysis Journal of Computer Science and Cybernetics, 34(4):295–310, 2018 [45] Kim Anh Nguyen, Ngan Dong, and Cam-Tu Nguyen Attentive neural network for named entity recognition in vietnamese In 2019 IEEE-RIVF International Conference on Computing and Communication Technologies (RIVF), pages 1–6 IEEE, 2019 [46] Bo Pang, Lillian Lee, et al Opinion mining and sentiment analy- sis Foundations and Trends R in Information Retrieval, 2(1–2):1–135, 2008 [47] Jeffrey Pennington, Richard Socher, and Christopher Manning Glove: Global vectors for word representation In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pages 1532–1543, 2014 [48] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu Exploring the limits of transfer learning with a unified text-to-text transformer arXiv preprint arXiv:1910.10683, 2019 [49] Nils Reimers and Iryna Gurevych Sentence-bert: Sentence embeddings using siamese bert-networks arXiv preprint arXiv:1908.10084, 2019 [50] David E Rumelhart, Geoffrey E Hinton, and Ronald J Williams Learning representations by back-propagating errors nature, 323(6088):533, 1986 73 LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT [51] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter arXiv preprint arXiv:1910.01108, 2019 [52] Kim Schouten and Flavius Frasincar Survey on aspect-level sentiment analysis IEEE Transactions on Knowledge and Data Engineering, 28(3):813–830, 2016 [53] Rico Sennrich, Barry Haddow, and Alexandra Birch Neural ma- chine translation of rare words with subword units arXiv preprint arXiv:1508.07909, 2015 [54] Ian Tenney, Patrick Xia, Berlin Chen, Alex Wang, Adam Poliak, R Thomas McCoy, Najoung Kim, Benjamin Van Durme, Samuel R Bowman, Dipanjan Das, et al What you learn from context? probing for sentence structure in contextualized word representations arXiv preprint arXiv:1905.06316, 2019 [55] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin Attention is all you need In Advances in neural information processing systems, pages 5998–6008, 2017 [56] Thanh Vu, Dat Quoc Nguyen, Dai Quoc Nguyen, Mark Dras, and Mark Johnson VnCoreNLP: A Vietnamese natural language processing toolkit In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pages 56–60, New Orleans, Louisiana, June 2018 Association for Computational Linguistics 74 LUẬN VĂN THẠC SĨ NGUYỄN HOÀNG ĐẠT [57] Joseph Weizenbaum Eliza—a computer program for the study of natural language communication between man and machine Communications of the ACM, 9(1):36–45, 1966 [58] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al Google’s neural machine translation system: Bridging the gap between human and machine translation arXiv preprint arXiv:1609.08144, 2016 [59] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le Xlnet: Generalized autoregressive pretraining for language understanding In Advances in neural information processing systems, pages 5753–5763, 2019 [60] Ye Zhang and Byron Wallace A sensitivity analysis of (and practitioners’ guide to) convolutional neural networks for sentence classification arXiv preprint arXiv:1510.03820, 2015 75 Chỉ mục Kiến trúc biến đổi, 24 BERT, 26 Bài toán nhận diện thực thể, 32 Lan truyền tiến, 15 Bài toán phân loại sắc thái văn Mơ hình ngơn ngữ, 17 bản, 51 Cú pháp, N-gram, 18 Cơ chế ý, 22 Neuron, 14 Ngữ dụng, Diễn ngôn, Ngữ nghĩa, Dưới khớp, 13 Quá khớp, 13 Hàm kích hoạt, 14 Hàm mát, 15 Tính nhập nhằng, 10 Hình thái, Túi từ, 16 Học có giám sát, 12 Từ nhúng, 17 Học không giám sát, 12 Xử lý ngôn ngữ tự nhiên, Học máy, 12 Học sâu, 14 Độ hỗn độn, 19 76 ... thiệu xử lý ngôn ngữ tự nhiên 1.1.2 Cơ sở lý thuyết ngôn ngữ tự nhiên 1.1.3 Hướng tiếp cận xử lý ngơn ngữ tự nhiên 11 1.1.4 Biểu diễn văn ngôn ngữ tự nhiên 16 Mơ hình. .. thức xử lý ngôn ngữ tự nhiên, sở lý thuyết ngôn ngữ tự nhiên, hướng tiếp cận • Giới thiệu mơ hình ngơn ngữ, định nghĩa khái niệm, mơ hình ngơn ngữ cổ điển mơ hình ngơn ngữ đại Phần mơ hình ngơn ngữ. .. mơ hình cho số tốn xử lý ngơn ngữ tự nhiên, dựa vào móng mơ hình ngơn ngữ Nội dung luận văn tơi chia thành ba phần chính: Cơ sở lý thuyết: giới thiệu số kiến thức xử lý ngơn ngữ tự nhiên mơ hình