xây dựng hệ thống chatbot sử dụng google bert trong lĩnh vực du lịch việt nam

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH --- ∞0∞--- TRẦN DUY LUÂN XÂY DỰNG HỆ THỐNG CHATBOT SỬ DỤNG GOOGLE BERT TRONG LĨNH VỰC DU LỊCH VIỆT NAM Chuyên ngành: Kh

Trang 1

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

- ∞0∞ -

TRẦN DUY LUÂN

XÂY DỰNG HỆ THỐNG CHATBOT SỬ DỤNG GOOGLE BERT

TRONG LĨNH VỰC DU LỊCH VIỆT NAM

Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 60 48 01 01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Giảng viên hướng dẫn: PGS.TS ĐỖ PHÚC

Xay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet Nam1022412068:00:04 PM8:00:04 PM1022412068:00:04 PM8:00:04 PM1022412068:00:04 PM8:00:04 PM

Xay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet Nam

102Wednesday, June 12, 20248:00:05 PM8:00:05 PM102Wednesday, June 12, 20248:00:05 PM8:00:05 PM102Wednesday, June 12, 20248:00:05 PM8:00:05 PM

Xay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet Nam

Xay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet Nam

102Xay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamWednesday, June 12, 2024

Trang 2

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO SAU ĐẠI HỌC

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc

GIẤY XÁC NHẬN

Tôi tên là: Trần Duy Luân

Ngày sinh: 13/11/1994 Nơi sinh: TP.HCM

Chuyên ngành: Khoa học máy tính Mã học viên: 1784801010025 Tôi đồng ý cung cấp toàn văn thông tin luận văn tốt nghiệp hợp lệ về bản quyền cho Thư viện trường đại học Mở Thành phố Hồ Chí Minh Thư viện trường đại học Mở Thành phố Hồ Chí Minh sẽ kết nối toàn văn thông tin luận văn tốt nghiệp vào hệ thống thông tin khoa học của Sở Khoa học và Công nghệ Thành phố Hồ Chí Minh

Trang 3

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc

Ý KIẾN CHO PHÉP BẢO VỆ LUẬN VĂN THẠC SĨ CỦA GIẢNG VIÊN HƯỚNG DẪN

Giảng viên hướng dẫn: PGS.TS Đỗ Phúc

Học viên thực hiện: Trần Duy Luân Lớp: MCOM017B

Ngày sinh: 13/11/1994 Nơi sinh: Thành phố Hồ Chí Minh Tên đề tài: Xây dựng hệ thống Chatbot sử dụng Google BERT trong lĩnh vực du lịch Việt Nam

Ý kiến của giáo viên hướng dẫn về việc cho phép học viên Trần Duy Luân được bảo vệ luận văn trước Hội đồng:

Học viên Trần Duy Luận đã hoàn tất các công việc được giao Tôi đồng ý cho học viên được phép bảo vệ

Kính đề nghị nhà trường xem xét

Thành phố Hồ Chí Minh, ngày 02 tháng 08 năm 2021

Trang 4

LỜI CAM ĐOAN

Tôi cam đoan rằng luận văn “Xây dựng hệ thống Chatbot sử dụng

Google BERT trong lĩnh vực du lịch Việt Nam” là bài nghiên cứu của chính

tôi Ngoại trừ những tài liệu tham khảo được trích dẫn trong luận văn này, tôi cam đoan rằng toàn phần hay những phần nhỏ của luận văn này chưa từng được công bố hoặc được sử dụng để nhận bằng cấp ở những nơi khác

Không có sản phẩm/nghiên cứu nào của người khác được sử dụng trong luận văn này mà không được trích dẫn theo đúng quy định Luận văn này chưa bao giờ được nộp để nhận bất kỳ bằng cấp nào tại các trường đại học hoặc cơ sở đào tạo khác

Tp Hồ Chí Minh, ngày 02 tháng 08 năm 2021

TÁC GIẢ LUẬN VĂN

Trang 5

LỜI CẢM ƠN

Trước tiên, tôi xin chân thành gửi lời cám ơn đến trường Đại học Mở

Thành phố Hồ Chí Minh đã tạo điều kiện cho tôi được thực hiện đề tài “Xây

dựng Chatbot sử dụng Google BERT trong lĩnh vực du lịch Việt Nam”

Đặc biệt hơn, tôi cũng muốn gửi lời cảm ơn đến PGS TS Đỗ Phúc,

người đã hướng dẫn tôi xuyên suốt thời gian thực hiện đề tài

Trong quá trình thực hiện đề tài, do kiến thức và khả năng của bản thân có giới hạn, nên chắc chắn sẽ không tránh khỏi nhiều sai sót Vì vậy, kính mong sự đóng góp của các thầy cô ngành Khoa học máy tính nhằm giúp đề tài này hoàn thiện hơn

Xin trân trọng cảm ơn

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com Xay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet Nam1022412068:00:04 PM8:00:04 PM1022412068:00:04 PM8:00:04 PM1022412068:00:04 PM8:00:04 PM

Trang 6

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH KHOA SAU ĐẠI HỌC

¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯ TÓM TẮT LUẬN VĂN

(Dùng cho học viên và người hướng dẫn)

Đề tài: “Xây dựng hệ thống Chatbot sử dụng Google BERT trong lĩnh vực du

lịch Việt Nam”

Ngành: Khoa học máy tính Học viên: Trần Duy Luân Người hướng dẫn: PGS TS Đỗ Phúc Mã số: 1784801010025

NỘI DUNG TÓM TẮT

Trải qua nhiều thập kỷ, các ứng dụng Chatbot đã phát triển rất mạnh mẽ và đã giúp ích rất nhiều cho xã hội loài người Nhờ vào việc tích hợp công nghệ Trí tuệ nhân tạo nên Chatbot đã có khả năng giao tiếp với con người và có thể thay thế con người thực hiện một số công việc nhất định Hiện nay, Chatbot đã và đang được áp dụng rộng rãi trong rất nhiều lĩnh vực khác nhau, và du lịch là một trong số đó Hiện tại những ứng dụng Chatbot dành cho du lịch rất nhiều, tuy nhiên hầu hết vẫn chưa hỗ trợ tiếng Việt tốt, vì mà tác giả đã đề xuất đề tài

“Xây dựng hệ thống Chatbot sử dụng Google BERT trong lĩnh vực du lịch Việt Nam” Hệ thống mà tác giả xây dựng sẽ dựa trên các kiến thức về đồ thị

tri thức, dữ liệu được thu thập dựa trên sơ đồ mạng các bộ ba và được lưu trữ dưới dạng đồ thị tri thức qua phần mềm quản trị Neo4j Bên cạnh đó, tác giả nghiên cứu về kỹ thuật hỏi đáp bằng ngôn ngữ tự nhiên, xử lý ngôn ngữ tự nhiên thông qua thư viện UnderTheSea cũng như sử dụng phương pháp BERT để tìm kiếm câu trả lời

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com Xay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet Nam1022412068:00:04 PM8:00:04 PM1022412068:00:04 PM8:00:04 PM1022412068:00:04 PM8:00:04 PM

Xay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet NamXay dung he thong chatbot su dung Google bert trong linh vuc du lich Viet Nam

Trang 7

Chương 1: Mở đầu và giới thiệu đề tài

Chương 2: Tổng quan trí tuệ nhân tạo và các phương pháp xử lý

TP.Hồ Chí Minh, ngày 02 tháng 08 năm 2021

Trang 8

HO CHI MINH CITY OPEN UNIVERSITY POST-GRADUATE FACULTY

¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯

TÓM TẮT LUẬN VĂN (TIẾNG ANH)

THESIS SUMMARY

(For students and instructors)

Subject: “Building a Chatbot using Google BERT regarding to Vietnam

tourism”

Major: Computer Science Student: Luan Tran Duy

Instructor: Assoc Pro Ph.D Do Phuc Student code: 1784801010025

SUMMARY CONTENT

Over the decades, Chatbot applications have developed very strongly and have greatly helped human society Thanks to the integration of Artificial Intelligence technology, Chatbot has the ability to communicate with humans and can replace humans to perform certain tasks Currently, Chatbot has been widely applied in many different fields, and tourism is one of them Currently, there are many Chatbot applications for tourism, but most of them still do not

support Vietnamese well, therefore, the author proposed the topic “Building a

Chatbot using Google BERT regarding to Vietnam tourism” The system

that the author builds is based on knowledge of knowledge graphs, the data is collected based on network diagrams of triplets and stored in the form of knowledge graphs via Neo4j management software In addition, the author researches on natural language questioning and answering techniques, natural language processing through the UnderTheSea library as well as using BERT

Trang 9

Chapter 1: Thesis introduction

Chapter 2: Overview of Artificial Intelligence and Natural

Language Processing methods

Chapter 3: Overview of Knowledge graph Chapter 4: Building the Chatbot system

This system is built to answer questions in Vietnamese, and in the immediate future, it handles questions regarding tourism in Ho Chi Minh City through a web interface The future development of the Chatbot will be a more advanced Chatbot system with more complex questions and can be applied to other fields besides tourism

Ho Chi Minh City, August 2nd, 2021

Trang 10

MỤC LỤC

Trang

LỜI CAM ĐOAN v

LỜI CẢM ƠN vi

TÓM TẮT LUẬN VĂN vii

TÓM TẮT LUẬN VĂN (TIẾNG ANH) ix

1.2 Mục tiêu của đề tài 3

1.3 Phạm vi và đối tượng nghiên cứu 3

1.4 Nội dung thực hiện 3

1.5 Phương pháp thực hiện 4

1.6 Ý nghĩa của đề tài 4

Chương 2: TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO VÀ CÁC PHƯƠNG PHÁP XỬ LÝ NGÔN NGỮ TỰ NHIÊN 5

Trang 11

2.1.4 Thành tựu và khó khăn 8

2.2 Đôi nét về Chatbot 9

2.2.1 Khái lược 9

2.2.2 Cách thức hoạt động 11

2.3 Các phương pháp xử lý ngôn ngữ tự nhiên 12

2.3.1 Khái lược về ngôn ngữ tự nhiên 12

2.3.2 Các kỹ thuật xử lý ngôn ngữ tự nhiên 14

2.3.3 Các phương pháp mạng nơ ron trong xử lý ngôn ngữ tự nhiên 19

2.3.4 Word Embedding 23

2.4 Đôi nét về BERT 27

2.4.1 Khái lược 27

2.4.2 Cách thức hoạt động của BERT 30

2.4.3 Một số công trình nghiên cứu 33

2.4.4 Đánh giá 34

Chương 3: TỔNG QUAN VỀ ĐỒ THỊ TRI THỨC 37

3.1 Giới thiệu về lý thuyết đồ thị 37

3.2 Schema.org 39

3.3 Khái lược về đồ thị tri thức 40

3.4 Phần mềm quản trị đồ thị tri thức Neo4j 43

Chương 4: XÂY DỰNG HỆ THỐNG CHATBOT 47

Trang 12

4.5 Truy vấn đồ thị tri thức 53

4.6 Dự đoán kết quả với BERT 55

4.7 Thiết kế giao diện 56

4.8 Đánh giá thực nghiệm 57

KẾT LUẬN 61

TÀI LIỆU THAM KHẢO 62

PHỤ LỤC 65

I Một số dữ liệu về địa danh trong đồ thị tri thức 65

II Một số dữ liệu về lễ hội trong đồ thị tri thức 66

III Một số dữ liệu về món ăn trong đồ thị tri thức 67

IV Một số dữ liệu về khách sạn trong đồ thị tri thức 68

V Một số dữ liệu về trung tâm mua sắm trong đồ thị tri thức 69

VI Một số dữ liệu về nhà hàng trong đồ thị tri thức 70

VII Một số dữ liệu về khu vui chơi giải trí trong đồ thị tri thức 71

VIII Một số dữ liệu về những hoạt động trong đồ thị tri thức 72

Trang 13

DANH MỤC HÌNH ẢNH

Trang

Hình 1.1: Giao diện của một Chatbot trên điện thoại thông minh 2

Hình 2.1: Các lĩnh vực trong AI 5

Hình 2.2: Cơ chế hoạt động của Chatbot 11

Hình 2.3: Một ví dụ của phân đoạn câu 14

Hình 2.4: Ví dụ của việc tách từ 15

Hình 2.5: Mô hình POS Tagging 15

Hình 2.6: Mô hình chunking 16

Hình 2.7: Mô hình Dependency Parsing 16

Hình 2.8: Các từ loại sau khi xử lý bằng phương pháp NER 17

Hình 2.9: Minh họa phân loại các chủ đề báo chí 17

Hình 2.10: Kết quả phân tích bằng phương pháp SA 18

Hình 2.11: Mô phỏng các layer trong Deep learning 19

Hình 2.12: Mô hình Multilayer Perceptron 20

Hình 2.13: Quá trình chuyển đổi hình ảnh sang các tham số trong CNN 21

Hình 2.14: Quá trình hoạt động của RNN 22

Hình 2.15: Một module trong LSTM chứa 4 lớp tương tác 22

Hình 2.16: Mô hình CBOW đơn giản với một từ 26

Hình 2.17: Kết quả Google Search không có BERT và sau khi có BERT 29

Hình 2.18: Các layer trong mô hình BERT 31

Hình 2.19: Các từ đang được tokenize 32

Hình 2.20: Đánh giá xếp hạng độ chính xác của các mô hình BERT 35

Hình 2.21: Điểm số của BERT với SQuAD 35

Hình 3.1: Đồ thị vô hướng 38

Hình 3.2: Đồ thị có hướng 38

Hình 3.3: Schema của thuộc tính "địa điểm" 40

Trang 14

Hình 3.5: Một mối quan hệ giữa 2 node 41

Hình 3.6: Các thuộc tính của các node 42

Hình 3.7: Các path liên kết các node 42

Hình 3.8: Một bộ ba trong đồ thị tri thức 43

Hình 3.9: Logo Neo4j 43

Hình 3.10: Một phần đồ thị tri thức được biểu diễn trong Neo4j 44

Hình 3.11: Các node sau khi tạo 46

Hình 4.1: Mô phỏng đồ thị tri thức 48

Hình 4.2: Mô phỏng luồng xử lý của Chatbot 50

Hình 4.3: Mô phỏng dữ liệu du lịch Thành phố Hồ Chí Minh 52

Hình 4.4: Kết quả trả về dưới dạng đồ thị 54

Hình 4.5: Kết quả do Chatbot trả về dưới dạng thô 56

Hình 4.6: Giao diện của Chatbot 56

Hình 4.7: Giao diện của Chatbot khi trả về câu trả lời 57

Trang 15

DANH MỤC BẢNG

Trang

Bảng 2.1: So sánh những ưu điểm và khuyết điểm của AI 8

Bảng 2.2: Bảng ma trận One-hot 23

Bảng 4.1: Biểu đồ thống kê kết quả khi thực nghiệm 1.000 câu hỏi 58

Bảng 4.2: Biểu đồ so sánh độ trễ khi trả lời câu hỏi 59

Trang 16

DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT

STT Từ viết tắt Từ tiếng Anh Định nghĩa

14 CNTT Công nghệ thông tin

Trang 17

CHƯƠNG 1: MỞ ĐẦU

1.1 Giới thiệu

Trong cuộc sống của con người thời nay, sự phát triển tiên tiến của ngành CNTT và KHMT đã khiến cho nhân loại phải chạy đua để áp dụng vào những ngành nghề quan trọng Không thể phủ nhận rằng lĩnh vực này đã hỗ trợ không ít cho các ngành công nghiệp khác, chẳng hạn như: tài chính, giao thông, du lịch, y tế, thương mại, giáo dục, v.v… Bằng việc ứng dụng CNTT, con người có thể tiết kiệm được rất nhiều chi phí, thời gian và cả nguồn nhân lực, để xử lý các tác vụ phức tạp trong cuộc sống của mình

Trong đó, có thể nói đến các ứng dụng trí tuệ nhân tạo, một lĩnh vực nhỏ thuộc về KHMT, đó là một thuật ngữ nhằm nói đến những ứng dụng phần mềm máy tính có năng lực mô phỏng trí tuệ con người cho các hoạt động thực tiễn AI có thể được ứng dụng với một số vai trò sau: thiết bị không người lái, hệ thống trả lời tự động, nhận diện hình ảnh, phục vụ trong các chuỗi dịch vụ ăn uống, v.v…

Một trong số những ứng dụng trí tuệ nhân tạo mà ngày nay nhân loại vẫn đang phát triển đó chính là Chatbot, đây là một hệ thống hỏi đáp giữa con người và máy tính để giải quyết vấn đề mà con người đưa ra Ngày nay, Chatbot không ngừng được cải tiến, bổ sung nhiều tính năng, công nghệ mới để giúp giải quyết các vấn đề khó khăn hơn của con người Hiện nay trên thế giới, các tập đoàn công nghệ lớn đã cho ra mắt những hệ thống Chatbot cao cấp, có khả năng xử lý tác vụ một cách cực kỳ nhanh chóng, có thể kể đến 3 ứng dụng Chatbot nổi tiếng nhất hiện nay như: Apple Siri, Google Assistant và Microsoft Cortana Những ứng dụng này có được nhiều kết quả tương đối tốt trong các bài toán xử lý và đã được cài đặt trên các nền tảng hệ điều hành trên các thiết bị máy tính và điện thoại

Trang 18

Hình 1.1: Giao diện của một Chatbot trên điện thoại

Tuy vậy, chỉ có một số các ứng dụng chỉ hỗ trợ tiếng Việt, điều này còn đang là một bài toàn nan giải cho các doanh nghiệp Việt Nam Chính vì điều đó, những tập đoàn ở Việt Nam cũng đang nhanh chóng nghiên cứu và xây dựng các loại hình Chatbot nhằm hỗ trợ cho người Việt Nam và đến nay cũng đã có một số Chatbot hỗ trợ tiếng Việt được ra đời, có thể nhắc đến một số ứng viên ưu tú như: Chatbot Việt Nam và Zalo Chatbot

Nhận ra được Chatbot cho người Việt Nam còn khá ít ỏi, nên tôi đề xuất

đề tài “Xây dựng hệ thống Chatbot sử dụng Google BERT trong lĩnh vực

du lịch Việt Nam”, để phát triển ứng dụng hỏi đáp thuần tuý dành cho người

Việt Nam, và tôi tin rằng đây sẽ là một bước tiến mới lĩnh vực KHMT ở Việt Nam

Trang 19

1.2 Mục tiêu của đề tài

Việc hỗ trợ tiếng Việt cho Chatbot là một nghiên cứu khá cấp thiết trong bối cảnh thời đại 4.0 ở Việt Nam thời điểm hiện tại Do đó, mục tiêu của đề tài

luận văn nhắm đến việc nghiên cứu và xây dựng ứng dụng hỏi đáp, có khả năng

trả lời các câu hỏi thông dụng về lĩnh vực du lịch Việt Nam, cụ thể là du lịch thành phố Hồ Chí Minh

1.3 Phạm vi và đối tượng nghiên cứu

Đề tài luận văn thể hiện nội dung nghiên cứu cũng như đánh giá kết quả thử nghiệm tìm kiếm thông minh Ứng dụng Chatbot được đề xuất sẽ sử dụng bộ dữ liệu minh hoạ được xây dựng bằng tay với khối lượng 5.000 mẫu dữ liệu liên quan đến lĩnh vực được nêu

Sau cùng, kết quả của hệ thống Chatbot sẽ được đánh giá để kiểm tra tính phù hợp của phần nghiên cứu lý thuyết, làm tiền đề chỉnh sửa và cải tiến ứng dụng, cũng như làm cơ sở chỉnh sửa ứng dụng, phục vụ cho việc phát triển trong tương lai

1.4 Nội dung thực hiện

Nội dung đề tài luận văn yêu cầu triển khai những vấn đề sau: • Quy trình xây dựng Chatbot

• Kết quả, độ chính xác của hệ thống Chatbot sau khi được xây dựng hoàn chỉnh

• Đánh giá những ưu điểm và khuyết điểm nhằm cải thiện về sau.

Trang 20

1.5 Phương pháp thực hiện

Phương pháp thực hiện nghiên cứu đề tài như sau:

• Nghiên cứu lý thuyết liên quan đến Chatbot, Google BERT và các thuật toán hỏi đáp hiện nay, nhằm tìm hiểu về cách vận hành của Chatbot trong việc tìm kiếm, trích xuất thông tin để xử lý bài toán • Xây dựng hệ thống Chatbot bằng ngôn ngữ lập trình Python hiển

thị qua màn hình console

• Tích hợp công nghệ Google BERT vào Chatbot

• Xây dựng lược đồ tri thức liên quan đến du lịch Việt Nam và liên kết với Chatbot

• Phát triển Chatbot dưới dạng API để các nền tảng khác có thể tái sử dụng, như: web form, mobile application, v.v…

1.6 Ý nghĩa của đề tài

Đề tài “Xây dựng hệ thống Chatbot sử dụng Google BERT trong lĩnh

vực du lịch Việt Nam” sẽ góp phần rất lớn trong việc nghiên cứu của tôi trong

lĩnh vực liên quan và hoàn toàn có thể bổ sung mở rộng sang các lĩnh vực mới hơn Ngoài ra, tôi hy vọng đề tài này cũng sẽ đóng góp được một phần nào đó cho các lập trình viên Việt Nam có nhu cầu tìm hiểu và học hỏi, nhằm hỗ trợ họ trong việc phát triển một ứng dụng Chatbot tốt hơn cho người Việt Nam

Trang 21

CHƯƠNG 2: TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO VÀ CÁC PHƯƠNG PHÁP XỬ LÝ NGÔN NGỮ TỰ NHIÊN

2.1 Đôi nét về AI 2.1.1 Khái lược

Theo Mariam (2017), Trí tuệ nhân tạo (hay còn gọi là Artificial Intelligence – AI) là một thuật ngữ nói về việc mô phỏng trí thông minh con người trong máy tính, giúp chúng có suy nghĩ và hành động giống con người [10] Thuật ngữ này cũng có thể áp dụng trong các máy tính có những đặc điểm liên quan đến tri thức của con người để học tập và giải quyết các vấn đề được đặt ra

Hình 2.1: Các lĩnh vực trong AI

Hiện nay, có 4 loại công nghệ AI phổ biến, đó là:

• AI phản ứng: có khả năng phân tích hành động của bản thân và

của đối phương để đưa ra giải pháp tối ưu Ví dụ như AI chơi cờ

Trang 22

vua của Deep Blue, đã đánh bại được con người lần đầu vào năm 1996 nhờ trí thông minh nhân tạo vượt trội của mình

• AI với bộ nhớ giới hạn: sử dụng những kinh nghiệm đã trải qua

trong quá khứ để đưa ra quyết định cho tương lai, nhằm dự đoán những trường hợp có thể xảy ra Chẳng hạn như AI lái xe tự động của Tesla, có khả năng tự động lái, cảnh báo các chướng ngại vật từ xa, đưa ra quãng đường tối ưu nhất, tuy nhiên hiện tại vẫn cần có tài xế ngồi trong xe để xử lý tình uống Trong tương lai, CEO của Tesla, Elon Musk, sẽ hứa rằng xe Tesla sẽ có thể vận hành một cách tự động bằng máy tính.

• AI lý thuyết: có thể suy nghĩ, học hỏi và áp dụng kinh nghiệm đã

học để tái diễn lại những gì đã tiếp thu, chẳng hạn như AI gia sư

• AI tự nhận thức: được xem như một AI có cảm xúc giống con

người, có thể tự nhận thức bản thân, có ý thức và hành động như con người Nhật Bản trong năm 2020 đang phát triển một loại robot tên là Lovot, có khả năng biểu hiện cảm xúc, tương tác với con người như những chú chó cưng.

2.1.2 Lịch sử phát triển

Khái niệm AI được hình thành vào năm 1956 bởi John McCarthy [10] ở Mỹ và được dần phát triển cho đến tận bây giờ:

• Năm 1956: việc nghiên cứu AI bắt đầu hình thành tại Mỹ

• Năm 1959: hoàn thiện máy tính giải đại số, các định lý logic và nói tiếng Anh

• Năm 1965: những phòng thí nghiệm AI được thành lập toàn cầu • Năm 1974: tiến độ nghiên cứu AI bị chậm lại do áp lực từ chính

Trang 23

• Năm 1985: “Hệ chuyên gia”, AI giải đáp thắc mắc, đã được ra đời • Năm 1987: Mùa đông AI thứ 2 lại diễn ra

• Năm 1990: AI được áp dụng cho việc khai thác và phân tích dữ liệu

• Năm 1997: AI chơi cờ vua lần đầu tiên chiến thắng con người • Năm 2011: Ứng dụng hỏi đáp Watson do IBM phát minh đã đánh

bại con người trong chương trình Jeopardy của Mỹ

• Năm 2013: DeepMind đã giới thiệu AI có thể chơi các trò chơi điện tử Atari

• Năm 2016: AI chơi cờ vây do AlphaGo phát triển đã chiến thắng con người

• Năm 2017: AI của AlphaGo tiếp tục đánh bại con người

Khi mới bắt đầu được hình thành, con người chỉ có thể nghiên cứu để xây dựng các ứng dụng giải quyết những tác vụ đơn giản, lý do chính vì lúc bấy giờ khả năng tính toán của máy tính còn rất yếu và các nhà khoa học phải đau đầu tìm những phương án nghiên cứu khác nhau Chính nhờ những công trình nghiên cứu như vậy mà AI vẫn còn đứng vững trong thời đại công nghiệp 4.0 ngày nay Nó đã chứng minh cho nhân loại thấy tầm quan trọng của nó trong các lĩnh vực như: ngân hàng, y tế, vận tải, giao dục, và các loại hình dịch vụ khác Ngày nay, AI đang trở nên phát triển hơn bao giờ hết, nó có thể xử lý tác vụ tốt hơn rất nhiều so với con người, giúp cho mọi thứ được vận hành một cách nhanh hơn và thông minh hơn

2.1.3 Ứng dụng của AI

Nhờ có những ứng dụng AI mà hoạt động của con người trở nên tiện lợi hơn bao giờ hết, hiện nay AI đã được ứng dụng rộng rãi trong các lĩnh vực quan trọng với các lợi ích như sau:

Trang 24

• Vận tải: lái xe tự động, hạn chế tối đa tai nạn (xe tự động Tesla) • Sản xuất: tối ưu dây chuyền sản xuất, ra quyết định trong sản xuất

(robot quản lý kho hàng của Amazon)

• Y tế: chẩn đoán bệnh, cứu hộ từ xa

• Giáo dục: dạy kèm học sinh, chỉ ra những khuyết điểm của các

khoá học nhằm cải thiện chất lượng giảng dạy

• Truyền thông: quảng bá hình ảnh, phân tích thói quen người tiêu

dùng nhằm đưa ra những hoạt động quảng cáo hợp lý

• Dịch vụ: thu thập và phân tích dữ liệu để nắm bắt hành vi sử dụng

của khách hàng

2.1.4 Thành tựu và khó khăn

Bất cứ thứ gì cũng điều có những mặt lợi và mặt hại, AI cũng thế, nó cũng có một số ưu điểm và khuyết điểm [10] được liệt kê ở bảng dưới đây:

Bảng 2.1: Ưu điểm và khuyết điểm của AI

• Tạo ra việc làm: lập trình viên, kiểm soát AI

• Tăng khả năng sáng tạo con người: sử dụng tư duy con người để phát triển AI

• Tự động hoá các hoạt động con người

• Hàng triệu người lao động sẽ bị mất việc

• Tạo ra nhiều cuộc tấn công mạng

• Chi phí cao đối với những loại thiết bị phức tạp

• Không có tư duy, trí óc thông minh như con người

Trang 25

2.2 Đôi nét về Chatbot 2.2.1 Khái lược

Hệ thống trò chuyện tự động (hay còn gọi là Chatbot), là một ứng dụng phần mềm có khả năng trực tiếp tương tác với con người thông qua văn bản hoặc giọng nói Có thể hiểu rằng Chatbot là lĩnh vực nhỏ thuộc về AI, chúng có thể đối thoại với con người, làm được một số hoạt động mà con người hay làm chẳng hạn như: điều khiển thiết bị trong nhà, đặt hàng, báo cáo kết quả tài chính, v.v… Chatbot ngày nay đã và đang được thiết lập trên nhiều nền tảng như web, ứng dụng di động, máy tính, v.v… [1]

Cũng giống với tuổi đời lâu dài của công nghệ AI, khái niệm Chatbot cũng đã được công bố từ những năm 1950, tuy nhiên nó chỉ mới được biết đến nhiều cách đây vài năm và hiện nay đang trên đà phát triển rất nhanh Theo Aishwarya (2020), với những ưu thế vượt trội của nó mang lại, càng ngày càng có nhiều lĩnh vực áp dụng công nghệ Chatbot, được biểu diễn dưới dạng âm thanh, hình ảnh và giọng nói, chúng được ứng dụng rộng rãi để xử lý các tác vụ quan trọng [4, 8] như:

• Cá nhân hoá trải nghiệm: Chatbot có thể thu thập thông tin,

dữ liệu người dùng để phân tích cũng như để xác định yêu cầu một cách tự động

Trang 26

• Giảm thiểu chi phí: Chatbot thay thế con một số các tác vụ

phức tạp, giúp tiết kiệm được nhiều chi phí vận hành, nhân công

• Luôn sẵn sàng: Người dùng có thể sử dụng Chatbot 24/7 mọi

lúc mọi nơi

Theo Eleni và Lefteris (2020), Chatbot có cấu tạo lần đầu vào năm 1950 bởi phép thử Turing [5], đây là tập hợp các phép thử có thể phân tích câu trả lời của máy tính, nhằm kiểm tra xem chúng có phân biệt được con người và máy không

Mãi đến năm 2010, mới là lúc mà Chatbot thật sự bùng nổ, các tập đoàn công nghệ lớn nhất thế giới đã chạy đua để cho ra mắt hàng loạt cho ra các ứng dụng Chatbot của riêng mình, như Apple Siri (2011), Google Now (2012), Amazon Alexa (2014), Microsoft Cortana (2014), Google Assistant (2016), Facebook Messenger (2016) Chúng có thể xử lý ngôn ngữ tự nhiên để phân tích dữ liệu, cộng với việc kêt nối các dịch vụ nâng cao để nhanh chóng xử lý tác vụ được đưa ra.

Trang 27

2.2.2 Cách thức hoạt động

Theo Nuria (2019), Chatbot có thể tự học các câu hỏi, nhu cầu người sử dụng và dự đoán câu trả lời phù hợp bằng việc phát triển các mô hình học máy và các phương pháp xử lý ngôn ngữ tự nhiên [11] Sau khi được lập trình và huấn luyện, Chatbot sẽ đóng vai trò tự động học tập và làm việc gần giống con người

Cơ sở dữ liệu, nơi chứa các câu hỏi đã được huấn luyện cho Chatbot, giúp cho nó có thể phản hổi bất kỳ lúc nào Tuy nhiên nếu Chatbot gặp câu hỏi khó và không biết câu trả lời thì nó sẽ phản hồi sai, do đó sẽ cần con người quản lý trong trường hợp này và nếu Chatbot càng được huấn luyện kỹ càng thì mức độ thông minh của nó càng cao

Hình 2.2: Cơ chế hoạt động của Chatbot (theo bigdata-madesimple.com)

Hiện nay, có hai dạng vận hành phổ biến của Chatbot:

• Bằng văn bản: Người dùng chỉ việc gõ phím và Chatbot sẽ

Trang 28

• Bằng giọng nói: Chatbot sẽ thu thập và xử lý thông tin qua

giọng nói của người dùng

Tuy nhiên, quy trình chung của một Chatbot sẽ diễn ra theo một trình tự như bên dưới:

• Chuyển đổi ngôn ngữ đầu vào của con người thành ngôn ngữ lập trình để máy tính có thể hiểu

• Xử lý yêu cầu người dùng dựa trên công nghệ AI qua các thuật toán xử lý ngôn ngữ tự nhiên

• Nhận được kết quả đầu ra từ các mô hình và thuật toán liên quan, sau đó trả về cho người dùng

2.3 Các phương pháp xử lý ngôn ngữ tự nhiên 2.3.1 Khái lược về ngôn ngữ tự nhiên

Ngôn ngữ tự nhiên là những ngôn ngữ mà con người thường hay sử dụng (tiếng Việt, tiếng Anh, tiếng Trung Quốc, v.v…), những loại ngôn ngữ tự nhiên này máy tính hoàn toàn không thể hiểu được, do hệ điều hành máy tính được chỉ có thể xử lý những giá trị bit 0 và 1 nên nó chỉ đọc được thông tin số hoá mà thôi Vì thế mà con người mới phát triển một phương pháp nhằm giúp cho máy tính hiểu được ngôn ngữ của con người, từ đó khái niệm xử lý ngôn ngữ tự nhiên ra đời

Khái niệm xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) cũng là một nhánh con thuộc về AI [4], nó là một khái niệm cực kỳ phức tạp để phục vụ cho việc giao tiếp giữa con người thông qua máy tính Ngoài ra, nó cũng là một thuật ngữ để chỉ ra các phương pháp tương tác trên ngôn ngữ tự nhiên bằng máy tính NLP khá cần thiết trong lĩnh vực AI, nếu không có NLP thì con người sẽ không thể giao tiếp với máy tính được, điều này đòi hỏi sự hợp

Trang 29

tác từ nhiều lĩnh vực khoa học máy tính Trong xử lý ngôn ngữ tự nhiên có các ứng dụng đặc trưng như sau:

• Dịch văn bản • Xử lý văn bản • Tìm kiếm thông tin • Lọc thông tin • Tóm tắt • Phân loại

Một số các ứng dụng NLP trong thực tiễn có thể kể đến như:

• Trợ lý ảo: có khả năng cung cấp dữ liệu, thông tin mà người

dùng yêu cầu như dự báo thời tiết, đặt báo thức, v.v

• Công cụ tìm kiếm: gợi ý kết quả cho người dùng, v.v

Tuy vậy, NLP vẫn gặp vô vàn những thử thách trong việc phát triển ứng dụng Thứ nhất, vì sự phức tạp và đa dạng về ngữ nghĩa của các ngôn ngữ trên thế giới, các câu văn không có một cấu trúc đồng nhất với nhau Chẳng hạn

chúng ta có câu “Cám ơn” trong tiếng Anh là “Thank you”, trong tiếng Nhật là “ありがとうございました” (Arigatōgozaimashita), trong tiếng Ý là

“Grazie”, trong tiếng Nga là “Спасибо” (Spasibo) Thứ hai, ngữ cảnh trong

văn bản cũng khá là rắc rối, ví dụ: “Học sinh học sinh học”, nếu nhìn vào thì chúng ta có thể dễ dàng nhận ra câu trên mang ý nghĩa là “Học sinh đi học

môn Sinh học”, tuy nhiên với máy tính thì đó là một thử thách rất lớn để nhận

Trang 30

2.3.2 Các kỹ thuật xử lý ngôn ngữ tự nhiên

Việc xử lý ngôn ngữ tự nhiên (NLP) được phát triển giúp cho máy tính có thể hiểu được ngôn ngữ của con người Phương pháp này đã mang đến những ứng dụng rất hữu ích cho các hoạt động thực tiễn trong xã hội trong ngành công nghệ Các tác vụ xử lý ngôn ngữ tự nhiên phổ biến có thể kể đến như sau:

Trang 31

Hình 2.4: Ví dụ của việc tách từ (theo arthurflor23.medium.com)

c Part-of-Speech Tagging

Kỹ thuật này sẽ tách từ trong câu, kèm theo đó là nhãn của từ loại đã được tách, chẳng hạn như: danh từ, động từ, tính từ, trạng từ, v.v

Hình 2.5: Mô hình POS Tagging

Trang 32

Trang 33

Kỹ thuật này được cải tiến từ kỹ thuật Chunking, nó sẽ nhận dạng các thực thể có tên, và thêm các nhãn chi tiết của thực thể đó, chẳng hạn: xác định loại từ chỉ nơi chốn, con người hoặc ngày tháng, v.v

Hình 2.8: Các từ loại sau khi xử lý bằng phương pháp NER (theo viblo.asia)

g Text Classification

Kỹ thuật nãy sẽ phân tích một đoạn văn đã cho và đưa ra kết quả đoạn văn đó đang nói đến chủ đề gì

Hình 2.9: Minh họa phân loại các chủ đề báo chí (theo towardsdatascience.com)

Trang 34

h Sentiment Analysis

Phân tích một câu và nhận xét rằng đó là câu đó mang cảm xúc tích cực, bình thường hay tiêu cực

Hình 2.10: Kết quả phân tích bằng phương pháp SA (theo unicornnlp.com)

Một trong những điểm yếu của xử lý ngôn ngữ tự nhiên đó chính là sự thiếu thốn dữ liệu huấn luyện, bởi vì các tác vụ xử lý rất lớn và phân bố rộng rãi trong nhiều lĩnh vực, hầu hết các tập dữ liệu chỉ chứa vài ngàn hoặc vài trăm ngàn dữ liệu minh hoạ Nhằm giải quyết việc thiếu dữ liệu này, các nhà nghiên cứu đã phát triển nhiều kỹ thuật cho việc huấn luyện mô hình dữ liệu sử dụng một số lượng dữ liệu từ các nguồn Internet (có thể hiểu là quá trình huấn luyện sẵn) Các mô hình đã được huấn luyện sẵn có thể được tinh chỉnh để thích hợp với một số tác vụ nhất định, chẳng hạn như: hệ thống hỏi đáp, hệ thống phân tích cảm xúc, v.v…

Trang 35

2.3.3 Các phương pháp mạng nơ ron trong xử lý ngôn ngữ tự nhiên

Deep Learning (học sâu) còn có tên gọi khác là Deep Neural Learning hoặc Deep Neural Network Theo Rohan Gupta và các cộng sự (2021), DL có các thuật toán dựa trên cấu trúc và chức năng của mạng Nơ ron nhân tạo, sử dụng phương pháp học không giám sát trên tập dữ liệu không có cấu trúc và không được gán nhãn [13] Nó có nhiều lớp mạng nơ ron để học cách biểu diễn dữ liệu một cách trừu tượng, các lớp mạng nơ ron tương tự như các đơn vị tính toán giúp cho máy tính xử lý dữ liệu một các thông minh hơn

Hình 2.11: Mô phỏng các layer trong Deep learning (theo towardsdatascience.com)

a.Multilayer Perceptron

Multilayer Perceptron là mạng nơ ron lan truyền thẳng với một lớp đầu vào và một lớp đầu ra, và có ít nhất một lớp ẩn Lớp ẩn ở đây không phải là lớp ẩn thực sự, mà thật ra chỉ là lớp mà chúng ta không cần quan tâm, bởi vì trong thực tiễn, chúng ta chỉ cần quan tâm đến lớp đầu vào và đầu ra [12]

Trang 36

Hình 2.12: Mô hình Multilayer Perceptron (theo gocnhinso.com)

Để phân loại dữ liệu không tuyến tính trong tự nhiên, nó sử dụng các hàm kích hoạt phi tuyến tính, chủ yếu là hàm tiếp tuyến hyperbol hoặc hàm logic Mạng nơ ron này được liên hết đầy đủ các lớp với nhau (tức là một node của lớp này được liên kết với tất cả các node của lớp sau) Kiến trúc này đã tạo nên tiền đề cơ bản của kiến trúc Deep Learning với 3 lớp ẩn Phương pháp MLP được sử dụng cho tác vụ nhận diện giọng nói và các tác vụ dịch văn bản trong tác vụ NLP

b.Convolutional Neural Network

Convolutional Neural Network là một biến thể khác của MLP với một lớp tích chập (convolutional layer) Lớp này giảm sự phức tạp của mạng nơ ron bằng cách áp dụng một hàm tích chập trên dữ liệu đầu vào và truyền dữ liệu đầu ra qua lớp kế tiếp, phân tích một phần dữ liệu (văn bản/hình ảnh) cùng lúc đó Vì độ phức tạp đã được giảm đi khi dùng hướng tiếp cận này, mạng nơ rơn có thể xử lý được nhiều dữ liệu phức tạp hơn thế nữa Phương pháp này cực kỳ

Trang 37

Hình 2.13: Quá trình chuyển đổi hình ảnh sang các tham số trong CNN (theo idiotdeveloper.com)

c.Recurrent Neural Network

Phương pháp này được thiết kể để bảo toàn trạng thái nơ ron Điều này cho phép mạng nơ ron lấy lại được ngữ cảnh và tạo ra dữ liệu đầu ra dựa trên trạng thái trước đó Cách này làm cho RNN được sử dụng nhiều trong chatbot vì việc lưu lại ngữ cảnh là rất cấp thiết để hiểu người dùng đang muốn gì Phương pháp này còn được sử dụng rộng rãi trong các tác vụ dịch thuật, nhận diện giọng nói, tạo văn bản và chú thích hình ảnh Trong RNN, các thông tin trước đó sẽ góp phần vào đáp ứng hiện tại của mạng nơ ron, người ta còn gọi là phụ thuộc xa

Trang 38

Hình 2.14: Quá trình hoạt động của RNN (theo medium.com)

d.Long Short-Term Memory

Là một loại đặc biệt của RNN, được thiết kế để tránh vấn đề phụ thuộc xa với một cánh cổng gọi là “forget gate” LSTM có khả năng nhớ trạng thái của dữ liệu đầu vào lâu hơn RNN, do đó cho phép một chuỗi trình tự dài được xử lý một cách chính xác, đây cũng là một phần cơ bản của kiến trúc NLP dùng trong Apple, Google và một số công ty công nghệ khác

Trang 39

2.3.4 Word Embedding

Tập nhúng từ (Word Embedding) là một tác vụ biểu diễn sự phân tán của các từ ngữ trên một không gian véc tơ, nói dễ hiểu hơn là việc biểu diễn các từ ngữ thành các giá trị số, nó lưu lại cả thông tin cú pháp và ngữ nghĩa thông tin để thực hiện các tác vụ xử lý ngôn ngữ tự nhiên Không gian véc tơ này có nhiều hướng và các từ ngữ xuất hiện trong không gian có chung ngữ nghĩa hoặc ngữ cảnh sẽ nằm gần nhau

Ví dụ như “Have a good day” và “Have a great day”, khi thực hiện nhúng từ, “good” và “great” sẽ nằm gần nhau trong không gian vì chúng nằm

trong cùng một vị trí ở cuối câu và có ngữ nghĩa cũng gần giống nhau

a.One-hot encoding

One-hot encoding là cách truyền thống để biểu diễn từ ngữ thành các véc tơ với độ lớn véc tơ bằng số từ ngữ Sau đó các từ ngữ sẽ có một chiều và được giá trị 1 tại vị trí đó và giá trị 0 tại các vị trí khác [2]

Ví dụ, tôi có câu “Have a good day”, sẽ có các từ ngữ sau {Have, a,

good, day}, từ đó ta sẽ có véc tơ One-hot như bảng ma trận dưới:

Bảng 2.2: Bảng ma trận One-hot

Trang 40

Tuy nhiên, phương pháp này chỉ nên sử dụng khi số lượng từ ở mức vừa phải không quá lớn, lý do là vì nếu dữ liệu có nhiều từ ngữ, đồng nghĩa với việc độ dài của véc tơ One-hot gia tăng, gây khó khăn trong việc tính toàn và lưu trữ dữ liệu Một vấn đề khác đó chính là việc thể hiện mối quan hệ giữa và tính tương đồng giữa các từ ngữ là không thể, do đó Word2vec được sinh ra để giải quyết các vấn đề này

b.Word2vec

Word2vec là một kỹ thuật NLP sử dụng mạng nơ ron để học liên kết các từ ngữ từ một kho tàng dữ liệu văn bản, sau đó chúng sẽ được đem đi huấn luyện, sau khi đã được huấn luyện kỹ càng, mô hình này sẽ có thể phát hiện các từ cùng ngữ nghĩa hoặc dự đoán các từ ngữ phù hợp bối cảnh trong câu [2] Word2vec được phát minh bởi kỹ sư tên là Tomas Mikolov làm việc tại Google vào năm 2013 Là một model học không giảm sát, được huấn luyện từ một tập dữ liệu lớn Word2vec có chiều nhỏ hơn với One-hot encoding rất nhiều Word2vec có 2 model chính là Skip-gram và Continuos Bag of Words

c.Skip-gram

Mô hình Skip-gram sẽ cố gắng dự đoán các từ xung quanh một từ ngữ đã cho trước [2] Tuy nhiên cách này sẽ rất phức tạp vì số lượng từ ngữ dự đoán sẽ rất nhiều, do đó có thể sẽ không chính xác Nó sẽ định nghĩa các từ xung

quanh dựa trên tham số window size Giả sử tôi có câu “The dog sat on the

floor”, với từ trung tâm là “sat” thì sẽ có tập hợp các ngữ cảnh sau:

P(“The”, “dog”, “on”, “the”, “floor” | “sat”)

Với từ ngữ chốt đã cho trước là “sat”, những từ ngữ cảnh xung quanh