phương pháp xác định độ tương tự giữa hai văn bản

DANH MỤC HÌNH ẢNHHình 1.2: Các lĩnh vực của xử lý ngôn ngữ tự nhiên NLP 5Hình 1.6: Sơ đồ phương pháp trích xuất trong văn bản Extrative 10Hình 1.7: Sơ đồ phương pháp tóm lược ý trong văn

Trang 1

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNGKHOA CÔNG NGHỆ THÔNG TIN I

ĐỒ ÁN

TỐT NGHIỆP ĐẠI HỌCĐỀ TÀI NGHIÊN CỨU:

“PHƯƠNG PHÁP XÁC ĐỊNH ĐỘ TƯƠNG TỰ GIỮA HAI VĂN BẢN.”

Giảng viên hướng dẫn : TS NGUYỄN DUY PHƯƠNG

Sinh viên thực hiện : NGUYỄN THỊ HỒNG

Phuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban

85Monday, June 10, 20248:24:26 PM8:24:26 PM85Monday, June 10, 20248:24:26 PM8:24:26 PM85Monday, June 10, 20248:24:26 PM8:24:26 PM

Phuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban

85Phuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanMonday, June 10, 2024

Trang 2

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNGKHOA CÔNG NGHỆ THÔNG TIN I

ĐỒ ÁN

TỐT NGHIỆP ĐẠI HỌCĐỀ TÀI NGHIÊN CỨU:

“PHƯƠNG PHÁP XÁC ĐỊNH ĐỘ TƯƠNG TỰ GIỮA HAI VĂN BẢN.”

Giảng viên hướng dẫn : TS NGUYỄN DUY PHƯƠNG

Sinh viên thực hiện : NGUYỄN THỊ HỒNG

Trang 3

852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 4

NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM(Của giảng viên hướng dẫn)

Hà Nội, ngày 22 tháng 12 năm 2021

Giảng viên hướng dẫn

Phuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 5

LỜI CẢM ƠN

Lời đầu tiên, em xin gửi lời cảm ơn sâu sắc đến các thầy cô giảng viên KhoaCông nghệ thông tin I nói riêng và các thầy cô giảng viên Học viện Công nghệ Bưuchính Viễn thông nói chung Trong suốt quá trình học tập tại Học viện, thầy cô đã làngười chỉ bảo, giảng dạy cho em rất nhiều kiến thức, kinh nghiệm quý báu để em cóđược một hành trang vững bước trong tương lai.

Bên cạnh đó, em xin được đặc biệt gửi lời cảm ơn đến thầy Nguyễn DuyPhương, người đã luôn hướng dẫn, chỉ bảo em tận tình trong suốt quá trình học tập,nghiên cứu, xây dựng và hoàn thiện đồ án này.

Em cũng xin gửi lời cảm ơn tới bố mẹ, người thân và bạn bè đã luôn bên cạnhchăm lo, quan tâm, giúp đỡ và động viên em trong suốt những tháng năm đại học.

Với điều kiện thời gian cũng như kinh nghiệm của em về lĩnh vực này còn hạnchế nên đồ án không thể tránh được những thiếu sót Vì thế, em rất mong nhận đượcsự chỉ bảo và đóng góp ý kiến của các thầy, cô để em có thể bổ sung và nâng cao kiếnthức của mình hơn nữa.

Cuối cùng, em xin kính chúc quý thầy cô một năm mới dồi dào sức khỏe, ankhang, thịnh vượng và thành công hơn nữa trong sự nghiệp.

Em xin chân thành cảm ơn!

Hà Nội, ngày 01 tháng 01 năm 2022Sinh viên

Nguyễn Thị Hồng

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com Phuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 6

CHƯƠNG 1: TỔNG QUAN VỀ ĐỘ TƯƠNG TỰ GIỮA HAI VĂN BẢN 3

1.2.1.Ngôn ngữ tự nhiên (NLP) 31.2.2.Tầm quan trọng và một số ứng dụng của xử lý ngôn ngữ tự nhiên 7

1.2.3.Một số thuật ngữ phổ biến trong NLP 11

1.2.4.Vấn đề về độ tương tự trong văn bản 151.2.5.Các bài toán xử lý trong tiếng Việt 16

CHƯƠNG 2: CÁC PHƯƠNG PHÁP XÁC ĐỊNH MỨC ĐỘ TƯƠNG TỰ GIỮA

2.1.1.Phát biểu về bài toán 182.1.2.Đặc điểm của ngôn ngữ tiếng Việt 18

2.1.2.1.Cấu tạo từ tiếng Việt 18

2.1.2.3.Từ đồng âm khác nghĩa 19

2.2.1.Các thuật toán chuyển đổi văn bản sang Embedding. 25

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com Phuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 7

2.2.1.4.Doc2Vec 30

2.2.2.Các thước đo khoảng cách, độ tương tự trong Machine Learning. 32

2.2.2.1.Độ tương đồng văn bản dựa trên tập từ chung. 33

CHƯƠNG III ĐỘ TƯƠNG ĐỒNG VĂN BẢN VỀ MẶT NGỮ NGHĨA VÀ ỨNG

3.1.Độ tương đồng văn bản về ngữ nghĩa (Semantic Similarity Methodologies) 43

3.1.1.Topological/Knowledge-based Methods 443.1.2.Statistical-Based Similarity 46

3.1.3.Language Model-Based Similarity: BERT Model 46

Trang 8

DANH MỤC TỪ VIẾT TẮTKý hiệu chữ viết tắtChữ viết đầy đủ

BERT Bidirectional Encoder Representations from Transformers

GLU score General Language Understanding Evaluation score

Trang 9

DANH MỤC HÌNH ẢNH

Hình 1.2: Các lĩnh vực của xử lý ngôn ngữ tự nhiên (NLP) 5

Hình 1.6: Sơ đồ phương pháp trích xuất trong văn bản (Extrative) 10Hình 1.7: Sơ đồ phương pháp tóm lược ý trong văn bản (Abstractive) 10Hình 1.8: Các kỹ thuật tách từ trong xử lý ngôn ngữ tự nhiên 13

Hình 3.1: Ví dụ về độ tương đồng ngữ nghĩa trong văn bản 43Hình 3.2: Các phương pháp Typological/Knowledge-based Methods 44Hình 3.3: Ví dụ về Node-based/Information Content Approach 45

Trang 10

Hình 3.10: Mô hình BERT 55

Hình 3.12: Các bước tạo input của Next Sentence Prediction 57Hình 3.13: Các bước lấy output của Next Sentence Prediction 57Hình 3.14 : Tiến trình pre-training và fine-tuning của BERT 58

Trang 11

TỔNG QUAN ĐỀ TÀI

1 Lý do chọn đề tài

Ngày nay, với sự phát triển nhanh chóng và vượt bậc của khoa học công nghệđặc biệt là máy tính và mạng Internet thì thông tin dưới dạng văn bản đã trở nên phongphú và đa dạng hơn Với sự trợ giúp đắc lực của các công cụ thì chỉ với một vài thaotác đơn giản ta có thể nhận được rất nhiều những thông tin mà chúng ta tìm kiếm.Cũng chính vì thế mà sự chọn lọc thông tin mới, hữu ích ngày càng trở nên khó khănhơn.

Natural Language Processing (NLP) hay còn được gọi là xử lý ngôn ngữ tựnhiên - là một lĩnh vực nghiên cứu có sự kết hợp giữa công nghệ thông tin và ngônngữ học Trong đó, vai trò của công nghệ thông tin ngày càng chứng tỏ sức mạnh vàtầm quan trọng trong các nghiên cứu cũng như kết quả ứng dụng vào thực tế Hiệnnay, có rất nhiều nghiên cứu đã áp dụng kết quả vào triển khai ứng dụng thực tiễn đemlại hiệu quả cao như các bài toán tóm tắt văn bản, trích xuất tự động, dịch tự động, …Đặc biệt là bài toán tính độ tương đồng giữa hai văn bản đang là đề tài đáng được chúý và quan tâm Cho đến thời điểm hiện tại, có nhiều phương pháp đã được đề xuất chobài toán này, tuy nhiên đối với các văn bản tiếng Việt, việc nghiên cứu và áp dụngđang còn hạn chế, đa số các phương pháp đã đề xuất sử dụng cho văn bản tiếng Anhdo đặc điểm cấu tạo của ngôn ngữ tiếng Việt có nhiều điểm khác biệt.

2 Mục đích của đề tài

Nghiên cứu các phương pháp xác định độ tương đồng văn bản không những vềmặt từ ngữ mà còn cả về mặt ngữ nghĩa, từ đó làm tiền đề để xây dựng mô hình hệthống đánh giá sự tương đồng văn.

Trang 12

- Các phương pháp xác định mức độ tương tự trong văn bản về mặt cú pháp nhưmức độ câu, từ, đoạn văn, …

- Các mô hình, phương pháp xác định mức độ tương tự văn bản về mặt ngữ nghĩavà ứng dụng trong so sánh văn bản.

4 Phương pháp nghiên cứu

- Tìm kiếm, thu thập và hệ thống hóa các phương pháp nghiên cứu đã có về vấnđề độ tương đồng trong văn bản.

- Nghiên cứu lí thuyết về mô hình xác định mức độ tương tự trong văn bản làmtiền đề cho việc xây dựng ứng dụng và đề xuất hướng giải quyết tối ưu cho bàitoán.

5 Nội dung nghiên cứu

- Tìm hiểu tổng quan về các vấn đề trong việc xử lý ngôn ngữ tự nhiên.- Nghiên cứu tìm hiểu bài toán so sánh văn bản.

- Nghiên cứu các phương pháp, mô hình biểu diễn văn bản.

- Tìm hiểu các phương pháp xác định mức độ tương tự trong văn bản.- Xây dựng ứng dụng so sánh văn bản.

Trang 13

CHƯƠNG 1: TỔNG QUAN VỀ ĐỘ TƯƠNG TỰ GIỮA HAI VĂNBẢN

1.1.Giới thiệu về văn bản

Văn bản là một loại hình phương tiện để ghi nhận, lưu giữ và truyền đạt cácthông tin từ chủ thể này sang chủ thể khác bằng kí hiệu gọi là chữ viết Nó gồm tậphợp các câu có tính trọn vẹn về nội dung, hoàn chỉnh về hình thức, có tính liên kết chặtchẽ và hướng tới một mục tiêu giao tiếp nhất định Hay nói cách khác, văn bản là mộtdạng sản phẩm của hoạt động giao tiếp bằng ngôn ngữ được thể hiện ở dạng viết trênmột chất liệu nào đó ( giấy, bia đá, … ) Văn bản bao gồm các tài liệu, tư liệu, giấy tờcó pháp lý nhất định được sử dụng trong hoạt động của các cơ quan Nhà nước, các tổchức chính trị, chính trị - xã hội, các tổ chức kinh tế… như các văn bản pháp luật, cáccông văn, tài liệu, giấy tờ.

1.2.Giới thiệu về ngôn ngữ tự nhiên

1.2.1 Ngôn ngữ tự nhiên (NLP)

Natural Language Processing (NLP) hay xử lý ngôn ngữ tự nhiên được conngười sử dụng để giao tiếp và phát triển một cách tự nhiên Xử lý ngôn ngữ tự nhiên làmột lĩnh vực khoa học máy tính và ngôn ngữ học liên quan đến sự tương tác giữa máytính và với ngôn ngữ của con người Các hệ thống tạo ngôn ngữ tự nhiên chuyển đổithông tin từ cơ sở dữ liệu máy tính sang ngôn ngữ con người có thể đọc được.

Ngôn ngữ tự nhiên đề cập đến cách chúng ta, con người giao tiếp với nhau Cụthể là bài phát biểu hay văn bản Mỗi ngày chúng ta đều tiếp xúc với rất nhiều các loạivăn bản như: tin nhắn, email, các trang web, thực đơn, hợp đồng… Với tầm quan trọngcủa loại dữ liệu này, chúng ta phải có các phương pháp để hiểu và lập luận về ngônngữ tự nhiên giống như chúng ta làm với các loại dữ liệu khác.

Trang 14

Hình 1.1: Xử lý ngôn ngữ tự nhiên trong giao tiếp.

NLP đề cập đến nhánh của khoa học máy tính và cụ thể hơn là nhánh của trí tuệnhân tạo hoặc AI – liên quan đến việc cung cấp cho máy tính khả năng hiểu văn bảnvà lời nói theo cách giống như con người có thể Nó kết hợp ngôn ngữ học tính toán –mô hình dựa trên nguyên tắc của ngôn ngữ con người – với các mô hình thống kê, họcmáy và học sâu Cùng với nhau, các công nghệ này cho phép máy tính xử lý ngôn ngữcủa con người dưới dạng dữ liệu văn bản hoặc giọng nói và hiểu ý nghĩa đầy đủ củanó, hoàn chỉnh với ý định và cảm xúc của người nói hoặc người viết.

Xử lý ngôn ngữ tự nhiên cung cấp nhiều kỹ thuật giải thích ngôn ngữ khácnhau Có các thuật toán học máy, mô hình thống kê và các phương pháp tiếp cận môhình dựa trên các bộ phận quy tắc Sự kết hợp của các kỹ thuật này được sử dụng đểgiúp các hệ thống máy tính xử lý dữ liệu ngôn ngữ của con người.

NLP được tạo ra với mục đích chia nhỏ các tập hợp lớn dữ liệu ngôn ngữ củacon người thành các thành phần nhỏ hơn, ngắn hơn và logic hơn được xây dựng đểhiểu mục đích ngữ nghĩa và cú pháp của ngôn ngữ nói và viết của chúng ta Mục đíchbao quát là lấy đầu vào ngôn ngữ và sử dụng các thuật toán để chuyển đổi điểm giá trịcủa dữ liệu thành một thứ gì đó lớn hơn.

Như chúng ta đã biết, máy tính được cấu tạo từ những con số do đó nó chỉ cóthể đọc được dữ liệu số mà thôi Trong NLP thì để xử lý dữ liệu text chúng ta phảichuyển dữ liệu từ text sang numeric, tức là đưa nó vào một không gian mới, người tathường gọi là embedding Trước đây, người ta mã hóa theo kiểu one-hot coding – tứclà tạo một vocabulary cho dữ liệu và mã hóa các word trong document thành nhữngvector Nếu word đó có trong document thì mã hóa là “1”, còn không có sẽ là “0” Kếtquả tạo ra một sparse matrix, tức là matrix hầu hết là “0” Các mã hóa này có nhiềunhược điểm như: thứ nhất là số chiều của nó rất lớn (NxM, N là số document, M là sốvocabulary), thứ hai các word không có quan hệ với nhau Điều đó dẫn đến người tanghĩ ra một model mới có tên là word embedding, ở đó các cặp word sẽ có quan hệ vớinhau về ngữ nghĩa, ví dụ như paris-tokyo, man-woman, boy-girl, những cặp từ này sẽcó khoảng cách gần nhau hơn trong word embedding space Ví dụ điển hình mà ta thấyPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 15

đó là phương trình king – queen = man – woman Cái ưu điểm thứ hai của nó là sốchiều giảm còn NxD.

Hình 1.2: Các lĩnh vực của xử lý ngôn ngữ tự nhiên (NLP)

Xử lý ngôn ngữ tự nhiên bao gồm: Managing Human – Computer DialogSystem, Machine Perception, Natural Language Understanding, Natural LanguageClassifier, Natural Language Generation.

- Machine Perception: Nhận thức máy móc Là khả năng của một hệ thống máy

tính để giải thích dữ liệu theo cách tương tự như cách con người sử dụng cácgiác quan của mình để liên quan đến thế giới xung quanh Bất kỳ loại côngnghệ nào mô phỏng bất kỳ loại giác quan nào của con người cho dù đó là thịgiác, thính giác, vị giác, xúc giác hay cảm giác đều có thể được dán nhãn nhậnthức máy

- Natural Language Understanding (NLU): Sự hiểu biết ngôn ngữ tự nhiên

bao gồm 4 bước:

o Phân tích hình vị: là sự nhận biết, phân tích và miêu tả cấu trúc củanhững hình vị trong một ngôn ngữ cho trước và các đơn vị ngôn ngữPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 16

khác như từ gốc, biên từ, từ loại,… Có hai loại bài toán điển hình trongphần này, bao gồm bài toán tách từ (word segmentation) và gán nhãn từloại (POS).

o Phân tích cú pháp: là quy trình phân tích một chuỗi các biểu tượng ởdạng ngôn ngữ tự nhiên hoặc ngôn ngữ máy tính tuân theo văn phạmhình thức Văn phạm hình thức thường được dùng trong phân tích cúpháp của ngôn ngữ tự nhiên bao gồm Văn phạm phi ngữ cảnh(context-free grammar: CFG) và Văn phạm phụ thuộc (dependencygrammar: DG) Đầu vào của quá trình phân tích là một câu gồm mộtchuỗi từ và nhãn từ loại của chúng và đầu ra là một cây phân tích thểhiện cấu trúc cú pháp của câu đó Các thuật toán phân tích cú pháp phổbiến bao gồm CKY, Earley, Chart và GLR.

o Phân tích ngữ nghĩa: là quá trình liên hệ cấu trúc ngữ nghĩa, từ cấp độcụm từ, mệnh đề, câu và đoạn đến cấp độ toàn bài viết với ý nghĩa độclập của chúng Nói cách khác, việc này nhằm tìm ra ngữ nghĩa đầu vàocủa ngôn từ Phân tích ngữ nghĩa bao gồm hai mức độ: ngữ nghĩa từvựng biểu hiện các ý nghĩa của những từ thành phần và phân biệt nghĩacủa từ, ngữ nghĩa thành phần liên quan đến cách thức các từ liên kết vớinhau để hình thành nghĩa rộng hơn.

o Phân tích diễn ngôn: Ngữ dụng học là môn nghiên cứu về những mốiquan hệ giữa ngôn ngữ và ngữ cảnh sử dụng (context-of-use) Ngữ cảnhsử dụng bao gồm danh tính của người hoặc vật, vì thế ngữ dụng học baogồm những nghiên cứu về các ngôn ngữ được dùng để đề cập (hoặc táiđề cập) tới người hoặc vật Ngữ cảnh sử dụng bao gồm ngữ cảnh diễnngôn, vì vậy ngữ dụng học cũng bao gồm những nghiên cứu về các thứccấu tạo nên diễn ngôn và các người nghe hiểu người đang đối thoại vớimình.

- Natural Language Generation (NLG) là phát triển ngôn ngữ tự nhiên NLG

đóng vai trò quan trọng trong việc tạo ra ngôn ngữ tự nhiên từ một hệ thốngbiểu diễn máy như một cơ sở tri thức hoặc một dạng logic NLG được ứng dụngPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 17

trong các lĩnh vực như tạo cuộc đối thoại, tương tác giữa con người và máytính, dịch máy và tóm tắt văn bản tự động Trong NLP có 2 quan điểm cơ bản làxử lý các từ ngữ bằng máy tính và làm cho máy tính hiểu được ngôn ngữ Hiệntại cả 2 vấn đề này đều đang được nghiên cứu và phát triển.

1.2.2 Tầm quan trọng và một số ứng dụng của xử lý ngôn ngữ tự nhiên

Tầm quan trọng của NLP:

- Giúp máy tính phân tích dữ liệu nhanh hơn: Máy móc được trang bị thuậttoán ML (Machine Learning) có thể phân tích và hiểu nhiều dữ liệu ngônngữ hơn con người vì chúng có khả năng học hỏi từ các mẫu được tìm thấytrong dữ liệu được lưu trữ.

- Phát triển công nghệ nhanh chóng: Hệ thống NLP được phát triển để giúpmang lại hiểu biết ngữ nghĩa để giao tiếp giữa con người với máy móc cóthể dẫn đến các tương tác tích cực và hợp lý Các hệ thống NLP giúp giảiquyết ngôn ngữ khó hiểu, mơ hồ bằng cách thêm cấu trúc vào dữ liệu màchúng nhận được.

Một số ứng dụng phổ biến của NLP như:

- Nhận dạng tiếng nói (Automatic Speech Recognition – ASR, hoặc SpeechTo Text - STT): từ sóng nói, nhận biết và chuyển đổi ngôn ngữ từ dạng tiếngnói sang dạng văn bản tương ứng Giúp thao tác của con người trên các thiếtbị nhanh hơn và đơn giản hơn, chẳng hạn như thay vì phải gõ một tài liệunào đó ta có thể đọc nó lên và trình soạn thảo sẽ tự ghi nó ra Nó khả nănghỗ trợ rất nhiều cho người khiếm thị.

Trang 18

Hình 1.3: Mô hình nhận dạng tiếng nói (ASR)

- Tổng hợp tiếng nói (Speech synthesis hoặc Text to Speech – TTS): từ dữ liệudạng văn bản, phân tích và chuyển đổi thành tiếng nói Thay vì phải tự đọc mộtcuốn sách hay nội dung của một trang web thì nó sẽ tự động đọc cho chúng ta.

Hình 1.4: Mô hình tổng hợp tiếng nói (TTS)

- Nhận dạng chữ viết (Optical Character Recognition – OCR): từ một văn bảnin trên giấy, nhận biết từng chữ cái và chuyển chúng thành một tệp văn bảntrên máy tính Có hai kiểu nhận dạng, đầu tiên là nhận dạng chữ in như việcnhận dạng chữ trên sách giáo khoa rồi chuyển nó thành dạng văn bản điện tửnhư dưới định dạng docx của Microsoft Word Thứ hai là nhận dạng chữviết tay, ở dạng này gây ra nhiều khó khăn hơn vì chữ viết tay không cókhuôn dạng rõ ràng và thay đổi tùy thuộc vào mỗi đối tượng khác nhau ỨngPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 19

dụng cho việc nhận dạng chữ in ta có thể chuyển hàng ngàn đầu sách trongthư viện thành văn bản điện tử trong một thời gian ngắn Còn việc nhậndạng chữ viết thì được ứng dụng trong các lĩnh vực như khoa học hình sự,ngân hàng, bảo mật thông tin (nhận dạng chữ ký điện tử).

Hình 1.5: Mô hình nhận dạng chữ viết (OCR)

- Truy xuất thông tin (Information Retrieval – IR): có nhiệm vụ tìm các tàiliệu dưới dạng không có cấu trúc (thường là văn bản) đáp ứng nhu cầu vềthông tin từ những nguồn tổng hợp lớn như Google, Yahoo hay Bigsearch,… Thông tin ngày càng tăng lên theo cấp số nhân, đặc biệt với sự trợgiúp của internet việc tiếp cận thông tin trở nên dễ dàng hơn Việc khó khănlà tìm thông tin mình cần chính xác nhất giữa vô vàn những kết quả đượctìm thấy và thông tin này phải đáng tin cậy Nổi bật của công nghệ này làGoogle, một trong những trang web tìm kiếm thông tin phổ biến đối vớichúng ta hiện nay.

- Trích chọn thông tin (Information Extraction – IE): từ một nguồn rất nhiềutệp văn bản hay tiếng nói, tìm ra những đoạn bên trong một số tệp liên quanđến một vấn đề (câu hỏi) ta cần biết hay trả lời Khác với truy xuất thông tintrả về danh sách các văn bản hợp lệ thì IE trả về chính xác thông tin màngười dùng cần Những thông tin này có thể là về con người, địa điểm, tổchức, ngày tháng hoặc thậm chí tên công ty, mẫu sản phẩm, Một hệ tríchchọn thông tin có thể lần vào từng trang web liên quan, phân tích bên trongvà trích ra các thông tin cần thiết, nói gọn trong tiếng Anh để phân biệt vớitìm kiếm thông tin là “find things but not pages”.

Trang 20

- Trả lời câu hỏi (Question Answering – QA): có khả năng tự động trả lời câuhỏi của con người ở dạng ngôn ngữ tự nhiên bằng cách truy xuất thông tintừ một tập hợp tài liệu Một hệ thống QA đặc trưng bao gồm 3 mô-đun:

+ Mô đun xử lý truy vấn (Query Processing Module): tiến hành phân loạicâu hỏi và mở rộng truy vấn.

+ Mô đun xử lý tài liệu (Document Processing Module): tiến hành truyxuất thông tin để tìm ra tài liệu thích hợp.

+ Mô hình xử lý câu trả lời (Answer Processing Module): trích chọn câutrả lời từ tài liệu đã được truy xuất.

- Tóm tắt văn bản tự động (Text Summarization): từ một văn bản dài tóm tắtthành một văn bản ngắn hơn theo mong muốn nhưng vẫn chứa nội dungquan trọng nhất của văn bản đó.

Có hai phương pháp chính trong tóm tắt văn bản là phương pháp trích xuất(extrative) và phương pháp tóm lược ý (abstractive) Tóm tắt trích xuất được hìnhthành bằng cách ghép một số câu được lấy y nguyên từ văn bản cần được thu gọn.Tóm lược ý thường truyền đạt những thông tin chính của đầu vào và có thể sử dụng lạinhững cụm từ hay mệnh đề trong đó, nhưng nhìn chung chúng đều được thể hiện ởngôn ngữ của người tóm tắt.

Trang 21

Hình 1.6: Sơ đồ phương pháp trích xuất trong văn bản (Extrative)

Hình 1.7: Sơ đồ phương pháp tóm lược ý trong văn bản (Abstractive)

- Phát hiện tri thức và khai phá dữ liệu văn bản (Knowledge discovery andtext data mining): từ những nguồn thông tin, văn bản hay không có liênquan gì với nhau nó có thể tìm ra được những thông tin mới chưa được pháthiện Trên thực tế để làm được việc này rất khó, nó gần như mô phỏng quátrình học tập, khám phá khoa học của con người Hiện tại, đây vẫn là mộtvấn đề phức tạp đang được các chuyên gia nghiên cứu trên thế giới.

- Chatbot là việc chương trình máy tính có khả năng trò chuyện (chat), hỏiđáp với con người qua hình thức hội thoại dưới văn bản (text) Chatbotthường được sử dụng trong ứng dụng hỗ trợ khách hàng, giúp người dùngtìm kiếm thông tin sản phẩm hoặc giải đáp thắc mắc.

- Dịch máy (Machine Translation – MT): là việc sử dụng máy tính để tự độnghóa một phần hoặc toàn bộ quá trình dịch từ ngôn ngữ này sang ngôn ngữkhác Các phương pháp dịch máy phổ biến bao gồm dịch máy dựa trên ví dụ(example-based machine translation – EBMT), dịch máy dựa trên luật(rule-based machine translation – RBMT), dịch máy thống kê (statisticalmachine translation – SMT), dịch máy và sử dụng mạng nơ-ron (neuralmachine translation).

- Kiểm lỗi chính tả tự động là việc sử dụng máy tính để tự động phát hiện cáclỗi chính tả trong văn bản (lỗi từ vựng, lỗi ngữ pháp, lỗi ngữ nghĩa) và gợi ýđưa ra cách sửa lỗi.

Trang 22

1.2.3 Một số thuật ngữ phổ biến trong NLP

● Stemming

Trong NLP, stemming là một kỹ thuật được sử dụng để tìm ra từ gốc bằng cáchloại bỏ tất cả những tiền tố, phụ tố và hậu tố Mục đích chính của stemming là để tạocho thuật toán khả năng tìm kiếm và trích xuất những thông tin hữu ích từ một nguồnkhổng lồ như trên internet hoặc dữ liệu lớn Các thuật toán khác nhau được sử dụng đểthực hiện stemming bao gồm:

- Bảng tra cứu: một biểu mẫu có tất cả các biến thể có thể có của tất cả các từ(tương tự như từ điển).

- Loại bỏ các hậu tố: loại bỏ các hậu tố khỏi từ để xây dựng dạng gốc của từ.- Mô hình ngẫu nhiên: một thuật toán duy nhất hiểu các quy tắc ngữ pháp của

hậu tố và sử dụng quy tắc đó để trích xuất nguồn gốc của một từ mới.

Chúng ta có thể thực hiện stemming trong Python bằng cách sử dụng cácphương thức được xác định trước trong gói NLTK.

● Lemmatization

Stemming là một giải pháp tốt cho việc trích xuất nguồn gốc từ, nhưng đôi khiviệc loại bỏ các yếu tố của từ không thể xác định được chính xác nguồn gốc của từ Vídụ, nếu sử dụng stemming để có được từ gốc của từ paid, thì kết quả sẽ trả về pai, mộtkết quả không hề chính xác.

Nhược điểm của stemming thường xuất hiện khi gặp những từ bất quy tắc,không theo bất kỳ một quy tắc ngữ pháp chuẩn nào Đây là lúc cần đến lemmatization.Phuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 23

Cụ thể chúng ta đưa về thể từ điển, còn được gọi là lema hay morphology Vớilemmatization ta có thể chuyển từ “paid” thành từ “pay” là dạng nguyên thể của nó.NLTK cũng cung cấp các phương pháp có thể được sử dụng để trích xuất lema củamột từ.

● Tokenization

Tokenization là một quá trình chia nhỏ một câu thành các từ hoặc thành cáctoken Trong quá trình hình thành các token, dấu chấm câu hoặc những ký tự đặc biệtthường được loại bỏ.

Các token được xây dựng từ một phần văn bản, cụ thể được sử dụng để phântích và xử lý thống kê Điều đáng nói là một token không nhất thiết phải là một từ: vídụ như “rock ‘n’ roll”, “3-D printer” đều là những token Và chúng được xây dựng từnhiều từ Ngoài ra, token có thể là ký tự hoặc subword Nói một cách đơn giản thìtokenization là một kỹ thuật được sử dụng để đơn giản hóa một kho dữ liệu để chuẩnbị cho giai đoạn xử lý tiếp theo.

Trong python, gói NLTK cũng cung cấp các phương thức để thực hiệntokenization, chẳng han như sent_tokenize và word_tokenize Ngoài ra, NLTK còncung cấp các ngôn ngữ khác ngoài tiếng Anh.

Trang 24

Hình 1.8: Các kỹ thuật tách từ trong xử lý ngôn ngữ tự nhiên

● Lexicon

Khi nhắc đến nhiệm vụ xử lý ngôn ngữ tự nhiên, chúng ta cần xem xét nhiềuthứ hơn ngoài ngôn ngữ Chúng ta phải xem xét các thuật ngữ này có thể được sử dụngtrong một ngữ cảnh cụ thể để có nghĩa cụ thể Ví dụ như những từ “chân sút”, “việt vị”là những thuật ngữ được sử dụng để miêu tả những khía cạnh khác nhau trong bóngđá Lexicon là một tập hợp các từ của một ngôn ngữ hay một nhánh tri thức.

Để có một kết quả chính xác hơn từ các mô hình NLP thì Lexicon là rất cầnthiết Ví dụ, khi bạn phân tích cảm xúc của một số tweet (là các mẩu tin nhỏ, một dạngblog có giới hạn tối đa 280 kí tự trên trang mạng xã hội trực tuyến Twitter) và muốntìm hiểu những chủ đề xung quanh các tweet thì một phương thức chung để biểu diễncâu từ là bắt buộc.

● Word Embeddings

Máy tính không hiểu từ ngữ, vì vậy nếu ta muốn chúng phân tích và sử dụngngôn ngữ một cách chính xác thì ta phải trình bày những ngôn ngữ đó để máy tính cóthể hiểu được Ngoài ra, việc phân tích văn bản có thể trở thành một khó khăn và việcsử dụng các con số có thể dễ dàng hơn cho thuật toán và máy tính.

Trong NLP, nhúng từ là một kỹ thuật được sử dụng để chuyển các từ thànhvector số thực cho mục đích phân tích Khi những vector này được hình thành, chúngcó thể được sử dụng để huấn luyện các mô hình, xây dựng mạng nơron cũng như cáckỹ thuật machine learning khác.

● N-gram

Trong việc phân tích văn bản, N-gram mang hàm ý cho việc chuyển dữ liệuthành các khối n từ Các khối này thường được xây dựng bằng cách di chuyển từng từmột Khi n=1, chúng ta sử dụng thuật ngữ unigram thay vì 1-gram Trong trường hợpn=2, chúng ta gọi là bigram và khi n=3 thì được gọi là trigram.

Trong python, việc viết một hàm tạo n-gram cho một câu tương đối đơn giản.Nhưng nếu không muốn tự thực hiện, ta có thể sử dụng các gói NLTK và textrob sẽPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 25

cung cấp các phương thức giúp chúng ta có thể tạo n-gram tự động.https://textblob.readthedocs.io/en/dev/

Hình 1.9: Ví dụ về N-gram

● Normalization

Khi chúng ta muốn phân tích văn bản cho bất kỳ mục đích nào, quá trình phântích có thể chính xác hơn nhiều nếu văn bản chúng ta đang sử dụng có định dạngchuẩn Việc đặt văn bản ở định dạng chuẩn được gọi là chuẩn hóa Ví dụ, nếu chúng tathực hiện tìm kiếm trong văn bản thì toàn bộ văn bản được viết hoa hoặc viết thườngsẽ tốt hơn.

Quá trình chuẩn hóa thường được tiến hành sau khi mã hóa một đoạn văn vàmột truy vấn Tiếp theo, chúng ta có thể sẽ có hai cụm từ tương tự nhưng không giốngnhau 100% ví dụ như USA và U.S.A, nhưng bạn muốn mô hình của mình khớp haithuật ngữ này với nhau dù có bất kì sự khác biệt nào.

Chuẩn hóa một văn bản có thể có cả tác động tốt và không tốt đến mô hình xửlý ngôn ngữ tự nhiên Một mặt, việc chuẩn hóa có thể tạo sự kết hợp tốt hơn trong cáctác vụ tìm kiếm Mặt khác, việc chuyển đổi mọi thứ thành chữ thường hoặc chữ hoa cóthể ảnh hưởng đến độ tin cậy của ứng dụng tổng thể.

● Named Entity (NER)

Trong bất kỳ tác vụ NLP nào, chúng ta thường được yêu cầu đọc, làm sạch vàphân tích một kho dữ liệu khổng lồ Đó là lý do tại sao hầu hết các thuật ngữ trongdanh sách này là các kỹ thuật có thể giúp phân tích dễ dàng và hiệu quả hơn.

Trang 26

NER là một kỹ thuật NLP khác giúp trích xuất thêm thông tin về một số vănbản bằng cách gán nhãn các từ khác nhau thành các danh mục được xác định trướcnhư: người, địa điểm, thời gian, email, …Việc thực hiện NER có thể giúp phân tíchvăn bản chính xác hơn Trong Python có thể thực hiện NER bằng cách sử dụng các góiSpacy và NLTK.

● Parts-of-speech (POS) Tagging

POS Tagging là một kỹ thuật phân tích hữu ích xác định từ loại của các thànhphần trong một văn bản hoặc một câu cụ thể Việc gắn thẻ POS giúp tạo ra một danhsách các từ và thẻ từ loại của nó (danh từ, động từ, tính từ ).

Trong hầu hết các ứng dụng, ban đầu chúng ta thường sử dụng một trình POSTag cơ bản và sau đó có thể nâng cao lên Gói NLTK cung cấp một trình gắn thẻ mặcđịnh, cho phép chúng ta gắn thẻ cho bất kỳ văn bản nào.

1.2.4 Vấn đề về độ tương tự trong văn bản

Ngôn ngữ đóng một vai trò rất quan trọng như một phương tiện giao tiếp giữacác cá nhân Nó phân biệt con người với các sinh vật sống khác Nói chung, ngôn ngữ(bằng văn bản hay lời nói) mang thông tin rất lớn Khi chúng ta nói hoặc viết một điềugì đó, nó chỉ ra một chủ đề có chứa một số từ, các quy tắc ngữ pháp, tín hiệu của âmđiệu, … Mỗi và mọi phần của ngôn ngữ đều cung cấp một số thông tin Nếu cố gắngphân tích những thông tin đó, chúng ta có thể nhận được thông tin kết hợp chỉ ra mộtsố hành động hoặc điều gì đó tương tự nhau.

Trên thực tế, mỗi cá nhân có thể tạo ra hàng nghìn từ và câu Ngoài ra, cấu trúccâu và phong cách của những người khác nhau cũng khác nhau Vì thế để tìm ra bất kỳcách phổ biến nào để biểu diễn dữ liệu là điều không thể Tất cả những điều này là vídụ về dữ liệu phi cấu trúc Những kĩ thuật này có thể dễ dàng được bộ não con ngườinhận ra và xử lý Ngày nay, một số kĩ thuật hiện đại như học máy, khoa học dữ liệu đãlàm được điều đó.

Độ tương tự trong văn bản là một trong những chủ đề được nghiên cứu và ứngdụng tích cực trong Xử lý ngôn ngữ tự nhiên Để tìm câu trả lời cho câu “ Hai từ, cụmtừ, đoạn văn, tài liệu giống nhau như thế nào?” là một chủ đề quan trọng để nghiên cứuPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 27

và ứng dụng trong NLP Độ tương tự giữa hai từ, cụm từ, đoạn văn, tài liệu là tính toánxem giữa chúng gần nhau như thế nào Sự gần gũi đó có thể là từ vựng hoặc ngữnghĩa.

Sự giống nhau về ngữ nghĩa là sự gần gũi về ngữ nghĩa Sự tương đồng về mặttừ vựng là sự gần gũi của tập hợp từ.

Ví dụ ta có hai cụm từ sau:- The dog bites the man- The man bites the dog

Theo sự tương đồng về từ vựng thì hai cụm từ này rất gần và gần như là giốnghệt nhau vì chúng có cùng một bộ từ Còn đối với sự giống nhau về ngữ nghĩa, chúngta hoàn toàn khác nhau vì chúng có nghĩa khác nhau mặc dù bộ từ của chúng giốngnhau.

Trong một số trường hợp, việc đo độ tương tự giữa hai đoạn văn bản là việc sửdụng so khớp giữa các từ với nhau ở đoạn văn đầu vào Vì thế, việc chúng ta cần làmlà loại bỏ các từ dừng, gán nhãn từ loại, so khớp tập con dài nhất cũng như trọng số vàcác nhân tố khác đều có thể được tích hợp để mang lại kết quả tốt nhất.

Cho đến nay, vấn đề đánh giá độ tương đồng văn bản đã được nghiên cứu vàứng dụng trong nhiều bài toán khác nhau từ mức độ thấp đến mức độ cao và đã cónhiều phương pháp giải quyết hiệu quả Trong các bài toán như trích chọn thông tin,tóm tắt văn bản,… đều cần đến phương pháp tính độ tương tự văn bản Ngoài ra, việcxác định mức độ tương tự còn ứng dụng cho việc chống sao chép, đạo văn để bảo vệbản quyền.

1.2.5 Các bài toán xử lý trong tiếng Việt

a Phân tách từ tiếng Việt

Tách từ là bài toán cơ bản đầu tiên trong việc xử lý và hiểu ngôn ngữ Trongcác ngôn ngữ thông dụng, việc tách từ khá đơn giản vì giữa các đơn vị từ thường đượcviết cách nhau bằng kí tự trắng hoặc bằng các dấu câu Tuy nhiên, nhiều ngôn ngữkhông có kí hiệu đánh dấu biên của các từ, điều này làm cho việc tách từ không phải làviệc dễ dàng Chẳng hạn như tiếng Việt là một ngôn ngữ đơn lập điển hình, kí tự trắngPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 28

không được dùng để tách các từ mà chỉ được dùng để tách các âm tiết, trong khi đómột từ có thể chứa nhiều âm tiết Việc giải quyết vấn đề này được gọi là bài toán phântách từ.

Tiêu chí quan trọng nhất trong bài toán tách từ là độ chính xác Hiện tại, ngườita đã đạt được độ chính xác lên đến 97% tính theo từ Tuy nhiên, nếu tính theo câu (sốcâu được tách hoàn toàn đúng/tổng số câu) thì độ chính xác chỉ khoảng 50% Đây làmột vấn đề ảnh hưởng nghiêm trọng đến các bước xử lý sau như phân tích ngữ pháp,ngữ nghĩa vì một từ bị tách sai có ảnh hưởng toàn bộ đến cách phân tích cả câu.

Ngoài ra tiêu chí độ chính xác của tách từ mới cũng quan trọng với các ứngdụng thực tế vì nó luôn luôn biến đổi theo thời gian Các từ mới thuần Việt cũng nhưvay mượn được tạo ra hàng ngày Vì thế, ta cần xử lý được những vấn đề này để ứngdụng đạt được hiệu năng tốt hơn.

b Phân tách câu tiếng Việt

Word Segmentation hay phân tách câu là một phần khá cơ bản trong các kỹthuật xử lý của NLP Nhiệm vụ chính của phân tách câu là tách một đoạn, một chuỗicác ký tự (text) thành những từ (word hay token) riêng lẻ.

c Phương pháp mô hình ngôn ngữ

Một mô hình ngôn ngữ cố nắm bắt trực giác của con người về một câu “tựnhiên” hoặc “không tự nhiên” do đó mô hình ngôn ngữ có thể coi là giải pháp tối hậucho bài toán tách từ Số cách tách từ cho một câu có thể rất lớn do tổ hợp lớn nên cầncó một bước xử lý để lọc ra một số lượng vừa đủ các cách tách từ làm đầu vào cho môhình ngôn ngữ Ví dụ như vnTokenizer sử dụng phương pháp đồ thị hóa trước khi ápdụng mô hình ngôn ngữ.

d Tự động thêm dấu

Chữ viết tiếng Việt là chữ viết có dấu thanh Do đó, trong nhiều trường hợp nhưtìm kiếm, người dùng thông thường không gõ dấu thanh hay gõ sai dấu sẽ gây ranhững khó khăn cho việc máy tính hiểu ý nghĩa của chúng.

Trang 29

CHƯƠNG 2: CÁC PHƯƠNG PHÁP XÁC ĐỊNH MỨC ĐỘ TƯƠNGTỰ DỰA TRÊN TỪ NGỮ

2.1.Bài toán so sánh văn bản tiếng Việt

2.1.1 Phát biểu về bài toán

Ngày nay, công nghệ càng phát triển thì máy tính càng trở thành một công cụhỗ trợ đắc lực đối với mỗi cá nhân trong công việc và học tập và do đó việc quản lý dữliệu văn bản dưới dạng điện tử cũng gây ra nhiều khó khăn Trước tình trạng này, mộtvấn đề được đặt ra là làm thế nào để so sánh được giữa các văn bản này là giống haykhác nhau Từ đó, bài toán so sánh độ tương đồng văn bản ra đời nhằm giải quyết vấnđề trên Trong xử lý ngôn ngữ tự nhiên, đã có nhiều nghiên cứu, ứng dụng xây dựng hệthống đánh giá độ tương tự giữa các văn bản tiếng Anh đạt được thành tựu cao Cácứng dụng, hệ thống hữu ích trong việc phát hiện sự vi phạm bản quyền tác giả nhưTurnitin, Writecheck, Grammarly, Plagium…

Đối với xử lý ngôn ngữ tiếng Việt, hiện nay cũng đã xuất hiện các nghiên cứuchúng song tỉ lệ này vẫn chiếm khá ít Trong tiếng Anh, kho ngữ liệu hay mạng từtiếng Anh đã và đang phát triển rất tốt nên hiệu quả của các hệ thống so sánh đã cài đặtlà rất cao Do đặc điểm của ngôn ngữ tiếng Việt có nhiều điểm khác với tiếng Anh nênviệc xử lý văn bản và xây dựng được kho ngữ liệu chuẩn và đầy đủ là một vấn đề khókhăn Cho đến nay, các phương pháp đánh giá độ tương tự văn bản vẫn đang đượcnghiên cứu và phát triển.

2.1.2 Đặc điểm của ngôn ngữ tiếng Việt

2.1.2.1.Cấu tạo từ tiếng Việt

Nguyên tắc tách từ cho tiếng Việt xét các loại đơn vị từ vựng sau đây:

- Tiếng: là đơn vị cơ sở để cấu tạo nên từ, là đơn vị nhỏ nhất có nội dungđược thể hiện Về mặt ý nghĩa, các tiếng có thể chia thành các loại như tiếngtự thân nó đã có ý nghĩa, tự thân nó không có ý nghĩa và thường đi với mộttiếng khác có nghĩa và làm thay đổi sắc thái của tiếng đó hay tiếng tự thânPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 30

nó không có ý nghĩa nhưng có thể ghép cặp với nhau để tạo thành từ cónghĩa.

- Từ, cụm từ:

Từ là đơn vị nhỏ nhất, cấu tạo ổn định, mang nghĩa hoàn chỉnh đượcdùng để cấu thành nên câu Từ có thể làm tên gọi của sự vật (danh từ), chỉ cáchoạt động (động từ), trạng thái, tính chất (tính từ), Từ là công cụ biểu thị kháiniệm của con người đối với hiện thực.

Từ là đơn vị ngôn ngữ độc lập, có sẵn, là chỉnh thể gồm hai mặt âm vànghĩa Từ được cấu tạo từ một tiếng được gọi là từ đơn, từ được cấu tạo bởinhiều tiếng là từ ghép, giữa các tiếng có mối quan hệ về nghĩa.

Cụm từ là những kiến trúc gồm hai từ trở lên kết hợp với nhau theonhững quan hệ nhất định Ví dụ:

+ Từ “mặt” là từ gồm một tiếng+ Từ “mặt trời” là từ gồm 2 tiếng

+ Cụm từ “khoa học xã hội” gồm 2 từ hay 4 tiếng.

- Câu: là một tập hợp từ, ngữ kết hợp với nhau theo những quan hệ cú phápxác định, được tạo ra trong quá trình tư duy, giao tiếp, có giá trị thông báovà gắn liền với mục đích giao tiếp.

2.1.2.3.Từ đồng âm khác nghĩa

Trang 31

Từ đồng âm khác nghĩa là những từ giống nhau về ngữ âm nhưng khác nhau vềý nghĩa của nhiều đơn vị ngôn ngữ riêng biệt Hiện tượng đồng âm có thể xảy ra ởnhiều cấp độ khác nhau như ở cấp độ câu, cụm, từ nhưng phổ biến hơn là hiện tượngđồng âm ở cấp độ từ vì đơn vị ngôn ngữ càng ở cấp độ đơn giản thì hiện tượng đồngâm càng dễ xảy ra.

Ở cấp độ từ vựng, hai từ được gọi là đồng âm khi chúng có hình thức ngữ âmgiống nhau và nghĩa khác nhau Ví dụ: đá (đá bóng), đá (hòn đá),

Phân loại các từ đồng âm: căn cứ vào chỗ khác nhau về nghĩa từ vựng và phạmtrù ngữ pháp, từ đồng âm tiếng Việt được chia làm 2 loại:

- Từ đồng âm từ vựng: đường (đi), đường (ăn).

- Từ đồng âm từ vựng – ngữ pháp: câu (cá), câu (nói).Căn cứ vào nguồn gốc, từ đồng đồng âm được chia làm 3 loại:- Từ đồng âm ngẫu nhiên.

- Từ đồng âm tạo ra do sự diễn biến ngữ âm.

- Từ đồng âm tạo nên do sự phát triển và tách rời nghĩa của từ đa nghĩa.Hiện tượng đồng âm nói chung hay từ đồng âm nói riêng là một hiện tượng kháphổ biến trong tiếng Việt.

2.1.2.4.Đặc điểm chính tả

Chính tả là sự chuẩn hóa hình thức chữ viết của ngôn ngữ Đó là một hệ thốngcác quy tắc về cách viết các âm vị, âm tiết, từ, cách dùng dấu câu, lối viết hoa, Đặcđiểm chính tả tiếng Việt có ý nghĩa rất quan trọng trong các hệ thống xử lý dữ liệu vănbản Một số đặc điểm chính tả tiếng Việt cần quan tâm như:

- Các tiếng đồng âm: kĩ/ kỹ, lí/ lý, thường được sử dụng lẫn lộn nhau như kĩthuật, kỹ thuật, vật lý, vật lí,

- Các từ địa phương: một số từ địa phương thường được sử dụng thay cho cáctừ phổ thông như: ló/lúa, lạc/đậu phộng, dứa/thơm,

- Vị trí dấu thanh: theo quy định đánh dấu trong tiếng Việt thì dấu được đặttrên nguyên âm có điểm cao nhất Tuy nhiên khi soạn thảo văn bản nhiều bộgõ không tuân thủ nguyên tắc này nên có hiện tượng dấu được đặt ở các vịtrí khác nhau, chẳng hạn như thúy, thuý, toán, tóan,

Trang 32

- Cách viết hoa: theo quy định chữ cái đầu tiên và tên riêng phải viết hoa, tuynhiên vẫn còn một số trường hợp viết hoa không đúng quy tắc.

- Phiên âm nước ngoài: tồn tại các cách viết giữ nguyên gốc tiếng nước ngoàivà phiên âm ra tiếng Việt Ví dụ như vector/véc tơ, motor/mô tơ,

- Từ gạch nối: do cách viết dấu gạch nối tùy tiện, không phân biệt được nốigiữa tên riêng hay chú thích.

- Ký tự ngắt câu: sử dụng nhiều các loại ký tự đặc biệt như “.”, “,” , “!”, “?”,“ ” ngăn cách giữa các câu hoặc các vế trong câu ghép.

Hiện nay có khá nhiều cách mã hóa các kí tự tiếng Việt khác nhau, dẫn đến cónhiều bảng mã khác nhau được sử dụng khi trình bày văn bản và mỗi bảng mã có cácbộ phông chữ tương ứng Do các bảng mã chưa có sự thống nhất khi biểu diễn trênmáy tính nên việc thu thập, khai thác xử lý tiếng Việt gặp nhiều khó khăn, đòi hỏi cáchệ thống xử lý tiếng Việt cần phải có bước tiền xử lý để nhận dạng và quy chuẩn các kítự về một bảng mã chung.

2.1.2.5.Tiền xử lý văn bản

Văn bản trước khi đưa vào mô hình xử lý cần được tiền xử lý Quá trình này sẽgiúp nâng cao hiệu quả của mô hình và giảm độ phức tạp của thuật toán được cài đặtvì nó có nhiệm vụ làm giảm số từ có trong biểu diễn văn bản Các bước xử lý văn bảngồm: tách từ, loại bỏ từ có tần số thấp và xác định từ đồng nghĩa.

a) Tách từ

Trong tiếng Việt, dấu cách (space) không được sử dụng như 1 kí hiệu để phântách từ, nó chỉ có ý nghĩa phân tách các âm tiết với nhau Vì thế để xử lý tiếng Việt,công đoạn tách từ là 1 trong những bài toán cơ bản và quan trọng nhất.

Ví dụ, từ “đất nước” được tạo ra từ 2 âm tiết “đất” và “nước”, cả 2 âm tiết nàyđều có nghĩa riêng khi chúng độc lập nhưng khi ghép lại sẽ mang một nghĩa khác Dođó, tách từ trở thành một bài toán tiền đề cho các bài toán xử lý ngôn ngữ tự nhiênkhác như phân loại văn bản, so sánh văn bản, tóm tắt văn bản, máy dịch tự động.

Tách từ chính xác là một việc rất quan trọng, nếu không chính xác rất có thểdẫn đến câu được hiểu sai ý nghĩa và ảnh hưởng đến tính chính xác của chương trình.Phuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 33

Việc này có nhiệm vụ xác định các từ có trong văn bản và đưa ra một tập các từ riêngbiệt Các trường hợp như số, dấu ngoặc, dấu chấm câu thường bị loại ra trong khi phântích vì một mình nó không mang lại ý nghĩa nào cho tài liệu (ngoại trừ một số trườnghợp đặc biệt, ví dụ như thu thập thông tin về lĩnh vực lịch sử) Tuy nhiên trong một sốtrường hợp như đối với những từ ghép nối (state-of-art) không được phép bỏ dấu “-“ vìsẽ làm thay đổi nghĩa của từ.

Hiện nay, đã có nhiều công trình nghiên cứu xây dựng mô hình tách từ tiếngViệt và đã đạt được kết quả chính xác cao như mô hình tách từ bằng WFST (WeightedFinite-State Transducers) và mạng Neural đã được sử dụng trong công trình của tác giảĐình Điền (2021) Công cụ tách từ JvnTextPro hay vnTokenizer Bài toán tách từ gồmhai hướng đó là dựa trên từ và dựa trên kí tự.

o Hướng tiếp cận dựa trên từ điển: ý tưởng của hướng tiếp cận này lànhững cụm từ được tách ra từ văn bản phải được so khớp với các từPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 34

trong từ điển Do đó trong hướng tiếp cận này đòi hỏi từ điển riêngcho từng lĩnh vực quan tâm.

o Hướng tiếp cận theo Hybrid: với mục đích kết hợp các hướng tiếpcận khác nhau để thừa hưởng được các ưu điểm của nhiều kỹ thuật vàcác hướng tiếp cận khác nhau nhằm nâng cao kết quả Hướng tiếpcận này thường kết hợp giữa hướng dựa trên thống kê và dựa trên từđiển nhằm tận dụng các mặt mạnh của các phương pháp này Tuynhiên, hướng tiếp cận Hybrid lại mất nhiều thời gian xử lý, khônggian đĩa và đòi nhiều chi phí.

- Hướng tiếp cận dựa trên kí tự: có thể được chia làm 2 nhóm nhỏ là uni-gramvà n-gram.

o Trong tiếng Việt, hình vị nhỏ nhất là “tiếng” được hình thành bởinhiều kí tự trong bảng chữ cái Hướng tiếp cận này đơn thuần rúttrích ra một số lượng nhất định các tiếng trong văn bản như rút tríchtừ 1 ký tự (uni-gram) hay nhiều ký tự (n-gram) Theo nghiên cứu thìhướng tiếp cận dựa trên nhiều ký tự có ưu điểm nổi bật hơn Nó đơngiản, dễ ứng dụng, ngoài ra còn đỡ tốn chi phí cho thao tác tạo chỉmục và xử lý nhiều câu truy vấn.

- Một số phương pháp tách từ hiện nay:

o Phương pháp Maximum Matching: Forward/Backward

Phương pháp khớp tối đa (MM – Maximum Matching): ở phương pháp này,chúng ta sẽ duyệt một ngôn ngữ hoặc một câu từ trái sang phải và chọn từ có nhiều âmtiết nhất có mặt trong từ điển và cứ thực hiện lặp như vậy cho đến hết câu.

Dạng đơn giản của phương pháp dùng để giải quyết sự nhập nhằng từ đơn Giảsử chúng ta có một chuỗi ký tự C1, C2, … Cn Chúng ta sẽ áp dụng phương pháp từ đầuchuỗi Đầu tiên kiểm tra xem C1có phải là từ hay không, sau đó kiểm tra xem C1C2cóphải là từ hay không Tiếp tục thực hiện như thế cho đến khi tìm được từ dài nhất.

Dạng phức tạp: quy tắc của dạng này là phân đoạn từ Thông thường người tachọn phân đoạn 3 từ có chiều dài tối đa Thuật toán bắt đầu từ dạng đơn giản, cụ thể lànếu phát hiện ra những cách tách từ gây nhập nhằng, như ví dụ ở trên, giả sử C1là từPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 35

và C1C2cũng là một từ, khi đó chúng ta kiểm tra ký tự kế tiếp trong chuỗi C1, C2, …Cnđể tìm tất cả các đoạn có 3 từ bắt đầu với C1hoặc C1C2.

Phương pháp này thực hiện tách từ đơn giản, nhanh và chỉ cần dựa vào từ điểnđể thực hiện Và vì độ chính xác khi thực hiện tách từ phụ thuộc hoàn toàn vào tính đủ,tính chính xác của từ điển nên nó cũng trở thành một vấn đề đáng quan tâm.

o Phương pháp Transformation-based Learning (TBL)

Phương pháp này tiếp cận dựa trên tập ngữ liệu đã đánh dấu Theo cách tiếp cậnnày để cho máy tính có thể nhận biết ranh giới giữa các từ để có thể tách từ chính xác,chúng ta sẽ cho máy học các câu mẫu trong tập ngữ liệu đã được đánh dấu ranh giớigiữa các từ đúng Với phương pháp này, chúng ta chỉ cần cho máy học tập các mẫu câuvà sau đó máy sẽ tự rút ra quy luật của ngôn ngữ và để từ đó sẽ áp dụng chính xác khicó những câu đúng theo quy luật mà máy đã rút ra Và rõ ràng để tách từ được hoàntoàn chính xác trong mọi trường hợp thì đòi hỏi cần phải có một tập ngữ liệu tiếng Việtthầy đầy đủ và phải được huấn luyện lâu để có thể rút ra các luật đầy đủ.

o Mô hình tách từ bằng WFST và mạng Neural

Mô hình mạng chuyển dịch trạng thái hữu hạn có trọng số WFST – WeightedFinite-State Transducers đã được áp dụng trong tách từ từ năm 1996 Ý tưởng cơ bảnlà áp dụng WFST với trọng số là xác suất xuất hiện của mỗi từ trong kho ngữ liệu.Dùng WFST để duyệt qua các câu cần xét, khi đó từ có trọng số lớn nhất là từ đượcchọn để tách Phương pháp này cũng đã được sử dụng trong công trình đã được côngbố của tác giả Đình Điền, tác giả đã sử dụng WFST để tách từ và xử lý các vấn đề liênquan đến một số đặc thù riêng của ngôn ngữ tiếng Việt như từ láy, tên riêng,… và tầngmạng Neural dùng để khử nhập nhằng về ngữ nghĩa sau khi đã tách từ.

o Phương pháp tách từ tiếng Việt dựa trên thống kê từ Internet vàthuật giải di truyền

Phương pháp tách từ tiếng Việt dựa trên thống kê từ Internet và thuật toán giảithuật di truyền – IGATEC (Internet and Genetics Algorithm based Text Categorizationfor Documents in VietNamese) do H.Nguyễn đề xuất năm 2005 như một hướng tiếpcận mới trong tách từ với mục đích phân loại văn bản mà không cần dùng đến một từPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 36

điển hay tập ngữ liệu học nào Trong hướng tiếp cận này, tác giả kết hợp giữa thuậttoán di truyền với dữ liệu thống kê được lấy từ Internet.

o Sự nhập nhằng trong tách từ tiếng Việt

Nhập nhằng chồng chéo: chuỗi “abcd” được gọi là nhập nhằng chồng chéo nếunhư từ “abc”, “bcd” đều xuất hiện trong từ điển, ví dụ trong câu “Chiếc ô tô màu đỏ”thì chuỗi “Chiếc ô tô” nhập nhằng chồng chéo vì các từ “chiếc ô” và “tô màu” đều cótrong từ điển.

Nhập nhằng kết hợp: chuỗi “abcd” gọi là nhập nhằng kết hợp nếu các từ thànhphần “ab”, “cd”, “abcd” đều xuất hiện trong từ điển.

b) Loại bỏ từ dừng (stop words)

Từ dừng là những từ xuất hiện nhiều trong ngôn ngữ tự nhiên, tuy nhiên lạikhông mang nhiều ý nghĩa Trong tiếng Việt từ dừng là những từ như: “như vậy”, “sauđó”, “một số”, “chỉ”,…

Có rất nhiều cách để loại bỏ từ dừng nhưng có 2 cách chính là dùng từ điển vàdựa theo tần suất xuất hiện của từ.

Với phương pháp dùng từ điển: cách này đơn giản nhất, chúng ta tiến hành việclọc văn bản, loại bỏ những từ xuất hiện trong StopWords.

Với phương pháp dựa theo tần suất xuất hiện của từ chúng ta tiến hành đếm sốlần xuất hiện của từng từ trong data, sau đó sẽ loại bỏ những từ xuất hiện nhiều lần(cũng có thể là ít lần).

2.1.2.6.Biểu diễn văn bản

Trang 37

Sau khi văn bản được tiền xử lý ta sử dụng các phương pháp để biểu diễn đặctrưng của văn bản Tùy theo thuật toán được áp dụng để so sánh văn bản mà ta lựachọn cách biểu diễn phù hợp Phổ biến nhất là phương pháp biểu diễn văn bản bằngvector.

2.2.Độ tương đồng văn bản về mặt từ ngữ (Text Similarity)

2.2.1 Các thuật toán chuyển đổi văn bản sang Embedding.

Word Embedding – Vector hóa văn bản: là một bước quan trọng trong bất kỳbài toán nào của NLP Thông thường, máy tính không thể hiểu được ý nghĩa của cáctừ Vì vậy, để xử lý được ngôn ngữ tự nhiên, ta cần có một phương pháp để biểu diễnvăn bản dưới dạng mà máy tính có thể hiểu được Phương pháp tiêu chuẩn để biểudiễn văn bản đó là biểu diễn các văn bản theo dạng vector Trong đó, các từ, cụm từthuộc kho tài liệu ngôn ngữ ánh xạ thành những vector trên hệ không gian số thực Tacó thể chia các phương pháp Vector hóa văn bản thành hai nhóm chính: phương phápWord Embedding cổ điển và Neural Embedding (Vector hóa văn bản theo phươngpháp mạng nơ-ron).

- Phương pháp Word Embedding cổ điển: Bag of Words (BoW), TF-IDF,Distributional Embedding.

- Phương pháp Neural Embedding: Word2Vec, Glove, FastText

2.2.1.1.Bag of Words (BoW)

Đây là cách biểu diễn vector truyền thống phổ biến nhất được sử dụng, mỗi từhoặc n-gram từ sẽ được mô tả là một vector có số chiều bằng đúng số từ trong bộ từvựng Tại vị trí tương ứng với vị trí của từ đó trong túi từ, phần tử vector đó sẽ đượcđánh dấu là “1” Những vị trí còn lại sẽ được đánh dấu là “0”.

TF-IDF là viết tắt của Term frequency-inverse document frequency Nó là mộtcông cụ vector văn bản chuyển văn bản thành dạng vector Nó là sự kết hợp của tầnsuất thuật ngữ và tần suất tài liệu nghịch đảo.

TF-IDF được tính theo công thức sau:

Trang 38

IDF (Inverse Document Frequency) của một từ là thước đo mức độ quan trọngcủa thuật ngữ đó trong toàn bộ ngữ liệu, tập văn bản (corpus) Mỗi từ chỉ có một giá trịIDF duy nhất trong tập văn bản.

IDF(t, D) = log | 𝑑 ∊ 𝐷 : 𝑡 ∊ 𝑑{ |𝐷| }|Trong đó: |D| : tổng số văn bản trong tập D

: số văn bản chứa từ nhất định, với điều kiện t| 𝑑 ∊ 𝐷 : 𝑡 ∊ 𝑑{ }|

xuất hiện trong văn bản Nếu từ đó không xuất hiện ở bất cứ một văn bản nàotrong tập thì mẫu số sẽ bằng 0 phép chia cho 0 không hợp lệ, lúc đó người tathường thay mẫu bằng biểu thức: 1 +| 𝑑 ∊ 𝐷 : 𝑡 ∊ 𝑑{ }|.

Ví dụ: Nếu từ “thương mại” xuất hiện 50 lần trong tài liệu 1000 từ Và nếu có10000 tài liệu, từ “thương mại” xuất hiện trong 500 tài liệu Thì lúc này:

TF của “thương mại” là: 50/1000 = 0.05IDF: log(10000/500) = 1.3

TF-IDF của “thương mại” là: 0.05*1.3 = 0.065.

Những từ có giá trị TF-IDF cao là những từ xuất hiện nhiều trong văn bản nàyvà ít xuất hiện trong văn bản khác Việc này giúp lọc ra những từ phổ biến và giữ lạinhững từ có giá trị cao ( từ khóa của văn bản đó).

TF-IDF được nghiên cứu dựa trên logic rằng nếu từ một cụ thể có tần suất xuấthiện rất cao hoặc xuất hiện rất thấp, thì trong cả hai trường hợp này từ đó không có ýnghĩa đối với việc tìm kiếm bất kỳ thông tin có ý nghĩa nào Vì vậy, giá trị cao hơn củaTF-IDF mô tả ý nghĩa cao hơn của các từ trong khi giá trị thấp hơn biểu thị ý nghĩathấp hơn.

Trang 39

Word2vec là một loại mô hình nhúng từ sử dụng mạng nơ-ron để lấy biểu diễnnhúng của các từ trong kho ngữ liệu (tập hợp tài liệu) Word2vec có khả năng nắm bắtrất tốt ý nghĩa ngữ cảnh của các từ Nhúng từ (word embedding) là một biểu diễnvector n chiều của một thuật ngữ sao cho thuật ngữ tương tự có không gian vectortương tự dựa trên dữ liệu huấn luyện.

Word2vec chủ yếu sử dụng hai loại kiến trúc để tạo biểu diễn vector của các từđó là CBOW và Skip-gram Cả hai phương pháp này đều lấy đầu vào là biểu diễn mãhóa duy nhất của các từ Để có được biểu diễn này, bàn chỉ cần xây dựng một vectorcó kích thước bằng số từ duy nhất trong kho ngữ liệu của bạn, sau đó mỗi từ sẽ đượcbiểu diễn dưới dạng một vị trí cụ thể và các số không ở tất cả các vị trí khác củavector.

Ví dụ: giả sử kho ngữ liệu của chúng ta chỉ có 3 từ: ô tô, hoa, cà phê Ta có thểđại diện cho chúng là:

ô tô: [1, 0, 0]hoa: [0, 1, 0]cà phê: [0, 0, 1]

Trong word2vec không quan tâm đến đầu ra của mô hình mà chỉ quan tâm đếntrọng số của lớp ẩn Các trọng số đó sẽ là các phần nhúng của các từ.

Ý tưởng cơ bản của word2vec có thể được gói gọn trong các ý sau:

o Hai từ xuất hiện trong những văn cảnh giống nhau thường có ý nghĩagần với nhau.

o Có thể đoán được một từ nếu biết các từ xung quanh nó trong câu Ví dụ,với câu “Con hổ là một loài … ăn thịt” thì từ trong dấu ba chấm có khảnăng cao là “động vật” Với câu hoàn chỉnh “Con hổ là một loài động vậtăn thịt”, mô hình word2vec sẽ xây dựng ra embedding của các từ sao choxác suất để từ trong dấu ba chấm là “động vật” là cao nhất.

Trong ví dụ trên, “động vật” đang được xét và được gọi là target word hay từđích Những từ xung quanh nó còn được gọi là context words hay từ ngữ cảnh Vớimỗi từ đích trong một câu của cơ sở dữ liệu, các từ ngữ cảnh được định nghĩa là các từPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van BanPhuong Phap Xac Dinh Do Tuong Tu Giua Hai Van Ban852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM852410068:24:25 PM8:24:25 PM

Trang 40

trong cùng câu có vị trí cách từ đích một khoảng không quá C/2 với C là một số tựnhiên dương.

Cách truyền thống để thể hiện một từ là dùng one-hot vector.

CBOW phù hợp với các bộ dữ liệu lớn khi mà số mẫu huấn luyện được tạo ra từngữ cảnh (chỉ là một) ít hơn nhiều so với Skip-gram (tỉ lệ với kích thước cửa sổ ngữcảnh) CBOW biểu diễn tốt hơn các từ xảy ra thường xuyên.