Phân tích cảm xúc dựa trên khía cạnh

GIỚI THIỆU ĐỀ TÀI

Giới thiệu bài toán

Với sự phát triển của công nghệ và Internet, các phương tiện truyền thông xã hội như mạng xã hội và diễn đàn đã tạo điều kiện cho mọi người chia sẻ thông tin và bày tỏ quan điểm về sản phẩm, dịch vụ cũng như các vấn đề xã hội Internet đã trở thành nguồn thông tin quý giá và thiết yếu trong cuộc sống hiện đại.

Ngày nay, thông tin trở thành tài liệu tham khảo quan trọng giúp người tiêu dùng đưa ra quyết định mua sắm sản phẩm và dịch vụ Nó cũng cung cấp phản hồi quý giá cho các nhà sản xuất và nhà cung cấp dịch vụ, giúp họ cải thiện sản phẩm để đáp ứng tốt hơn nhu cầu của khách hàng Hơn nữa, thông tin này còn hỗ trợ các cơ quan chức năng hiểu rõ thái độ và ý kiến của người dân về các sự kiện xã hội, từ đó thực hiện những điều chỉnh phù hợp.

Phân tích cảm xúc dựa trên khía cạnh(Aspect Based Sentiment Analysis

Phân tích cảm xúc đối với các đối tượng cụ thể (ABSA) đóng vai trò quan trọng trong xử lý ngôn ngữ tự nhiên, giúp khai thác ý kiến từ văn bản Phân tích này cung cấp thông tin chi tiết quý giá cho người tiêu dùng và doanh nghiệp, hỗ trợ việc đưa ra quyết định thông minh hơn.

Mục tiêu và phạm vi đề tài

Đề tài này nghiên cứu các phương pháp giải quyết bài toán phân tích cảm xúc theo khía cạnh và phát triển một mô hình phân tích cảm xúc cho ngôn ngữ tiếng Việt dựa trên những phương pháp đã được tìm hiểu.

Từ mục tiêu đó tác giả đề ra các mục tiêu cụ thể như sau:

− Tìm hiểu các công trình nghiên cứu liên quan đến bài toán Phân tích cảm xúc dựa trên khía cạnh.

Nghiên cứu về mạng nơ-ron nhân tạo và xử lý ngôn ngữ tự nhiên là rất quan trọng trong việc phân tích cảm xúc theo từng khía cạnh Những kiến thức này giúp cải thiện khả năng hiểu và phân tích dữ liệu ngôn ngữ, từ đó nâng cao độ chính xác trong việc nhận diện cảm xúc Việc áp dụng các công nghệ này vào bài toán phân tích cảm xúc không chỉ mang lại những kết quả đáng tin cậy mà còn hỗ trợ các ứng dụng thực tiễn trong nhiều lĩnh vực khác nhau.

Nghiên cứu của Chi Sun và cộng sự [2] trình bày phương pháp ứng dụng mô hình BERT [1] đã được huấn luyện trước nhằm phân tích cảm xúc dựa trên khía cạnh, thông qua việc xây dựng câu phụ trợ Phương pháp này hứa hẹn mang lại hiệu quả cao trong việc hiểu và phân tích cảm xúc từ văn bản.

− Xây dựng một mô hình Phân tích cảm xúc dựa trên khía cạnh cho ngôn ngữ Tiếng Việt dựa vào các phương pháp đã tìm hiểu được.

Cấu trúc luận văn

Luận văn được cấu trúc thành 7 chương, bắt đầu với một cái nhìn tổng quan về đề tài, mục tiêu và phạm vi nghiên cứu trong Chương 1 Các chương tiếp theo sẽ trình bày kiến thức nền tảng, các nghiên cứu liên quan đến phân tích cảm xúc dựa trên khía cạnh, cùng với mô hình đề xuất và kết quả thí nghiệm Mỗi chương sẽ cung cấp thông tin chi tiết để người đọc hiểu rõ hơn về các khía cạnh của nghiên cứu này.

CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN

Sử dụng đặc trưng n-grams và từ điển cảm xúc

Năm 2014, Wagner và các cộng sự đã phát triển một phương pháp mới sử dụng đặc trưng n-grams (từ 1 đến 5) kết hợp với điểm số từ một từ điển cảm xúc để tạo ra các đặc trưng cho câu đầu vào.

Hệ thống phân loại sử dụng học máy có giám sát với SVM nhằm phân loại khía cạnh vào bốn lớp khác nhau Đặc trưng được xây dựng từ "word n-grams" (với n từ 1 đến 5) xung quanh từ chỉ khía cạnh, kết hợp với các đặc trưng trích xuất từ điểm số trong từ điển cảm xúc.

Có bốn từ điển cảm xúc được sử dụng, bao gồm:

− MPQA [4] phân loại một từ hoặc một cụm vào các lớp tích cực, tiêu cực, cả hai hoặc trung tính với mức độ chủ quan mạnh hoặc yếu.

Bảng 2.1 trình bày độ chính xác của hệ thống cơ sở, trong đó hệ thống phân loại tất cả các mẫu vào lớp tích cực, hệ thống dựa trên các quy tắc, và hệ thống sử dụng SVM trên cả tập huấn luyện và tập đánh giá.

− SentiWordNet[5] đầu ra là nhãn tích cực hoặc tiêu cực cùng với điểm số chủ quan.

− General Inquirer xác định một từ biểu diễn cảm xúc tích cực hay tiêu cực

− Bing Liu’s Opinion Lexicon [6] xác định một từ biểu diễn cảm xúc tích cực hay tiêu cực

Nhóm tác giả đã xây dựng một hệ thống phân loại thái cực cảm xúc dựa trên điểm số từ các từ điển cảm xúc, sử dụng phương pháp rule-based Hệ thống này được cải tiến bằng cách kết hợp các đặc trưng từ các luật với đặc trưng bag-of-n-gram, phục vụ cho việc phát triển một mô hình học máy giám sát sử dụng SVM.

Bảng 2.1 trình bày độ chính xác trong quá trình huấn luyện và đánh giá của các hệ thống cơ sở, bao gồm hệ thống phân loại tất cả các mẫu là tích cực, hệ thống dựa trên luật, và hệ thống sử dụng SVM.

Mở rộng mô hình RNN và AdaRNN cho bài toán Phân tích cảm xúc dựa trên khía cạnh

toán Phân tích cảm xúc dựa trên khía cạnh

Năm 2015, Thien Hai Nguyen và các cộng sự đã phát triển một phương pháp mới sử dụng mạng nơ-ron hồi quy (RNN) để phân tích cảm xúc theo khía cạnh Phương pháp này đã cho thấy độ chính xác vượt trội so với những kỹ thuật trước đó.

Nhóm tác giả đề xuất một mô hình mở rộng của RNN và AdaRNN, nhằm làm phong phú hơn biểu diễn khía cạnh bằng cách khai thác thông tin cú pháp từ cả cây phụ thuộc và cây cấu thành của câu.

Trong RNN và AdaRNN, một câu với khía cạnh sẽ được xây dựng thành cây phụ thuộc nhị phân, biểu thị các quan hệ cú pháp liên quan đến khía cạnh đó Mỗi từ hoặc cụm từ trong cây được đại diện bằng một véc tơ d chiều Để tính toán biểu diễn của một nút cha, chúng ta kết hợp các vectơ biểu diễn của nút con bên trái và bên phải thông qua hàm toàn cục g trong RNN: g(v l ,v r ) = W.

+b (2.1) trong đóW ∈ R d× 2 d là ma trận hợp (composition matrix) và b∈R d là độ lệch (bias) Cuối cùngv= f(g(vl,V r )) trong đó f là một hàm phi tuyến ví dụ như hàmtanh.

Thay vì chỉ sử dụng một hàm toàn cục g duy nhất, AdaRNN áp dụng n hàm tổng hợp G={g1, , gn} và lựa chọn chúng dựa trên các thẻ ngôn ngữ Quá trình này cho phép kết hợp các véc-tơ thông qua hàm f, tạo ra sự linh hoạt và chính xác hơn trong việc xử lý ngôn ngữ.

Mô hình PhraseRNN sử dụng "cây phụ thuộc cụm từ nhị phân phụ thuộc mục tiêu" để biểu diễn các khía cạnh, cây này được tạo ra từ sự kết hợp giữa cây thành phần và cây phụ thuộc.

Cấu trúc phân cấp trong PhraseRNN bao gồm cây phụ thuộc, cây phụ thuộc cụm và cây phụ thuộc cụm từ nhị phân phụ thuộc mục tiêu Đầu tiên, các cụm cơ bản được trích xuất từ cây thành phần của câu Từ cây phụ thuộc và danh sách các cụm, một cây phụ thuộc cụm được tạo ra Sau đó, cây phụ thuộc cụm này được chuyển đổi thành cây phụ thuộc cụm từ nhị phân phụ thuộc mục tiêu, trong đó mỗi nốt được biểu diễn dưới dạng một véc tơ chiều PhraseRNN áp dụng hai loại hàm tổng hợp khác nhau, kết hợp chúng để tạo ra bốn mô hình, với kết quả đánh giá được trình bày trong bảng 2.2.

Phương pháp Accuracy Precision Recall F-measure

Bảng 2.2: Kết quả đánh giá các phương pháp PhraseRNN

CƠ SỞ KIẾN THỨC

Word Embedding

Word Embedding là một phương pháp hiệu quả trong việc biểu diễn từ.

Vector biểu diễn từ có khả năng nắm bắt ngữ nghĩa của từ thông qua các vectơ số, cho phép máy tính xử lý hiệu quả Trong số nhiều kỹ thuật Word Embedding được đề xuất, Word2vec nổi bật như một phương pháp phổ biến.

[9], GloVe [10], fastText [11], ELMO [12] và BERT Nói chung, một kỹ thuật word embedding cần thoả mãn các điều kiện sau:

− Chỉ có một biểu diễn duy nhất cho mỗi từ, hai từ khác nhau được biểu diễn bằng hai vectơ khác nhau.

− Hai từ giống nhau về ngữ nghĩa nên được biểu diễn bằng hai vectơ tương tự nhau, gần nhau về khoảng cách trong không gian các vectơ.

3.1.1 Biểu diễn từ bằng vectơ one-hot

Vectơ one-hot là một kỹ thuật mã hóa dữ liệu phân loại thành các vectơ số nhị phân, trong đó chỉ một chiều duy nhất có giá trị 1, còn lại là 0 Kỹ thuật này cho phép biểu diễn tất cả các từ trong một văn bản dưới dạng vectơ one-hot, với số chiều tương ứng với số lượng từ vựng của ngôn ngữ.

Mã hoá one-hot là một phương pháp chuyển đổi từ trong từ điển thành vectơ số, phổ biến trong các mô hình xử lý ngôn ngữ tự nhiên và học máy, nhất là khi kích thước từ vựng nhỏ Kỹ thuật này đảm bảo rằng mỗi từ được biểu diễn bằng một vectơ riêng biệt Tuy nhiên, nó cũng tồn tại một số nhược điểm cần được xem xét.

Khi làm việc với một tập từ vựng lớn, phương pháp này tạo ra các vectơ thưa với nhiều chiều, trong đó hầu hết các chiều đều có giá trị bằng 0.

− Kỹ thuật này không biểu diễn được sự khác nhau về mặt ngữ nghĩa của các từ Hai vectơ one-hot bất kỳ luôn có khoảng cách

Word2vec là một kỹ thuật nổi bật trong Xử lý ngôn ngữ tự nhiên, được công bố vào năm 2013 bởi nhóm nghiên cứu do Tomas Mikolov dẫn dắt Kỹ thuật này cải tiến mô hình AutoEncoder bằng cách chuyển đổi từng từ trong văn bản thành vectơ, dựa trên thông tin ngữ cảnh, giúp giải quyết các vấn đề về ý nghĩa ngữ cảnh mà mô hình AutoEncoder gặp phải.

Mô hình này có khả năng học hỏi để tạo ra các vectơ tương đồng cho những từ có chung thông tin ngữ cảnh Thông tin ngữ cảnh của một từ được xác định qua một cửa sổ bao gồm các từ ở bên trái và bên phải, được gọi là các từ ngữ cảnh Kích thước của cửa sổ này, ký hiệu là k, thể hiện số lượng từ bên trái và bên phải của từ đang được xem xét.

Hai kỹ thuật huấn luyện chính của Word2vec là CBOW và Skip-gram

CBOW (Continuous Bag of Words) là một mô hình dự đoán từ dựa trên các từ ngữ cảnh xung quanh Đối với một từ wt tại vị trí t trong chuỗi, các từ ngữ cảnh được xác định là (wt−m, , wt−1, wt+1, , wt+m) Mô hình CBOW giúp hiểu mối quan hệ giữa từ và ngữ cảnh của nó trong văn bản.

Hình 3.1: Mô hình CBOW và Skip-gram

Hình 3.1 Trong đó,C là số lượng từ ngữ cảnh,V là kích thước tập từ vựng,N là số lượng nút của tầng ẩn, N tương đối nhỏ so vớiV.

Khi được huấn luyện với kho văn bản lớn, ta thu được ma trậnW kích thướcV ×N, với ma trận này một vectơ one-hot bất kìe với kích thước

1×V có thể được biến đổi thành một vectơ kích thước1×N.

Mô hình Skip-gram là một phương pháp tương tự như CBOW, nhưng với cách tiếp cận khác biệt khi đầu vào và đầu ra được hoán đổi cho nhau Cụ thể, đầu ra của mô hình Skip-gram là các từ ngữ cảnh liên quan đến một từ đầu vào nhất định.

PHƯƠNG PHÁP ĐỀ XUẤT

Mô tả bài toán

Trong bài toán Phân tích khía cạnh dựa trên cảm xúc, đầu vào bao gồm một câu, một tập hợp các khía cạnh đã được xác định và một tập hợp thái cực cảm xúc Để xử lý câu đầu vào, mô hình cần thực hiện hai bước chính: đầu tiên, xác định các khía cạnh được nhắc đến trong câu; thứ hai, phân loại thái cực cảm xúc tương ứng với từng khía cạnh đó.

Điện thoại này có chất lượng tốt nhưng giá cả lại quá cao, cho thấy một cảm xúc tích cực về sản phẩm nhưng tiêu cực về giá.

"giá cả" với thái cực cảm xúc là "tiêu cực".

Phương pháp tham khảo

Trong quá trình nghiên cứu và thực hiện luận văn, tôi đã tìm hiểu nhiều phương pháp giải quyết bài toán Phân tích cảm xúc từ các khía cạnh khác nhau Cuối cùng, tôi quyết định chọn phương pháp của tác giả Chi Sun và các cộng sự làm phương pháp tham khảo chính cho luận văn này.

Tôi chọn phương pháp của tác giả Chi Sun và các cộng sự vì nó sử dụng mô hình BERT, một trong những mô hình ngôn ngữ tiên tiến và nổi bật trong lĩnh vực Xử lý ngôn ngữ tự nhiên Hơn nữa, mô hình phân loại dựa trên BERT mà nhóm đề xuất rất rõ ràng và dễ dàng áp dụng cho nhiều ngôn ngữ khác nhau.

Nhóm tác giả trong nghiên cứu đã đề xuất xây dựng câu phụ trợ để chuyển đổi bài toán Phân tích cảm xúc theo khía cạnh thành bài toán phân loại Phương pháp này sử dụng đầu vào là một cặp câu, bao gồm câu đầu vào ban đầu và câu phụ trợ.

Có bốn phương pháp xây dựng câu phụ trợ được đề xuất trong công trình tham khảo, đó là:

Câu phụ trợ được hình thành từ các khía cạnh trong tập các khía cạnh ban đầu, và chúng thường là những câu hỏi có cấu trúc tương tự nhau.

For instance, regarding the aspect of "price," the supporting question generated is, "What do you think of the price of it?" This approach transforms the original problem into a multi-class classification task, where the classification labels represent a set of emotional sentiments: {positive, neutral, negative, conflict, none}.

Câu phụ trợ cho NLI được hình thành từ các khía cạnh trong tập khía cạnh ban đầu, bao gồm những câu giả chỉ chứa khía cạnh đó Chẳng hạn, với khía cạnh "giá", câu phụ trợ được tạo ra sẽ là "giá".

Phương pháp giống với phương pháp "Sentences for QA-M", chuyển đổi bài toán gốc thành bài toán phân loại nhiều lớp.

In the QA-B method, emotion classification labels are added to auxiliary sentences, transforming the original problem into a binary classification task with two labels: "yes" and "no." For instance, regarding the aspect of "price," the generated auxiliary sentences include: "the polarity of the aspect price is positive," "the polarity of the aspect price is neutral," "the polarity of the aspect price is negative," and "the polarity of the aspect price is conflict."

The NLI-B method differs from the QA-B approach in that it transforms auxiliary sentences into hypothetical statements For instance, regarding the aspect of "price," the generated auxiliary sentences include variations such as "positive - price" and "neutral - price."

"negative - price", "conflict - price", "none - price"

Mô hình phân loại cặp câu được xây dựng bằng cách kết hợp mô hình ngôn ngữ BERT với mạng nơ-ron truyền thẳng Quy trình xử lý bắt đầu bằng việc chuyển đổi cặp câu đầu vào thành chuỗi token và đưa vào BERT Đầu ra từ token [CLS] sẽ tiếp tục được xử lý qua mạng nơ-ron truyền thẳng, với véc-tơ đầu ra có số chiều tương ứng với các phương pháp xây dựng câu phụ trợ Cuối cùng, hàm kích hoạt Softmax được áp dụng để tính toán phân phối xác suất cho các nhãn phân loại.

Hình 4.1: Tổng quan mô hình phân loại sử dụng BERT và mạng nơ-ron truyền thẳng

THÍ NGHIỆM

Tập dữ liệu

Tập dữ liệu UIT-ViSFD, được công bố bởi Luong Luc Phan và cộng sự vào năm 2021, chứa 11,122 đánh giá của người dùng về điện thoại thông minh trên một trang thương mại điện tử lớn tại Việt Nam Tập dữ liệu này bao gồm mười khía cạnh khác nhau và ba nhãn cảm xúc, cung cấp cái nhìn sâu sắc về trải nghiệm người tiêu dùng.

This article discusses ten key aspects of smartphones: SCREEN, CAMERA, FEATURES, BATTERY, PERFORMANCE, STORAGE, DESIGN, PRICE, GENERAL, and SERVICE & ACCESSORIES It also categorizes user sentiments into three emotional labels: Positive, Negative, and Neutral.

Các công cụ và thư viện

Mô hình phân loại được phát triển bằng ngôn ngữ lập trình Python, sử dụng các thư viện và framework lập trình như Scikit-learn, TensorFlow và Keras để tối ưu hóa hiệu suất và độ chính xác của mô hình.

PyTorch là một framework mã nguồn mở cho học máy, thường được áp dụng trong các lĩnh vực như thị giác máy tính và xử lý ngôn ngữ tự nhiên.

− PyTorch-Transformerslà một thư viện chứa các mô hình huấn luyện trước dành cho xử lý ngôn ngữ tự nhiên.

− Underthesea, một bộ công cụ xử lý ngôn ngữ tự nhiên tiếng Việt mã nguồn mở.

Mô hình BERT huấn luyện trước được áp dụng trong nghiên cứu này là PhoBERT, phiên bản cơ bản do tác giả Dat Quoc Nguyen phát triển, chuyên biệt cho ngôn ngữ tiếng Việt.

Các bước thực thiện

5.3.1 Tiền xử lý dữ liệu

Dữ liệu dạng văn bản trong tập dữ liệu UIT-ViSFD được tiền xử lý trước khi đưa vào mô hình BERT Các bước xử lý bao gồm:

Trong bước tiền xử lý, Word Segmentation sử dụng công cụ Underthesea để phân tách câu tiếng Việt thành chuỗi từ đơn và từ ghép Ví dụ, câu "Chàng trai 9X Quảng Trị khởi nghiệp từ nấm sò" sẽ được chuyển thành các từ: [’Chàng trai’, ’9X’, ’Quảng Trị’, ’khởi nghiệp’, ’từ’, ’nấm’, ’sò’].

− Tokenizing, trong bước này, cặp câu đầu vào sẽ được biến đổi thành một chuỗi các token để làm đầu vào cho mô hinh BERT.

Mọi người cập nhật phần mềm lại , nó sẽ bớt tốn pin, mình đã thử rồi, mọi thứ cũng ok, nhưng vân tay ko nhạy

{FEATURES#Negative}; {BATTERY#Neutral}; {GENERAL#Neutral}; Bảng 5.1: Một ví dụ trong tập dữ liệu

Bạn nhận xét thế nào về tính năng ?

Bạn nhận xét thế nào về pin

Bạn nhận xét thế nào về đánh giá chung ?

Bảng 5.2: Các mẫu huấn luyện mới được xây dựng với phương pháp QA-M

5.3.2 Chuẩn bị dữ liệu cho huấn luyện và đánh giá

Mỗi phương pháp xây dựng câu phụ trợ trong bốn phương pháp đã trình bày ở phần 4.3 sẽ được chuẩn bị với một tập dữ liệu huấn luyện và một tập dữ liệu đánh giá.

Sau đây là ví dụ về việc xây dựng các tập huấn luyện và đánh giá cho từng phương pháp xây dựng câu phụ trợ.

Dựa trên mẫu trong tập huấn luyện được trình bày ở bảng 5.1, các phương pháp xây dựng câu phụ trợ sẽ tạo ra những mẫu huấn luyện mới như thể hiện trong các bảng 5.2, 5.3, 5.4 và 5.5.

Mọi người cập nhật phần mềm lại , nó sẽ bớt tốn pin, mình đã thử rồi, mọi thứ cũng ok, nhưng vân tay ko nhạy tính năng Negative

Mọi người cập nhật phần mềm lại , nó sẽ bớt tốn pin, mình đã thử rồi, mọi thứ cũng ok, nhưng vân tay ko nhạy pin Neutral

Mọi người cập nhật phần mềm lại , nó sẽ bớt tốn pin, mình đã thử rồi, mọi thứ cũng ok, nhưng vân tay ko nhạy đánh giá chung Neutral

Bảng 5.3: Các mẫu huấn luyện mới được xây dựng với phương pháp NLI-M

Câu 1 Câu 2 Nhãn Mọi người cập nhật phần mềm lại , nó sẽ bớt tốn pin, mình đã thử rồi, mọi thứ cũng ok, nhưng vân tay ko nhạy

Nhận xét về tính năng là tích cực no

Nhận xét về tính năng là trung tính no

Nhận xét về tính năng là tiêu cực yes

Nhận xét về pin là tích cực no

Nhận xét về pin là trung tính yes

Nhận xét về pin là tiêu cực no

Nhận xét về đánh giá chung là tích cực no

Nhận xét về đánh giá chung là trung tính yes

Nhận xét về đánh giá chung là tiêu cực no

Bảng 5.4: Các mẫu huấn luyện mới được xây dựng với phương pháp QA-B

Cập nhật phần mềm mới giúp tiết kiệm pin hiệu quả, theo kinh nghiệm cá nhân của tôi, mọi thứ hoạt động ổn định Tuy nhiên, tính năng nhận diện vân tay vẫn chưa nhạy như mong đợi.

Cập nhật phần mềm giúp tiết kiệm pin hiệu quả hơn Mình đã thử và thấy mọi thứ hoạt động ổn, tuy nhiên tính năng nhận diện vân tay vẫn chưa nhạy lắm.

Cập nhật phần mềm giúp tiết kiệm pin hiệu quả, mình đã thử và thấy mọi thứ hoạt động ổn Tuy nhiên, tính năng nhận diện vân tay lại không nhạy như mong đợi, đây là điểm tiêu cực cần cải thiện.

Mọi người cập nhật phần mềm lại , nó sẽ bớt tốn pin, mình đã thử rồi, mọi thứ cũng ok, nhưng vân tay ko nhạy pin - tích cực no

Mọi người cập nhật phần mềm lại , nó sẽ bớt tốn pin, mình đã thử rồi, mọi thứ cũng ok, nhưng vân tay ko nhạy pin - trung tính yes

Mọi người cập nhật phần mềm lại , nó sẽ bớt tốn pin, mình đã thử rồi, mọi thứ cũng ok, nhưng vân tay ko nhạy pin - tiêu cực no

Mọi người cập nhật phần mềm lại , nó sẽ bớt tốn pin, mình đã thử rồi, mọi thứ cũng ok, nhưng vân tay ko nhạy đánh giá chung

- tiêu cực noBảng 5.5: Các mẫu huấn luyện mới được xây dựng với phương pháp NLI-B

5.3.3 Hiện thực mô hình phân loại cảm xúc

Sau khi áp dụng các phương pháp xây dựng câu phụ trợ, mô hình phân loại cảm xúc dựa trên khía cạnh được phát triển bằng cách kết hợp mô hình BERT huấn luyện trước PhoBERT với một mạng nơ-ron truyền thẳng Mỗi mẫu huấn luyện bao gồm hai câu được tiền xử lý thành chuỗi token và đưa vào mô hình PhoBERT, từ đó tạo ra một vec-tơ đầu ra từ token [CLS] Vec-tơ này được sử dụng làm đầu vào cho một mạng nơ-ron kết nối đầy đủ với ma trận tham số Đối với các phương pháp QA-M và NLI-M, số lớp phân loại là K=4 (Positive, Neutral, Negative, None), trong khi với các phương pháp QA-B và NLI-B, K=2 (yes, no) Cuối cùng, phân phối xác suất của các nhãn được tính thông qua hàm softmax.

5.3.4 Huấn luyện và đánh giá mô hình

Mô hình phân loại sử dụng mô hình PhoBERT huấn luyện trước là

"vinai/phobert-base" Trong quá trình huấn luyện, dropout được đặt ở 0.5, số lượng epoch là 5 Hệ số huấn luyện (learing rate) khởi động là1e−6 và kích thước batch là 3.

Tiêu đề	Phân Tích Cảm Xúc Dựa Trên Khía Cạnh
Tác giả	Vũ Duy Quang
Người hướng dẫn	PGS.TS Quản Thành Thơ, TS. Nguyễn Thiên Bình
Trường học	Đại học Bách Khoa
Chuyên ngành	Khoa học Máy tính
Thể loại	Luận văn thạc sĩ
Năm xuất bản	2022
Thành phố	TP. Hồ Chí Minh

Định dạng
Số trang	52
Dung lượng	580,74 KB