Luận văn thạc sĩ Công nghệ thông tin: Xây dựng ứng dụng hỗ trợ khảo sát sản phẩm có tích hợp kỹ thuật phân tích cảm xúc theo khía cạnh

Luận văn tập trung vào việc xây dựng ứng dụng web, app mobile dé theo dõi cảm xúc của cộng đồng về sản phẩm theo các khía cạnh dựa trên thang điêm 10, trực quan hóa dữ liệu đã phân tích

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

KHOA CÔNG NGHỆ THÔNG TIN

LUẬN VĂN TÓT NGHIỆP XÂY DỰNG ỨNG DỤNG HỖ TRỢ KHẢO SÁT SẢN PHẨM CÓ TÍCH HỢP KỸ THUẬT PHÂN TÍCH CẢM

XÚC THEO KHÍA CẠNH

Building A Product Survey Application That Integrates

Aspect-Based Sentiment Analysis Technology

HUONG DAN

TS NGUYEN LUU THUY NGAN

HỌC VIÊN THỰC HIENPHẠM TRI THỨC

TP HO CHÍ MINH, 2022

LOI CAM ON

Tôi xin chân thành cam on Trường Dai Công Nghệ Thông Tin, ĐHQG Tp.HCM đã

tạo điều kiện cho tôi thực hiện đề tài luận văn này

Tôi xin chân thành cảm ơn quý Thầy Cô đã tận tình giảng dạy, trang bị cho tôinhững kiến thức quý báu trong những năm học vừa qua

Tôi chân thành cảm ơn Tiến sĩ Nguyễn Lưu Thùy Ngân đã tận tình hướng dẫn tôitrong quá trình học tập và nghiên cứu đề hoàn thành khóa luận Cô đã góp ý, chỉ

day cho tôi từ kiến thức chuyên môn cho đến phương pháp nghiên cứu khoa học và

các kỹ năng mềm như kỹ năng thuyết trình, kỹ năng trình bày, báo cáo Tôi cũng

cảm ơn thạc sĩ Đặng Văn Thìn đã hỗ trợ và giúp đỡ tôi trong quá trình thực hiện

luận văn này.

Tôi xin gửi lòng biết ơn sâu sắc đến ba mẹ, các anh chị và bạn bè đã ủng hộ, giúp

đỡ và động viên trong những lúc khó khăn cũng như trong suốt thời gian học tập và

nghiên cứu.

Mặc dù tôi đã cố gắng hoàn thành luận văn trong phạm vi và khả năng của mình,nhưng chắc chắn sẽ không tránh khỏi những thiếu sót, kính mong sự cảm thông vàtận tình chỉ bảo của quý Thầy Cô và các bạn

Tp Hồ Chí Minh, tháng 04 năm 2022

Học viên thực hiện

Phạm Tri Thức

LOI CAM DOAN

Tôi xin cam đoan dé tài luận văn tốt nghiệp “Xây dung ứng dụng hỗ trợ khảo sátsản phẩm có tích hợp kỹ thuật phân tích cảm xúc theo khía cạnh” là do tôi thựchiện, dưới sự hướng dẫn của TS Nguyễn Lưu Thùy Ngân Các trích dẫn, tham khảo.trong quá trình nghiên cứu đều được trích dẫn day đủ, ghi rõ nguồn góc Tôi xin

hoàn toàn chịu trách nhiệm trước bộ môn, khoa và nhà trường về sự cam đoan này

Học viên thực hiện

Phạm Tri Thức

TOM TAT

Xử lý ngôn ngữ ty nhiên cho tiếng Việt ngày càng phát triển tạo tiền dé cho việc

ứng dụng vào thực tế Các sản phẩm khác hiện có đang tập trung vào chức năng sosánh giá, có thông tin điểm số theo từng khía cạnh nhưng không rõ nguồn và khôngthể hiện được nội dung chỉ tiết mà người dùng đã bình luận Sản phẩm luận vănAlReview tập trung vào đánh giá sản phâm thông qua phân tích ý kiến bình luận củakhách hàng có tích hợp kỹ thuật phân tích cảm xúc theo khía cạnh và hướng đến cungcấp cho người dùng những thông tin khách quan, chỉ tiết Người dùng có thể lựa chọnsản phẩm phù hợp với nhu cầu dựa vào các thang điểm đánh giá khía cạnh của sảnphẩm cũng như điểm số của toàn sản phẩm và biết được chất lượng thực tế của sảnphẩm thông qua các bình luận đánh giá của những người dùng trước đó

Ngoài ra, các mô hình triển khai hệ thống phân tích cảm xúc trên Cloud dành cho môitrường thực tế cũng chưa được quan tâm Luận văn tập trung vào việc xây dựng ứng

dụng (web, app mobile) dé theo dõi cảm xúc của cộng đồng về sản phẩm theo các

khía cạnh dựa trên thang điêm 10, trực quan hóa dữ liệu đã phân tích lên trang

review, dashboard Hệ thống sẽ thu thập dir liệu bình luận từ nhiều nguồn, nhiều

domain, xây dựng các bộ dữ liệu Sau đó ứng dụng các phương pháp học máy đê

phân tích xem bình luận nào là tích cực, tiêu cực, trung tính theo từng khía cạnh

tương ứng Cuối cùng nghiên cứu về điện toán đám mây và đề xuất mô hình để triển

khai hệ thống trên Cloud (Azure, AWS, Data Lake) Ứng dụng kì vọng đạt được

những mục tiêu sau:

- Người dùng: Có thé đưa ra quyết định từ việc phân tích chỉ tiết từng tính năng, đặc

trưng của sản phẩm, dịch vụ thông qua các ý kiến đánh giá của người sử dụng trước

- Doanh nghiệp kinh doanh, cung cấp sản phẩm: có thể năm bắt thông tin của cộngđồng về thương hiệu một các dễ dàng và nhanh chóng từ đó có thể điều chỉnh chiếnlược phát triển sản phẩm, kinh doanh, truyền thông, chăm sóc khách hàng phủ hợp

1.2 Giới thiệu xử lý Ngôn ngữ Tự nhiên

1.3 Mục tiêu và phạm vi nghiên cứu

1.5 Cấu trúc luận văn.

Chương 2 CÁC CÔNG TRÌNH LIEN QUAN.

2.1 Giới thiệu bài toán

2.2 Nghiên cứu liên quan

2.2.1 Tình hình nghiên cứu trên thé giới

2.2.2 Các nghiên cứu trong nước

2.3 Cơ sở lý thuyết

2.3.1 Lịch sử ra đời mô hình BERT

2.3.2 Mô hình BERT.

2.3.3 Phương pháp Fine-tuning BER

2.3.4 Masked Language Model

2.3.5 Next Sentence Prediction,

3.2.2 Quá trình gan nhi 24

3.2.3 Thông tin bộ dữ li: 26

3.3 Kếtchương 30 Chương 4 PHƯƠNG PHÁP THỰC NGHIỆM -ssccccxeseerexeeeerrrsasrrseeesee OT 4.1 Tiền xử lý dữ liệu 31

4.2 Mô hình phân tích cảm xúc khía cạnh trên dữ liệu đánh giá điện thoại thông

minh và tai nghe tiếng Vi

Chương 6 PHÂN TÍCH VÀ THẢO LUẬN

6.1 Tăng cường dữ liệu

6.2 Kếtchương

Chương 7 XÂY DỰNG HỆ THÓNG AIReview

7.1 Giới thiệu về hệ thống AIReview

7⁄2 Tính điểm.

7.4.1 Màn hình giao diện đăng nhập

7.4.2 Màn hình giao diện trang chủ

7.4.3 Màn hình kết quả giao diện tìm kiếm.

7.4.4 Màn hình giao diện thông tin chỉ tiết

7.4.5 Màn hình giao diện Menu Dashboard

7.4.6 Màn hình giao diện Dashboard

7.5 _ Đánh giá hiệu quả hệ thống

7.5.1 Giải quyết vấn đề của khách hàng

7.5.2 _ Tập trung vào một tính năng cot lõi

75.3 Cung cấp giá tri thực.

7.5.4 Sử dụng dễ dàng.

7.5.5 Phat trién đa nền tảng, nhiều thiết bị nhiều hệ điều hành khác nhau

Chương 8 TRIEN KHAI HE THONG AIReview TREN NEN TANG DAM MÂY

§.1 Kiến trúc hệ thống trên nền tang AWS

8.1.1 DataLake và ETL Pipeline

8.1.2 API backen

8.1.3 Web app Fronten

8.1.4 Mobile app

8.2 Kiến trúc hệt ông kết hợp nhiêu nên tảng (Google, Azure và AWS)

Chương 9 KET LUẬN VA HƯỚNG PHÁT TRIEN

53

9.1 Kết qua đạt được của luận văn

9.2 Hướng phát triển

THUAT NGU VA CAC TU VIET TAT

NLP : Natural Language Processing (Xử ly Ngôn ngữ Tự nhiên)

ABSA : Aspect-Based Sentiment Analysis (Phân tích cảm xúc theo khía

canh) BERT : Bidirectional Encoder Representations from Transformers

LSTM : Long-Short Term Memory

CNN : Convolutional Neural Network

BRNN : Bidirectional Recurrent Neural Networks

CRF : Conditional Random Field

UIT-VSFC : Vietnamese Students’ Feedback Corpus (Bộ dữ liệu các phan

hồi của học sinh Việt Nam)

VLSP : The Vietnamese Language and Speech Processing (Xử lý ngôn

ngữ và Tiếng nói tiếng Viét)Annotator : người gán nhãn

Train - Dev - Test : Tap Huấn luyện - Phát triên - Kiểm tra

Deep Learning : Học sâu

DANH SÁCH HÌNH

Hình 2-1 Mô tả bài toán AIReview

Hình 2-2 Nguyên lý hoạt động của Encoder trong BERT 17

Hình 3-1 Độ đồng thuận sau mỗi vòng gán nhãn

Hình 3-2 Sự phân bổ của các nhãn trên tập Train

Hình 3-3 Sự phân bỗ của các nhãn trên tập Dev.

Hình 3-4 Sự phân bổ của các nhãn trên tập Test

Hình 4-1 Mô hình PhoBERT neural network sử dụng trong hệ tl

Hình 7-1 Màn hình giao diện đăng nhập

Hình 7-2 Giao diện trang chủ 1

Hình 7-3 Giao diện trang chủ 2

Hình 7-4 Giao diện trang kết quả tìm kiếm 1

35

53

Hinh 7-5 Giao dién trang két qua tim kiém

Hình 7-6 Giao diện trang kết quả tìm kiếm 3

Hình 7-7 Giao diện trang Thông tin chỉ tiết sản phẩm 1

Hình 7-8 Giao diện trang Thông tin chỉ tiết sản phâm 2

Hình 7-9 Giao diện trang Thông tin chỉ tiết sản phẩm 3

Hình 7-10 Giao diện trang Thông tin chi tiết sản phẩm 4.

Hình 7-11 Giao diện trang Menu Dashboard

Hình 7-12 Giao diện trang Dashboard

Hình 8-1 Kiến trúc hệ thống AIReview trên AWS

Hình 8-2 Kiến trúc hệ thống AIReview đa nền tảng

Bảng 1 Các khía cạnh của bộ dữ li

Bảng 2 Chỉ tiết các khía cạnh hướng dẫn gần nhãn Tai nghe

Bảng 3 Độ đồng thuận trên tác vụ phát hiện khía cạnh của 5 lân gan nhãn (%)

Bảng 4 Độ đồng thuận trên tác vụ phân loại cảm xúc của 5 lần gan nhãn (%)

27

28

Bang 5 Thông tin của bộ dữ liệu tai nghe

Bảng 6 Ví dụ các bình luận theo các khía cạnh trong

Bảng 7 Thông tin chỉ tiết của tập huấn luyện, phát triển và kiểm tra

Bảng 8 Ví dụ các bước xử lý dữ liệt

Bảng 9 Kết quả của mô hình trên bộ dữ liệu Tai nghe (%)

Bảng 10 Chỉ tiết trên từng khía cạnh (%)

Bảng 11 Phân tích các trường hợp ma mô hình có thê dự doar

43

Bang 12 Kết quả tổng quát của bộ dữ liệu Điện thoại và Tai nghe (%)

Bang 13 Điểm Fl-score sau 2 lần sử dụng phương pháp Back Translation (%).

TỎNG QUAN

Tom tắt chương:

Nội dung của chương này trình bày tổng quan về xử lý ngôn ngữ tự nhiên,

giới thiệu bài toán phân tích cảm xúc theo khía cạnh Chương này cũng trình

bày lý do thực hiện luận văn, mục tiêu của luận văn và nội dung, bố Cục của

luận văn.

11 Dat vấn đề

Thuong mại điện tử, dịch vụ trực tuyến ngày càng phát triển, thông tin bình luậncủa người dùng cũng phong phú và tăng mạnh về dung lượng Việc nhanh chóng nắm

bắt và phân tích các bình luận này sẽ có tác động rất lớn đến cả người tiêu dùng lẫn

nhà cung cấp Cạnh tranh giữa các doanh nghiệp ngày càng tăng Theo Sharma,Agarwal, Dhir, và Sikka (2016), dé chỉnh phục khách hàng thì không thể không tìmhiểu về nhu cầu của họ Thu thập thông tin phản hồi của khách hàng là một cách tuyệtvời giúp cho doanh nghiệp hiểu được điểm mạnh, điểm yếu trong sản phẩm, dich vụcủa mình Người tiêu dùng có thê biết được những người dùng khác đánh giá thế nảo

về sản phẩm họ quan tâm, những mặt tốt chưa tốt về sản phẩm, tham khảo thông tintrước khi đưa ra quyết định về sử dụng một sản pham hay dịch vụ nao đó

Ở Việt Nam cũng có nhiều công trình nghiên cứu về phân tích cảm xúc trongtiếng Việt Năm 2017 đề tài nghiên cứu về khai phá lời bình trên các trang thương

mại điện tử đê xác định cảm xúc của khách hàng của tác giả Hoang Tien Son, Năm

2021, công trình nghiên cứu vé tinh chỉnh Fine-Tuning BERT cho phân tích cảm xúctrên các đánh giá tiếng Việt của tác giả chính Quoc Thai Nguyen cho thấy việc sửdụng mô hình BERT có hiệu quả tốt hơn so với các mô hình sử dụng GloVe vàFastText khác Cũng trong năm 2021, một bộ dữ liệu về phản hồi của người dùng

Việt Nam với 11,122 bình luận cho thương mại di động trong bài báo From Based Sentiment Analysis to Social Listening System for Business Intelligence của

Aspect-tự nhiên cho tiếng Việt ngày càng phát triển tạo tiền đề cho việc ứng dụng vào thực

người dùng về sảnphẩm

dụng, thời

trang, làm đẹp,

mẹ và bé, sách,

nhà bếp, sứckhỏe- bảo hiểm,

ô tô- xe máy,

nội thất

Thông tin | Gidé, tên, nhãn | Tên, giá, nhãn | Tên, giá, thông | Tên, giá, mô tả,

hiển thị | hiệu, thông số kỹ | hiệu, thông số kỹ | số kỹ thuật thông số kỹ

thuật và các bình | thuật thuật Ngoài ra

luận đánh giá của còn có biếnsản phẩm từ động giá thểnguồn đó hiện sự thay đổi

vụ tài chính https://wel a nh.vn/tai-

nhiên các đánh

giá này web

cạnh của sản gia” và không

phẩm và hiền thị ghi rõ nguồn

các bình luận Ngoài ra web

đánh giá về sản còn có bài viếtphẩm đó về điểm mạnh

- Dashboard cho và điểm yếu củadoanh nghiệp theo sản phẩm

đối về tình hình

sản phẩm

Các sản phẩm khác hiện có đang tập trung vào chức năng so sánh giá, có thông tin

điểm số theo từng khía cạnh nhưng không rõ nguồn và không thẻ hiện được nội dung

chỉ tiết mà người dùng đã bình luận Sản phẩm AIReview tập trung vào đánh giá sảnphẩm thông qua phân tích ý kiến bình luận của khách hàng có tích hợp kỹ thuật phân

tích cảm xúc theo khía cạnh và hướng đến cung cấp cho người dùng những thông tin

khách quan, chỉ tiết Người dùng có thể lựa chọn sản phẩm phù hợp với nhu cầu dựa

vào các thang điểm đánh giá khía cạnh của sản phẩm cũng như điểm số của toàn sảnphẩm và biết được chất lượng thực tế của sản phâm thông qua các bình luận đánh giá

của những người dùng trước đó.

Ngoài ra, các mô hình triển khai hệ thống phân tích cảm xúc trên Cloud dành cho môitrường thực tế cũng chưa được quan tâm Luận văn tập trung vào việc xây dựng ứng

dụng (web, app mobile) dé theo dõi cảm xúc của cộng đồng về sản phẩm theo các

khía cạnh dựa trên thang điểm 10, trực quan hóa đữ liệu đã phân tích lên trangreview, dashboard Hệ thống sẽ thu thập dữ liệu bình luận từ nhiều nguồn, nhiềudomain, xây dựng các bộ dit liệu Sau đó ứng dụng các phương pháp học may để

phân tích xem bình luận nào là tích cực, tiêu cực, trung tính theo từng khía cạnh

tương ứng Cuối cùng nghiên cứu về điện toán đám mây và đề xuất mô hình để triển

khai hệ thống trên Cloud (Azure, AWS, Data Lake)

thuộc lĩnh vực trong trí tuệ nhân tạo với mục đích xây dựng và phát triển các chươngtrình giúp cho máy tính có khả năng đọc hiểu, phân tích ngôn ngữ và giọng nói của

con người Xử lý ngôn ngữ tự nhiên được chia thành hai nhánh lớn là xử lý văn bản

và xử lý giọng nói Trong đó xử lý văn bản tập trung xử lý, phân loại các loại văn bản

khác nhau Xử lý văn bản được áp dụng trong nhiều bài toán như nhận dạng chữ viết

tay, phân loại cảm xúc, trích xuất thông tin, Xtr lý giọng nói sẽ biến đổi giọng nóicủa con người thành các chữ, văn bản tương ứng, từ đó có thể giúp con người giaotiếp với các thiết bị máy móc Hơn nữa, công nghệ này đã và đang mang lại nhữngứng dụng hỗ trợ thiết thực trong đời sống hằng ngày hay các hoạt động vận hành

doanh nghiệp cũng như nâng cao trải nghiệm khách hàng NLP ngày càng xuất hiện

trong nhiều lĩnh vực, điều này đã làm cầu nối cho việc giao tiếp giữa con người vàmáy tính Một số ứng dụng có thê ké đến như:

> Nhận dạng giọng nói là tác vụ chuyền đổi dữ liệu giọng nói sang dữ liệu chữ

Đóng góp trong nhiều ứng dụng với vai trò nhận lệnh hoặc trả lời câu hỏi từ

người dùng Thách thức của tác vụ này là người dùng có xu hướng nói nhanh,

phát âm từ lạ, với cách nhắn âm và ngữ điệu, giọng vùng miền khác nhau, đôi khi

không theo ngữ pháp.

Vv Truy xuất thông tin hay còn gọi truy xuất ngữ pháp là tác vu xác định thông tin

của một từ nhất định hoặc ý nghĩa của văn bản dựa theo cách từ đó được sử dụng

và bối cảnh xung quanh

> Trích chọn thông tin là tác vụ lựa chọn các từ đồng âm khác nghĩa thông qua

quá trình phân tích ý nghĩa mà xác định từ đó hợp lý trong bối cảnh

x Phân tích cám xúc nhằm xác định chất lượng, thái độ, biểu cảm, nghỉ van của

đối tượng thông qua văn bản

Phân tích cảm xúc dựa trên khía cạnh là quá trình phát hiện khía cạnh được đề

cập trong bình luận sau đó phân loại cảm xúc các khía cạnh cụ thể như tích cực ,trung tính hoặc tiêu cực Nó thường được các doanh nghiệp sử dụng để phát hiện cảmxúc của người dùng trong dữ liệu mạng xã hội, từ đó ta có thể biết được các đánh giá

> Phân loại cảm xúc: theo cấp lộ khác nhau, từ Tích cực đến Tiêu cực Ví dụ từ

thang điểm từ 1 đến 5: Cực kì không thích = 1 sao, không thích = 2 sao, Trungbình = 3 sao, Rất thích = 4 sao, Cực kì thích = 5 sao Đây là ứng dụng phù hợp

cho các doanh nghiệp sản phẩm, nhà hàng Hoặc một số cấp độ như Tích cực,

Tiéu cực và Trung Tính.

> Phan tích cảm xúc dựa trên khía cạnh: ta sé phát hiện khía cạnh của sản phẩm

được đề cập đến trong bình luận Sau đó sẽ phân tích cảm xúc của khía cạnh đó.Tir đó ta có thể biết được khía cạnh đó mang cảm xúc như thế nào

Vv Phân tích cám xúc đa ngôn ngữ: đây là một hệ thống cần nhiều quy trình thực

hiện và nguồn dữ liệu vô vàn Một số nguồn được cung cấp trên Internet (từ ngữcảm xúc), và có một số cần tạo thêm (dịch thuật hoặc phát hiện tiếng én), sé yéucầu lập trình dé có thé ứng dụng chúng

1.3 Mục tiêu và phạm vi nghiên cứu

1.3.1 Mục tiêu

Xây dựng hệ thống phân tích tự động các bình luận về điện thoại di động, tai nghe

cho người dùng muốn mua sản phẩm và doanh nghiệp kinh doanh, cung cấp sản

phẩm có tích hợp kỹ thuật phân tích cảm xúc theo khía cạnh

1.3.2 Pham vi nghiên cứu

Luận văn tập trung chủ yếu vào việc xây dựng hệ thống tự động phân tích các

bình luận về điện thoại di động, tai nghe cho người dùng muốn mua sản phẩm và

doanh nghiệp kinh doanh, cung cấp sản phẩm Bên cạnh đó còn đóng góp xây dựng

bộ dữ liệu tai nghe trên bài toán phân tích cảm xúc dựa trên khía cạnh cho tiếng Việt.Thuc hiện thống kê và phân tích các đặc điêm bộ dữ liệu này

1.4.1 Ý nghĩa thực tiễn

Việc phân tích các đánh giá, bình luận của người dùng rất quan trọng trong thực

tế Trước khi đưa ra quyết định mua sắm sản phẩm, người dùng sẽ tham khảo thôngqua các bình luận của người dùng khác Đồng thời, việc phân tích hỗ trợ các hoạtđộng kinh doanh cải tiến sản phẩm hoặc các chiến dịch chăm sóc khách hàng Bài

toán “Phân tích cảm xúc theo khía cạnh” được ứng dụng rộng rãi trong các công ty

doanh nghiệp lớn, hỗ trợ việc phân tích và năm bắt tâm lý người dùng một cách tựđộng và thu về kết quả cao

Hệ thống được xây dựng nhằm cung cấp cho người dùng các báo cáo trực quancác kết quả phân tích trên nền tảng website và mobile liên quan đến lĩnh vực thươngmại điện tử Đặc biệt là các báo cáo trên thiết bị di động, giúp doanh nghiệp thuậntiện hơn trong việc xem báo cáo và đưa ra quyết định tốt hơn Hỗ trợ khách hàng đưa

ra quyết định từ việc phân tích chỉ tiết từng tính năng, đặc trưng của sản phẩm thongqua các ý kiến đánh giá của các người sử dụng trước đây

1.4.2 Ý nghĩa khoa học

Đối với ý nghĩa về mặt khoa học, luận văn đóng góp những nội dung sau:

> Tổng quan tình hình nghiên cứu trên thế giới và trong nước, nắm bắt được xu

hướng phát triển của bài toán phân tích ý kiến theo khía cạnh

> Thử nghiệm mô hình máy học và đưa ra kết quả thực nghiệm trên bộ dữ liệu

chuân cho tiếng Việt

> Thực hiện phương pháp tăng cường dữ liệu nâng cao khả năng nhận diện cho mô

hình.

> Thảo luận và đánh giá chỉ tiết phương pháp trên tiếng Việt và đưa ra một số

hướng phát triển tiếp theo cho đề tài

1.5 Cấu trúc luận văn

Luận văn gồm 9 chương với các nội dung chính sau:

> Chương 1 Tổng quan: Giới thiệu về bài toán phân tích cảm xúc dựa trên khía

cạnh và tính ứng dụng thực tiễn.

dựng dữ liệu ABSA Trong chương này cũng trình bày và phân tích mô hình tiếp

cận liên quan đến luận văn

Chương 3 Xây dựng bộ dữ liệu: Trình bày quy trình xây dựng nghiêm ngặt bộ

dữ liệu tai nghe Sau đó phân tích và thống kế các số liệu của bộ dữ liệu để hiểu

rõ hơn về bộ dữ liệu

Chương 4 Phương pháp thir nghiệm: Trình bày quá trình tiền xử lý dữ liệunhằm nâng cao chất lượng bộ dit liệu trước khi đưa vào mô hình máy học Tôi đềcập đến phương pháp thực nghiệm là mô hình PhoBERT

Chương 5 Cài đặt và kết quả thứ nghiệm: Trình bày cách cài đặt và đánh giá

kết quả thu được từ các thử nghiệm trên đồng thời so sánh 2 miền dữ liệu Tai

nghe và Điện thoại.

Chương 6 Phân tích và thảo luận: Trình bày phương pháp tăng cường dữ liệu

Chương 7 Xây dựng hệ thống: Xây dựng ứng dụng hỗ trợ khảo sát sản phẩm có

tích hợp kỹ thuật phân tích cảm xúc theo khía cạnh và đánh giá hiệu quả hệ

thống

Chương 8 Triển khai hệ thống trên nền tang đám mây: Trình bày kiến trúc hệ

thống trên nền tảng AWS và Azure

Chương 9 Kết luận và hướng phát triển: Tổng hợp lại các kết quả đạt được từ

đó đưa ra hướng phát triển trong tương lai

CÁC CÔNG TRÌNH LIÊN QUAN

Tom tắt chương:

Nội dung của chương này trình bày tổng quát tổng quát các nội dung về mặt

lý thuyết cũng như các nghiên cứu có liên quan đến việc Phân tích cảm xúctheo khía cạnh Trong chương này cũng trình bày và phân tích mô hình tiếp

cận liên quan đền luận văn.

2.1 Giới thiệu bài toán

Bài toán “Phân tích cảm xúc theo khía cạnh” hay Aspect-based Sentiment

Analysis ( ABSA) là một bài toán mở rộng của bài toán “Phan tích cảm xúc” Đối với

bài toán “Phân tích cảm xúc” thì mỗi câu hoặc đoạn bình luận sẽ được gán nhãn theo

3 mức cảm xúc khác nhau là “tích cực”, “tiêu cực” hay “trung tính” hoặc theo 5 mức

như thang điểm từ 1 đến 5 Còn với bài toán phân tích cảm xúc theo khía cạnh, tôicần xác định ra các khía cạnh được đề cập trong bình luận và mỗi khía cạnh sẽ đượcgán một loại cảm xúc khác nhau Và từ số lượng nhãn cảm xúc của một sản phẩm, tôitính ra điểm số cho từng khía cạnh và điểm số cho tổng quan sản phẩm đó

Mô tả ví dụ đầu vào là câu bình luận của người dùng “Dt dùng ok, mượt ma,không nóng”, kết quả nhãn được nhắc đến trong bình luận này là

PERFORMANCE#Positive, GENERAL#Positive Hay bình luận: “Camera chụp

xấu, bị bể hình” và nhãn được đề cập đến là CAMERA#Negative Qua quá trình tongkết số lượng c ic nhãn trên từng khía cạnh của m an phẩm, dau ra cuối cùngcủa tôi là điểm số của từng khía cạnh và điểm của mỗi sản phẩm Đầu ra trong ví dụdưới là khía cạnh PEREORMANCE đạt 9 điểm, khía cạnh GENERAL đạt 9 điểm,khía cạnh CAMERA chỉ 2 điểm và tổng điêm của sản phâm sẽ được tính dựa trênđiểm của từng khía cạnh là 6.7 điểm

GENERAL:9 CAMERA:2

Hình 2-1 Mô tả bài toán AIReview

2.2 Nghiên cứu liên quan

2.2.1 Tình hình nghiên cứu trên thế giới

Đã có rất nhiều bài nghiên cứu về phân tích cảm xúc dựa trên khía cạnh áp dụngnhững phương pháp khác nhau Trong đó, có các bài báo đưa ra kết quả chứng minh

áp dụng phương pháp mới, cùng với thuật toán mới hay xây dựng mô hình mới có

hiệu suất vượt trội đáng kể hơn so một loạt các phương pháp cơ sở khác Theo đó,

một số phương pháp cơ bản được cải tiền thêm phần mở rộng trong thuật toán, tác vụ

nhằm cải thiện độ chính xác của mô hình được xây dựng cho bài toán phân tích cảm

xúc dựa trên khía cạnh.

Xây dựng bộ dữ liệu là một trong những bước quan trọng trong phân tích cảm

xúc, tập dữ liệu chất lượng được gán nhãn và huấn luyện nhằm giúp mô hình máy

học tăng khả năng dự đoán cao sẽ mang lại kết quả tốt trong các lĩnh vực liên quan

Vào năm 2014 SemEval [21] (SE-ABSA14) đã giới thiệu đến cộng đồng một mô

hình phân tích cảm xúc dựa trên khía cạnh (ABSA), với mục tiêu là xác định các khía

cạnh của đối tượng cụ thể nhất định và phân loại tình cảm đối với từng khía cạnh đó.Đồng thời, SE-ABSA14 cung cắp hai tập dữ liệu dành riêng cho 2 lĩnh vực: máy tính

xách tay và nhà hàng, bao gồm hơn 6000 câu đánh giá được gán nhãn thủ công Tiếp

nối thành công đó, SemEval ABSA năm 2015 [22] tiếp tục tập trung trong lĩnh vực

máy tính xách tay và nhà hàng, nhưng bộ dữ liệu là toàn loạn văn bản đánh giá.

Nhiệm vụ SemEval ABSA năm 2016 [23] đã nâng cấp bộ dữ liệu cho người tham gia

trải nghiệm tinh năng mới, phân tích cảm xúc bằng các ngôn ngữ khác ngoài tiếng

Anh trong các lĩnh vực máy tính xách tay, nhà hàng và khách sạn.

Sự xuất hiện của bộ dữ liệu SemEval 2014 [21] đã hỗ trợ cho rất nhiều công trình

nghiên cứu và áp dụng mô hình để phát triển nhiệm vụ phân loại cảm xúc theo khíacạnh Sun và các cộng sự [7] xây dựng một câu bổ trợ từ khía cạnh và chuyển đôiABSA thành một nhiệm vụ phân loại theo cặp câu, chẳng hạn như trả lời câu hỏi

(QA) và suy luận ngôn ngữ tự nhiên (NLI) Tác giả tinh chỉnh mô hình BERT và đạt

được kết quả hiện đại vào thời điểm bài báo được công bó trên bộ dữ liệu SentiHood

và SE-ABSAI4 Với SE-ABSAI4, công trình đạt được 92.18% Fl-score cho phát

hiện khía cạnh Với bộ dữ liệu SentiHood, công trình đạt được 87.90 % Fl-score cho phát hiện khía cạnh.

'Wang và các cộng sự [9] đề xuất sử dụng mô hình LSTM có chú ý để phân loạitình cảm ở cấp độ khía cạnh Ý tưởng chính của những đề xuất này là học cách nhúngkhía cạnh và dé các khía cạnh tham gia vào tính toán trọng số chú ý Các mô hìnhđược đề xuất của tập trung vào các phần khác nhau của một câu khi các khía cạnh

khác nhau được đưa ra để chúng phù hợp hơn cho việc phân loại ở cấp độ khía cạnh

Nghiên cứu này được thực hiện trên dữ liệu SE-ABSA 14 và đã đạt được kết quả phân

loại cảm xúc khía cạnh 84% accuracy, với nhiệm vụ phân loại cảm xúc cho các thuật

ngữ khía cạnh (aspect term) mô hình đạt kết quả 77.20% trên dữ liệu nhà hàng và

68.90% accuracy trên dữ liệu laptop.

Một trong những phương pháp cơ bản của phân tích cảm xúc theo khía cạnh là

dựa vào việc gắn thẻ thủ công lên các đánh giá của người dùng theo các khía cạnh

được xác định trước thành dữ liệu đầu vào cho các mô hình mạng lưới thần kinh, tuy

nhiên đây là một quá trình tốn nhiều thời gian và công sức Hơn nữa, phương phápnày không trình bày cách thức và lý do tại sao một phân cực mức khía cạnh đối lập

trong đánh giá của người dùng lại dẫn đến phân cực tổng thẻ Để tìm ra câu trả lời,

Qiang và các cộng sự [2] đã thiết kế và thực hiện một phương pháp mới, Mạng lưới

Multiple-Attention (MAN), một mô hình phân tích cảm xúc theo khía cạnh vượt trội

mà không cần thẻ khía cạnh, họ chỉ cần hai bộ dữ liệu không thể được lấy trực tiếptrên hệ thống Trong khi đó, Ghadery và các cộng sự [17] đề xuất một phương pháphọc không giám sát để giải quyết nhiệm vụ phát hiện danh mục khía cạnh mà không

cần bất kỳ kỹ thuật tính năng nào Phương pháp của họ sử dụng các cụm đánh giá

không được gắn nhãn và thước đo độ tương đồng cosine mềm dé hoàn thành nhiệm

vụ phát hiện danh mục khía cạnh.

Sự đa dạng của các phương pháp áp dụng giúp cho việc phân tích cảm xúc dựa

trên khía cạnh có nhiều sự lựa chọn môn hình phù hợp với yêu cầu của doanh nghiệp,

người dùng, thé loại ngôn ngữ Nhưng cũng không kém phan phức tạp, gây khó khăn

cho những nhà phân tích, nghiên cứu tìm được câu trả lời cũng như kết quả mongmuốn Từ đó, xuất hiện những bài báo cáo đã hỗ trợ trong việc trình bày cơ chế củaphương pháp, mô hình một cách cụ thể, đặc biệt họ còn cải tiến thêm từ phương pháp

cơ bản nhằm đạt hiệu suất tốt một cách đáng kể

Theo Yan và các cộng sự [16] cho rằng trong phân tích cảm xúc theo khía cạnh

bao gồm bảy nhiệm vụ phụ Hầu hết các nghiên cứu chỉ tập trung vào các tập hợp controng những nhiệm vụ phụ, sẽ dẫn đến nhiều mô hình ABSA phức tạp gây khó khăntrong việc giải quyết các nhiệm vụ phụ trong khung thống nhất Họ đã xác định lạimục tiêu của các nhiệm vụ phụ như các dãy số hỗn hợp bởi các chỉ số chỉ dẫn và chỉ

số cảm xúc, là chuyên đổi các nhiệm vụ phụ của ABSA thành một công thức tổng

hợp thống nhất Dựa trên công thức thống nhất, họ khai thác mô hình BART nối tiếptrình tự đảo tạo trước để giải quyết tất cả các nhiệm vụ phụ của ABSA trong một

khuôn khô end-to-end.

2.2.2 Các nghiên cứu trong nước

Tiếng Việt là ngôn ngữ phong phú về từ vựng, ngữ cảnh và mang nhiều ý nghĩa,nhưng lại khan hiếm nguồn dữ liệu chuẩn có thể đa dạng hóa ngôn ngữ Với sự pháttriển vượt trội của E-commerce và Thương mại điện tử đã sinh ra một lượng lớn dữliệu về ý kiến, đánh giá của khách hàng Việc phân tích các dữ liệu đó sẽ mang lại lợi

ích và góc nhìn cho doanh nghiệp hướng đến quyết định kinh doanh tốt hơn Đồng

thời xuất hiện các bài nghiên cứu xây dựng một mô hình phân tích cảm xúc dựa trênkhía cạnh dành cho tiếng Việt, cũng như xây dựng bộ dữ liệu lớn dành cho nghiêncứu Góp phần cho nguồn tài nguyên nghiên cứu NLP trên tiếng Việt ngày càngphong phú và dồi dào hơn

Áp dụng kĩ thuật Deep Learning đạt được kết quả cao trong quá trình phân tíchcảm xúc Nguyễn và các cộng sự [18] đề xuất một phương pháp kết hợp mô hình

truyền thống và học sâu với 3 bộ dữ liệu chuân của Việt Nam Kết quả thử nghiệm

khẳng định những phương pháp này mang lại độ chính xác cao Theo đó, Hoàng và

các cộng sự [10] đã ứng dụng phân tích cảm xúc lên bình luận về sản phẩm ở Việt

Nam trong dự án Advosights Kết quả dựa trên mô hình mạng lưới thần kinh tậptrung, một kiến trúc linh hoạt cho tác vụ phân loại từ với độ chính xác 90.16%, thực

hiện trong 0.0124 giây, một thời gian thực hiện nhanh chóng.

Khởi đầu cho bài toán phân tích cảm xúc được biết rộng rãi bởi ứng dụng trong

xử lý ngôn ngữ tự nhiên nhằm phát hiện và phân loại cảm xúc của ý kiến trong câu

từ Đã có một số bài báo hướng dẫn xây dựng bộ dit liệu chứa bình luận, ý kiến, phảnhồi tiếng Việt đã gán nhãn phục vụ cho mục đích nghiên cứu, nâng cao chất lượng

Các nghiên cứu luôn sử dụng phương pháp máy học có giám sát truyền thống cho bài

toán phân tích cảm xúc, phải dành nhiều thời gian xây dựng bộ dữ liệu đã gán nhãn.Nguyễn và cộng sự [11] tiếp cận phương pháp bán giám sát trong phân tích cảm xúc

từ vựng Việt Nam, chỉ huấn luyện dữ liệu trong một văn bản Họ đã sử dụng vô số kĩ

thuật thực hiện dé làm sạch và chuẩn hóa dữ liệu, bồ sung nghĩa của từ như sự phủ

định, xử lý gia tăng, cũng như tăng cường đào tạo dữ liệu từ huấn luyện một tài liệu

Nguyễn và các cộng sự [14] đề xuất việc gán nhãn cho kho ngữ liệu bằng 2 tác vụphụ: phát hiện khía cạnh và phân loại cảm xúc Bộ dữ liệu của họ bao gồm 7,828 bình

luận nhà hàng dưới dạng văn bản Họ còn thực hiện phương pháp học giám sát với

nhiều tính năng, mang lại kết quả điểm Fl là 87.13% cho phát hiện khía cạnh và

59.20% cho phân loại cảm xúc Đồng thời, Nguyễn và các cộng sự [15] xây dựng bộ

dit liệu các phản hồi của học sinh Việt Nam (Vietnamese Students' Feedback Corpus

- UIT-VSFC), một bộ dữ liệu miễn phí và chất lượng, tăng cường khả năng phân tích

cảm xúc cho tiếng Việt Trong bài báo, họ giới thiệu phương pháp cách viết hướngdẫn gan nhãn và đảm bảo độ chính xác và tính nhất quán của bộ dữ liệu Bộ dữ liệu

chứa hơn 16,000 câu đã gán nhãn thủ công sử dụng cho 2 tác vụ Dé đánh giá chất

lượng bộ dữ liệu, họ đo lường sự thống nhất giữa những người gán nhãn và phân loạitính chính xác trên UIT-VSFC Kết quả thu được là họ đạt 91.20% tính nhất quán

giữa người gán nhãn cho tác vụ phân loại theo cảm xúc và 71.07% cho tác vụ phân

loại theo chủ đề Hơn nữa, kết quả xuất sắc đạt được từ mô hình bộ phân loại Entropytối đa với điểm F1 là 87.94% cho tác vụ phân loại theo cảm xúc và 84.03% cho tác vụ

phân loại theo chủ đề Điều này khăng định bộ dữ liệu hoàn toàn tin cậy và hữu ích

cho các nghiên cứu.

Đặc biệt, việc tăng cường bộ dữ liệu ngôn ngữ tiếng Việt trong các lĩnh vực cụ

thể như nhà hàng, khách sạn, thương mại, đã xuất hiện trong các công trình nghiêncứu nhằm xây dựng bộ dữ liệu hỗ trợ cho việc áp dụng và triển khai mô hình Vào

năm 2018, Câu lạc bộ xử lý ngôn ngữ và Tiếng nói tiếng Việt- The Vietnamese

Language and Speech Processing (VLSP) đã giới thiệu nhiệm vụ cộng đồng đầu tiên

ở Việt Nam về ABSA [4] VLSP 2018 cung cấp một bộ dữ liệu ABSA trên tiếng Việtbao gồm các đánh giá về nhà hàng và khách sạn được thu thập từ một trang đánh giátrực tuyến Bộ dữ liệu bao gồm 6 nhãn thực thể (RESTAURANT (in general),

AMBIENCE, LOCATION, FOOD, DRINKS, SERVICE) và 5 nhãn thuộc tính

(GENERAL, QUALITY, PRICE, STYLE OPTIONS, MISCELLANEOUS) Hơn nữa, bộ dữ liệu của Dang va các cộng sy [5] được xây dựng với hai tác vụ là phát hiện khía cạnh và phân loại cảm xúc trên lĩnh vực nhà hàng và khách sạn Bộ dữ liệu

gồm 10.005 câu trên lĩnh vực khách sạn và 9.737 câu trên lĩnh vực nhà hàng Bộ dữ

liệu thu được kết quả thực nghiệm multi-task khả quan trên mô hình BERT; trên tác

vụ phát hiện khía cạnh kết quả thu được với 79.10% F1-score của lĩnh vực khách sạn

và 86.96% F1-score trên lĩnh vực nhà hàng, đối với tác vụ phân loại cảm xúc 74.88%

Fl-score của lĩnh vực nhà hàng và 73.69% F1-score với lĩnh vực khách sạn.

Xây dựng bộ dữ liệu và áp dụng kiến thức máy học, học sâu cho các ứng dụng

đời sống trở thành chủ đề nóng trong nước, từ đó xuất hiện thêm một số nghiên cứu

về bài toán phân tích cảm xúc với các mô hình kết hợp và phát triển từ phương pháp

cơ bản, nhằm nâng cao kết quả chính xác cao và tăng độ tin cậy của dữ liệu Bài toánphân tích cảm xúc dựa trên khía cạnh được ứng dụng trên thực tế như trong cáctrường đại học khảo sát, thu thập ý kiến của sinh viên dé nâng cao hiệu quả giảng day

và cải thiện chất lượng đào tạo Sáu và cộng sự trình bày một chuỗi thí nghiệm dựa

trên bộ dữ liệu bao gồm 5010 câu được gán nhãn theo 11 khía cạnh khác nhau và theo

ba cảm xúc, với mô hình kết hợp BiLSTM-CNN đưa ra kết quả tốt với Fl là 78.93%

và 73.78% [20] Theo đó, Nguyễn và các cộng sự [12] thực hiện nghiên cứu với mô

hình Long-Short Term Memory (LSTM) và Dependency Tree - LSTM, đề xuất ứng

dụng mô hình này lên đề tài phản hồi của học sinh Việt Nam Khi kết hợp các vector

cuối trong trạng thái ân của mô hình LSTM và DT-LSTM với bộ phân loại của hỗ trợ

máy vector, họ đạt kết quả điềm F1 với 90.20%, cao hon đối với chi áp dụng mô hình

LSTM Mạng lưới thân kinh tích chập (Convolutional Neural Network- CNN) và mô

hình LSTM cũng ít được tiếp cận trong phân tích cảm xúc tiếng Việt

Quân và cộng sự [13] đã đề xuất mô hình kết hợp LSTM-CNN, ứng dụng với bộ

dữ liệu thu thập từ các bình luận trên trang thương mại Việt Nam va gán nhãn thủ

công Thế nhưng việc gán nhãn thủ công chiếm nhiều thời gian và công sức, Long và

cộng sự đã đề xuất một kĩ thuật tự động gán nhãn theo trình tự kết hợp với mạng lưới

thần kinh hồi quy 2 chiều (Bidirectional Recurrent Neural Networks - BRNN) vàtrường ngẫu nhiên có điều kiện (Conditional Random Field - CRF) trích xuất mục

tiêu ý kiến và đồng thời phát hiện cảm xúc của nó Tiếp theo đó, Mai và cộng sự [6]

đã thu thập đánh giá của người dùng về điện thoại thông minh và chú thích một bộngữ liệu ABSA cho tiếng Việt bao gồm 2.098 câu cho hai nhiệm vụ: OTE và phân

tích cảm xúc Tác giả đề xuất một sơ đồ gắn nhãn trình tự được kết hợp với mạng

Bidirectional recurrent neural networks (BRNN) và trường ngẫu nhiên có điều kiện

(CRF) dé trích xuất ý kiến mục tiêu đồng thời phát hiện cảm xúc của ý kiến người

dùng Các thử nghiệm trên tập dữ liệu này cho thấy kiến trúc BRNN-CRF đạt đượchiệu suất khá (BGRU-CRF 71.79% Fl-score) vượt trội hơn CRF với các đặc trưng

lựa chọn thủ công (CRF 54.91% Fl-score).

Bài toán phân tích cảm xúc sử dụng các mô hình, phương pháp truyền thống, kết

hợp đã trở nên hữu ích trong các ứng dụng đời sống, đặc biệt xuất hiện thêm một

phương pháp mới với tên gọi Mô hình Bidirectional Encoder Representations from

Transformers (BERT) Quéc và cộng sự đã thực nghiệm mô hình tinh chỉnh BERTcho tác vụ phân tích cảm xúc trên bộ dữ liệu bao gồm các bình luận tiếng Việt [3]

"Thử nghiệm khẳng định mô hình BERT đem lại kết quả ngoài mong đợi, với điểm số

FI là 88.22% Từ đó, mô hình BERT được ứng dụng tốt cho tiếng Việt Thin và cộng

sự khảo sát hiệu suất của các mô hình ngôn ngữ đơn được đào tạo trước khác so vớicác mô hình đa ngôn ngữ trong vấn đề phát hiện loại khía cạnh tiếng Việt [19] Họđánh giá hiệu suất của mô hình đa ngôn ngữ dựa trên sự kết hợp của toàn bộ bộ dữliệu của SemEval-2016 bằng các ngôn ngữ khác với bộ dữ liệu tiếng Việt Kết quả

thử nghiệm đã chứng minh hiệu quả của mô hình PhoBERT [8] hơn các mô hình

khác trên hai bộ dữ liệu.

2.3 Cơ sở lý thuyết

2.3.1 Lịch sử ra đời mô hình BERT

Với thách thức của sự hao hụt dữ liệu có nhãn chất lượng cao để phục vụ chonhiều bài toán riêng biệt và sự đa dạng về dữ liệu không đồng đều trên Internet, tôicần phải có sự chọn lọc đối với các tập dữ liệu phù hợp, đặc thù cho từng bài toán cụthể Một số nghiên cứu về mô hình cơ sở như 'Word2vec, Glove hay fastText đã được

ra đời dé giải quyết van dé này bằng cách sử dụng các biểu diễn từ được huấn luyện

từ trước làm đầu vào cho các lớp đầu tiên của mô hình Các lớp còn lại của mô hìnhgitip tao ra các tinh năng mới và sẽ được huấn luyện lại từ đầu, tuy nhiên tôi nhậnđược một bộ vector cho mỗi từ mà không dựa theo bối cảnh Và xuất hiện sau đó là

phương pháp áp dụng LSTM, nhúng từ một chiều (trái hoặc phải), cải thiện được biểu

diễn từ có bồi cảnh Kết quả cho thấy các mô hình nghiên cứu đã được ứng dụng trêncác bài toán khác nhau như Trả lời câu hỏi, Phân tích cảm xúc, dẫn đến sự cải thiện

đáng kể về độ chính xác

Va không lâu sau đó, Google đã công bố thêm 1 kỹ thuật mới được gọi là Mô

hình Bidirectional Encoder Representation from Transformer (BERT) [1] BERT được coi như là đột phá lớn trong Hoc máy bởi vì khả năng ứng dụng của nó vào

nhiều bài toán NLP như: Trả lời câu hỏi, Suy luận ngôn ngữ tự nhiên với kết quả

rất tốt BERT được thiết kế để huấn luyện ý nghĩa khi biểu diễn từ dựa vào các từ đi

liền với nó và cũng như giải thích được toàn bộ các từ trong văn bản và đưa ra bốicảnh Điểm đặc biệt ở BERT đó là nó có thể điều hòa cân bằng bối cảnh theo cả 2chiều trái và phải

2.3.2 Mô hình BERT

BERT sử dụng Transformer là một mô hình tập trung mối tương quan giữa các từ

(hoặc 1 phần của từ) trong một văn bản Transformer gồm có 2 phần chính: Encoder

và Decoder trong đó encoder thực hiện đọc dữ liệu đầu vào và decoder đưa ra dựđoán Ở đây, BERT chỉ sử dụng Encoder BERT có khả năng học huấn luyện dữ liệu

theo cả hai chiều từ trái sang phải và từ phải sang trái, vì vậy BERT có thể hiểu được

ngữ cảnh xung quanh của từ tốt hơn điều này tạo nên sự khác biệt của BERT

Hình 2-2 Nguyên lý hoạt động của Encoder trong BERT

Đầu vào là một chuỗi các token wl, w2, w3, và trước khi vào mạng neuralencoder, chúng được chuyền hóa thành các chuỗi vector Và đầu ra là các vector cócùng kích thước với đầu vào Những cải tiến của mô hình BERT trong các tác vụ:Tăng GLUE score, điểm khái quát đánh giá mức độ hiéu ngôn ngữ Tăng độ chính

xác trên bộ dữ liệu MultiNLI, đánh giá tác vụ quan hệ văn bản Tăng độ chính xác F1

score trên bộ dữ liệu SQuAD, đánh giá tác vụ nghỉ vấn và trả lời

BERT bao gồm 2 cách tiếp cận:

> Truy xuất tính năng: phương pháp này sử dụng BERT làm mô hình trích xuất

tính năng Kiến trúc của mô hình BERT được giữ nguyên và đầu ra của nó là cácvector đầu vào đặc trưng cho các mô hình phân loại tiếp theo dé giải quyết vấn

đề

> Tinh chỉnh: trong phương pháp này, chúng ta cần sửa đổi kiến trúc của mô hình

bằng cách thêm một số lớp vào cuối mô hình BERT Các lớp này sẽ giải quyết

vấn dé và đào tạo lại mô hình Quá trình này được gọi là tinh chỉnh Đặc biệt đây

cũng là phương pháp chính được sử dung đề đánh giá điểm chuẩn cho các nhiệm

vụ khác nhau, cho thấy sự vượt trội của BERT so với các mô hình trước đó

2.3.3 Phương pháp Fine-tuning BERT

Hai phương pháp của tỉnh chỉnh BERT cho phân tích cảm xúc được mô tả như

sau [64]:

> Tỉnh chỉnh BERT sử dụng mã [CLS]: một mã [CLS] sẽ được thêm vào vị trí

đầu tiên của câu. au ra của vector chứa mã nay sẽ được đưa vào mạng lưới thankinh truyền tải đê thực hiện phân loại câu đầu vào Mô hình được gọi là BERT-

Base

> Tinh chỉnh BERT sứ dụng tất cá các mã: sử dụng tat cả các đầu vào của BERT

bao gồm mã [CLS] Những đầu vào này hình thành một ma trận chứa chiều dài

tối đa của câu đầu vào và chiều dài của các vector ân Từ đó, sử dụng ma trận nàylàm đầu vào cho các mô hình phân loại khác như LSTM, TextCNN hoặc RCNN

2.3.4 Masked Language Model

Giới han của các mô hình chỉ đọc dữ liệu theo 1 chiều duy nhất là không nắm rõngữ cảnh của từ một cách trọn vẹn, và khi mô hình đọc dữ liệu theo dạng tuần tự, đốivới BERT, đọc dữ liệu 2 chiều, sẽ có một từ gián tiếp gặp lại chính nó trong một ngữcảnh, và tình huống này xảy ra trong nhiều lớp, như vậy sẽ gây ra mâu thuẫn trongquá trình huấn luyện mô hình Để khắc phục tình huồng này, thực hiện một nhiệm vụgọi là “Masked Language Model”, một tiếp cận đơn giản đê che giấu đi một số từ đầuvào một cách ngẫu nhiên và sau đó sẽ dự đoán các từ được giấu đi đó Tóm lại,

Masked LM là một tác vụ cho phép điều chỉnh lại các biểu diễn từ trên các bộ dữ liệu

văn bản không giám sát bat kỳ Đây là một trong những chiến lược để đào tạo một

mô hình tìm ra đại diện dựa vào ngữ cảnh 2 chiều

Tuy nhiên điều này có 2 nhược điêm, nếu thay thế hết tất cả các từ sẽ tạo ra một

sự không phù hợp giữa đào tạo và phân loại vì các từ được [MASK] không được nhìn

thấy trong quá trình tỉnh chỉnh mô hình Vì thế không cần thay thế tất cả các từ đượcgiấu đi bằng [MASK], trước khi đưa vào mô hình, trích 15% số từ trong chuỗi đượcthay thế bởi [MASK], khi đó mô hình sẽ dự đoán từ được thay thế bởi [MASK] với

bối cảnh của nó dựa theo các từ không bị thay thế xung quanh

Mask LM gồm các bước xử lý sau:

Vv Trước khi đưa vào trong mang lưới, các từ đầu vào được biểu diễn thành chuỗi

các vector

> Từ lớp phân loại đó, các chuỗi vector có kích thước bằng với các từ đầu vào trở

thành đầu ra của mô hình, rồi đưa về không gian từ vựng

> Trong đó, các vector ấn trong lớp cuối cùng sẽ tương ứng với các từ được thay

thé sẽ được đưa vào 1 lớp tính toán sử dụng softmax dé dự đoán và xác suất mỗi

tir trong toàn bộ từ vựng.

Kết luận, khâu xử lý này sẽ khiến mô hình không biết được từ nào đã được thaythế hay yêu cầu dự đoán cụ thể, quá trình diễn ra ngẫu nhiên, vì thế, nhiệm vụ sẽ thực

thi dựa theo biểu diễn ngữ cảnh của đầu vào Với việc thay thế ngẫu nhiên đó không

ảnh hưởng đến khả năng hiểu ngôn ngữ của mô hình Nhược điểm thứ 2, chỉ có 15%

từ được thay thế để dự đoán mà an đi một số ngữ cảnh của đầu vào nên mô hình sẽ bỏ

qua các từ còn lại, chỉ tập trung vào các từ thay thế, khiến cho mô hình cần phải huấnluyện rất lâu mới học được toàn diện, tuy mô hình sẽ hội tụ chậm hơn nhưng sẽ đưa

ra kết quả hiểu ngữ cảnh tốt hơn

2.3.5 Next Sentence Prediction

Mô hình sẽ sử dụng một cặp câu sao cho 50% lượng dữ liệu đầu vào là cặp câutrong đó câu thứ 2 thực sự là câu tiếp theo của câu thứ I và 50% còn lại thì câu thứ 2được chọn ngẫu nhiên từ tập dữ liệu Thông tin đầu vào sẽ được qua lớp embedding

vector cho từng từ, các vector này được khởi tạo từ pretrain model Ngoài ra,

embedding còn phân loại câu: vector EA nếu từ đó thuộc câu thứ 1 và EB nếu từ đó

thuộc câu thứ 2 Hay vị trí của từ trong câu là các vector E0, , E10.

Các bước xử lý trong Next Sentence Prediction:

e — Tất cả các token của câu đầu vào đều được đưa vào trong Transformer

e Chuyển kích thước vector đầu ra của [CLS] về kích thước 2x1 bằng một lớp

classification.

e Tinh toán xác suất của IsNextSequence bang softmax

2.4 Kết chương

Trong chương này, tôi đã trình bày bài toán phân tích cảm xúc theo khía cạnh.

Bên cạnh đó, tôi đã phân tích mô hình máy học tiếp cận liên quan phân tích và kết

quả đầu ra Các công trình nghiên cứu liên quan có nhiều ưu điểm tuy nhiên chỉ phùhợp với những trường hợp cụ thể được nêu

Qua những phân tích này, tôi rút ra được các vấn đề liên quan đến việc sử

dụng mô hình máy học đưa ra kết quả và hiệu suất cao cho việc phân tích các khíacạnh hỗ trợ cho doanh nghiệp, người dùng

Chuong 3

XAY DUNG BO DU LIEU

Tom tắt chương:

Nội dung của chương này trình bày về bộ dữ liệu và quy trình gán nhãn, xây

dựng bộ dữ liệu và mô tả thông tin dữ liệu.

3.1 Mô ta bộ dir liệu

Bộ dữ liệu được thu thập từ các trang web thương mại điện tử Shopee, Tiki, Thế

Giới Di Động bao gồm 12,295 bình luận của khách hàng nhận xét về nhiều loại tai

nghe (tai nghe nhét tai, tai nghe chụp tai, tai nghe có dây hoặc không dây) Xét một đoạn bình luận của người dùng, chúng tôi xác định một tập hợp các khía cạnh trong

bình luận đó từ một danh sách các khía cạnh đã được định nghĩa trước cùng với sắc

thái cảm xúc của người dùng đối với từng khía cạnh trong tập hợp

PRICE

SERVICE SHIPPING SOUND QUALITY

10 SYSTEM 1I OTHERS

so} [| a] af wl al wl wo

Bang 1 Các khía cạnh của bộ dữ liệu

Bộ dữ liệu được bao gồm 10 khía cạnh được người dùng quan tâm khi đánh giátai nghe và 3 sắc thái cảm xúc phỏ biến khi cho bài toán phân tích cảm xúc (positive,

neutral, negative) Bộ dữ liệu ABSA tai nghe được xây dựng theo quy trình nghiêm

ngặt ba bước: thu thập và xây dựng hướng dẫn gán nhãn song song, huấn luyện

annotator (người gán nhãn dữ liệu) gán nhãn dữ liệu và gán nhãn độc lập, cuối cùng

là kiểm tra chéo để đảm bảo chất lượng dữ liệu Ngoài ra, chúng tôi cũng cung cấp

một số phân tích về bộ dữ liệu như sự phân bố các nhãn khía cạnh và cảm xúc, độ dai

trung bình các bình luận.

3.2 Quá trình xây dựng bộ dữ liệu

Bộ dữ liệu ABSA tai nghe được xây dựng theo quy trình nghiêm ngặt ba

bước: thu thập và xây dựng hướng dẫn gán nhãn song song, huấn luyện annotator gán

nhãn dit liệu và gan nhãn độc lập, cuối cùng là kiểm tra chéo để đảm bảo chất lượng

dit liệu Các bình luận trong bộ dữ liệu được thu thập từ các trang thương mại điện tử

phô biến tại Việt Nam như Shopee, Tiki, Thế giới di động Các bình luận thể hiện rõràng hoặc mơ hé cảm xúc của người dùng về các khía cạnh Hướng dẫn gán nhãn

được xây dựng song song trong quá trình thu thập dữ liệu, các khía cạnh trong hướng

dẫn gán nhãn là các khía cạnh được người dùng quan tâm khi đánh giá và quyết địnhmua một sản phẩm tai nghe, ngoài ra danh mục khía cạnh này cũng được tham khảo

từ các khảo sát người dùng khi quyết định mua | tai nghe Giai đoạn quan trọng nhất

của quy trình xây dựng bộ dữ liệu, giai đoạn gán nhãn, là 1 quy trình khép kín 3 vòng.

Sau khi hoàn thiện cơ bản hướng dẫn gán nhãn, annotator trải qua các vòng huấn

luyện gán nhãn từ dễ (các bình luận ngắn, TỐ ràng) đến khó ( bình luận dài, các ý mơhồ) Trong quá trình huấn luyện, các annotator trao đôi với nhau dé thống nhất vềcách gán nhãn đồng thời chỉnh sửa những nội dung bị thiếu, sai sót hoặc không rõràng Sau mỗi vòng huấn luyện gán nhãn, chúng tôi tính độ đồng thuận giữa

annotator trên cả khía cạnh và sắc thái cảm xúc dé đảm bảo chat lượng bộ dữ liệu khi

độ đồng thuận giữa các annotator khá cao (trên 70% tổng thể và một số khía cạnh đạttrên 90%) annotator thực hiện gán nhãn độc lập dé đảm bảo tiến độ xây dựng bộ dữ

liệu Trong quá trình gán nhãn độc lập, các annotator thực hiện kiêm tra chéo 200

điểm dữ liệu sau mỗi 1000 điểm dữ liệu được chú thích, điều này nhằm đảm bảo tối

đa chất lượng bộ dữ liệu Bộ dữ liệu được chia ngẫu nhiên thành 3 tập Train, Dev,

Test theo tỷ lệ 7:1:2 dé dễ dàng thực hiện các quá trình xây dựng, phát trién, đánh giáKhi đã hoàn thiện bộ dữ liệu, chúng tôi thống kê và phân tích rút trích ra một số

thông tin để có cái nhìn tổng quan nhất của bộ dữ liệu

3.2.1 Xây dựng bộ hướng dẫn gán nhãn

Dựa trên cấu tạo và chức năng của tai nghe kết hợp với thu thập và tham khảo

thông tin ở các trang đánh giá, chúng tôi xây dựng hướng dẫn gán nhãn bao gồm 10

khía cạnh như ở Bảng 2 và 3 nhãn cảm xúc (tích cực, tiêu cực, trung tính) Ngoài ra

trong trường hợp một bình luận hoặc những ý kiến trong một bình luận không liên

quan đến các khía cạnh trên, không mục đích đánh giá sản phẩm thì sẽ gán nhãn là

OTHERS va không có nhãn cảm xúc.

General

nhận xét chung chung về tai nghe, đề cập độ bền, “phù hợp giá tiền ”,

“đáng dong tiền bát gạo”, “phù hợp tam giá”, “ổn trong tam giá”,

“ngon trong tam giá”, “khuyên mn nên mua”,

Sound

Quality

Dé cập chất lượng âm thanh (bass, 128kps, 320kps), âm lượng to nhỏ,

rõ ràng (tiếng nói, giọng hát, giai điệu, ) bass to rõ am „ chống ồn

chủ động, đề cập có thé chống tiếng ồn trong môi trường đông đúc,

náo nhiệt, tạo nên không gian yên tĩnh (khi không cần bật âm thanh),khả năng lọc âm dé cập | bên tai bị hỏng, không rõ, độ to nhỏ của tai

nghe Đề cập âm thanh mượt, ngắt quãng, chập chờn Loa, chất âm,

beat vang, nhỏ, to, êm, chói, rè.

System

Đề cập hệ thống, lỗi phần mềm, phần cứng, cảm biến, độ nhạy Phải

khởi động lại Bậưtắt nguồn dễ dàng/khó khăn Đối với cảm ứng:

nhạy, yếu Đèn sáng mạnh, yếu, không sáng Dây âm lượng dễ/khó sử

dụng, trượt lên/xuống êm, nút pháưdừng nhạc dễ/khó bấm Đề cập

cách điều khiển lâu lâu tự động gọi, hư nút bam, bam k ăn Damthoại rõ, lớn, nhỏ Thu âm tố, yếu, rõ âm thanh

Battery

Dành cho tai nghe không dây thời lượng pin, thời gian sạc trong

bao lâu Đề cập tai nghe phù hợp cho từng môi trường (công sở, tạinhà, máy bay, ) Dé cập pin lâu dài, bền, phan trăm thời lượng pinxuống nhanh/chậm, sạc nhanh/chậm trong thời gian dài/ngắn Đề cậpthời gian cụ thể sạc pin, sử dụng tai nghe Đề cập đồ cắm sạc

Connectivity

Kết nối (cho tai nghe không dây), kết nói bluetooth, độ nhanh nhạy,

đề cập khả năng kết nối nhanh, chậm Kết nối xa/gần Tín hiệu nghe

Đề cập giá tiền cụ thể như 2 triệu, 3 triệu hoặc hoặc nhận xét về đắt,

rẻ một cách gián tiếp của mức giá điện thoại

Design

Thiết kế, chất liệu (nhôm, nhựa, ), miếng đệm (da, cao su, ), mô tảchung về màu sắc, đề cập màu bị phai, sản phẩm bị xước, thiết kế của

sản phẩm Cân nặng, nhẹ, êm Đề cập đến kích cỡ (loại tai nghe

Over-ear, On-Over-ear, In-Over-ear, Earbud, , kích thước to nhỏ, có tính di động

gọn nhẹ dễ mang đi lại (khi du lịch, thé dục, công tác ) Dé cập tai

nghe toàn vẹn, dấu hiệu nứt vỡ Đối với tai nghe có dây, dây lành lặn,

có dau hiệu đứt, tray dây mỏng, dé đứt, dây cáp

Service

Chất lượng dịch vụ, bảo hành, tư vấn Đóng gói cân thận Dịch vụ

thanh toán (QR, phiếu giảm giá, sales, )

Shipping

Đề cập việc tiến độ giao hàng nhanh, chậm, trễ hàng, trả hang., thái

độ nhân viên giao hàng.

Bảng 2 Chỉ tiết các khía cạnh hướng dẫn gán nhãn Tai nghe

3.2.2 Qua trình gan nhãn

Trước khi thực hiện gán nhãn bộ dữ liệu, chúng tôi tiến hành huấn luyện gánnhãn độc lập và tính độ đồng thuận Chúng tôi lấy ngẫu nhiên 1000 bình luận ngẫunhiên từ bộ dữ liệu, sau đó chia thành 5 phan, mỗi phần 200 bình luận Chúng tôi sử

dụng công thức Cohen’s Kappa [24] dé tính độ đồng thuận giữa nhóm người gán

nhãn:

Trong đó:

— Pr(a) - Pr(e)

k= 1-Pr(e) a)

k là độ đồng thuận giữa các người gán nhãn

Pr(a) là độ chính xác tông thé của các người gán nhãn

Pr(e) là xác suất giả định giữa các giữa các người gán nhãn

cả 5 vòng gán nhãn Độ đồng thuận nhãn BATTERY luôn cao nhất trong các lần, ở

lần cuối cùng cao lên đến 96.03% cho phần gán khía cạnh, do các bình luận về khía

cạnh pin (BATTERY) có từ ngữ rõ ràng, dễ nhận biết với các cụm từ như “pin lâu, sử

dụng cả ngày, ” Ngược lại với nhãn SOUND QUALITY, SYSTEM, PRICE,

DESIGN, SERVICE và GENERAL có độ đồng thuận chưa cao bằng các nhãn còn lại

(dưới 80.00%) Đối với nhãn COMFORT (0.00%), do số lượng bình luận về khíacạnh này chiếm khá ít trong bộ dữ liệu dẫn đến chỉ cần sai lệch một hoặc hai câu cũngkhiến độ đồng thuận thấp.

ĐÃ Cimxic TẾ khacnnh = IAA Average

Hình 3-1 Độ đồng thuận sau mỗi vòng gan nhãn

Hinh 3-2 cho thấy sự đồng nhất trong gán nhãn của các thành viên tăng qua các 3

lần đầu gán huấn luyện, độ đồng thuận trung bình cao và ồn định hơn sau mỗi lần

gán Để đảm bảo chất lượng của bộ dữ liệu, chúng tôi tính toán độ đồng thuận từng

cặp giữa các người gán nhãn Chỉ khi độ đồng thuận đạt mức 80.00%, khi đó chúngtôi tiến hành gan nhãn độc lập toàn bộ dữ liệu Riêng lần 4 và 5, các bình luận có độ

đài hơn 100 từ khiến việc đọc và gán nhãn bị nhằm lẫn và gây khó khăn Vì thế,

chúng tôi sẽ gửi trường hợp đó lên dé mọi người giải quyết và sẽ chon ra ý kiến được

nhiều người đồng thuận nhất và ghi trường hợp mới vào bộ hướng dẫn gán nhãn Bộ

hướng dẫn gán nhãn sẽ được chỉnh sửa và bỏ sung liên tục trong quá trình gần nhãn

Sau khi hoàn tất cơ bản quá trình huấn luyện và hướng dẫn gán, chúng tôi tiến

hành thực hiện gán độc lập song song bộ dữ liệu Với số lượng bộ dữ liệu khá lớn và

có thể có nhiều nhãn cho một câu, dé nâng cao hiệu quả và thuận tiện cho quá trình

gán nhãn, nhóm chúng tôi đã xây dựng một công cụ gán nhãn cho bộ dữ liệu này.

3.2.3 Thông tin bộ dữ liệu

Bộ dữ liệu được chia theo tỷ lệ 7/1/2 tương ứng cho tập Train (tập huấn luyện),

tập Dev (tập phát triển) va tập Test (tập kiểm tra) Về tổng thé, chúng tôi thấy rang

tập Train, tập Dev và tập Test có số lượng trung bình khía cạnh và từ vựng trên một

bình luận khá tương xứng nhau, mỗi một bình luận sẽ có 2 khía cạnh và có khoảng 38

từ Trong đó, đữ liệu tập Train được dùng để huấn luyện mô hình, tập Dev được dùng

để tỉnh chỉnh các trọng số của mô hình và lựa chọn các thông số có kết quả tốt nhất,

tập Test sẽ được sử dụng để đánh giá hiệu quả của mô hình trên các độ đo khác nhau.

Train Dev Test

Téng số lượng bình luận 8606 1229 2460Téng số lượng từ vung 333102 47947 96876

“Tổng số lượng khía cạnh 21418 3018 6142

Trung bình khía cạnh trên một bình luận 2.49 2.46 2.49

Trung binh chiều dài trên một bình luận 38.71 39.01 39.38

Bang 5 Thông tin của bộ dữ liệu tai nghe

Ví dụ Nhãn

đồ dỏm, phí tiền, kết nói điện thoại thì lâu | GENERAL#neg, PRICE#neg,lắc, xài chưa được bao lâu thì 1 bên nghe | CONNECTIVITY#neg,

đc - 1 bên nghe ko đc ko mua đồ của | SOUND_QUALITY#neg

shop này nữa

Da nhận được hang! Hàng đúng như hình | GENERAL#pos,

ảnh quảng cáo! Tai nghe bên dài âm | SOUND_QUALITY#neg

thanh nhỏ hơn bên ngắn! nhưng nói

chung là với giá tiền này thì chấp nhận

được!

Nhận hàng sáng h ngồi test âm thanh thì | COMFORT#pos,

thấy tại nghệ này thích thật sự êm tay | SOUND_QUALITY#pos, DESIGN#pos,chất liệu da này đeo lâu ko bị bí tai lắm SHIPPING#neg, SERVICE#pos,

giao hàng hơi lâu ti ko by tại sao hộp thì | GENERAL#pos

hơi móp méo chút nhưng mà ko sao bù

lại anh chủ shop tư vấn nhiệt tình Nênn

Hàng Xiaomi dùng chất lượng, tai nghe

cơ bản nên ko thể dùng nghe nhạc chất

lượng cao Dùng chức năng nghe gọi cơ

bản rất Ôn

GENERAL#pos, SOUND_QUALITY#neg, SYSTEM#pos

Sản pham bị lỗi bộ sạc Kết nối không đc

xa Chắc chỉ đc 2 bước chân là bị chập

chờn Thua xa bộ f9 mà mình mua ở shop

khác Thấy quảng cáo nghe sịn sò hơn

nhưng thực tế chất lượng tệ

BATTERY#neg, CONNECTIVITY#neg, GENERAL#neg

Đánh giá vs hình ảnh minh hoạ Mình đặt

hộ chứ ko dùng nên không biết chất

lượng như nào Cứ đánh giá 5sao thôi

OTHERS

[HOT] Nhanh tay dang ky “No Miss

Call” — khong bo lo cuoc goi cua VNM,

DV hoan toan MIEN PHI, *hay* dang ky

ngay so dien thoai phu cua ban voi cu

phap: DK [sdt] gui 925 Cung xem trai

nghiem khach hang ve dich vu No Miss

Call: http://bit.ly/NMCReview Chỉ tiet

LH 789 (0d).

OTHERS

Bảng 6 Ví dụ các bình luận theo các khía cạnh trong bộ dữ liệu

Train Dev Test TONG

Khia canh | Posi | Neu | Nega | Positi | Neu | Neg | Posi | Neu | Neg

và Cảm xúc | tive | tral | tive ve | tral | ativ | tive | tral | ativ

149 DESIGN ¿| 122| 48| 219| l0 71| 427) 23| 160) 3027

473 137

GENERAL ¿| 200| 436| 679) 34) 62) | 66) 118 7702

PRICE |910| 4| 15) 128| 2| 67|270| 1| 5| 1335

230 SERVICE ¡| 80] 450) 323) 10, 64) 6| 14] 129) 45

200 SHIPPING , 12, 710) 291| 21) 103| 5I9| 26| 222| 4015

SOUND | 267

4344| 928| 378| 58| 127| 750| 152| 275| 5780 QUALITY | 8

SYSTEM | 388] 66) 493} 57| II| 56) 118] 22| 134| 1345

OTHERS 440 67 142) 649

153] 113 436 125| 3057 TONG 4271| 2190| 164| 570 336

8| 1 0 6 8

Bang 7 Thông tin chi tiết của tập huấn luyện, phat triển và kiểm traTheo thông tin bang 7, có thé thay rằng có sự không đồng đều trong dữ liệu, điều

này thể hiện thực tế người dùng chỉ quan tâm đến một số khía cạnh cụ thể, một số

khía cạnh cũng được quan tâm nhưng ít hơn, điều này cũng gây một số khó khăn cho

các mô hình học sâu Cụ thể, số lượng cảm xúc Positive (71.74%), Negative

(20.81%) và Neutral (5.33%) có sự chênh lệch dang kể Với sự mất cân bằng này đãtạo ra thử thách dé chúng tôi tìm cách nâng cao kết quả của thuật toán

SHIPPING SOUNG QUAUIY SYSTEM

Hình 3-2 Sự phan bỗ của các nhãn trên tập Train

BATTERY COMFORT CONNECTIVITY DESIGN GENERAL PNCC SERMCC SHIPPNG SOUND_QUALITY SYSTEM

MB Méveve ME Trunetith MM Tineve

Hinh 3-4 Sự phân bé của các nhãn trên tập Test

Dựa vào các biểu đồ ở trên có thé thấy được ở hau hết các nhãn thì sắc thái cảm

xúc tích cực chiếm nhiều nhất sau đó đến tiêu cực và trung tính Điều đó cho thấy hầu

hết người dùng đều có xu hướng nhận diện một khía cạnh là tích cực hay tiêu cực, đối

với khía cạnh mang thiên hướng trung tính thì rất ít, vì thế chúng tôi nhận thấy rằng

nhãn PRICE chiếm tỉ lệ sắc thái trung tính thấp nhất

3.3 Kết chương

Trong chương này tôi đã mô tả bộ dữ liệu Tai nghe, quá trình xây dựng và quy trình

gán nhãn Bên cạnh đó, tôi cũng đưa ra những khó khăn và hướng giải quyết, cuối

cùng thống kê bộ dữ liệu để tiến hành huấn luyện dữ liệu lên mô hình máy học sẽđược đề cập trong chương 4