Luận án tiến sĩ Khoa học máy tính: Phân tích cảm xúc trên cơ sở trị cảm xúc chuyển dịch theo ngữ cảnh cho tiếng việt

GIỚI THIỆU

Sự tăng trưởng của Internet đã khiến lượng dữ liệu số do con người tạo ra tăng vọt trong thời gian gần đây Hầu như mọi hoạt động của chúng ta đều tạo ra dữ liệu số, từ lướt web, mua hàng, bình luận, gửi email, chụp ảnh đến cả việc di chuyển với dữ liệu định vị (GPS) và bị ghi hình bởi các camera giám sát (CCTV) Cứ mỗi ngày chúng ta lại sản sinh ra lượng dữ liệu tương đương với khối lượng được tạo ra trong mười năm của thập kỉ 90 Và lượng dữ liệu này tiếp tục tăng nhanh, đến năm 2020 đã lên đến 50 ngàn tỉ

GB Năm 2004, Web 2.0 1 ra đời đã tạo điều kiện để chúng ta có thể đăng các ý kiến, suy nghĩ của mình về hàng loạt các chủ đề trong các trang web và mạng xã hội khác nhau Ngày càng nhiều người có thể chia sẻ trực tuyến suy nghĩ của họ và cũng tiếp nhận được những ý kiến của người khác Do đó, có một lượng lớn dữ liệu chứa ý kiến được tạo từ nhiều nguồn khác nhau như đánh giá, thảo luận trên các diễn đàn, bài đăng từ các trang web cá nhân hoặc các mạng xã hội So với các phương thức quảng cáo truyền thống trên các phương tiện thông tin đại chúng, như truyền hình và báo chí, những dữ liệu do người dùng tạo trực tuyến này được coi là đáng tin cậy và công bằng hơn so với các nội dung được cung cấp bởi các công ty Nhiều tổ chức đã tích hợp phương tiện truyền thông xã hội như một phần của chiến lược tiếp thị của họ và cố gắng khuyến khích người dùng trực tuyến thực hiện các cuộc thảo luận mang tính tích cực về sản phẩm hoặc dịch vụ của họ Kể cả các cấp chính phủ, các tập đoàn, công ty truyền thông theo cách truyền thống và các tổ chức phi chính phủ đang tìm cách thích nghi với những điều này và tìm hiểu cách sử dụng chúng một cách hiệu quả Công dân trên thế giới, cả người trẻ lẫn người lớn tuổi, cũng đang khám phá cách công nghệ truyền thông xã hội có thể cải thiện cuộc sống của họ và mang lại cho họ nhiều tiếng nói hơn

Đánh giá trực tuyến không chỉ ảnh hưởng đến quyết định của khách hàng mà còn khuyến khích họ xem xét lại quyết định mua hàng và thay đổi hành vi mua sắm Các đánh giá trực tuyến đóng vai trò quan trọng trong việc đưa ra quyết định, định hình lại hành trình mua sắm và tạo ra các cơ hội mua hàng mới.

1 Web 2.0 là các trang World Wide Web chú trọng nhiều vào nội dung do người dùng tạo, nơi người dùng có thể đọc, viết và chia sẻ nội dung của họ Web 2.0 do vậy còn được gọi là web cộng đồng

2 of Reviews số ra tháng 3/2018 của PowerReview 2 , báo cáo dựa trên khảo sát hơn 1.000 người tiêu dùng tại Hoa Kỳ, đã đưa ra những phát hiện chính bao gồm:

97% người tiêu dùng tham khảo đánh giá sản phẩm khi mua hàng trực tuyến, trong đó có tới 85% kiểm tra các đánh giá tiêu cực Điều này cho thấy tầm quan trọng của việc xây dựng và duy trì các đánh giá sản phẩm tích cực để xây dựng niềm tin và thúc đẩy doanh số bán hàng.

– Hơn một phần ba người mua hàng sẽ không mua sản phẩm trong các cửa hàng nơi mà chưa có ý kiến đánh giá nào trước đó

– Tính đến 2018, có đến nửa số lượng người tiêu dùng viết đánh giá cho các sản phẩm họ đã mua, tăng 8% so với năm 2014

– Phần lớn người tiêu dùng đọc từ 01 đến 10 đánh giá trước khi mua hàng

Số liệu trên cho thấy sự quan tâm mà khách hàng thể hiện qua các đánh giá trực tuyến về sản phẩm và dịch vụ của họ, cũng như về việc phần lớn người dùng sẽ dựa vào các lời khuyên, đề xuất để đưa ra quyết định mua hàng Do đó, nhu cầu phân tích sắc thái tình cảm trong các nhận xét, đánh giá (phân tích cảm xúc) là rất đáng kể vì sự quan tâm tăng vọt này Đối với khách hàng, sẽ dễ dàng hơn cho việc đưa ra quyết định mua sắm khi họ hiểu biết được các yếu tố tích cực và tiêu cực của sản phẩm, dịch vụ Mặt khác, đối với các nhà bán lẻ hoặc nhà sản xuất, họ có thể nhận được những hiểu biết có giá trị về cách khách hàng thực sự cảm nhận về họ và cải thiện chiến lược tiếp thị của họ cũng như có những so sánh rõ ràng hơn với các đối thủ cạnh tranh để nâng cấp chất lượng sản phẩm và dịch vụ Hơn nữa, việc hiểu chính xác thái độ tình cảm được thể hiện trong các trang web truyền thông xã hội cũng sẽ mang lại cơ hội kinh doanh to lớn và hỗ trợ rất nhiều trong việc ra những quyết định liên quan Do vậy, nhằm đáp ứng nhu cầu của khách hàng và các nhà sản xuất, một hệ thống phân tích cảm xúc hiệu quả cần được thực thi để trích xuất các ý kiến đánh giá và cung cấp những hiểu biết rõ ràng từ dữ liệu người dùng trực tuyến Đề xuất nghiên cứu

Sự phát triển của Internet và Web 2.0 không chỉ tạo ra một lượng lớn dữ liệu số mà còn cung cấp cho chúng ta cơ hội để hiểu sâu hơn về thế giới xung quanh.

2 PowerReview là nhà cung cấp hàng đầu về các đánh giá, xếp hạng cho hơn 1.000 thương hiệu và nhà bán lẻ toàn cầu

3 những sắc thái tình cảm của cộng đồng thông qua việc phân tích các dữ liệu quy mô lớn này Tuy nhiên, các dữ liệu số do người dùng tạo càng lớn thì càng gây khó khăn trong việc trích xuất các thông tin hữu ích Một báo cáo gần đây cho thấy mỗi ngày Facebook tạo ra 4*10 15 byte dữ liệu mới và 500 triệu tweet được gửi bởi người dùng Twitter Trên trang web lớn nhất thế giới về du lịch, TripAdvisor, tính đến tháng 7/2019 đã có 760 triệu đánh giá và ý kiến về hơn 08 triệu khách sạn, nhà hàng, hãng hàng không và du thuyền Với lượng dữ liệu lớn như vậy, các nghiên cứu cho biết đã có hơn phân nửa số khách hàng trực tuyến đã cảm thấy thất vọng trong quá trình mua sắm của họ Dữ liệu khổng lồ đã gây khó khăn cho các khách hàng tiềm năng khi đọc các đánh giá và đưa ra quyết định sáng suốt Số liệu từ năm 2008 của Horrigan trong “Online Shopping” thuộc

Pew Internet and American Life Project đã cho thấy có khoảng 30% khách hàng trực tuyến đã cảm thấy bối rối và choáng ngợp bởi lượng thông tin không những rất nhiều mà trong đó có cả một số lượng lớn nội dung spam hoặc trùng lặp

Chúng ta đang trong kỷ nguyên của Web 2.0, tràn ngập hàng tấn dữ liệu mỗi ngày, các công ty và tổ chức đang phải đối mặt với các vấn đề xử lý dữ liệu nhận xét một cách hiệu quả Trong một cuộc khảo sát năm 2012 thực hiện bởi Michael trên Social Media

Examiner cho thấy có đến ba phần tư trong số 2.100 tổ chức không có ý tưởng rõ ràng về những gì khách hàng cho là có giá trị nhất và gần 31% trong số họ cảm thấy khó khăn trong việc đo lường ý kiến của khách hàng Rõ ràng là các tổ chức này không thiếu nguồn dữ liệu các ý kiến nhận xét, nhưng kích thước quá lớn của dữ liệu có ý kiến và sự phức tạp trong việc xử lý tính chủ quan đã gây khó khăn cho việc trích xuất thông tin hữu ích Sự cần thiết phải đối phó với các dữ liệu quan điểm phi cấu trúc này đã dẫn đến sự gia tăng các nghiên cứu trong lĩnh vực phân tích cảm xúc Phân tích cảm xúc là một trong những lĩnh vực nghiên cứu được nhiều sự quan tâm nhất trong xử lý ngôn ngữ tự nhiên kể từ năm 2002

Nhiệm vụ chính của phân tích cảm xúc là tự động phát hiện và đo lường định hướng tình cảm trong các văn bản Định hướng tình cảm đề cập đến mức độ tích cực hoặc tiêu cực của một ý kiến, thường được biểu thị bằng cực tính (tích cực, tiêu cực hoặc trung lập) và cường độ (mức độ mạnh hay yếu của cảm xúc).

Với bốn ý nghĩa, bao gồm việc tính toán sự phân cực tổng thể thông qua xác định các định hướng ngữ nghĩa của các từ hoặc cụm từ trong văn bản; và tiếp cận theo phương pháp học máy thực hiện việc xây dựng các trình phân lớp văn bản bằng cách chọn các đặc trưng và các thuật toán phù hợp với dữ liệu văn bản được gắn nhãn Do cách tiếp cận thứ nhất sử dụng các tài nguyên từ vựng như danh sách các từ mang cảm xúc, từ vựng, từ điển, v.v , nên đây còn được gọi là cách tiếp cận dựa trên từ vựng.

Nhiều công trình, công cụ và ứng dụng phân tích cảm xúc đã được phát triển để khai thác các ý kiến trong nội dung do người dùng tạo trên các trang mạng Tuy nhiên, hiệu năng của các hệ thống này chưa cao do sự phức tạp của ngôn ngữ tự nhiên và nhiều nghiên cứu đã cho thấy phân tích cảm xúc là bài toán phức tạp hơn so với phân lớp văn bản theo chủ đề [3] (Pang và Lee, 2008) Các công trình này vẫn chưa hiệu quả trong việc xử lý một số hiện tượng ngôn ngữ, chẳng hạn như phủ định, các hiện tượng dịch chuyển cảm xúc và văn bản mang ý kiến hỗn hợp

Luận án này được thực hiện để giải quyết hai vấn đề nghiên cứu sau:

1) Làm thế nào để xác định được giá trị cảm xúc của một từ và cụm từ mang sắc thái tình cảm trong các văn bản nhận xét tiếng Việt?

PHÂN TÍCH CẢM XÚC VÀ SỰ DỊCH CHUYỂN CẢM XÚC

Tiếp cận hướng đến ngữ nghĩa

Cực tính (polarity) được coi là yếu tố đánh giá hay hóa trị được sử dụng để nói về cảm xúc trong ngôn ngữ học, theo [13] (Frijda,1986) Trị cảm xúc có nhiều hướng (tích cực, trung tính, tiêu cực) và thang độ (nhẹ đến mạnh) Trị cảm xúc tích cực biểu thị trạng thái mong muốn (đẹp, tuyệt vời), trong khi định hướng ngữ nghĩa tiêu cực thể hiện trạng thái không mong muốn (ghét, kinh tởm) Nhiều nghiên cứu như của Hatzivassiloglou và Mckeown [14], Turney [1] cho thấy những từ có tính phân cực, đặc biệt là tính từ, được sử dụng như những chỉ số quan trọng thể hiện tính chủ quan Do đó, cách tiếp cận hướng ngữ nghĩa tập trung vào các từ và cụm từ là những từ mang cực tính và trị cảm xúc tổng thể của toàn bộ văn bản được xác định bởi tổng các chỉ số có cực tính Đây còn được gọi là cách tiếp cận dựa trên từ vựng trong nhiều công trình, theo Medhat và cộng sự [12] Đại diện cho cách tiếp cận hướng ngữ nghĩa để phân tích cảm xúc là chiến lược dựa trên từ vựng, sử dụng một từ điển các từ mang cảm xúc với các phân cực và thang độ tương ứng của chúng để phát hiện các thể hiện cảm xúc trong kho ngữ liệu văn bản [2] (Taboada và cộng sự, 2011) Các từ mang cảm xúc còn được gọi là từ ý kiến hay quan điểm, thường được sử dụng để thể hiện quan điểm tình cảm tích cực hoặc tiêu cực Ví

Từ điển cảm xúc có thể được xây dựng bằng ba phương pháp chính Từ điển thủ công cung cấp độ chính xác cao nhưng tốn nhiều thời gian và công sức Phương pháp dựa trên kho ngữ liệu sử dụng các mẫu câu hoặc quan hệ đồng hiện trong văn bản Phương pháp khởi động sử dụng một tập hợp các từ cảm xúc hạt giống kết hợp với các từ điển trực tuyến như WordNet.

 Tiếp cận dựa trên kho ngữ liệu văn bản

Với mục tiêu là xây dựng từ điển cảm xúc, phương pháp tiếp cận ngữ kho ngữ liệu văn bản dựa vào các mẫu cú pháp hoặc các mẫu xuất hiện đồng thời (co-occurrence pattern) trong ngôn ngữ, cũng như một danh sách các từ hạt giống (từ mồi) mang cảm xúc để giúp cho việc tìm thêm các từ mang cảm xúc khác trong một tập ngữ liệu lớn Từ hạt giống là một tập hợp nhỏ các từ với trị cảm xúc là tích cực hoặc tiêu cực, thường được xác định và thu thập thủ công Ý tưởng chính của hướng tiếp cận này do Hatzivassiloglou và McKeown [14] đề xuất Các tác giả đã thực hiện phương pháp dự đoán tự động giá trị ngữ nghĩa của các từ bằng liên từ giữa các tính từ trong kho ngữ liệu 21 triệu từ Được bắt đầu với một tập gồm 1336 tính từ được gán nhãn thủ công từng từ là tích cực hoặc tiêu cực (657 từ tích cực và 679 từ tiêu cực), hệ thống sử dụng một tập các ràng buộc, quy ước ngôn ngữ (trong kết nối giữa các từ) để xác định các tính từ thêm vào cũng như tính phân cực của các từ này Một trong những ràng buộc này là liên từ và khi mà những tính từ nối nhau bởi liên từ và thì cùng tính phân cực Ví dụ xinh xắn và duyên dáng, nếu tính từ xinh xắn đã biết là quan điểm tích cực thì tính từ duyên dáng cũng là quan điểm tích cực Có những liên từ biểu thị các định hướng đối lập, ví dụ nhưng, như trong

“giỏi nhưng kiêu ngạo” Hatzivassiloglou và McKeown [14] đã sử dụng bốn người tham gia gán nhãn độc lập các mẫu với sự đồng thuận là 89%, kết quả thực nghiệm của mô hình đạt độ chính xác 82% Ưu điểm của phương pháp này là có thể xác định được tính phụ thuộc ngữ cảnh (context-dependent) của từ mang cảm xúc nhưng điểm hạn chế là

3 Phương pháp tái chọn mẫu có hoàn lại

12 chỉ quan tâm đến tính từ cũng như đòi hỏi một tập ngữ liệu lớn và dựa vào số lượng lớn dữ liệu phải được gán nhãn thủ công [15] (Hu và Liu, 2004) Để giải quyết vấn đề này, tác giả Turney [1] đã đề xuất một ý tưởng để xem xét các từ cùng xuất hiện với các từ hạt giống Giả định của tác giả là những từ có phân cực cảm xúc tương tự thường có xu hướng xuất hiện cùng nhau trong cùng một văn bản Do đó, sự hiện diện của một số từ nhất định có thể đóng vai trò là chỉ số hay yếu tố để phân loại giá trị ngữ nghĩa Công trình của Turney [1] là một ví dụ điển hình về phân tích cảm xúc thông qua cách tiếp cận dựa trên kho ngữ liệu văn bản và kỹ thuật kết hợp thông tin tương hỗ với các từ hạt giống trong văn bản Thay vì áp dụng cách tiếp cận unigram, Turney sử dụng các kỹ thuật bigram để trích xuất hai từ liên tiếp từ văn bản để có thêm thông tin về ngữ cảnh; sau đó tác giả bắt đầu từ hai từ hạt giống (excellence và poor) để xác định hướng ngữ nghĩa của các từ khác Phương pháp của ông được thể hiện chi tiết trong ba giai đoạn:

Đầu tiên, các cụm từ chứa tính từ hoặc trạng từ được trích xuất vì chúng thường mang quan điểm cảm xúc, phản ánh trong các nhận xét và đánh giá Tuy nhiên, Turney lập luận rằng mặc dù một tính từ hoặc trạng từ riêng lẻ có thể ngụ ý cảm xúc chủ quan, nhưng nó có thể không cung cấp đủ bối cảnh để xác định giá trị ngữ nghĩa của nó Ví dụ, "lâu" có thể có định hướng tích cực trong đánh giá về thời lượng pin nhưng có thể tiêu cực khi đánh giá dịch vụ khách hàng Do đó, tác giả đã trích xuất các cặp từ liên tiếp từ văn bản được cho, trong đó một từ là tính từ hoặc trạng từ và từ còn lại là từ ngữ cảnh.

JJ là tính từ; NN, NNS là danh từ số ít và số nhiều; RB, RBR, RBS là trạng từ, trạng từ so sánh và trạng từ so sánh nhất; và VB VBD, VBN, VBG là động từ, động từ quá khứ, động từ quá khứ tiếp diễn, và động từ hiện tại phân từ theo Penn Treebank POS Tags

13 Bảng 2.2: Mẫu nhãn từ loại rút trích cụm 2 từ (Turney, 2001) [1]

Từ ở vị trí thứ nhất Từ ở vị trí thứ hai Từ ở vị trí thứ ba

JJ NN hoặc NNS Bất kì

RB, RBR, RBS JJ Không là NN lẫn NNS

JJ JJ Không là NN lẫn NNS

NN hoặc NNS JJ Không là NN lẫn NNS

RB, RBR, hoặc RBS VB, VBD, VBN, hoặc VBG Bất kì

 Thứ hai, tính phân cực của các cụm từ được trích xuất sẽ được ước tính bằng cách sử dụng thuật toán Pointwise Mutual Information (PMI, thông tin tương hỗ theo từng điểm) Thông tin tương hỗ là thước đo sức mạnh của mối liên hệ ngữ nghĩa giữa hai từ theo [19] (Church và Hanks, 1989), so sánh xác suất w1 và w2 cùng xuất hiện với xác suất w1 và w2 xuất hiện độc lập PMI giữa hai từ được định nghĩa bởi công thức (2.1):

P(𝑤 1 )P(𝑤 2 ) (2.1) Trong công thức, PMI(𝑤 1 , 𝑤 2 ) có nghĩa là xác suất của hai từ w1, w2 xuất hiện cùng nhau Nếu có sự liên kết thực sự giữa hai từ, thì PMI(𝑤 1 , 𝑤 2 ) > 0, cho biết xác suất xuất hiện của hai từ là cao Nếu PMI(𝑤 1 , 𝑤 2 ) ≤ 0, điều đó có nghĩa là không có mối quan hệ chặt giữa hai từ này Để phân loại tính phân cực của các cụm từ được trích xuất, Turney năm 2001 [1] sử dụng thuật toán PMI để xây dựng mối liên hệ giữa các cụm từ và hai từ hạt giống excellent và poor Hai từ hạt giống phân cực đối lập (excellent và poor) đã được chọn vì trong hệ thống đánh giá năm sao, từ excellent thường được sử dụng để mô tả đánh giá 05 sao (cao nhất) trong khi từ poor được sử dụng trong đánh giá 01 sao (thấp nhất) Giá trị ngữ nghĩa (SO) của cụm từ trích xuất được tính theo công thức (2.2)

SO(phrase) = PMI (phrase, “excellent”) − PMI (phrase, “poor”) (2.2)

Theo công thức này, nếu cụm từ có xu hướng liên kết mạnh với từ excellent hơn so với poor thì định hướng ngữ nghĩa của cụm từ sẽ là tích cực; ngược lại, định hướng ngữ nghĩa của cụm từ sẽ là tiêu cực, nếu cụm từ đó được liên kết mạnh hơn với từ poor

 Thứ ba, sau khi tính toán các giá trị ngữ nghĩa (SO) của tất cả các cụm từ được trích xuất trong văn bản đã cho, độ phân cực của văn bản là giá trị trung bình của các giá

14 trị ngữ nghĩa của tất cả các cụm từ Văn bản được phân loại là tích cực, nếu giá trị ngữ nghĩa trung bình là dương, ngược lại là tiêu cực

Dựa trên giả thuyết rằng ngữ nghĩa của một từ có xu hướng tương ứng với định hướng ngữ nghĩa của các từ liền cận nó, Turney và Littman [16] thay vì chỉ sử dụng hai từ hạt giống (excellent và poor), các tác giả đã mở rộng tập hợp các từ hạt giống thành 14 (07 từ trong mỗi nhóm) Giải pháp này đã đạt được độ chính xác cao hơn Tuy nhiên, hạn chế lớn trong công trình của Turney năm 2001 [1] cũng như Turney và Littman năm

2003 [16] là cách các tác giả tính toán xác suất bằng cách thực hiện các truy vấn bằng công cụ tìm kiếm AltaVista và thu thập số lần truy cập (hits) Nhưng theo Taboada và cộng sự năm 2006 [20] thì cho rằng việc tính toán độ phân cực bằng cách sử dụng số lần truy cập là không đáng tin cậy Hơn nữa các kết quả được truy vấn từ các công cụ tìm kiếm thương mại có thể bị sai lệch và đặc biệt là trong nghiên cứu ngôn ngữ và hiện tại AltaVista không còn được sử dụng (Yahoo! đóng trang tìm kiếm này vào năm 2003)

Do các từ trong các miền khác nhau có thể có nhiều độ đo cảm xúc khác nhau, nên ưu điểm chính của phương pháp dựa trên kho dữ liệu là các từ ý kiến được tạo ra từ kho văn bản có liên quan đến một miền cụ thể [1], [14] Tuy nhiên ngay cả như vậy, (Ding và cộng sự, 2008) [21] chỉ ra rằng các từ ý kiến trong cùng một miền vẫn có vấn đề vì cùng một từ vẫn có thể thể hiện các trị cảm xúc khác nhau Ví dụ trong hai câu liên quan đến lĩnh vực máy ảnh: “Thời lượng pin rất lâu” và “Thời gian xử lý rất lâu” từ “lâu” cho trị cảm xúc ngược nhau trong hai trường hợp này Vì vậy, các tác giả đã đề xuất các từ mang cảm xúc và đối tượng được đề cập nên được xem xét cùng nhau, đây vẫn là thách thức trong bài toán phân tích cảm xúc Rice và Zorn [22] đã xây dựng một từ điển dựa trên kho ngữ liệu văn bản bằng cách kế thừa tư tưởng trong nghiên cứu của Hatzivassiloglou và McKeown [14] Các tác giả đã kiểm thử với từ điển Dữ liệu đánh giá phim Cornell được giới thiệu bởi Pang và Lee (2002) [23] và cho ra độ chính xác của hệ thống là 72,5%, gần đạt tới độ chính xác của các phương pháp học máy

Tiếp cận theo học máy

Sự gia tăng của các kỹ thuật học máy trong xử lý ngôn ngữ tự nhiên đã dẫn đến sự phổ biến của các nghiên cứu về bài toán phân tích cảm xúc Theo cách tiếp cận của học máy, biểu diễn đặc trưng văn bản được áp dụng cùng với một số thuật tốn như Nạve Bayes [33], Support Vector Machines [34], Maximum Entropy [35] để xây dựng các bộ phân lớp cho phân tích cảm xúc [36] Các bộ phân lớp này được xây dựng dựa trên một tập các luật quy định hoặc các công thức toán học khác nhau, có thể học các quy tắc hoặc tiêu chí quyết định cho sự phân lớp dựa trên dữ liệu huấn luyện, từ đó một mô hình dự đoán được tạo ra Mô hình này sẽ được sử dụng để tiến hành phân lớp một cách tự động Phương pháp học máy cho phân tích cảm xúc thường là kiểu học có giám sát, trong đó một số lượng lớn dữ liệu được gán nhãn và huấn luyện để tạo ra bộ phân lớp trước khi bộ phân lớp này được sử dụng để phân lớp dữ liệu mới [23] (Pang và cộng sự, 2002) Logic đằng sau phương pháp học máy để phân tích cảm xúc là đơn giản khi nó dựa trên bộ phân lớp có giám sát, bao gồm hai giai đoạn: 1) Huấn luyện mô hình từ một kho dữ liệu được gán nhãn thông qua các thuật toán; 2) Phân lớp dữ liệu mới dựa trên mô hình đã được huấn luyện Chung quy lại, toàn bộ quá trình của bài toán phân lớp bao gồm các nhiệm vụ con như tiền xử lý dữ liệu, trích chọn đặc trưng, biểu diễn đặc trưng, phân lớp và hậu xử lý

Trích chọn đặc trưng là một phần quan trọng của việc xử lý dữ liệu huấn luyện trong phương pháp học máy Đó là quá trình chuyển đổi văn bản thành vector đặc trưng hoặc một biểu diễn khác để phục vụ việc xử lý tính toán [3] (Lee và Pang, 2008) Đối với bài

20 toán phân tích cảm xúc thì trước hết dữ liệu huấn luyện được gán nhãn là tích cực, tiêu cực, hoặc trung tính và sau đó tập các đặc trưng được trích xuất từ dữ liệu huấn luyện đã gán nhãn Ở bước tiếp theo, các đặc trưng này được mã hóa thành dạng đơn giản hơn để phục vụ cho tính toán, chẳng hạn như kiểu dữ liệu số Việc trích chọn đặc trưng có thể thực hiện bằng nhiều cách thức khác nhau Ví dụ, sự hiện diện hay vắng mặt của các từ trong văn bản có thể được xem là các đặc trưng và vì dữ liệu huấn luyện thường bao gồm hai nhóm, mỗi từ trong mỗi nhóm có thể được xem như một vector đặc trưng Một số hư từ stop-word (ví dụ: a, the, is), từ mà có thể không cung cấp bất kỳ thông tin cảm xúc nào, thường được lọc ra Phương pháp thêm các từ riêng lẻ vào vector đặc trưng được gọi là phương pháp unigram [23] (Pang và cộng sự, 2002) Đây là kỹ thuật cơ bản nhất cho lựa chọn đặc trưng để áp dụng tiếp cận theo học máy Một số cách tiếp cận cho trích chọn đặc trưng thông dụng được cho bởi Bảng 2.4

Bảng 2.4: Lựa chọn đặc trưng cho học máy theo Lee và Pang [3] Đặc trưng Mô tả Công trình

Ngoài từ khóa, cụm từ và số lần xuất hiện, trọng số TF-IDF cũng đóng vai trò quan trọng trong quá trình tối ưu hóa nội dung cho công cụ tìm kiếm.

Pang và cộng sự (2002) [23]; Wiebe và cộng sự (2004) [37]

Thông tin từ loại thường được khai thác vì tính từ thường được coi là chỉ số cảm xúc quan trọng của ý kiến nhận xét

Dave và cộng sự (2003) [38] Feldman (2013) [39]

Thông tin vị trí của một từ có khả năng ảnh hưởng đến mức độ cảm xúc Các từ đứng gần nhau trong câu cũng có thể cung cấp thông tin ngữ cảnh

Dave và cộng sự (2003) [38] Ghiassi và cộng sự (2013) [40]

Cú pháp của văn phạm phụ thuộc được sử dụng để phân tích cú pháp Quá trình phân tích cú pháp cho kết quả là các quan hệ ngữ nghĩa của các cặp từ

Các từ phủ định rất quan trọng vì sự xuất hiện của chúng thường thay đổi hướng cảm xúc tổng thể

Mục đích chính của trích chọn đặc trưng là để giảm số chiều không gian đặc trưng và vì thế giúp việc tính toán dễ dàng hơn Các nghiên cứu đã cố gắng phát hiện nhiều loại đặc trưng khác nhau và khai thác những thuật toán khác nhau nhằm nâng cấp hiệu năng của bộ phân lớp cảm xúc [23] (Pang và cộng sự, 2002)

Sự kết hợp của các chiến lược trích chọn đặc trưng cũng đã giúp cho việc tăng hiệu năng hệ thống Ví dụ như việc kiểm chứng đặc trưng n-gram nào tốt nhất cho phân lớp cảm xúc đã được nhiều nghiên cứu thực hiện (Pang và cộng sự, 2002) [23] đã thực nghiệm với unigram, bigram với các chiến lược có và không có nhãn POS Kết quả cho thấy bộ phân lớp SVM dự đoán tốt hơn với đặc trưng unigram thay vì bigram Ngược lại, Dave và cộng sự [43] tiến hành thí nghiệm phân lớp các nhận xét về sản phẩm thu thập từ website CNET và Amazon thành hai lớp tích cực và tiêu cực và nhận thấy bigram và trigram lại tốt hơn unigram trong một số tình huống Peng và cộng sự [44] trong thí nghiệm của mình cũng nhận thấy bigram tốt hơn unigram Ng và cộng sự năm 2006 [41] tạo hai bộ phân lớp tích cực và tiêu cực, một bộ sử dụng unigram, bộ thứ hai sử dụng kết hợp unigram, bigram, và trigram Kết quả độ chính xác của hai bộ phân lớp tương ứng là 87,2%, 79,2%, điều này có thể cho thấy việc lựa chọn đặc trưng có thể không hiệu quả khi kết hợp bigram và trigram với unigram Đặc trưng n-gram là cách đơn giản có được những thông tin liên quan đến ngữ cảnh, nếu n quá bé, mô hình khó lòng nắm bắt được đủ thông tin ngữ cảnh Ngược lại, nếu n quá lớn (ví dụ n > 3) thì việc tính toán sẽ phức tạp hơn và nó cũng sẽ gây tình trạng dữ liệu thưa [45] (Bespalov và cộng sự, 2011)

Gần đây, với sự phát triển mạnh mẽ của học sâu thì các phương pháp trích chọn và biểu diễn đặc trung ngày một đa dạng và hiệu quả Các tác giả trong [46] sử dụng kết hợp đặc trưng TF-IDF và Word2Vec cho bài toán học tổ hợp để phân lớp cảm xúc trong lĩnh vực tài chính Đặc biệt, công trình [47] sử dụng sáu loại đặc trưng khác nhau là dựa trên nội dung (content-based), cảm xúc (sentiment-based), ngữ pháp (grammatical), mạng (network-based), miền cụ thể (domain-specific), và thực tế (factuality-based) để giải quyết bài toán phân tích cảm xúc các phát biểu trên các diễn đàn sức khỏe

Sau khi tập hợp các đặc trưng được trích xuất từ dữ liệu huấn luyện, một thuật toán học máy sẽ được lựa chọn áp dụng để học trên các đặc trưng đó Nếu một đặc trưng cụ thể có xu hướng đúng một cách nhất quán khi dữ liệu huấn luyện thuộc về một lớp nhất định (tích cực, tiêu cực), phân lớp dựa trên thuật toán này sẽ ghi nhận đặc trưng đó như là một chỉ báo tốt của lớp tương ứng Chẳng hạn, nếu từ bad xuất hiện thường xuyên hơn

22 trong dữ liệu huấn luyện gán nhãn tiêu cực đã biết, thuật toán sẽ học đặc trưng bad là một chỉ số chính của lớp tiêu cực

Khi bộ phân lớp được sử dụng để dự đoán dữ liệu mới (dữ liệu thử nghiệm), bộ phân lớp sẽ lấy các giá trị theo các đặc trưng dựa trên dữ liệu thử nghiệm và nhân các giá trị đó với các trọng số học được từ dữ liệu huấn luyện Kết quả phân lớp cảm xúc sẽ được quyết định dựa vào tổng giá trị tính toán được (Pang và cộng sự) [23], (Pang và Lee) [3] Ví dụ như nếu từ good luôn xuất hiện trong tập dữ liệu huấn luyện tích cực, trong khi từ bad xuất hiện thường xuyên hơn trong tập dữ liệu huấn luyện tiêu cực trong quá trình huấn luyện, thuật toán cho trọng số +1 trên từ đặc trưng good và trọng số -1 trên từ bad Theo đó, nếu một văn bản mới chứa từ good và bad được cho vào bộ phân lớp, số lần xuất hiện của từ good (3 lần) và bad (5 lần) sẽ được tính toán và tổng hợp (chẳng hạn 3 - 5 = -2), và văn bản này sẽ được bộ phân lớp đánh giá là thuộc hướng tiêu cực

Pang và cộng sự năm 2002 [23] được coi là công trình đầu tiên áp dụng các phương pháp học máy để phân tích cảm xúc Để xem thuật toán cụ thể nào có khả năng dự đoán tốt hơn, cơng trình này đã so sánh Nạve Bayes, Support Vector Machines (SVM) và Maximum Entropy (ME) để phân lớp đánh giá phim thành hai lớp tích cực và tiêu cực Các đánh giá trung lập đã không được xét đến nhằm làm đơn giản nhiệm vụ phân lớp Kết quả cho thấy hệ thống đạt độ chính xác lần lượt là 81,0%, 82,9%, và 80,4% tương ứng với thuật tốn Nạve Bayes, SVM, và ME Cơng trình cũng chỉ ra rằng cả thuật tốn Nạve Bayes lẫn SVM đều hoạt động tốt với các đặc trưng unigram Go và cộng sự [48] cũng áp dụng các thuật toán này để phân lớp cảm xúc của các tin nhắn Twitter, trong đó dữ liệu huấn luyện bao gồm các tweet với biểu tượng cảm xúc Kết quả của các thí nghiệm cho thấy các thuật tốn Nạve Bayes, SVM và ME đạt được độ chính xác lần lượt là 81,3%, 82,2%, và 80,5%, gần giống như kết quả của Pang và cộng sự [23] Tương tự công trình của Go và cộng sự [48], các tác giả Pak và Paroubek [49] cũng đã tiến hành nghiên cứu về để phân tích cảm xúc trong nhận xét Twitter Họ sử dụng ba thuật tốn Nạve Bayes, SVM và Conditional Random Fields (CRF) [50] và theo họ, mơ hình tốt nhất để phân tích cảm xúc trên Twitter là phân lớp dựa trên Nạve Bayes sử dụng đặc trưng n-gram và nhãn từ loại (POS)

23 Quan tâm đến miền đánh giá có công trình Lin và cộng sự [51] sử dụng học máy SVM để dự đoán tính phân cực của các đánh giá sản phẩm trong bốn lĩnh vực là Sách, DVD, Thiết bị điện tử, và Thiết bị nhà bếp Hệ thống cho độ chính xác từ 73% đến 88% tùy thuộc vào các lựa chọn đặc trưng và miền đánh giá sản phẩm Kết quả cho thấy độ chính xác phân lớp trong các miền Thiết bị điện tử và Thiết bị nhà bếp cao hơn so với Sách và DVD Hiệu suất tốt nhất với độ chính xác 88% dựa trên đặc trưng unigram và trong miền Thiết bị nhà bếp

Việc kết hợp nhiều kỹ thuật với nhau cũng rất được quan tâm trong nhiều nghiên cứu

Ví dụ như, do bộ phân lớp dựa trên Nạve Bayes là bộ phân lớp xác suất đơn giản, thuật tốn Nạve Bayes cĩ thể hoạt động kém khi các đặc trưng cĩ liên quan với nhau, Dhande và Patnaik năm 2014 [52] đã chỉ ra hạn chế lớn của phân lớp dựa Nạve Bayes là dữ liệu trong thế giới thực không phải lúc nào cũng thỏa mãn giả định về tính độc lập giữa các thuộc tính Do đó, các tác giả này đã đề xuất kết hợp thuật toán mạng Nơ-ron [53] với Nạve Bayes để phân tích cảm xúc Mạng Nơ-ron cĩ thể xử lý mối tương quan và sự phụ thuộc, do đó sự kết hợp này có thể cải thiện độ chính xác của phân lớp cảm xúc trong bộ dữ liệu thực Trong thí nghiệm này, các tác giả áp dụng ba thuật toán khác nhau để phân lớp 2.000 đánh giá phim và kết quả cho thấy sự kết hợp này đạt được độ chính xác 80,65%, vượt hẳn phân lớp với Nạve Bayes độc lập (cĩ độ chính xác 62,35%)

 Tiếp cận theo hướng học sâu

Học sâu là một hướng nghiên cứu của học máy và đã mang lại hiệu quả ưu việt Có thể nói học sâu đã và đang tạo ra cuộc cách mạng về công nghệ và ứng dụng của trí tuệ nhân tạo trong cuộc sống Học sâu đã giúp phá bỏ nhiều giới hạn trước đây của các hệ thống trí tuệ nhân tạo trong nhiều lĩnh vực nghiên cứu khác nhau từ xử lý âm thanh, hình ảnh, phân tích văn bản Hơn thế nữa, học sâu không chỉ là để mô hình hóa bài toán, đóng góp của học sâu được quan tâm nhiều hơn trong thời gian gần đây là việc học tự động các biểu diễn đặc trưng (feature representation) của đối tượng nghiên cứu, ví dụ như

Sự dịch chuyển cảm xúc và những vấn đề cần nghiên cứu

2.3.1 Hiện tượng dịch chuyển cảm xúc

Ngoài việc mô tả sự kiện một cách khách quan, văn bản còn thể hiện thái độ tình cảm của người viết hoặc những người tham gia sự kiện đó Thái độ này bộc lộ qua việc lựa chọn từ ngữ và sắp xếp các từ ngữ trong văn bản, tạo nên ấn tượng về quan điểm, cảm xúc của người viết.

 Trị cảm xúc của từ vựng trong ngữ cảnh văn bản

Trong ngôn ngữ, có những từ vựng luôn thể hiện hướng ngữ nghĩa hoặc là tích cực hoặc là tiêu cực, ví dụ như giỏi, tốt, dở, xấu Hướng ngữ nghĩa của các từ này hầu như không bị thay đổi trong mọi ngữ cảnh Tuy vậy, việc các từ này bị thay thế bởi các từ đồng nghĩa hoặc gần đồng nghĩa lại cho các kết quả rất khác nhau Ví dụ ba câu sau đây cùng thể hiện một hành động di chuyển đến trường nhưng trong khi câu thứ nhất mô tả hành động đến trường một cách bình thường thì ở câu thứ hai, nhân vật Thiện mang dáng dấp của một người chạy xe rất nhanh Câu thứ ba thì rõ ràng mô tả hành động chạy xe rất ẩu, gây nguy hiểm của nhân vật Thiện: 1) Thiện chạy xe đến trường 2) Thiện phóng xe đến trường 3)Thiện lao xe đến trường

Tương tác giữa các từ ngữ và cách sắp xếp chúng trong văn bản có thể ảnh hưởng đến tính hiệu quả của phương pháp cộng tổng điểm cảm xúc Ví dụ: "An là một học sinh giỏi, rất chăm chỉ và chịu khó tìm tòi Đợt kiểm tra nào em cũng có điểm cao nhất lớp Vậy mà em lại thi rớt." Trong đoạn văn này, mặc dù có nhiều từ mang ý nghĩa cảm xúc tích cực (giỏi, chăm chỉ, chịu khó, điểm cao), chỉ một từ mang ý nghĩa tiêu cực (rớt) đã làm cho toàn bộ trị số cảm xúc của đoạn văn mang tính tiêu cực.

 Hiện tượng dịch chuyển cảm xúc trong câu và trong đoạn hội thoại

Mặc dù một số từ vựng trong một văn bản luôn thể hiện hóa trị cảm xúc là tích cực hoặc tiêu cực, thì một số từ khác có khả năng bị thay đổi hóa trị theo ngữ cảnh do ảnh hưởng

26 của các từ đứng gần chúng trong văn bản, cũng như do sự tổ chức sắp đặt các từ trong văn bản Các trường hợp gây dịch chuyển cảm xúc có thể được liệt kê như sau:

1 Phủ định: Là loại dịch chuyển cảm xúc thường gặp nhất, ví dụ trong câu “Cô ấy không thích cái laptop này”, từ phủ định “không” đã làm đảo cực trị cảm xúc của từ

“thích” Chúng ta có thể liệt kê rất nhiều từ phủ định trong tiếng Việt như không, chả, chẳng, chẳng khi nào, chẳng bao giờ… Tuy vậy vẫn có một số ngoại lệ như cặp từ “chẳng những… mà còn…”, những trường hợp như vậy thì giá trị cảm xúc của cụm từ không bị đảo cực do phủ định

2 Động từ khiếm khuyết: là những động từ được dùng để bày tỏ khả năng, sự chắc chắn, sự cho phép, yêu cầu, năng lực, đề xuất, trật tự, nghĩa vụ hoặc lời khuyên Động từ khiếm khuyết luôn đi kèm với một động từ khác có nội dung ngữ nghĩa và bổ nghĩa cho động từ này Các trường hợp câu văn bản xuất hiện động từ khiếm khuyết thì trị cảm xúc của câu thường phủ định lại với giá trị từ, cụm từ cảm xúc đi kèm với động từ khiếm khuyết Ví dụ câu “Trường nên giảm học phí.” là câu mang trị cảm xúc tiêu cực, đối nghịch so với câu “Trường giảm học phí”

3 Từ tăng cường, giảm nhẹ: các từ loại này sẽ làm gia tăng hoặc giảm đi trị cảm xúc của từ đi cùng Ví dụ trong câu “Cô ấy học chăm chỉ”, yếu tố “chăm chỉ” sẽ có trị cảm xúc mạnh hơn so với trong câu “Cô ấy học khá chăm chỉ” và có trị cảm xúc yếu hơn so với trong câu “Cô ấy học rất chăm chỉ” Điều này gây ra bởi các từ tăng cường và giảm nhẹ (rất, khá) xuất hiện bên cạnh từ cảm xúc (chăm chỉ)

4 Hiện tượng tương phản: Khi câu văn bản xuất hiện từ liên kết như mặc dù, nhưng, nhưng mà thì sự dịch chuyển trị cảm xúc xảy ra Thường thì xu hướng cảm xúc của cả câu sẽ chỉ thể hiện ở một vế trong câu Ví dụ “Cái laptop này thì đẹp nhưng giá quá đắt.” là một câu nhận xét chê bởi ý “giá quá đắt” do từ liên kết nhưng xuất hiện trước đó trong câu

5 Cảm xúc trong câu tường thuật: Trường hợp này không được ghi nhận do cảm xúc này không phải của chủ thể được đề cập Ví dụ câu “Cô ấy nói rằng xe đó rất tệ.” thì

“xe rất tệ” không phải ý kiến của chủ thể đưa ra nhận xét Ví dụ trong trường hợp này chủ thể có thể nói thêm câu “Tôi thì nghĩ khác, xe đó không tệ chút nào.”

6 Hiện tượng không đồng nhất (không tương thích): Có nhiều trường hợp xu hướng cảm xúc của văn bản phụ thuộc nhiều vào ngữ cảnh, nơi các câu, các đoạn văn bản

27 không thể cho trị cảm xúc đúng thông qua cách tính tổng các điểm số của từng từ thành phần Ví dụ: 1) Anh chàng thần đồng toán học đã không giải được bài toán đó 2) ABCphone được quảng cáo hoành tráng, diện mạo đẹp, mọi thứ đều được cho là tốt nhất, tưởng sẽ là 1 cái điện thoại ngon lành, ai ngờ lại rất chuối! Cũng tương tự như vậy, đối với các bình luận phim ảnh thì các câu đầu tiên hoặc kết thúc thường mang ý kiến chủ đạo trong toàn bộ đoạn bình luận Ví dụ “Phim được đầu tư bởi một dàn diễn viên nổi tiếng Quảng cáo quá hoành tráng Đạo diễn thì quá chất rồi Vậy mà coi thấy nhạt phèo!”

2.3.2 Khoảng trống trong nghiên cứu

Có hai hướng giải quyết chính cho bài toán phân tích cảm xúc đã được trình bày chi tiết trong mục 2.2, đó là tiếp cận theo hướng ngữ nghĩa và tiếp cận theo học máy Phương pháp học máy đã tỏ ra ưu thế hơn nhờ vào nguồn dữ liệu huấn luyện ngày càng phong phú cũng như nguồn dữ liệu này thường phải thuộc về một miền ứng dụng với mục tiêu của bài toán Ví dụ, để phân lớp cảm xúc cho các nhận xét về khách sạn du lịch thì dữ liệu tham gia huấn luyện thường là dữ liệu nhận xét về mảng du lịch-khách sạn nhằm mục đích giúp hệ thống đạt độ chính xác cao nhất có thể Tuy nhiên, phương pháp học máy hay gặp khó khăn trong các bài toán phân lớp cảm xúc theo nhiều thang độ, điều thường xuất hiện trong các ý kiến nhận xét, bởi trong thực tế người dùng hay đưa ra các ý kiến theo nhiều cung bậc tình cảm khác nhau Một vấn đề nữa mà phương pháp học máy gặp khó khăn đó là các trường hợp dữ liệu chứa các tình huống gây dịch chuyển cảm xúc do ngữ cảnh như đã nêu tại mục 2.3.1

Tổng kết chương 2

Chương 2 đã giới thiệu, phân tích chi tiết về bài toán phân tích cảm xúc và các hướng tiếp cận để xử lý Trong đó, hiện tượng dịch chuyển cảm xúc thường xuất hiện trong các ý kiến nhận xét của chủ thể được luận án quan tâm nghiên cứu Qua đó, chúng ta thấy được việc giải quyết trọn vẹn bài toán phân tích cảm xúc vẫn còn là vấn đề thách thức đối với giới khoa học trong suốt hơn mười năm trở lại đây

CHƯƠNG 3 XÁC ĐỊNH SỰ DỊCH CHUYỂN TRỊ CẢM XÚC CỦA

Trong chương 3, luận án trình bày phương pháp xây dựng từ điển cảm xúc cho tiếng Việt, được gọi là VNSD (Vietnamese Sentiment Dictionary) VNSD thực hiện khai thác các đặc trưng của ngôn ngữ tiếng Việt để tính toán trị cảm xúc của từ và cụm từ mang cảm xúc Phương pháp xây dựng từ điển VNSD là áp dụng Hồi quy Logistic, luật lan truyền kép, và các quy tắc mờ để tạo ra khoảng 5.000 tính từ, 2.000 động từ, 300 danh từ và hơn 200 trạng từ tiếng Việt cùng với giá trị cảm xúc Luận án nhận thấy rằng chiến lược kết hợp nhiều phương pháp tỏ ra hiệu quả hơn khi xây dựng từ điển, so với các kỹ thuật khai thác dữ liệu hoặc xử lý ngôn ngữ tự nhiên loại đơn lập (như tiếng Việt) Điểm đặc biệt của VNSD so với các công trình liên quan khác là việc đầu tư sâu vào việc khai thác đặc trưng ngôn ngữ và các trường hợp dịch chuyển cảm xúc nhằm đề xuất các quy tắc phù hợp cho tính toán các trị cảm xúc của các cụm từ mang quan điểm

Chương 3 trình bày nội dung chính như sau: Mục 3.1 nêu động cơ nghiên cứu, mục 3.2 giới thiệu mô hình xác định trị cảm xúc cho từ và cụm từ tiếng Việt hướng đến xây dựng từ điển cảm xúc tiếng Việt, mục 3.3 tổng kết chương.

Phân tích cảm xúc mức từ và cụm từ liên quan đến việc xác định độ đo cảm xúc cho từ, cụm từ trong văn bản Xây dựng từ điển cảm xúc được xem là bài toán phân tích cảm xúc mức từ và cụm từ, là nhiệm vụ then chốt, cung cấp ngữ liệu cho các bài toán phân tích cảm xúc các mức độ khác như mức khía cạnh hay mức văn bản SentiWordNet [4] hiện là từ điển cảm xúc lớn nhất, giúp xác định trị cảm xúc của từ cho nhiều ngôn ngữ phổ biến như tiếng Anh, Pháp, Hoa SentiWordNet miễn phí cho mục đích nghiên cứu, từ điển này được xây dựng dựa trên WordNet [17] bằng phương pháp học máy bán giám sát SentiWordNet đã từng được phát triển cho tiếng Việt qua công trình của Vu và cộng sự [64] với khoảng 1000 từ mang cảm xúc Công trình của Nguyen và cộng sự [65] xây dựng từ điển cảm xúc cho miền sản phẩm dựa vào sự kết hợp giữa các phương pháp thống kê, dịch máy, và ontology WordNet Trinh và cộng sự [66] xây dựng từ điển cảm xúc tiếng Việt gồm năm từ điển nhánh cho danh từ, động từ, tính từ, trạng từ, và các đặc

30 trưng khác, trên cơ sở từ các từ điển nhánh đã được nhóm tác giả nước ngoài phát triển cho tiếng Anh Các công trình trên đã có đóng góp cho cộng đồng khoa học trong nước, tuy nhiên có thể thấy một số hạn chế trong các công bố này như: lượng từ vựng không nhiều [64]; phụ thuộc miền ứng dụng [65]; chưa quan tâm tính toán trị cảm xúc cho cụm từ [64], [65] và điều này được [66] xử lý, tuy nhiên cách mà các tác giả tính toán trị cảm xúc cho các cụm từ có chứa phó từ dựa hoàn toàn vào tiếng Anh mà không quan tâm đến đặc trưng tiếng Việt, ví dụ score(khá tốt) = 3 * (1 – 0.1)

Trong chương 3, luận án sử dụng Hồi quy Logistic và tính toán mờ của Zadeh để xây dựng một mô hình tính toán độ đo cảm xúc của từ và cụm từ tiếng Việt Khái niệm mờ được áp dụng cho các biến ngôn ngữ, giúp điều chỉnh ý nghĩa và tầm ảnh hưởng của cụm từ Các hàm mờ được điều chỉnh phù hợp với đặc trưng ngôn ngữ tiếng Việt để tính toán độ đo cảm xúc của cụm từ Quá trình này xử lý các trường hợp gây dịch chuyển cảm xúc trong văn bản tiếng Việt, hướng tới mục tiêu phân tích cảm xúc mức khía cạnh trình bày ở mục 3.3.

Mô hình tính toán trị cảm xúc và sự dịch chuyển cảm xúc của từ, cụm từ trong các nhận xét tiếng Việt

Quá trình xác định từ cảm xúc lõi cùng điểm số cảm xúc của từ và cụm từ được trình bày trong Hình 3.1 Luận án sử dụng từ điển cảm xúc tiếng Anh SentiWordNet và công cụ chuyển ngữ Vdict.com để xây dựng từ điển cảm xúc tiếng Việt Để xác định điểm số cảm xúc của mỗi từ, luận án sử dụng Hồi quy Logistic kết hợp với từ điển SentiWordNet Các luật mờ sau đó được áp dụng để tính toán điểm số cảm xúc cho cả cụm tính từ, động từ dựa trên cấu trúc và đặc trưng của chúng.

XÁC ĐỊNH SỰ DỊCH CHUYỂN TRỊ CẢM XÚC CỦA TỪ VÀ CỤM TỪ 29 Động cơ nghiên cứu

Xác định trị cảm xúc cho từ

Việc xây dựng tập từ cảm xúc lõi được thực hiện theo các bước sau

 Bước 1: Sử dụng từ điển trực tuyến Vdict.com để chuyển ngữ từ tiếng Anh của SentiWordnet sang tiếng Việt

 Bước 2: Gán trị cảm xúc của từ tiếng Việt vừa có được ở Bước 1 bằng với giá trị cảm xúc của từ tiếng Anh tương ứng trong SentiWordnet

 Bước 3: Nếu từ tiếng Việt nào có nhiều trị cảm xúc, thì chọn trị cảm xúc có sai khác bé nhất so với trị được xác định bằng phương pháp Hồi quy Logistic cho từ đó Quá trình xây dựng tập từ cảm xúc lõi nêu trên được thể hiện bằng giải thuật 3.1

Nhập: danh sách các wLR

Xuất: danh sách các wfinal

// w LR : score of the lexical item w extracted from the Logistic Regression (LR) training task // w i : score of the i th of lexical item w extracted from the SentiWordNet (SWN) translation task

The final score of the lexical item w (wfinal) is determined by the function: function finalScore(w) w LR = LR(w) each w i in the set of SWN(w): if w i makes |w i - w LR | get a minimum value: return w i

 Xác định trị cảm xúc bằng Hồi quy Logistic (Logistic Regression)

Hồi quy Logistic là một mô hình tuyến tính phát triển bởi David Cox vào năm 1958 [67] Đây có thể xem là mô hình lựa chọn rời rạc trong ý nghĩa nó sử dụng biến phụ thuộc dạng nhị phân để ước lượng xác suất một sự kiện sẽ xảy ra với những thông tin của biến độc lập Mô hình Hồi quy Logistic được cho là phù hợp với các bài toán phân lớp nhị phân, ví dụ như phân lớp khen hoặc chê trong bài toán phân tích cảm xúc mức văn bản

Hồi quy tuyến tính, hình thức hồi quy đơn giản nhất, áp dụng phương pháp thống kê để hồi quy dữ liệu với biến phụ thuộc liên tục, trong khi biến độc lập có thể là liên tục hoặc phân loại Nói cách khác, hồi quy tuyến tính dùng để dự đoán biến phụ thuộc (y) dựa trên biến độc lập (x), sử dụng khi cần dự đoán một đại lượng liên tục Mục tiêu của hồi quy tuyến tính là tìm đường thẳng gần nhất với hầu hết các điểm dữ liệu, nhằm giảm thiểu sai số giữa các điểm dữ liệu và đường thẳng đó.

33 Hình 3.2: Đường hồi quy tuyến tính phù hợp với tập dữ liệu (theo Wikipedia)

Ví dụ ở Hình 3.2, đường thẳng màu đen đại diện cho một đường gần đúng có thể giải thích mối quan hệ giữa hai trục x và y Với hồi quy tuyến tính chúng ta có nhiệm vụ tìm ra một đường thẳng như vậy Nếu chúng ta có một biến phụ thuộc y và một biến độc lập x thì mối quan hệ giữa x và y có thể được biểu diễn dưới dạng phương trình (hàm dự đoán) 3.1 sau: y ≈ f(x) = ŷ f(x)=w0 +w1x1 + w2x2 + wnxn (3.1)

Viết lại (3.1) thành f(x)=wx̅ với w = [w0, w1, w2, …, wn] T và x̅ = [1, x 1 , x2, x3, …, xn]

Thuật toán học máy có thể học được các giá trị phù hợp từ dữ liệu bằng cách xác định các mẫu và giảm thiểu hàm mất mát Các kỹ thuật như phương pháp bình phương tối thiểu có thể được sử dụng để mục đích này Hàm mất mát là một biện pháp theo dõi mức độ sai khác giữa các giá trị thực tế và giá trị dự đoán Đối với bài toán hồi quy tuyến tính, hàm mất mát được biểu diễn bởi công thức (3.2).

34 với việc tìm vector hệ số w sao cho giá trị của hàm mất mát này càng nhỏ càng tốt Giá trị của w làm cho hàm mất mát đạt giá trị nhỏ nhất được gọi là điểm tối ưu (optimal point), và được ký hiệu theo (3.3)

Mô hình Hồi quy Logistic được sử dụng trong trường hợp đầu ra (biến phụ thuộc y) là một nhãn hay lớp Trong Hồi quy Logistic nhị phân, thông tin cần thu thập về biến phụ thuộc là một sự kiện nào đó có xảy ra hay không Từ biến phụ thuộc nhị phân này, một thủ tục sẽ được dùng để dự đoán xác suất sự kiện xảy ra theo quy tắc nếu xác suất được dự đoán lớn hơn 0.5 (điểm cắt mặc định) thì kết quả dự đoán sẽ cho là có xảy ra sự kiện, ngược lại thì kết quả dự đoán sẽ cho là không xảy ra sự kiện

Hàm dự đoán: f(x)=θ(wx) (3.4) với w = [w 0 , w 1 , w 2 ,…, w n ] T

Trong đó θ được gọi là logistic function Một số hàm truyền cho mô hình tuyến tính thông dụng như Tanh và Sigmoid (Sigmoid được sử dụng trong luận án)

Biểu đồ Hình 3.3 mô tả hàm hồi quy logistic, với các điểm xanh đại diện cho nhóm dữ liệu xanh, điểm đỏ biểu diễn nhóm dữ liệu đỏ và đường xanh lá thể hiện hàm hồi quy logistic phù hợp với dữ liệu này.

35 Hình 3.3: Đường Hồi quy Logistic phù hợp với tập dữ liệu (theo medium.com)

Giả sử nhóm màu đỏ tương ứng với 1 và nhóm màu xanh tương ứng với 0 Hình 3.3 cho thấy khi giá trị x lớn hơn 0.5, thì f(x) thuộc về nhóm đỏ do xác suất nó thuộc về nhóm đỏ là lớn hơn 0.5 Tương tự, nếu x nhỏ hơn 0.5 thì xác suất f(x) thuộc về nhóm xanh là lớn hơn 0.5, nên kết quả sẽ là nhóm xanh Với cách làm này, mô hình Hồi quy Logistic có thể phân lớp một giá trị đầu vào vào một lớp xác định Mô hình này cũng có thể xử lý được các bài toán phân lớp đa lớp [68] nhưng phạm vi của luận án chỉ quan tâm đến phân lớp nhị phân khen và chê Tương tự như cách đã làm với hồi quy tuyến tính, chúng ta cần xác định tham số θ phù hợp với dữ liệu và được xử lý bởi việc làm cực tiểu một hàm mất mát, ví dụ bằng phương pháp giảm độ dốc (gradient descent)

– Dự đoán một điểm khởi tạo θ=θ 0

– Cập nhật θ đến khi đạt được kết quả chấp nhận được: θ = θ −η ∇ θ £(θ) với ∇ θ £(θ) là đạo hàm của hàm mất mát tại θ

Hồi quy Logistic có thể ước lượng được điểm số cảm xúc của mỗi từ thông qua tập dữ liệu được gán nhãn tích cực hay tiêu cực Hồi quy Logistic ước lượng các hệ số phù hợp

36 với dữ liệu huấn luyện trong quá trong trình tạo ra mô hình phân lớp tốt nhất Các hệ số này tương ứng với mỗi đặc trưng trong vector túi từ (Bag of Words) của mỗi ý kiến nhận xét, tức là mỗi từ trong kho từ vựng Hệ số của từ biểu diễn cho sự đóng góp của từ đó vào nhóm phân lớp tương ứng Vì mỗi nhãn lớp tương ứng là +1 (tích cực) và -1 (tiêu cực) nên các phần tử thuộc về nhóm lớp tích cực sẽ có xu hướng nhận giá trị dương (+), ngược lại có xu hướng nhận giá trị âm (-) Từ đây thông qua phương pháp hồi quy, một tập các từ w với điểm số cảm xúc tương ứng LR(w) được hình thành

Toàn bộ quá trình xác định điểm số cảm xúc của tập từ vựng bằng phương pháp Hồi quy Logistic như sau:

 Bước thu thập, tiền xử lý văn bản: Luận án thu thập 14.618 nhận xét ở mytour.vn và ở foody.vn và tiến hành tiền xử lý văn bản Tiền xử lý là bước quan trọng trong xử lý văn bản bởi công đoạn thu thập văn bản không phải là hoàn hảo và việc khai thác văn bản chỉ thật sự hiệu quả khi tập văn bản được khai thác phải thực sự tốt (không chứa từ sai chính tả, từ viết tắt, kể cả các hư từ stop-word, v.v ) Cụ thể, các công việc tiền xử lý bao gồm:

– Chia văn bản thành từ đơn vị từ vựng Đây cũng là tác vụ quan trọng bởi khác với tiếng Anh, các ngôn ngữ Châu Á trong đó có tiếng Việt thì một từ có thể gồm hai tiếng trở lên, và việc xác định được phạm vi của từ trong văn bản là hết sức cần thiết

– Loại bỏ hư từ stop-word là những từ không mang thông tin liên quan đến mục tiêu cần xử lý cho văn bản, thường là các giới từ, đại từ, mạo từ Việc loại bỏ hư từ giúp tiết kiệm không gian lưu trữ cũng như tăng tốc độ xử lý văn bản

Xác định trị cảm xúc cho cụm từ

Trên bình diện cú pháp, cụm từ được cấu thành bởi các từ, liên kết với nhau theo một quan hệ cú pháp nhất định Phạm vi của luận án tập trung vào các cụm từ gồm cụm tính từ (tính từ kết hợp với phó từ) và cụm động từ (động từ kết hợp với phó từ).

Phó từ là những từ bổ nghĩa hoặc mô tả cho động từ, tính từ, mệnh đề, câu, và các phó từ khác Đã có nhiều nghiên cứu như của Diệp Quang Ban [6], Đinh Lê Thư [73] về phó từ và tầm ảnh hưởng của phó từ xuất hiện trong cụm từ với các từ loại khác Quan tâm đến thang độ của phó từ, có thể kể đến các công trình của Hoàng Trọng Phiến [74], Phạm Hùng Dũng [75] Nhóm tác giả này chia phó từ thành 04 nhóm chỉ mức độ: mức phủ định, mức thấp (thấp hơn mức trung bình), mức cao (cao hơn mức trung bình), và mức cực cấp (cao nhất) Phân chia phó từ tiếng Việt thành 05 nhóm chỉ mức độ có Hoàng Phê với Từ điển tiếng Việt của Viện Ngôn ngữ [76], ngoài mức phủ định còn có bốn mức khác, gồm: mức độ ít, mức tương đối cao, mức cao hơn hẳn mức bình thường, và mức cao nhất

Luận án chọn cách chia phó từ thành 05 loại mức độ, gồm: từ nhấn mạnh (intensifier), nâng lên (booster), hạ bớt (diminisher), tối thiểu (minimizer), và phủ định (modifier) Quy tắc chung được đặt ra khi phân loại thang độ các phó từ như sau:

– Phó từ (có một số tác giả gọi là trạng từ, hư từ, từ kèm) chỉ mức độ, thuộc vào một trong năm mức intensifier, booster, diminisher, minimizer, và modifier Các phó từ loại này tuy số lượng không nhiều nhưng tần số xuất hiện tương đối cao trong tiếng Việt và giữ vai trò quan trọng trong việc biểu thị mức độ của các sắc thái tình cảm trong văn bản Một số phó từ chỉ mức độ được biểu diễn bởi Bảng 3.2

– Các phó từ còn lại thuộc về một trong ba mức booster, diminisher, và modifier Một số từ loại này được biểu diễn bởi Bảng 3.3 o Booster: gồm các phó từ thuộc loại PV1, PV2, PV31, PV41, PV6, PV9, PV10, PV13, PV16, PV17, PV18 o Diminisher: gồm các phó từ thuộc loại PV32, PV42, PV10, PV12, PV14, PV15 o Modifier: gồm các phó từ thuộc loại PH, PV19

41 Bảng 3.2: Một số phó từ mang thang độ trong tiếng Việt

Phủ định (Modifier) cực kỳ rất khá cũng không hết sức quá tương đối hơi chẳng hết mực lắm tạm rồi chả

Bảng 3.3: Một số phó từ loại khác với mức chia thang độ tương ứng

Phủ định (Modifier) đều phải chả vẫn hiếm không hay từng chưa

Các phó từ này được lưu trữ trong một cơ sở dữ liệu MySQL Bảng 3.4 mô tả một số phó từ xuất hiện trong cơ sở dữ liệu Trong đó, “Tag” là thang độ mà một phó từ có thể thuộc về, chi tiết được trình bày trong Phụ lục 1

Bảng 3.4: Một số phó từ tiếng Việt với thang độ “Tag” tương ứng

Phó từ Loại Tag cực kỳ PV5 Intensifier không PH Modifier phải PV19 Modifier hay PV41 Booster hiếm PV42 Diminisher

 Luật mờ cho cụm tính từ Độ đo cảm xúc của cụm tính từ được tính toán nhờ vào các luật mờ áp dụng trên các tính từ (ký hiệu là x) và phó từ (ký hiệu là y) xuất hiện trong cụm từ Luận án đã sử dụng hàm mờ để đo lường độ ảnh hưởng của phó từ trong cụm tính từ Trong đó, độ đo cảm xúc của tính từ được gán cho một giá trị mờ, kí hiệu là 𝜇(x)

Tương tự như đề xuất của Zadeh [5] nếu một tính từ cảm xúc có một phó từ trước nó thì độ đo của cụm tính từ đó được điều chỉnh theo công thức (3.7)

Dựa vào đặc trưng ngôn ngữ tiếng Việt [6], [76], do có 05 thang độ cảm xúc cho các phó từ, luận án chọn δ 𝑦 = 4, 2, 1/2, hay 1/4 nếu phó từ y tương ứng là một intensifier, booster, diminisher, minimizer, và trường hợp đặc biệt khi phó từ là phủ định theo công thức (3.9) Lúc này công thức (3.7) trở thành (3.8)

Với ƒ(𝜇(x),y) là độ đo cảm xúc của cụm tính từ, trong đó x là tính từ, y là phó từ và 𝜇(x) là độ đo cảm xúc của tính từ x Bảng 3.5 biểu diễn một ví dụ về các cụm tính từ và độ đo cảm xúc tương ứng

Bảng 3.5: Ví dụ về độ đo cảm xúc của cụm tính từ tính theo công thức (3.8) f(𝝁(x),y) 𝝁(x) y ∈

Minimizer x = tốt cực kỳ (tốt) rất (tốt) khá (tốt) hơi (tốt) tốt

Các trường hợp ngoại lệ a) Phủ định của tính từ:

Với các tính từ về đạo đức, tư cách, phẩm chất tâm sinh lý, [6] cho rằng phủ định của các tính từ này là giá trị nghịch đảo nếu chúng là tính từ mang nghĩa tích cực, ngược lại phủ định thường là trung tính, cho bởi công thức (3.9)

Ví dụ: ƒ(không, 𝜇(đẹ𝑝)) = 0, nhưng ƒ(không, 𝜇(𝑡ố𝑡)) = - 𝜇(tốt)= - 0,875

43 b) Vị trí tương đối giữa tính từ và phó từ trong câu:

Nếu vị trí tính từ đứng trước phó từ sẽ làm gia tăng tính cảm xúc của tính từ

Ví dụ: ƒ(𝜇(đẹ𝑝), cực kỳ) > f(cực kỳ, 𝜇(đẹ𝑝)) và f(hay, 𝜇(𝑡𝑢𝑦ệ𝑡)) > f(𝜇(𝑡𝑢𝑦ệ𝑡),hay)

Trong trường hợp này, luận án đề xuất trị ƒ(𝜇(x),y) bằng trung bình cộng của độ đo ban đầu (độ đo trường hợp tính từ đứng sau phó từ) và độ đo của mức kế tiếp trong công thức (3.8) Nếu độ đo ban đầu là độ đo cao nhất, thì độ đo của mức kế tiếp là 1, công thức tổng quát cho bởi (3.10)

Ví dụ: ƒ(𝜇(đẹ𝑝),cực kỳ) = (ƒ(𝜇(đẹp), cực kỳ) + 1)/2 = (0,99+1)/2 =0,995

(3.10) c) Phó từ chỉ sự kết thúc

Là những phó từ mang ý nghĩa kết thúc, hoàn thành của hành động như đã, rồi Không có nhiều yếu tố cảm xúc khi tính từ đi cùng với các phó từ chỉ sự kết thúc (kí hiệu z) Ví dụ: “đẹp rồi”, “sáng rồi” Phó từ “rồi” chỉ xếp vào thang độ minimizer, nhưng chúng có thể kết hợp được với các phó từ khác (ký hiệu y): “đẹp lắm rồi”, “tốt quá rồi” và

“cực đẹp rồi” Trong trường hợp này, trị ƒ(𝜇(x),y,z) được đề xuất bằng trung bình cộng độ đo cảm xúc ban đầu (cụm từ không có phó từ chỉ sự kết thúc z) và độ đo của mức liền trước nó trong công thức (3.8) Nếu độ đo cảm xúc ban đầu là mức thấp nhất thì mức cảm xúc trước đó được chọn là 0 Nếu y là modifier, luận án chọn hệ số β=3/4 để giảm độ đo của hàm ƒ(𝜇(x),y,z), như công thức (3.11) Qua quan sát thực nghiệm, hệ số β=3/4 được xác định là phù hợp nhất

Ví dụ: ƒ(cũng, 𝜇(đẹp), rồi) = (ƒ(cũng, 𝜇(đẹp)) +0)/2 = (0,29+0)/2 = 0,145

Với z là một phó từ chỉ sự kết thúc

 Luật mờ cho cụm động từ

Hầu hết các động từ mang cảm xúc đều có khả năng đứng sau hoặc đứng trước những phó từ chỉ mức độ cũng như các phó từ loại khác trong cụm động từ Đó là những động từ thể hiện trạng thái cảm xúc như: thích, muốn, yêu, ghét, lo, sợ, tức giận, e thẹn, mong, mắc cỡ, thân mật, hoan nghênh, thắc mắc, băn khoăn…

Phân tích đánh giá

Trên cơ sở kết quả của luật mờ, luận án đã xây dựng từ điển cảm xúc VNSD với khoảng 5.000 từ và gần 50.000 cụm từ Một phần danh sách các từ và cụm từ này cho bởi Phụ lục 3 Luận án tiến hành đánh giá kết quả của phương pháp đề xuất luật mờ và so sánh với các công trình nghiên cứu khác Các Bảng 3.7 và 3.8 trình bày các kết quả của phương pháp đề xuất so với các nghiên cứu trong [4], [15], [24], [64], [65], và [66]

Bảng 3.7: So sánh từ điển VNSD với các từ điển cảm xúc trên thế giới

Công trình Phương pháp Kết quả Hạn chế Điểm mạnh

Sử dụng WordNet và gán nhãn thủ công bán giám sát để xác định một synset là khen, chê, hay trung tính

Sử dụng random walk algorithm để xác định điểm số cảm xúc cho synset Áp dụng cho các ngôn ngữ phổ biến

Chưa có cho tiếng Việt

Không xử lý được các truy vấn cho cụm từ

Từ điển cảm xúc lớn nhất hiện nay

Hỗ trợ nhiều ngôn ngữ Được tích hợp trong nhiều ứng dụng

Sử dụng WordNet kết hợp với 02 từ mồi là

"excellent" và "bad" để lan truyền dựa vào mối quan hệ đồng nghĩa, trái nghĩa

Cơ sở dữ liệu nhỏ

Bao gồm các từ sai chính tả, từ lóng, ngôn ngữ mạng xã hội

Sử dụng WordNet Các Synsets được phân lớp thành các nhóm emotion/ mood/ behavior, sau đó được xác định là các positive/ negative/ ambiguous hay neutral

Cơ sở dữ liệu nhỏ

Synsets được chia vào các nhóm emotion/ mood/ behavior

Sử dụng kết hợp các phương pháp thủ công, hồi quy logistic và tính toán logic mờ dựa trên đặc trưng ngôn ngữ Tiếng Việt

Số lượng cụm từ: hơn 50.000

Phụ thuộc vào hiệu năng của các công cụ tiền xử lý: tách từ, gán nhãn, dịch tự động

Thang độ mịn Quan tâm đến các từ loại Xử lý được các cụm từ

Cơ sở dữ liệu lớn

Bảng 3.8: So sánh từ điển VNSD với các công trình đáng chú ý trong nước

Công trình Phương pháp Hạn chế Điểm mạnh

Sử dụng luật cú pháp để trích các khía cạnh và từ mang cảm xúc

Các khía cạnh sau đó được gom nhóm bằng pương pháp học máy bán giám sát HAC kết hợp SVM- kNN

Sử dụng từ điển xây dựng thủ công

Từ điển xây dựng thủ công, cơ sở dữ liệu nhỏ (1.000 từ)

Phát hiện được các khía cạnh không tường minh và đồng tham chiếu bằng tập luật

Dịch SentiWordnet Anh-Việt Sau đó sử dụng từ điển Việt-Việt để lọc bỏ từ gây nhiễu

Sử dụng WordNet score propagation algorithm để gán điểm số các từ

Phụ thuộc vào phạm vi, lĩnh vực cụ thể

Có xử lý slang words và từ thuộc từng lĩnh vực (theo context) như Pin nhanh

Dữ liệu lớn (hơn 26.000 từ)

Dựa vào phân tích cảm xúc tiếng Anh và điều chỉnh lại cho phù hợp với tiếng Việt

Cách mà các tác giả xác định trọng số cho các rào cản (hedges) dựa vào tiếng Anh

Quan tâm đến việc xử lý các cụm từ và hedge Quan tâm đến các từ loại danh từ, động từ và tính từ

Từ điển đề xuất VNSD

Sử dụng kết hợp các phương pháp thủ công, hồi quy logistic và tính toán logic mờ dựa trên đặc trưng ngôn ngữ Tiếng Việt

Phụ thuộc vào các công cụ tiền xử lý

Quan tâm đến các từ loại

Xử lý được các cụm từ

 Vai trò của bộ tham số trong các công thức mờ (3.8) - (3.12)

Nhiều nhà ngôn ngữ học như Diệp Quang Ban đã chỉ ra rằng có 05 mức độ cho phó từ tiếng Việt [6] Vậy nên, khi các phó từ này đứng cạnh tính từ hoặc động từ mang cảm

47 xúc thì sẽ làm thay đổi trị cảm xúc của cả cụm từ Cụ thể, trị cảm xúc sẽ được dịch chuyển trong phạm vi năm phân đoạn của đoạn [0,1] nếu là cảm xúc tích cực, và năm phân đoạn của đoạn [-1,0] nếu là cảm xúc tiêu cực.

Bộ tham số (δ 𝑦 = 4, 2, 1/2, 1/4 nếu phó từ y tương ứng là một intensifier, booster, diminisher, minimizer) trong công thức (3.8) giúp kết quả của công thức (hay trị cảm xúc của cụm từ) thỏa mãn rõ nhất tiêu chí vừa nêu: Giá trị cảm xúc (tuyệt đối) của cụm từ thuộc về một trong năm mức:

Không làm mất tính tổng quát, nếu chọn trong từ điển kết quả VNSD các từ có giá trị cảm xúc mức trung bình (0.5 hoặc -0.5) như “thích” và “mệt”, khi áp dụng công thức (3.8), luận án được kết quả sau (tham khảo thêm ở Phụ mục 2):

 f(hơi thích) = 0.159 thuộc về mức cảm xúc (tích cực) bé nhất (mức 1)

 f(khá thích) = 0.293 thuộc về mức cảm xúc (tích cực) bé (mức 2)

 f(thích) = 0.500 thuộc về mức cảm xúc (tích cực) trung bình (mức 3)

 f(rất thích) = 0.750 thuộc về mức cảm xúc (tích cực) cao (mức 4)

 f(cực kỳ thích) = 0.937 thuộc về mức cảm xúc (tích cực) cao nhất (mức 5) hay:

 f(hơi mệt) = -0.159 thuộc về mức cảm xúc (tiêu cực) bé nhất (mức 1)

 f(khá mệt) = -0.293 thuộc về mức cảm xúc (tiêu cực) bé (mức 2)

 f(mệt) = -0.500 thuộc về mức cảm xúc (tiêu cực) trung bình (mức 3)

 f(rất mệt) = -0.750 thuộc về mức cảm xúc (tiêu cực) cao (mức 4)

 f(cực kỳ mệt) = -0.937 thuộc về mức cảm xúc (tiêu cực) cao nhất (mức 5)

Kết quả trên phù hợp tính chất có năm thang độ của phó từ tiếng Việt Các phó từ này khi kết hợp với các từ cảm xúc sẽ hình thành các cụm từ có giá trị cảm xúc thuộc về một trong năm mức độ cảm xúc Ngoài ra, các công thức (3.9), (3.10), (3.11), và (3.12) cũng

Chỉ số 48 được xây dựng dựa trên công thức (3.8) và đặc điểm của tiếng Việt Các giá trị trong công thức (3.10) được xác định bằng cách tính trung bình cộng của độ đo ban đầu (độ đo trường hợp tính từ đứng sau phó từ) và độ đo của mức kế tiếp trong công thức (3.8).

Vai trò và sự phù hợp của các bộ tham số trong các công thức mờ cũng được thể hiện qua phần phân tích định lượng

 Phân tích định lượng Để chứng minh tính hiệu quả của phương pháp này, luận án tiến hành thí nghiệm từ dữ liệu thực Luận án thu thập được 1.000 đánh giá tương ứng với 25 khách sạn từ agoda.vn với tỉ lệ huấn luyện và kiểm thử là 90:10

Tất cả các đánh giá của khách hàng được tiền xử lý để chuẩn hóa và giảm nhiễu Công việc tiền xử lý bao gồm các tác vụ sau:

– Chuyển đổi các từ thành dạng gốc của chúng: các từ không chính thống, viết tắt trong các đánh giá của khách hàng được xử lý chuyển thành dạng gốc Ví dụ như k, ko, kg sẽ được chuyển thành không

– Loại bỏ từ vô nghĩa, hoặc nghĩa của chúng không có đóng góp cho bài toán, cũng như các ký tự đặc biệt (!, ?, /, @,., #, “)

– Lọc nhiễu, loại bỏ các từ rác (spam), câu từ mang tính chất quảng cáo

– Tạo tập dữ liệu chứa các nhãn phân cực trong mức văn bản Luận án sử dụng hai người để tham gia phân loại các văn bản này là tích cực hay tiêu cực Để tính toán sự đồng thuận giữa các hai người tham gia gán nhãn, luận án sử dụng hệ số Kappa Cohen theo công thức (3.13)

Với Pr(a) là giá trị đồng thuận quan sát được giữa các biến đánh giá, và Pr(e) là xác suất giả định của khả năng đồng thuận Hệ số Kappa Cohen của quá trình gán nhãn dữ liệu mà luận án đã tính toán được là 0,92 Hệ số này cho thấy đã có sự đồng thuận cao trong quá trình gán nhãn dữ liệu của hai người tham gia

Luận án đã tiến hành thử nghiệm với nhiều chiến lược phân lớp khác nhau như:

49 – VNSDSWN: chỉ sử dụng từ điển cảm xúc được chuyển ngữ từ SentiWordNet

– VNSDSWN-LR: sử dụng từ điển cảm xúc được chuyển ngữ từ SentiWordNet kết hợp với kỹ thuật hồi quy logistic

– VNSDSWN-F: sử dụng từ điển cảm xúc được chuyển ngữ từ SentiWordNet và kết hợp các luật mờ

– VNSDFULL: áp dụng tất cả các kỹ thuật (SentiWordNet, hồi quy logistic, và luật mờ)

Luận án sử dụng cách tính tổng điểm cảm xúc tương tự như phương pháp SO-CAL (The Semantic Orientation CALculator) [29] được mô tả trong tính toán từng điểm số cho mỗi từ hoặc cụm từ và tính tổng tất cả các điểm số tạo thành để làm căn cứ phân lớp văn bản Nếu tổng số điểm bằng 0 văn bản sẽ được phân loại là trung tính, nếu lớn hơn 0, văn bản sẽ được phân loại là tích cực; ngược lại, văn bản sẽ mang tính tiêu cực

Ngoài ra, luận án cũng thực hiện so sánh với các phương pháp phân lớp truyền thống như Nạve Bayes [33], Support Vector Machines [34], k-Nearest Neighbors [77], Decision Trees [78], Random Forest [79] và AdaBoost (sử dụng Decision Tree Classifier) [80] Bảng 3.9 trình bày kết quả phân lớp trên các độ đo: độ chính xác (Precision), độ bao phủ (Recall), và độ đo F1 (F-measure), đây là các độ đo phổ biến cho đánh giá phân lớp văn bản

 Sự tương đồng mức từ giữa các phương pháp

Trước tiên, luận án chuẩn hóa tất cả điểm số của các từ trở thành một dạng so sánh được Đối với các từ có nhiều hơn một điểm số (ví dụ VNSDSWN), luận án chọn điểm số tối đa bởi vì nó thể hiện sự phân cực cảm xúc tốt nhất Luận án đánh giá giữa kho từ vựng, các từ giống nhau và có số điểm như nhau được ghi nhận và Bảng 3.10 cho thấy tương đồng này

Bảng 3.9: Kết quả thực nghiệm phân lớp trên các độ đo.

Chiến lược/Mô hình Precision Recall F-measure

Bảng 3.10: Sự tương đồng ở mức từ vựng giữa bốn biến thể

VNSD SWN VNSD SWN-LR VNSD SWN-F VNSD FULL

Kết quả thực nghiệm cho thấy:

– Các từ cảm xúc và điểm số của chúng được tạo ra từ cách tiếp cận SentiWordNet- Logistic Regression (VNSDSWN - LR ) hướng về một phạm vi miền cụ thể và có ngữ cảnh Phương pháp này cho độ chính xác cao hơn so với cách tiếp cận chỉ dựa trên từ điển SentiWordNet (VNSDSWN) Các trị cảm xúc trong kho từ vựng VNSDSWN-LR có được từ kỹ thuật tính toán phức tạp của SentiWordNet kết hợp với việc học từ dữ liệu thật của hồi quy logistic

PHÁT HIỆN KHÍA CẠNH VÀ TRỊ CẢM XÚC TRONG CÁC NHẬN XÉT TIẾNG VIỆT

Xác định và rút trích khía cạnh

Phương pháp mà hai tác giả Hu và Liu [15] tìm các khía cạnh là các danh từ và cụm danh từ, gồm hai bước: 1) tìm những danh từ và cụm danh từ có tần suất lớn hơn một ngưỡng (threshold) xác định; 2) để xác định những khía cạnh có tần suất thấp, bài báo đã đưa ra kỹ thuật dùng những từ thường mang cảm xúc là tính từ và trạng từ diễn đạt khen hoặc chê, như “great”, “amazing”, “bad”, “expensive” Ý tưởng bài báo là những từ mang cảm xúc giống nhau có thể dùng để mô tả cho các khía cạnh khác nhau

Ví dụ với câu “The pictures are absolutely amazing”, chúng ta biết được “amazing” là khen, khi đó từ “software” có thể được trích chọn như là khía cạnh từ câu “The software is amazing” Một cách tiếp cận khác do Wu và cộng sự [84] đề xuất là áp dụng sự phụ thuộc giữa các cụm từ (phrase dependency) để tìm những khía cạnh bổ sung, từ các từ cảm xúc đã biết Cách tiếp cận này giúp tìm thêm những khía cạnh được cấu thành bởi

Ngoài các phương pháp dựa trên từ điển, một số phương pháp dựa trên mô hình thống kê, mô hình hóa chủ đề cũng được áp dụng cho bài toán phân tích cảm xúc mức khía cạnh Điển hình như tác giả Q Mei và cộng sự sử dụng Phân tích xác suất ngữ nghĩa ẩn (PLSA), Mukherjee và Liu sử dụng Phân phối Dirichlet tiềm ẩn (LDA).

[87] sử dụng biểu thức chính quy (regular expression) để rút trích các khía cạnh cùng từ cảm xúc hướng đến Các tác giả trong [64] cũng sử dụng biểu thức chính quy để rút trích các khía cạnh nhờ vào phương pháp học máy bán giám sát

Cũng với bài toán phân tích cảm xúc mức khía cạnh, Nguyen và cộng sự [81] đã đề xuất phương pháp tiếp cận lai là xây dựng mô hình phân tích cảm xúc bao gồm đồ thị khái niệm (concept graph), ontology và 64 luật cảm xúc dựa trên biểu thức chính quy Đồ thị khái niệm và ontology phục vụ cho quá trình phân tích tự động các cấu trúc đơn giản của các câu văn bản trong ngôn ngữ tự nhiên Trong khi đó các luật cảm xúc giúp cho hệ thống hiểu được các thành phần của ngôn ngữ, phục vụ cho quá trình phân tích cảm xúc Hệ thống xử lý được các dạng câu so sánh, rút trích được một số các khía cạnh không tường minh, và xử lý các trường hợp có sự dịch chuyển trị cảm xúc trong câu có cảm xúc Các tác giả đã tiến hành các thử nghiệm và hệ thống đề xuất cho kết quả tốt hơn so với các phương pháp học máy như SVM

Trong bài toán phân tích cảm xúc mức khía cạn, có thể xuất hiện nhiều từ khác nhau chỉ cùng một khía cạnh, ví dụ như “phòng”, “phòng ốc”, “căn phòng” cùng đề cập về một khía cạnh là “phòng”, khi đó hệ thống phải thực hiện việc gom nhóm các khía cạnh này

Nhiệm vụ gom nhóm khía cạnh thường được giải quyết thông qua WordNet, một ontology phân loại các từ đồng nghĩa và trái nghĩa Các nghiên cứu gần đây cũng sử dụng ontology ConceptNet hoặc tạo ontology cho các miền chuyên ngành Ngoài ra, một số tác giả sử dụng các phương pháp học máy và thống kê để gom nhóm các khía cạnh.

Xác định cảm xúc của khía cạnh

Xác định cảm xúc cho từng khía cạnh là tác vụ thứ hai trong quá trình phân tích cảm xúc mức khía cạnh Hu và Liu [15] đã tạo một tập các từ cảm xúc bao gồm tính từ, trạng từ, động từ và danh từ Sau khi đã có một tập các từ chỉ cảm xúc trên, điểm số của khía cạnh có thể được xác định như sau: Từ và cụm từ chỉ cảm xúc trong câu được nhận diện

54 đầu tiên, từ mang nghĩa tích cực được gán giá trị +1 và từ mang nghĩa tiêu cực được gán giá trị -1, tính tổng trị cảm xúc liên quan đến khía cạnh, nếu tổng điểm là lớn hơn 0 thì khía cạnh đó là mang cảm xúc tích cực và ngược lại nhỏ hơn 0 là khía cạnh mang cảm xúc tiêu cực Taboada cùng cộng sự đề xuất phương pháp SO-CAL [29] sử dụng từ điển của các từ được gán nhãn cảm xúc cùng trọng số (cực và cường độ), có xét các trường hợp tăng cường và phủ định SO-CAL tỏ ra hiệu quả trong nhiệm vụ phân lớp cảm xúc cho văn bản.

Khai thác mối quan hệ phụ thuộc của các từ để rút trích đồng thời khía cạnh và từ cảm xúc tương ứng

và từ cảm xúc tương ứng

Bên cạnh việc thực hiện độc lập hai tác vụ rút trích khía cạnh và xác định giá trị cảm xúc, một số công trình lựa chọn cách tiếp cận rút trích đồng thời khía cạnh và từ mang cảm xúc Qiu và cộng sự [89], [90] tiếp cận phương pháp xác định khía cạnh dựa vào quan sát sự phụ thuộc giữa các từ thay vì chỉ quan tâm đến vị trí của từ trong câu như nhiều nghiên cứu khác Các tác giả đề xuất giải thuật truyền kép (double propagation) để trích xuất khía cạnh và từ cảm xúc từ việc quan sát mối quan hệ giữa chúng Các mối quan hệ này được xác định bởi bộ phân tích cú pháp của văn phạm phụ thuộc Ban đầu các tác giả sử dụng từ mồi để trích xuất các từ mang cảm xúc cùng các khía cạnh Các từ mang cảm xúc và các khía cạnh mới này lại được dùng để trích xuất các từ mang cảm xúc và các khía cạnh tiếp theo Quá trình được tiếp diễn cho đến khi không tìm được từ mang cảm xúc nào khác nữa Giải thuật truyền kép đã giúp phát hiện và rút trích được nhiều khía cạnh Tuy nhiên, phương pháp này không hiệu quả cho việc phát hiện một số khía cạnh quan trọng mà không được đề cập trực tiếp bởi các từ mang cảm xúc Các tác giả trong [91] đã giải quyết hạn chế này bằng cách sử dụng mẫu “part-whole” và “no” để xác định định các khía cạnh đã bị bỏ qua bởi giải thuật truyền kép Ngoài ra với các phương pháp học máy, đặc biệt là học sâu (deep learning) cho phân tích cảm xúc mức khía cạnh đã nổi lên như một mô hình học máy mạnh và tạo được các kết quả rất thuyết phục Với phương pháp này, có thể kể đến các công trình như Nguyen và cộng sự [92] , He và cộng sự [93], Huang và cộng sự [94]

Một thực tế là người dùng thường đưa ra các ý kiến đánh giá về các chủ đề khác nhau bằng các cảm xúc phức tạp Trị cảm xúc của một từ có thể bị thay đổi theo ngữ cảnh cụ

Hiện tượng dịch chuyển cảm xúc làm hạn chế hiệu quả của phương pháp học máy truyền thống, do chúng chỉ xét đến giá trị cảm xúc của từng từ riêng lẻ Các nghiên cứu về phân tích cảm xúc dựa trên dịch chuyển cảm xúc tập trung vào ngữ nghĩa của cụm từ và cấu trúc mang yếu tố gây ra hiện tượng này Để giải quyết vấn đề này, luận án xây dựng mô hình phân tích cảm xúc mức khía cạnh cho nhận xét tiếng Việt, kết hợp từ điển cảm xúc với luật văn phạm phụ thuộc để trích xuất các cặp từ và cụm từ thể hiện mối quan hệ giữa cảm xúc và khía cạnh.

Các đóng góp chính của luận án cho bài toán phân tích cảm xúc mức khía cạnh:

– Luận án đề xuất mô hình hiệu quả cho phân tích cảm xúc mức khía cạnh trên cơ sở kết hợp giữa từ điển cảm xúc, ontology cho miền chuyên biệt và các luật văn phạm phụ thuộc

– Luận án đã trích chọn các cụm từ cảm xúc (thay vì các từ riêng lẻ) bao gồm việc trích chọn các các cụm danh từ, cụm động từ và cụm tính từ mang tính cảm xúc Qua đó, dựa vào từ điển cảm xúc đã được xây dựng trong mục 3.2, luận án xác định được chính xác trị cảm xúc của các khía cạnh chuyển dịch theo ngữ cảnh và theo thang độ mịn

Mô hình phát hiện khía cạnh và trị cảm xúc

Luận án đề xuất mô hình trích xuất khía cạnh và từ cảm xúc dựa trên bản thể học, từ điển cảm xúc và luật trích xuất từ mối quan hệ giữa các từ trong câu tiếng Việt Sự kết hợp này giúp trích xuất cặp từ (cảm xúc - khía cạnh) Sau đó, sử dụng bản thể học để nhóm các khía cạnh và xác định giá trị cảm xúc của chúng.

 Từ điển cảm xúc tiếng Việt (VNSD) – giúp xác định từ mang cảm xúc và tra cứu trị cảm xúc của từ, cụm từ

 Ontology cho miền chuyên biệt – giúp xác định các quan hệ ngữ nghĩa giữa khía cạnh và cảm xúc để phục vụ việc gom nhóm các quan hệ (cảm xúc- khía cạnh)

 Luật rút trích – nhằm rút trích các cặp từ và cụm từ (cảm xúc – khía cạnh)

Hình 4.1: ABSA - mô hình rút trích khía cạnh và từ mang cảm xúc dựa vào từ điển cảm xúc, ontology và luật rút trích

Hình 4.1 mô tả các mô đun của mô hình rút trích khía cạnh và từ mang cảm xúc ABSA Trong mô hình này, các ý kiến được tiền xử lý như loại bỏ các ký tự đặc biệt, hư từ stop- word Các luật rút trích được áp dụng và kết hợp với từ điển cảm xúc để trích chọn ra các cặp từ và cụm từ (cảm xúc – khía cạnh) Thao tác gom nhóm các khía cạnh dựa vào ontology được tiến hành sau đó Kết quả của cả quá trình là các đánh giá cảm xúc của từng khía cạnh.

Tập luật rút trích khía cạnh và từ mang cảm xúc tươmg ứng

Mô hình có nhiệm vụ xác định khía cạnh cùng từ mang cảm xúc đề cập đến khía cạnh đó Luận án xây dựng tập luật rút trích dựa trên sự phụ thuộc ngữ nghĩa giữa các từ trong câu Sơ lược lý thuyết về văn phạm phụ thuộc được trình bày ở Phụ lục 3 Luận án xét tất cả các mối quan hệ có thể có giữa các từ loại tiếng Việt và xác định được các cặp từ loại có thể kết hợp với nhau gồm danh từ - tính từ, danh từ - động từ, danh từ - danh từ,

Các văn bản chứa cảm xúc

Tiền xử lý Luật rút trích

Nhóm các khía cạnh – cảm xúc

Từ điển cảm xúc VNSD

Ontology cho miền chuyên biệt

Tóm tắt cảm xúc theo khía cạnh

57 tính từ - tính từ, động từ - động từ, phó từ - tính từ, phó từ - động từ Dựa trên sự kết hợp này, có 12 mẫu luật được luận án đề xuất và cài đặt, được trình bày trong Bảng 4.1

Bảng 4.1: Tập luật rút trích được đề xuất

Luật rút trích Ví dụ

Luật 1: Nếu có cụm danh từ là chủ ngữ (subject) liên quan trực tiếp đến tính từ mang cảm xúc thì rút trích cặp từ này

Input: bãi xe thì quá nhỏ

Luật 2 : Nếu có cụm danh từ là chủ ngữ (subject) là chủ thể trực tiếp của động từ mang cảm xúc thì rút trích cặp từ này

Input: học phí tăng hoài

Luật 3: Nếu có cụm danh từ T là subject của một từ H và

H có mối quan hệ verb modifier (vmod) với từ mang cảm xúc S thì rút trích cặp từ (S-T)

Input: lớp học nhìn sạch

Luật 4: Nếu có cụm danh từ T là subject của một từ H và

H có mối quan hệ direct object (dob) với từ mang cảm xúc

S thì rút trích cặp từ (S-T)

Input: máy chiếu hay gặp sự cố

Output: (sự cố - máy chiếu)

Luật 5: Nếu một tính từ mang cảm xúc có mối liên hệ noun modifier (nmod) với cụm danh từ thì rút trích cặp từ này

Input: trường có cơ sở vật chất tốt

Output: (tốt – cơ sở vật chất)

Luật 6: Nếu một cụm danh từ có mối liên hệ verb modifier với động từ mang cảm xúc thì rút trích cặp từ này

Input: chúng em không cần thành tích

Output: (không cần – thành tích)

Luật 7: Nếu nhiều khía cạnh được nối nhau bởi các liên từ

“và”, “hoặc”, “hay”… thì trích chọn các khía cạnh này cùng từ mang cảm xúc đề cập đến chúng

Input: tôi thích cảnh vật và con người nơi đây

Output: (thích – cảnh vật), Output: (thích – con người)

Luật 8: Nếu nhiều từ mang cảm xúc được nối nhau bởi các từ “nhưng”, “tuy”, “tuy nhiên” … thì trích chọn các từ này cùng đích (target) mà chúng đề cập đến

Input: trường nhỏ nhưng đẹp

Output: (nhỏ - trường), Output: (đẹp – trường)

Luật 9: Nếu trong câu có động từ mang cảm xúc có mối liên hệ vmod với động từ khác thì rút trích hai động từ này cùng khía cạnh mà chúng đề cập đến

Input: trường cần giảm học phí

Output: (cần giảm – học phí)

Luật 10: Nếu trong câu xuất hiện phó từ (phụ từ, adv) thì trích từ này cùng từ cảm xúc mà nó bổ nghĩa

Luật 11: Nếu trong câu xuất hiện mẫu “không” thì rút trích cặp “không” và cụm danh từ

Input: không máy lạnh, không quạt

(không – máy lạnh) (không - quạt)

Luật 12: Nếu một ngữ danh từ có mối liên hệ dob với tính từ mang cảm xúc thì rút trích cặp từ này

Input: tôi thích khách sạn này

Output: (thích – khách_sạn) Ý nghĩa các ký hiệu trong Bảng 4.1 như sau:

 S: từ mang cảm xúc; T: đối tượng mà cảm xúc chỉ đến

 S-Dep (hoặc T-Dep): quan hệ phụ thuộc của S (hoặc T)

 POS(S) hoặc POS(T): nhãn từ loại của S hoặc T

 N, A, V, R: tương ứng là động từ, tính từ, danh từ, và phó từ

 sub, amod, dob, nmod, conj, coord: nhãn quan hệ phụ thuộc theo VNDT [95] Trong đó, sub là nhãn chức năng chủ ngữ; dob là nhãn chức năng đối tượng trực tiếp; amod là tính từ bổ ngữ; nmod là danh từ bổ ngữ; conj và coord là liên từ.

Xây dựng ontology để gom nhóm các khía cạnh

Luận án xây dựng nhiều ontology cho các miền chuyên biệt khác nhau, trong đó có miền chuyên biệt là trường đại học Ontology sẽ quản lý các mối quan hệ ngữ nghĩa giữa các thực thể của trường và các khía cạnh của các thực thể trong trường Bằng cách xác định các mối quan hệ ngữ nghĩa, có thể dễ dàng gom nhóm các khía cạnh đã rút trích được tại mục 3.3.2 Trong lĩnh vực khoa học máy tính, ontology là một cơ sở tri thức mô tả mối quan hệ của các thực thể trong thế giới thực Ontology cung cấp các khái niệm và xác định mối quan hệ của chúng trong các lĩnh vực hoặc ngữ cảnh đặc biệt [96] Ontology thường được sử dụng trong các ứng dụng của quản lý tri thức, xử lý ngôn ngữ tự nhiên, truy vấn thông tin, thương mại điện tử [81]

Luận án đã xây dựng ontology cung cấp các biểu diễn tri thức về trường đại học Hầu hết các thông tin về trường đại học được mô tả thông qua các khái niệm về thực thể, các thuộc tính, và các mối quan hệ giữa chúng Luận án tổ chức các khái niệm thành một

61 cấu trúc cây phân cấp, mỗi nút đại diện cho một khái niệm và định nghĩa các khái niệm này dựa trên Bộ Tiêu chuẩn Đánh Giá Chất Lượng trường Đại học của Bộ GD-ĐT (QĐ 65/2007/QĐ-BGDĐT) Có 08 nhóm đối tượng trong phạm vi đánh giá một trường Đại học: Chương trình đào tạo; Con người; Cơ sở vật chất; Hoạt động đào tạo; Hỗ trợ tư vấn; Tài chính; Tổ chức; Vui chơi giải trí Một phần của ontology gồm 85 khái niệm về trường đại học được minh họa bằng Hình 4.2

Gom nhóm đối tượng trên cơ sở ontology: Sau khi rút trích các cặp (từ mang cảm xúc- khía cạnh) dựa trên tập luật đề xuất, luận án tiến hành gom nhóm các khía cạnh này Ví dụ, nhóm các đối tượng như "phòng”, "máy lạnh”, "thang máy"… vào "cơ sở vật chất” Công việc này được thực hiện nhờ vào sự hỗ trợ của ontology

Hình 4.2: Ontology trường đại học, tổ chức các khái niệm thành một cấu trúc cây phân cấp, mỗi nút đại diện cho một khái niệm là các khía cạnh của trường.

Thực nghiệm

 Các độ đo đánh giá

Luận án sử dụng ba độ đo kinh điển là độ chính xác Precision (P), độ bao phủ Recall (R), và độ do F-measure (F1), được tính theo công thức (3.14) để đánh giá tính hiệu quả của bộ luật rút trích các từ cảm xúc được đề xuất

62 Trong đó GT là tập các từ được gán nhãn bởi chuyên gia T là tập các từ được rút trích tự động bởi luật

 Dữ liệu thực nghiệm Để chứng minh tính hiệu quả của mô hình, luận án đã tiến hành thử nghiệm trên dữ liệu thực Luận án xem xét một cơ sở dữ liệu của trường Đại học Ngoại ngữ - Tin học TPHCM (HUFLIT) để đánh giá, gồm 320 nhận xét tiếng Việt về 08 nhóm đối tượng sau: Chương trình đào tạo; Con người; Cơ sở vật chất; Hoạt động đào tạo; Hỗ trợ tư vấn; Tài chính; Tổ chức; Vui chơi giải trí

Cơ sở dữ liệu này đã được thực hiện trong thời gian từ 01/10/2015 đến 10/01/2016, được tiền xử lý trước để loại bỏ các trường hợp sai chính tả, từ viết tắt, ngôn ngữ teen, ký tự đặc biệt (!, ?, /, @ #, “….) Luận án đồng thời loại bỏ các loại câu nghi vấn, câu chứa các yếu tố thời gian phức tạp Các nhận xét được gán nhãn thủ công là tích cực hay tiêu cực Cho tác vụ tách từ, là tác vụ rất quan trọng của tiền xử lý văn bản, luận án đã chọn vnTokenzier [34], là công cụ tách từ dựa trên đồ thị và so trùng Công cụ này đã cho độ chính xác cao (lên đến 97%) Việc gán nhãn của luận án được thực hiện bởi công cụ RDRPOST tagger [35] Để rút trích khía cạnh và từ cảm xúc, luận án sử dụng VnDP [36], để phân tích cú pháp phụ thuộc của câu văn bản Bảng 4.2 mô tả thông tin về tập dữ liệu thực nghiệm

Bảng 4.2: Thông tin được gán nhãn từ cơ sở dữ liệu nhận xét của sinh viên đại học

Số nhận xét tích cực 160

Số nhận xét tiêu cực 160

Số từ 8042 Thời gian nhận xét từ 1/10/2015 đến 10/1/2016

Mô hình ABSA đạt độ chính xác (Precision) cao trên 81%, độ thu hồi (Recall) trên 70% và độ F1 trên 75%, dựa trên kết quả thực nghiệm thu được từ dữ liệu nhận xét của sinh viên đại học (Bảng 4.3).

63 Bảng 4.3: Kết quả thực nghiệm của mô hình rút trích khía cạnh và từ mang cảm xúc

(ABSA) trên tập dữ liệu nhận xét của sinh viên đại học

 So sánh tính hiệu quả của tập luật rút trích dựa trên mối quan hệ ngữ nghĩa phụ thuộc trong mô hình ABSA với tập luật rút trích dựa trên biểu thức chính quy

Luận án đã tiến hành so sánh tính hiệu quả của phương pháp đề xuất với phương pháp sử dụng biểu thức chính quy ở [97] khi dùng ba mẫu luật chính được cài đặt trên GATE/JAPE 4 như sau: i  (a) ii ()* (b) iii  (c)

– là những từ có mặt trong từ điển cảm xúc;

– có thể là “rất”, “khá”, “siêu” hoặc “bị”, “hơi”, “gây”…;

– có thể là “không”, “chả”, “chẳng”

Ví dụ: “Khá nhỏ” là cụm từ mang cảm xúc do “khá” là phó từ (r) và “nhỏ” là tính từ thuộc , thỏa luật (a) Nhưng “trẻ nhỏ” thì không phải là cụm từ cảm xúc vì không thỏa bất kỳ luật đề xuất nào Luật (b) để rút trích nhiều từ cảm xúc đi liền nhau như “rẻ” và “đẹp” trong “Khách sạn này rất rẻ và đẹp.” Luật (c) xử lý các trường hợp đảo cực cảm xúc như “Khách sạn này thì không đẹp.”

Một đoạn mã lệnh được cài đặt trong JAPE để hiện thực luật (c) như sau:

4 https://gate.ac.uk/sale/tao/splitch8.html

Macro:Reverse( (Token.string=="không") I (Token.string="thiếu") I (Token.string="chưa") ) Rule: ReversePos

( (Reverse) ((Lookup.majorType=="pos") ):name) > :name.CMT = (CMT="neg ",kind = "Reversepos")

Đánh giá hiệu quả của hai phương pháp được thực hiện bằng cách xác định các từ ngữ cảm xúc và các khía cạnh tương ứng dựa trên dữ liệu kiểm thử gồm 430 ý kiến phản hồi về dịch vụ khách sạn Dữ liệu này được thu thập ngẫu nhiên trong giai đoạn từ 01/06/2013 đến 01/03/2014 từ các trang web agoda.vn, mytour.vn và chudu24.com, và đã được sử dụng để kiểm thử trong nghiên cứu trước đó [97] Tập dữ liệu này bao gồm các câu khẳng định với nội dung không chứa các yếu tố thời gian phức tạp.

Bảng 4.4 và Hình 4.3 biểu diễn các kết quả so sánh của hai phương pháp

Bảng 4.4: So sánh kết quả hai phương pháp Biểu thức chính quy và quan hệ ngữ nghĩa phụ thuộc trên tập dữ liệu nhận xét khách sạn [97]

Phương pháp Precision (P) Recall (R) F-measure (F1)

Quan hệ ngữ nghĩa phụ thuộc 72% 74% 73%

Hình 4.3: So sánh kết quả hai phương pháp biểu thức chính quy và quan hệ ngữ nghĩa

Kết quả ở Hình 4.3 cho thấy mô hình sử dụng phương pháp Biểu thức chính quy cho kết quả tốt hơn với độ đo Precision nhưng Recall và F-measure thấp hơn so với phương pháp quan hệ ngữ nghĩa, được xác định bởi bộ phân tích cú pháp văn phạm phụ thuộc

Biểu thức chính quy Quan hệ ngữ nghĩa

65 mà đề tài đã sử dụng Điều này là dễ hiểu vì phương pháp sử dụng biểu thức chính quy phụ thuộc nhiều vào từ vựng và các mẫu được định nghĩa trước, một thay đổi nhỏ ở dữ liệu kiểm thử có thể dễ dàng dẫn đến kết quả các mẫu luật xử lý không chính xác Trong khi đó, phương pháp dựa vào văn phạm phụ thuộc có thể xử lý tốt hơn thông qua việc xác định mối quan hệ ngữ nghĩa, có thể phát hiện các mối quan hệ phụ thuộc xa nhờ vào bộ phân tích cú pháp phụ thuộc

Một điểm cộng cho phương pháp dựa vào văn phạm phụ thuộc so với biểu thức chính quy là khả năng phát hiện tự động các khía cạnh bởi các luật rút trích Phân tích các trường hợp gây lỗi của mô hình, luận án phát hiện ra một số lượng lớn các kết quả không chính xác có thể do sự sai sót của bộ phân tích cú pháp phụ thuộc Khi các thành phần này được phát triển và nâng cấp, luận án hy vọng rằng hiệu quả của mô hình đề xuất sẽ được cải thiện đáng kể Ngoài ra, với phương pháp dựa vào văn phạm phụ thuộc, cảm xúc về khía cạnh được xác định theo nhiều cấp độ (thang độ mịn) và yếu tố dịch chuyển cảm xúc được quan tâm giúp hệ thống có thể đưa ra được các kết quả phân tích cụ thể và chính xác hơn Để hiểu thêm về hiệu năng của mô hình đề xuất, luận án tiến hành so sánh với các công trình đáng chú ý khác Bảng 4.5 và 4.6 thể hiện các kết quả so sánh

Bảng 4.5: So sánh phương pháp của mô hình đề xuất với phương pháp truyền kép của các công trình [89], [90]

Công trình Mô hình/ Phương pháp

Từ loại được rút trích

Ngôn ngữ Số lượng luật rút trích

Khai thác mối quan hệ phụ thuộc giữa các từ cảm xúc và khía cạnh để trích xuất lẫn nhau khi đã biết một trong hai

Tính từ Tiếng Anh 8 luật truyền kép

Khai thác mối quan hệ giữa từ cảm xúc và khía cạnh kết hợp với từ điển cảm xúc để trích xuất các cặp từ, cụm từ (cảm xúc – khía cạnh)

Sử dụng ontology miền chuyên biệt để gom nhóm các khía cạnh

Tính từ, Danh từ, Động từ

Tiếng Việt 12 luật truyền kép

66 Bảng 4.6: So sánh phương pháp của mô hình đề xuất với các phương pháp phân tích cảm xúc tiếng Việt

Công trình Phương pháp Điểm hạn chế Điểm mạnh

Sử dụng học máy bán giám sát GK-LDA để trích xuất và và phân nhóm các khía cạnh

Thời gian thực thi lâu do sử dụng học máy

GK-LDA cho kết quả tốt hơn so với các phương pháp topic modeling LDA truyền thống

Các khía cạnh và từ cảm xúc được rút trích bởi luật Sau đó các khía cạnh được nhóm lại bởi học máy bán giám sát

Thời gian thực thi lâu do sử dụng học máy

Xác định được các khía cạnh tiền ẩn và phân giải đồng tham chiếu

Sử dụng các luật biểu thức chính quy cài đặt trong GATE framework Độ đo Recall và F- measure thấp

Hệ thống chỉ xử lý được các tính từ Độ đo Precision tốt hơn

Tiếp cận lai với luật phụ thuộc, từ điển cảm xúc và ontology miền chuyên biệt để trích xuất các cặp (từ mang cảm xúc – khía cạnh)

Lỗi của bộ phân tích cú pháp phụ thuộc làm giảm độ chính xác của hệ thống

Luật rút trích không phụ thuộc vào miền cụ thể và xử lý được nhiều loại từ (tính từ, động từ, danh từ) Ứng dụng

Hệ thống tra cứu thông tin khách sạn

Luận án xây dựng hệ thống tra cứu thông tin nhận xét của người dùng về hệ thống khách sạn trong nước Kịch bản tra cứu thông tin của hệ thống như sau: Để hiện thực kịch bản trên, hệ thống cần có các thành phần:

 Bộ xử lý ngôn ngữ tiếng Việt: phân tích và biểu diễn ngữ nghĩa các câu hỏi dạng văn bản của người dùng

 Bộ xử lý trung tâm: chuyển các biểu diễn ngữ nghĩa thành câu lệnh SQL thực thi câu lệnh và xử lý trả kết quả về cho người dùng

Người dùng: Xin cho tôi thông tin về khách sạn ABC tại Nha Trang?

Hệ thống: Khách sạn ABC tại Nha Trang có 234 reviews, trong đó:

 Về giá cả: có 100 nhận xét tích cực và 65 nhận xét tiêu cực;

 Về phòng ốc: có 155 nhận xét tích cực và 40 nhận xét tiêu cực;

 Về cảnh quan: có 56 nhận xét tích cực và 36 nhận xét tiêu cực

 Cơ sở tri thức về khách sạn: chứa các thông tin nhận xét về khách sạn đã qua công đoạn phân tích cảm xúc

Kiến trúc hệ thống được thể hiện ở Hình 4.4

Hình 4.4: Kiến trúc hệ thống tra cứu thông tin nhận xét khách sạn Ứng dụng được xây dựng trên nền web với ngôn ngữ PHP và hệ cơ sở dữ liệu MySQL chứa cơ sở tri thức về thông tin nhận xét của 120 khách sạn

4.3.2 Xây dựng cơ sở trí thức khách sạn

Luận án xây dựng một bộ crawler sử dụng ngôn ngữ JavaScript để thu thập tự động 14.460 nhận xét về 120 khách sạn Các thông tin nhận xét này được người dùng đăng trên agoda.vn và mytour.vn trong khoảng thời gian từ 02/8/2010 đến 29/6/2017

 Luật rút trích: sử dụng phương pháp rút trích trình bày ở mục 4.2.1

 Từ điển cảm xúc: sử dụng từ điển cảm xúc xây dựng tại chương 3

 Ontology khách sạn: ứng dụng sử dụng một ontology về khách sạn thể hiện ở Hình 4.5 Có sáu loại khía cạnh trong phạm vi đánh giá một khách sạn, đó là:

1 Phòng ốc, liên quan đến các đến các khía cạnh: diện tích, máy lạnh, giường, nền, ra, gối, TV, internet, toilet, máy nước nóng, bồn nước, máy sấy, điện thoại, khăn tắm, dầu gội, xà phòng…

2 Địa điểm, liên quan đến các khía cânh: khu vực, khu, vùng…

3 Giá tiền, liên quan đến khía cạnh: giá, giá phòng, giá cả, mức giá, phí dịch vụ, chi phí v.v cũng như các từ khóa đánh giá như mắc, rẻ, đắt…

4 Dịch vụ, liên quan đến các khía cạnh: mini-bar, nhân viên, lễ tân, dọn phòng, làm đẹp, casino, hồ bơi, nhà hàng…

5 Tổng quan, liên quan đến các thực thể khách sạn: nơi này, chỗ này, v.v , cũng như các từ khóa đánh giá như: đẹp, ồn ào…

6 Quang cảnh, liên quan đến các khía cạnh: view, cảnh, ban công…

Hình 4.5: Ontology khách sạn, tổ chức các khái niệm thành một cấu trúc cây phân cấp, mỗi nút đại diện cho một khái niệm là các khía cạnh của khách sạn

4.3.3 Xây dựng bộ xử lý ngôn ngữ tiếng Việt

Thành phần xử lý ngôn ngữ tiếng Việt được cài đặt một tập các qui tắc cú pháp định nghĩa theo văn phạm mệnh đề xác định (Definite Clause Grammar - DCG) [99] Các qui tắc cú pháp này được thực thi trên một hệ thống Prolog (SWI-Prolog 5 version 6.2.2) để phân tích các cấu trúc cú pháp và biểu diễn ngữ nghĩa câu truy vấn tiếng Việt mà hệ thống dự kiến có thể xử lý trong phạm vi của ứng dụng này Các cấu trúc nghĩa được biểu diễn dưới dạng logic vị từ FOL (First-Order Logic) [99] Trong Bảng 4.7 ở cột bên trái là các dạng câu truy vấn, biểu diễn nghĩa tương ứng của các dạng câu này được liệt kê ở cột phải

5 https://www.swi-prolog.org/

69 Bảng 4.7: Cấu trúc ngữ nghĩa của các câu truy vấn

Stt Dạng câu truy vấn Biểu diễn ngữ nghĩa

1 Khách sạn ở có ra sao? query(hotel, place, aspect)

2 Khách sạn ở ra sao? query(hotel, place)

3 Khách sạn ra sao? query(hotel)

4 Khách sạn ở có không? query(hotel, place, characteris)

5 Khách sạn có không? query(hotel, characteris)

Ví dụ, với câu truy vấn: “Khách sạn Y ở Hà Nội như thế nào?” Luật cú pháp và ngữ nghĩa DCG được định nghĩa như sau:

Luật cú pháp và ngữ nghĩa xác định cấu trúc nghĩa của câu mệnh lệnh này là query(hotel(y), place(hanoi)) Đây là luật thứ 2 trong Bảng 4.7

Biểu diễn ngữ nghĩa này được chuyển thành câu lệnh SQL nhằm truy xuất cơ sở dữ liệu Cách thức chuyển đổi giữa cây biểu diễn nghĩa và câu lệnh SQL được thể hiện bởi Bảng 4.8

Bảng 4.8: Ánh xạ 1:1 giữa cây biểu diễn nghĩa và câu lệnh SQL

Stt Biểu diễn nghĩa Câu lệnh SQL

SELECT * from tbl_Hotel WHERE hotelName = ‘hotel’ & plcaeName = ‘place’ & aspectName = ‘aspect’

2 query(hotel, place) SELECT * from tbl_Hotel WHERE hotelName = ‘hotel’ & plcaeName = ‘place’

3 query(hotel) SELECT * from tbl_Hotel WHERE hotelName = ‘hotel’ query(query(Hotel, Place)) > n_hotel, n_hotel(Hotel), v_at, n_place(Place), w_how n_hotel > [khách, sạn] n_hotel(hotel(KS)) > n_hotels(KS) n_hotels(y) > [y] v_at > [ở] n_place(place(Place)) > n_places(Place) n_places(hanoi) > [hà, nội] w_how > [như, thế, nào]

SELECT * from tbl_Hotel WHERE hotelName = ‘hotel’ & plcaeName = ‘place’ & characteris = ‘characteris’

SELECT * from tbl_Hotel WHERE hotelName = ‘hotel’ & characteris =

Hình 4.6 mô tả màn hình của ứng dụng khi tiếp nhận câu truy vấn “Khách sạn Kỳ

Hòa như thế nào?” Quá trình xử lý gồm ba bước chính, được thực hiện trong khoảng 01 giây như sau:

 Bước 1: Biểu diễn DCG câu truy vấn thành dạng FOL: query(hotel(kỳ_hòa)) Đây là biểu diễn thứ 3 theo Bảng 4.7

 Bước 2: Chuyển thành câu lệnh SQL, thỏa trường hợp thứ 3 theo Bảng 4.8:

SELECT * from tbl_Hotel WHERE hotelName = ‘kỳ_hòa’

 Bước 3: Hệ thống nhận kết quả từ cơ sở dữ liệu (cơ sở tri thức) và thực hiện kết xuất như Hình 4.6 Cơ sở tri thức các thông tin nhận xét của khách sạn được xây dựng sẵn dựa vào mô hình phát hiện khía cạnh và trị cảm xúc đã giới thiệu ở phân mục 4.3.2

Hình 4.6: Màn hình của ứng dụng: Tra cứu thông tin nhận xét về khách sạn bằng ngôn ngữ tự nhiên tiếng Việt

Hiện nay trên hầu hết các trang đăng tải nhận xét như agoda.com đều có chức năng chấm điểm bên cạnh các nhận xét dạng văn bản phi cấu trúc Hình 4.7 cho thấy một nhận xét tiêu cực nhưng người dùng lại cho điểm tích cực (6/10) xuất hiện trên agoda.com

71 Hình 4.7: Màn hình chụp từ web agoda.com của nhận xét “Phòng hơi nhỏ, ngột ngạt” với điểm số tích cực (6/10)

Với mô hình đề xuất, các sai sót như ở Hình 4.7 sẽ được khắc phục khi hệ thống quan tâm tỉ mỉ đến các cấu trúc ngôn ngữ gây dịch chuyển cảm xúc như các cấu trúc phủ định, các cụm từ có sự giảm nhẹ hay tăng thêm so với từ gốc Việc tính trị cảm xúc theo thang điểm mịn cho các cụm từ này được thực hiện nhờ vào từ điển VNSD được xây dựng tại mục 3.2

Việc trích chọn được các khía cạnh dựa trên phân tích cảm xúc thông qua các mối quan hệ ngữ nghĩa vốn rất phức tạp của tiếng Việt cũng là một điểm đặc biệt của mô hình đề xuất Nhờ vào tập luật rút trích các khía cạnh của mô hình có thể phát hiện được một cách tự động và được gom nhóm nhờ sự trợ giúp của các ontology chuyên biệt Các khía cạnh, cùng các cụm từ cảm xúc liên quan được tính toán, tổng hợp nhờ vào phương pháp SO-CAL [29] (một trong những hệ thống tiên phong xử lý dịch chuyển cảm xúc bằng các mẫu luật và tập các từ được gán nhãn cảm xúc) dựa trên từ điển VNSD được giới thiệu ở mục 3.2

Trong chương 4, luận án đã thực hiện việc giải quyết bài toán phân tích cảm xúc mức khía cạnh bằng việc rút trích các khía cạnh và từ mang cảm xúc tương ứng dựa vào quan hệ ngữ nghĩa giữa các từ trong câu thông qua phân tích cú pháp phụ thuộc Dựa vào mô hình rút trích khía cạnh, chương 4 cũng đã xây dựng một ứng dụng hiệu quả trong việc tra cứu thông tin nhận xét về dịch vụ khách sạn Nhưng nhiệm vụ quan trọng nhất của bài toán phân tích cảm xúc là xác định tính phân cực cảm xúc của cả đoạn nhận xét trước khi tìm hiểu đến từng chi tiết, khía cạnh Nhiệm vụ này sẽ được thực hiện trong chương

5 - chương giải quyết bài toán phân tích cảm xúc mức văn bản

Xây dựng bộ xử lý ngôn ngữ tiếng Việt