Chỉ số kappa của Cohen k được sử dung để tính toán ma trận nhầm lẫn giữa các chú thích trong một tập hợp 10,000 nhận xét cho từng mục tiêu không có cấp độ...-Chỉ số kappa của Cohen k đượ
Giớithiệu sứ," Wt
Nội dung độc hại hay các bình luận có nội dung căm thù, xúc phạm hiện nay rất phổ biến trên mạng xã hội Theo thống kê từ nền tang datareportal ,vào tháng 1 năm
2023, Việt Nam có 70,00 triệu người dùng mạng xã hội, tương đương với 71,0% tổng dân số Vào đầu năm 2023, các nền tảng lớn như là Facebook có 66,20 triệu người dùng, YouTube có 63,00 triệu người dùng và TikTok có 49,86 triệu người dùng từ
18 tuổi trở lên Qua đó, chúng ta có thể thấy số lượng người dùng các nền tảng mạng xã hội này ở Việt Nam là rất lớn Vì vậy, việc các nội dung độc hại, mang tính xúc phạm, thù địch xuất hiện ngày càng nhiều và có xu hướng lan truyền rất nhanh nếu như không có các biện pháp phòng ngừa, ngăn chặn hiệu qua Để giảm số lượng bình luận độc hại này lại, cần thiết có các hệ thống có khả năng giám sát và ngăn chặn trước khi các nội dung độc hại này xuất hiện
Theo [1], nhiệm vụ này có thể được gọi bằng nhiều thuật ngữ khác nhau, bao gồm hate speech, cyberbullying, toxic hay abusive language Trong bài nghiên cứu này, chúng tôi sử dụng thuật ngữ "hate speech detection" vì nhận thấy tâm lý căm ghét của một số cá nhân dành cho người khác trong các bình luận được nghiên cứu
1.1 GIGI THIỆU của chúng tôi.
Hiện đã có nhiều nỗ lực để giải quyết bài toán hate speech detection trên các nền tảng mạng xã hội Việt Nam Có thể kể đến cuộc thi VLSP-HSD Shared Task 2019
[2], hay các bộ dữ liệu gán nhãn như ViHSD [3] và VICTSD [4] Những công trình này đã có đóng góp đáng kể bằng việc xây dựng và đánh giá các mô hình học máy để tự động nhận dạng các bình luận độc hại từ các nền tảng mạng xã hội Ngoài ra, trong tài liệu [5] tác giả đã giới thiệu một giải pháp cho việc phát hiện nội dung độc hại và mang tính xúc phạm trên mạng xã hội thông qua phương pháp streaming, giúp hệ thống có thể xử lý các bình luận trong thời gian thực Tuy nhiên, các nghiên cứu được thực hiện ở thời gian trước chỉ thường tập trung vào tác vụ phân loại, tức là xác định xem một bình luận có chứa lời nói căm thù hay không Chúng thường không cung cấp thông tin rõ ràng về các đối tượng mà lời nói căm thù đang nhắm đến Trong thực tế, để xây dựng một hệ thống phân loại có tỉ lệ chính xác cao, chúng ta cần tìm hiểu cụ thể các mục tiêu mà các lời nói căm thù, xúc phạm hướng đến và mức độ dé cập của chúng trong nội dung Vi vậy, trong nghiên cứu này, chúng tôi cung cấp tập dif liệu mới có tên VĩTHSD giúp xác định các đối tượng mà lời nói căm thù, xúc phạm hướng đến cũng như đánh giá mức độ dé cập của chúng.
Kế thừa định nghĩa ngôn từ kích động thù địch từ [2], bao gồm hai thành phần chính: mục tiêu và nội dung kích động thù địch nhắm vào mục tiêu Bộ dữ liệu mới của chúng tôi thay vì chỉ phân loại bình luận xúc phạm thì sẽ tập trung vào các mục tiêu trong mỗi bình luận và mỗi mục tiêu sẽ có một cấp độ để đo lường ý nghĩa thù địch Do đó, nhiệm vụ xác định mục tiêu trong văn bản có chứa ngôn từ kích động thù địch được ký hiệu như sau: ¢ Input: Một bình luận từ mang xã hội.
* Output: Một danh sách chứa các cụm từ target#priority, trong đó target biểu thị mục tiêu được dé cập trong nhận xét và priority xác định mức độ thù địch.
Từ định nghĩa trên, các mục tiêu được sử dụng trong bộ dữ liệu mới này sẽ bao
1.1 GIGI THIỆU gồm: cá nhân ( individuals), nhóm (groups), tôn giáo (religions) và chính trị (poli- tics) Có ba cấp độ: sạch sẽ (clean) , xúc phạm (offensive) và ghét (hate) Y nghia và giải thích của các mục tiêu và cấp độ đó được hiển thi trong Phan 2 Chúng tôi gọi nhiệm vụ này là nhiệm vụ phát hiện lời nói căm thù được nhắm mục tiêu, tương tự như nhiệm vụ phân tích tình cảm dựa trên khía cạnh (ABSA). Để giải quyết nhiệm vụ này, trước tiên chúng tôi xây dựng một bộ dữ liệu mới để phát hiện ngôn từ kích động thù địch có chủ đích trên các văn bản tiếng Việt Dữ liệu mà chúng tôi sử dụng là các nhận xét, văn bản có sẵn từ bộ dữ liệu ViHSD [3], chúng tôi tiến hành chú thích các nhãn mới một cách thủ công với hướng dẫn chú thích chi tiết và quy trình chú thích nghiêm ngặt Sau quá trình tao dif liệu, chúng tôi có một bộ dif liệu gồm 10K bình luận và 5 mục tiêu khác nhau với 3 cấp độ lời nói thù địch Sau đó, chúng tôi đã sử dụng phương pháp phân loại văn bản đa nhãn để giải quyết nhiệm vụ Để xây dựng mô hình nhằm nhận dạng mục tiêu và cấp độ lời nói căm thù, chúng tôi sử dụng mô hình Bi-GRU-LSTM-CNN [6], đã đạt kết quả cao nhất trước khi kết hợp với kiến trúc BERTology với 4 lớp được tiền huấn luyện cho nhiệm vụ ABSA [7] Chúng tôi phân chia nhiệm vụ chính thành hai nhiệm vụ nhỏ để đánh giá hiệu suất mô hình đó là: chỉ phát hiện mục tiêu và phát hiện và đánh giá cấp độ mục tiêu với Precision, Recall và Fl-score [8] Chúng tôi sử dụng mô hình XLM-R kết hợp với Bi-GRU-LSTM-CNN vì mô hình này cho ra kết quả cao nhất trên hai nhiệm vụ là nhiệm vụ phát hiện mục tiêu với F1-score là 72.01% và nhiệm vụ xác định mức độ cho lời nói thù địch với F1-score là 51.74% Bên cạnh đó, chúng tôi cũng đề xuất một hệ thống có khả năng phát hiện lời nói thù địch và xử lý các bình luận từ video trực tiếp trên các nền tang Youtube, Facebook va TikTok trong thời gian thực
Tổng thể, đóng góp chính của chúng tôi trong nghiên cứu này là: ô Đầu tiờn, chỳng tụi giới thiệu một bộ dữ liệu mới, được tạo ra để phỏt hiện ngôn từ kích động thù địch có chủ đích trên các văn bản mạng xã hội của Việt
Nam Bộ dữ liệu này bao gồm 10 nghìn nhận xét được con người chú thích để huấn luyện và đánh giá mô hình Quá trình chú thích được thực hiện thủ công với các nguyên tắc nghiêm ngặt và quy trình rõ ràng nhằm đảm bảo tính khách
Các công trình có cùng chủ đề
quan trong việc gán nhãn cho dữ liệu. ằ Thứ hai, chỳng tụi đề xuất một mụ hỡnh cơ sở để phỏt hiện ngụn từ kớch động thù địch có mục tiêu trên các văn bản truyền thông xã hội dựa trên nhiệm vụ phân loại văn bản có nhiều nhãn Chúng tôi chọn phương pháp BERTology [9] vì chúng hoạt động tốt trên văn bản xã hội theo điểm chuẩn từ [10]. ằ Thứ ba, chỳng tụi dộ xuất giải phỏp xử lý nhận xột theo thời gian thực từ cỏc nền tang mạng xã hội Chúng tôi cũng thử nghiệm hệ thống được dé xuất của mình trên các video phát trực tuyến theo thời gian thực để đánh giá hiệu quả của nó và hiển thị các ứng dụng tiềm năng để sử dụng trong tương lai.
1.2 Các công trình có cùng chủ đề
Các công trình nghiên cứu trên bộ dữ liệu tiếng Việt, có thể kể đến như: VLSP-HSD xuất phát từ VLSP2019 Shared Task là công việc sớm nhất cho Phát hiện ngôn từ kích động thù địch của người Việt Mỗi nhận xét trong VLSP-HSD có một trong ba nhãn: CLEAN, OFEENSIVE, and HATE Sau công trình này, Luu et al [3] tăng số lượng nhận xét để xây dựng tập dữ liệu quy mô lớn với 33.400 nhận xét, đồng thời cung cấp một sơ đồ chú thích nghiêm ngặt để đảm bảo chất lượng của dữ liệu được gan nhãn Ngoài ra, ViHOS là một bộ dữ liệu mới có thể xác định vi trí của ngôn từ kích động thù địch trong nhận xét theo ký tự Bộ dữ liệu này mở ra một nhiệm vụ mới là trích xuất các thuật ngữ thù địch từ nhận xét của người dùng thay vì chỉ phân loại chúng là ghét hay không Nhìn chung, các bộ dữ liệu này chưa tập trung vào các mục tiêu mà các nội dung này nhắm đến Do đó, bộ dữ liệu mới của chúng tôi - VITHSD quan tâm đến những đối tượng nào được dé cập trong các bình luận và mức độ thù hận nhắm đến các đối tượng đó.
Bang 1.1 So sánh các bộ dữ liệu cho nhiệm vụ Phát hiện nội dung căm thù, xúc phạm trên ngôn ngữ Tiếng Việt.
Dataset Labels Total Size Target Labels? Rationales?
VLSP-HSD (2019) Hate Speech, Offensive, Normal 20,345 No No
ViHSD (2021) Hate Speech, Offensive, Normal 33,400 No No
ViHOS (2023) Hate Speech, Offensive, Normal 11,065 No Yes
ViTHSD (Ours) Labels for five different aspects 10,000 Yes No
1.2 CÁC CONG TRÌNH CÓ CÙNG CHỦ DE
Bên cạnh các bộ dữ liệu được dé cập trong Bảng 1.1 thể hiện sự so sánh giữa các bộ dữ liệu cho nhiệm vụ Phát hiện nội dung căm thù, xúc phạm trên ngôn ngữ
Tiếng Việt thì chúng tôi muốn giới thiệu các bộ dữ liệu có sẵn khác để phát hiện hành vi đe dọa trực tuyến và độc hại của lấy từ các nền tảng mạng xã hội bằng tiếng
Việt Ví du: UIT-ViCTSD [4] là bộ dữ liệu quy mô lớn được sử dụng dé phát hiện lời nói mang tính độc hại trên các văn bản Tin tức tiếng Việt và UIT-ViOCD [11] bộ dữ liệu được sử dụng để phát hiện khiếu nại trên các trang web thương mại điện tử.
Ngoài tiếng Việt, còn có một số bộ dữ liệu được sử dụng để phát hiện ngôn từ kích động thù địch có mục tiêu trong các ngôn ngữ ít tài nguyên , chẳng hạn như bộ dữ liệu do Ousidhoum et al cung cấp [12] trên tiếng A Rap, bộ dữ liệu L-HSAB cho
Levantine, bộ dữ liệu do Ibrohim và Burdi cung cấp [13] bằng tiếng Indonesia và bộ dữ liệu Hatexplain [14] cho tiếng Anh Từ các tập dữ liệu đó, có thể thấy điểm số về thỏa thuận giữa các chú thích chỉ đơn thuần là điểm kiểm duyệt.
Ví dụ: Hatexplain đạt kết quả 0,46 theo chỉ số alpha của Krippendorff và tập dữ liệu của Ousidhoum et al [12] chỉ mang đạt kết quả 0,202 theo chỉ số alpha của Krippendorff Điều này cho thay sự khó khăn trong quy trình chú thích khi xây dựng các tập dữ liệu đối với bài toán Phát hiện ngôn từ kích động, thù địch có mục tiêu.
Bên cạnh các tập dữ liệu thì các model cũng được dé xuất theo để xử lý bài toán của bộ dữ liệu dé ra, ví dụ như Luan et al có nghiên cứu đặc biệt về các phương pháp SOTA được áp dụng vào văn bản xã hội tiếng Việt Công trình này bao gồm BERTology đơn ngôn ngữ và đa ngôn ngữ và đề xuất SMCTE như một khung đánh giá chuẩn Tuy nhiên, SMCTE chỉ áp dụng cho tác vụ phân loại đa lớp, không phù hợp cho tác vụ của chúng tôi trong việc phát hiện mục tiêu bằng phân loại đa nhãn.
Mặc dù SMCTE không phù hợp nhưng cấu hình của các mô hình BERTology được sử dụng trong dự án này lại rất hữu ích cho các phương pháp của chúng tôi, điển hình là mô hình Bi-GRU-LSTM-CNN [6] đã cho ra được kết quả cao nhất cho các nhiệm vụ phát hiện lời nói căm thù và dự đoán công việc [15] Đây là một mô hình kết hợp ba lớp khác nhau bao gồm convolutional, Bi-LSTM và Bi-GRU cùng nhau
1.2 CÁC CÔNG TRÌNH CÓ CÙNG CHỦ DE để tăng cường mô-dun trích xuất tính năng cho văn bản ngôn ngữ tự nhiên Vì cách tiếp cận này được sử dụng cho nhiệm vụ phân loại nhiều lớp, không thể áp dụng trực tiếp cho vấn đề của chúng tôi nên thay vào đó chúng tôi sẽ tính chỉnh mô hình BERT phù hợp cho nhiệm vụ phân tích tình cảm dựa trên khía cạnh (ABSA) theo đề xuất của Dang et al [7] Do đó, chúng tôi tinh chỉnh kiến trúc BERT dựa trên nghiên cứu trong [7] với các mô hình BERTology khác nhau như được minh họa trong [10] cho nhiệm vụ phát hiện ngôn từ kích động thù địch được nhắm mục tiêu và kết hợp BERTology với Bi-GRU-LSTM- CNN để xây dựng mô hình tự động phát hiện mục tiêu và mức độ thù hận trong văn bản truyền thông xã hội.
Cuối cùng, Khanh et al [16] đã đề xuất một hệ thống phát trực tuyến để phát hiện các bình luận có lời nói căm thù bằng các bước xử lý dữ liệu hiệu quả nhằm cải thiện hiệu suất của các mô hình phân loại dựa trên bộ dữ liệu ViHSD [3] Bên cạnh ó, Vo et al [5] va Doan et al [17] đã đề xuất một hệ thống phát trực tuyến theo hời gian thực trên các nền tảng xã hội ở Việt Nam như Facebook và Youtube để phát hiện các bình luận thù địch trực tuyến Tuy nhiên, hai nghiên cứu này được áp lung dựa trên bộ dữ liệu ViHSD [3] và VLSP-HSD [2], không thé áp dụng cho van đề ngôn từ kích động thù địch có chủ đích Do đó, dựa trên kiến trúc hệ thông được đề xuất bởi hai công trình trước đó, chúng tôi đã có một số cơ sở để lên ý tưởng xây dựng một hệ thống mới thể lấy dữ liệu từ các nguồn trực tuyến như các bình luận trên Facebook, Tiktok, Youtube, và tự động phát hiện các bình luận có chứa ngôn từ kích động thù địch có chủ đích.
BO DU LIEU ViTHSD 7
Nguồndữliệu
Bộ dữ liệu của chúng tôi được lay từ dit liệu của ViHSD, một nghiên cứu nhằm xác định ngôn từ kích động thù địch trên mạng xã hội Việt Nam Bộ dữ liệu Phát hiện lời nói căm thù trên các nền tang xã hội Việt Nam (ViHSD) [3] là bộ dit liệu do con người chú thích được phát triển để tự động phát hiện lời nói căm thù trên mạng xã hội Tập dữ liệu này bao gồm hơn 30.000 nhận xét, mỗi nhận xét được gắn nhãn là
CLEAN, OFFENSIVE, or HATE Chung tôi đã xóa các nhận xét chứa liên kết, hình ảnh hoặc video không cung cấp bất kỳ thông tin nào bằng cách chọn hơn 10.000 nhận xét cho quy trình chú thích Tuy nhiên, chúng tôi đã giữ lại các biểu tượng cảm xúc trong văn bản vì chúng có thể chứa thông tin cần thiết cho người chú thích.
Bộ dữ liệu ViTHSD bao gồm bốn nhãn, gồm HATE, OFFENSIVE, CLEAN và NORMAL liên quan đến năm mục tiêu khác nhau, trong đó nhãn NORMAL không đề cập đến đối tượng cụ thể nào Một bình luận có thể chứa nhiều mục tiêu trong ViTHSD, mức độ thù địch, xúc phạm có thể thay đổi đối với mỗi mục tiêu Bang
2.1 mô tả định nghĩa và ví dụ của mỗi nhãn Mục tiêu chính của quá trình chú thích là xác định các mục tiêu bị nhắm đến bằng lời nói mang tính thù địch trong các
2.1 QUY TRÌNH CHÚ THÍCH DỮ LIỆU bình luận và xác định mức độ thù địch được hướng đến các mục tiêu đó Bộ dữ liệu ViITHSD bao gồm năm mục tiêu: Cá nhân (individuals); nhóm (groups); tôn giáo, tín ngưỡng (religion/creed); chủng tộc, dân tộc (race/ethnicity); và chính trị
(politics) Chi tiết về những mục tiêu đó được miêu tả đưới đây:
* Individuals đó là các Phát ngôn gây thù hận dựa trên danh tính cá nhân, có thể là các hình thức tan công dựa trên các yếu tố khuyết tật về thể chất, khuynh hướng tinh dục, v.v Day là một trong những cách tấn công phổ biến nhất trên mạng xã hội Việt Nam, thường được thể hiện bằng các câu có chứa tên riêng hoặc đại từ nhân xưng trong tiếng Việt Theo báo cáo của Vietnam Digital
2021, 53% người dùng Internet Việt Nam từng bị quấy rối trực tuyến, trong đó 21% gặp phải lời nói căm thù [3] Những kiểu tấn công cá nhân này thường được gọi là bắt nat trên mang (cyberbullying) và tấn công mạng (cyberaggres- sion) Ví dụ:
Comment 1: Thứ ngu như m nói chuyện mất thời gian đi học lại mẫu giáo di. Thuật ngữ "ngu" được sử dụng trong ngữ cảnh này để ám chỉ rằng người đó ( đối tượng đang bị xúc phạm) bị thiều sót ở một số khía cạnh vì vậy, thấp kém hơn người khác về khả năng nhận thức hoặc trí thông minh Sử dụng ngôn ngữ xúc phạm như vậy có thể gây đau đớn và tổn thương cho những người bị khuyết tật Bởi vì trong câu có chứa đại từ nhân xưng "mày" kết hợp với từ chỉ sự khuyết tật về mặt trí tuệ như đã phân tích ở trên cho nên đây là một câu tấn công vào mục tiêu Cá nhân.
* Groups là các hình thức lời nói căm phan có thể nhắm vào các nhóm hoặc tổ chức, bao gồm cả các nhóm dễ bị tổn thương như phụ nữ và trẻ em Đây là một trong những hình thức tấn công phổ biến trên mạng xã hội ở Việt Nam. Theo nghiên cứu của Parikh et al , ngôn từ kích động thù địch thường nhằm vào việc phân biệt đối xử và coi thường giới tính, đặc biệt là phụ nữ Có hai khái niệm được đề cập đến, đó là sexism (chủ nghĩa phân biệt giới tính) và misogyny (sự ghét bỏ phụ nữ), trong đó sexism ám chỉ sự phân biệt đối xử dựa §
2.1 QUY TRÌNH CHÚ THÍCH DỮ LIỆU trên giới tính, đặc biệt ảnh hưởng đến phụ nữ, trong khi misogyny ám chỉ sự căm ghét hoặc hận thù sâu sắc đối với phụ nữ Ngoài ra, các tổ chức phi chính phủ (NGO) cũng thường là mục tiêu của hình thức lời nói căm phan này Ví dụ:
Comment 2: Dm chúng mày Bình luận 2 có cụm từ chứng mày, một từ ghép thường dùng trong tiếng Việt để chỉ một nhóm người ngang hàng hoặc kém hơn, thường được dùng để tỏ ý khinh thường hoặc thân mật Khi được sử dụng cùng với cụm từ Dm, nó thể hiện sự khinh thường, trong ngữ cảnh này đây là một dạng tấn công vào mục tiêu một Nhóm người cụ thể.
* Religion/creed đây là các lời nói căm thù có thể nhắm mục tiêu các nhóm người trên cơ sở tôn giáo hoặc tín ngưỡng của họ Điều này thường được gọi là
"religious hate speech" Ngoài ra, lời nói căm thù dạng này cũng có thể nhắm mục tiêu vào các cá nhân dựa trên tín ngưỡng của họ, bao gồm niềm tin hoặc đức tin của họ, và đây cũng được coi là một dạng lời nói căm thù thúc đẩy thái độ không khoan dung và gây chia rẽ Ví dụ:
Comment 3: tiên trí xàm Chú thích 3 chứa cum từ xam Bằng cách sử dụng cụm từ này, người bình luận đang bác bỏ những lời day của nhà tiên tri là vô căn cứ hoặc phi lý, cho thấy sự thiếu tôn trọng đối với quan điểm tôn giáo của nhà tiên tri và những người theo họ Những nhận xét như vậy có thể được coi là một dang ngôn từ kích động thù địch tấn công vào mục tiêu tôn giáo.
* Race/ethnicity là việc sử dụng những lời nói căm phan nộ nhằm vào cá nhân hoặc nhóm dựa trên chủng tộc hoặc sắc tộc Đây là một hình thái phân biệt đối xử có thể gây ra tổn thương và xúc phạm sâu sắc Hành vi ngôn từ kích động thù địch này thường được dùng để loại bỏ và đàn áp cá nhân dựa trên ngoại hình của họ, như màu da, nét mặt, chiều cao và những đặc điểm khác Bằng cách sử dụng ngôn ngữ xúc phạm và lan truyền định kiến tiêu cực, ngôn từ kích động thù địch dựa trên chủng tộc duy trì thái độ có hại đối với cá nhân và
2.1 QUY TRÌNH CHÚ THÍCH DỮ LIỆU cộng đồng cụ thể, tăng cường sự định kiến và thành kiến có hại Ví dụ:
Thỏa thuận giữa các nhà chúthích
gồm hướng dẫn không rõ ràng, tiêu chuẩn chú thích không đầy đủ, cách diễn giải dữ liệu còn nhầm lẫn hoặc quá trình đào tạo không đầy đủ cho người chú thích Trong trường hợp không đạt được thỏa thuận giữa những người chú thích, cần có cách tiếp cận đồng thuận để xác định nhãn cuối cùng Bỏ phiếu theo đa số được dé xuất như một phương pháp đáng tin cậy để xác định nhãn cuối cùng, đặc biệt là trong các trường hợp có nhiều người đánh giá hoặc tham gia, khi mà những người đánh giá này không phải là chuyên gia về chủ đề đang được đề cập
2.3 Thỏa thuận giữa các nhà chú thích
Cohen’s kappa (K) [18], Fleiss’ kappa (K) , và Krippendorf’s alpha là các phương pháp thông thường để đo lường sự đồng ý giữa những người gán nhãn Cohen's kappa va Fleiss’ kappa là Hệ số được sửa đổi theo cơ hội để đánh giá sự đồng ý vượt xa mức độ ngẫu nhiên Những phương pháp này cung cấp một phép đo số học về sự đồng ý giữa những người gan nhãn, giúp đánh giá độ tin cậy của việc gán nhãn
Fleiss’ kappa được sử dụng nhiều hơn cho nhiều hơn hai người gán nhãn, trong khi đó Cohen’s kappa chi áp dung cho hai người gán nhãn Trong nghiên cứu nay,
Cohen’s kappa đã được sử dụng để tính cho mỗi cặp người gán nhãn trên mỗi mục tiêu trước khi được tính trung bình trên toàn bộ tập dữ liệu Ngoài ra, để đánh giá mức độ khó khăn trong quá trình xây dựng tập dữ liệu, chúng tôi thực hiện tính toán và so sánh độ đồng thuận giữa các nhà chú thích trong hai nhiệm vụ: giữa các mục tiêu không có cấp độ để so sánh với các mục tiêu có cấp độ.
Hình 2.2 và Hình2.3 thể hiện ma trận nhầm lẫn cho các nhận xét giữa mỗi cặp chú thích từng mục tiêu không có cấp độ Bảng 2.2 thể hiện mức độ đồng ý trung bình mà người chú thích đạt được cho từng mục tiêu và toàn bộ tập dữ liệu Nhìn chung, những người chú thích đồng ý nhiều về các mục tiêu individuals va Politics, trong khi Religion/Creed nhận được điểm thấp hơn Giá trị trung bình của hệ số Kappa của Cohen lần lượt là 0,5 và 0,51 cho các mốc 5.000 và 10.000 nhận xét cho mỗi mục tiêu không có cấp độ.
2.3 THỎA THUẬN GIỮA CÁC NHÀ CHÚ THICH
Hình 2.2 Chi số kappa của Cohen (k) được sử dung dé tính toán ma trận nhằm lẫn giữa các chú thích trong một tập hợp 5,000 nhận xét cho từng mục tiêu không có cấp độ.
Bảng 2.2 Trung bình Kappa của Cohen cho từng khía cạnh, không có cấp độ
Comments individuals | Group | Religion/creed | Politics | Race/ethnicity Average of Cohen’s Kappa ()
Chúng tôi đã quan sát được sự khác biệt đáng kể về giá trị trung bình của hệ số Kappa của Cohen trên từng khía cạnh và cấp độ Trong Bảng 2.3, kết quả phân tích người chú thích đã được đánh giá là có độ đồng thuận trung bình trên tập dữ liệu gồm 5,000 nhận xét Trong đó, mục tiêu về Race/Ethnicity có mức độ đồng thuận cao nhất, trong khi mục tiêu về Religion/Creed có mức độ đồng thuận thấp nhất Chúng tôi cũng phân tích một tập dữ liệu lớn hơn chứa 10,000 nhận xét, kết quả cho thấy sự đồng thuận giữa các người chú thích tăng hơn so với tập dữ liệu nhỏ hơn Tuy nhiên, đối với tập dữ liệu lớn hơn, các mục tiêu individuals và Religion/Creed có điểm đồng ý thấp hơn so với Group va Race/Ethnicity Hình 2.5 và hình 2.4 minh họa sự đồng thuận giữa các cặp chú thích cho các mục tiêu với các cấp độ khác nhau ro rang hon.
Sau khi phân tích sự đồng thuận giữa các nhà chú thích, chúng tôi nhận thấy mức
2.3 THỎA THUẬN GIỮA CÁC NHÀ CHÚ THICH
Hình 2.3 Chỉ số kappa của Cohen (k) được sử dung để tính toán ma trận nhầm lẫn giữa các chú thích trong một tập hợp 10,000 nhận xét cho từng mục tiêu không có cấp độ. độ đồng thuận cao giữa họ khi xác định các mục tiêu trong câu Điều này cho thấy các chủ dé cơ bản, dễ hiểu sé cho các nhà chú thích một góc nhìn chung hơn về van đề được bình luận Tuy nhiên, khi xét về mức độ nặng nhẹ thì giữa những người chú thích lại có một sự khác biệt rõ ràng Sự khác biệt này đặc biệt thể hiện rõ ràng đối với các mục tiêu Religion/Creed và Race/Ethnicity, cho thay rằng nhận thức về ngôn từ kích động thù địch liên quan đến hai mục tiêu này mang tính chủ quan hơn và ít được sự đồng thuận hơn giữa những người chú thích Các kết quả này làm nổi bật sự phức tạp trong việc nhận dạng và đánh giá ngôn từ kích động thù địch có mục đích, đặc biệt là khi các mục tiêu liên quan đến các vẫn đề nhạy cảm như chủng tộc và tôn giáo.
Bảng 2.3 Kappa của Cohen trung bình cho mỗi mục tiêu có cấp độ
Comments individuals | Group | Religion/creed | Politics | Race/ethnicity Average of Cohen’s Kappa Œ)
Khi xem xét bang so sánh độ đồng thuận giữa các nha chú thích trong hai nhiệm
2.3 THỎA THUẬN GIỮA CÁC NHÀ CHÚ THÍCH
Hình 2.4 Chỉ số kappa của Cohen (k) được sử dung để tính toán ma trận nhầm lẫn giữa các chú thích trên 10000 nhận xét cho mỗi mục tiêu có cấp độ.
Hình 2.5 Chỉ số kappa của Cohen (k) được sử dung để tinh toán ma trận nhầm lẫn giữa các chú thích trên 5000 nhận xét cho mỗi mục tiêu có cấp độ. vụ cụ thể: mục tiêu không có cấp độ và mục tiêu có cấp độ, ta nhận thấy có sự chênh lệch trong độ đồng thuận Khi chỉ so sánh độ đồng thuận của nhiệm vụ mục tiêu không có cấp độ (khi chỉ đánh giá một câu xem có xúc phạm, thù địch hướng mục tiêu hay không), với độ đồng thuận của các tập dữ liệu tương tự như ViHSD (k 0.52), thì hai độ đồng thuận này gan tương đương nhau Tuy nhiên, khi đánh giá thêm các cấp độ của lời nói thù địch, độ đồng thuận đã giảm đi Mặc dù vậy, khi so sánh với các tập dữ liệu tương tự trên các ngôn ngữ ít tài nguyên như Hatexplain (œ
= 0.46) và Ousidhoum (a = 0.202), bộ dữ liệu ViTHSD vẫn nằm trong ngưỡng được chấp nhận và được coi là một bộ dữ liệu đủ chuẩn và đáng tin cậy theo tiêu chuẩn đo
2.4 PHAN TICH TẬP DU LIEU lường của Landis [19].
2.4 Phân tích tap dữ liệu
Bảng 2.4 thể hiện các thống kê chung về bộ dữ liệu ViTHSD Kích thước từ vựng được tính theo mức độ từ, và độ dài trung bình được tính bằng tổng độ dài của các bình luận chia cho số lượng bình luận trong từng tập Từ bảng 2.4, ta thấy tập huấn luyện có kích thước từ vựng lớn nhất Tuy nhiên, tập phát triển (dev) có giá trị độ đài trung bình cao nhất, tức là các bình luận trong tập phát triển dường như dài hơn so với các tập còn lại Ngược lại, so với độ dài trung bình, kích thước từ vựng trong tập dev lại nhỏ hơn so với hai tập còn lại.
Mặt khác, chúng tôi cũng tiến hành phân tích thống kê về phân phối độ dài các bình luận trên các tập huấn luyện, phát triển và kiểm tra Bảng 2.5 cho thấy thông tin thống kê về độ dài các bình luận trên ba tập này và hình 2.6 trình bày biểu đồ boxplot dựa trên thông tin từ Bảng 2.5.
Bảng 2.4 Thống kê tong quan về bộ dữ liệu VITHSD
Train | Dev | Test Num comments | 7,000 | 1,201 | 1,800 Vocab size 12,701 | 4,547 | 5,684 Avg length 57.33 | 58.23 | 55.54
Bảng 2.5 Thông tin thống kê về phan phối độ dài trên các tập huấn luyện, phát triển và kiểm tra của ViTHSD
2.4 PHAN TÍCH TẬP DU LIEU
TRAINING SET DEV SET TEST SET ¢ 700 700
Hình 2.6 Sự phân bố độ dài của các nhận xét trong các tập huấn luyện, phát triển
0 và kiểm tra của VITHSD
Theo Hình 2.6, các bình luận có độ dài kí tự như nhau với trung bình độ dài đều bằng 38 trên cả 3 tập dữ liệu theo Bảng 2.5 Ngoài ra, các tập huấn luyện, phát triển và kiểm tra có độ dài tối thiểu của 1 câu bình luận bằng 1 Tuy nhiên, độ dài tối da của nhận xét trong ba tập hợp không giống nhau Tập huấn luyện có độ dài bình luận tối đa cao nhất là 714 trong khi tập phát triển có độ dài bình luận tối đa thấp nhất là
512 Nhìn chung, ba bộ của ViTHSD có phân bồ độ dài như nhau.
Bang 2.6 Phân phối mục tiêu trong mỗi nhận xét theo tập huấn luyện, phát triển và kiểm tra
Number of comments Number of targets | Train | Dev Test
2.4 PHAN TICH TẬP DU LIEU
Bảng 2.7 Phân phối nhận xét theo mục tiêu
Train | Dev | Test individuals 5,480 | 938 | 1398 groups 2,977 | 517 | 769 religion/creed 24 8 6 race/ethnicity 5022| 74) 129 politics 363 | 57 89
Ngoài ra, Bang 2.6 còn minh hoa sự phân bổ số lượng mục tiêu trong mỗi nhận xét theo các tập huấn luyện, phát triển và kiểm tra Có thể thấy các bình luận có một đến hai mục tiêu và các bình luận không có mục tiêu chiếm tỷ lệ lớn Chúng tôi cũng đã khám phá cách phân phối nhận xét theo từng mục tiêu, theo Bảng 2.7 thì hau hết các nhận xét đều tập trung vào mục tiêu individuals va group, các mục tiêu như religion/creed có ít bình luận nhất Có thể thấy hầu hết các phát ngôn gây thù hận có xu hướng đề cập đến cá nhân hoặc nhóm người hơn là về tôn giáo hay chính trị.
Bảng 2.8 Số lượng cấp độ của mỗi mục tiêu trên các tập huấn luyện, phát triển, và kiểm tra của bộ dữ liệu VĩTHSD.
Target clean | offensive | hate | clean | offensive | hate | clean | offensive | hate individuals 2,480 1,169 | 1,831 | 454 189 | 295| 618 324 | 456 groups 1,406 639) 932) 266 9% | 155| 356 185 | 228 religion/creed 8 8 8 6 1 1 3 2 1 race/ethnicity 120 163| 219 15 24| 35 40 34| 55 politics 37 §1| 245 4 ll | 42 10 21| 58
Bang 2.9 Các ví dụ từ bộ dữ liệu ViTHSD
1 có học thức chỉ tiếc van hoá quá kém ý thức thua cá | [individuals#hate, group#hate] ột con chó
2 Đi cách ly chứ đâu phải đi du lịch [individuals#clean, group#clean]
3 | quan trọng là dan déo tin vào chúng mày nữa chứ ko | [group#offensive, politicHoffensive] phải là sợ chúng mày lạm quyền trưng dụng
4 Loạn hệt cmn roi Hazz [individuals#offensive, group#offensive]
5 Ban hàng vậy mà cũng có ng mua, vì dep bat chap nhục | [individuals#hate, race/ethnic#offensive]
Con này về miền bắc VN được đón tiếp nồng hậu lắm. đây.
Cuối cùng, Bảng 2.8 minh họa việc phân phối nhận xét theo cấp độ trên mỗi mục
XÂY DỰNG HỆ THONG XỬ LÝ BÌNH LUẬN TIÊU CUC
Baseline Models 2 20 2 eee eee 22
Chúng tôi tuân theo kiến trúc hệ thống trong [7] để xây dung mô hình cơ sở cho nhiệm vụ phát hiện lời lẽ kích động thù địch có mục tiêu Hình 3.1 mô tả mô hình
BERT được điều chỉnh tốt nhất cho nhiệm vụ này Theo công trình gốc [7], chúng tôi bỏ khoá bốn lớp cuối của BERT để huấn luyện tham số Sau đó, các tham số từ BERT được truyền đến lớp Dropout va phân tán xác suất đến năm lớp Dense. Năm lớp Dense này tương ứng với năm mục tiêu trong tập dữ liệu, bao gồm Cá nhân
(Individual), Nhóm (Groups), Tôn giáo (Religion), Chủng tộc (Race) và Chính trị
(Politics) Trên mỗi mục tiêu, có bồn cấp độ, bao gồm Bình thường (Normal), Sach sẽ (Clean), Phản cảm (Offensive) và Ghét (Hate) (như mô tả trong Phần 2) Các mục tiêu và cấp độ liên quan được dự đoán là mục tiêu và cấp độ có xác suất cao nhất. Để thích nghi BERT với mô hình ngôn ngữ tiếng Việt, chúng tôi sử dụng bảng mô hình được tiền huấn luyện đa ngôn ngữ và đơn ngôn ngữ như được thể hiện trong
2 1 E E E E = Concatenate Dense 3 (4) s iv [ra oe © |, 5
Hình 3.1 Mô hình BERT được tinh chỉnh để phát hiện ngôn từ kích động thù dich được nhắm mục tiêu
Bảng 3.1 Các mô hình BERTology được đào tạo trước
Model Pre-trained BERT[20] bert-base-multilingual-cased
XLM-R[21] xlm-roberta-base PhoBERT[22] phobert-base
VELECTRA[23] | velectra-base-discriminator-cased
Bên cạnh đó, dé tăng cường khả năng trích xuất các đặc trưng quan trong từ văn bản cho việc nhận diện bài viết gây thù ghét, chúng tôi kết hợp mô hình Bi-GRU- LSTM-CNN [6] với BERT đã được tiền huấn luyện Hình 3.2 hiển thị kiến trúc mô hình mà chúng tôi đề xuất cho việc nhận diện bài viết gây thù ghét có mục tiêu Hình 3.2 trình bày hai điểm chỉnh sửa so với mô hình gốc Bi-GRU-LSTM-CNN [6] Thứ nhất, chúng tôi thay thế lớp nhúng bằng các lớp BERT đã được tiền huấn luyện để tận dụng BERT như một mô hình ngôn ngữ mạnh mẽ cho việc biểu diễn văn bản. Sau đó, cho lớp cuồi cùng, chúng tôi sử dụng năm lớp Dense để xử lý phân phối xác suất trong năm mục tiêu Đối với mỗi mục tiêu, có bồn cấp độ của bài viết gây thù ghét. ứ am tye a = ~ |!
Hình 3.2 Mô hình BERT tinh chỉnh kết hợp với các mô hình Bi-GRU-LSTM-CNN
3.2 XÂY DUNG HỆ THỐNG XỬ LY NỘI DUNG THEO THỜI GIAN THỰC Đối với các mô hình BERTology đã được tiền huấn luyện, như đã đề cập trong Bảng 3.1, chúng tôi chọn mô hình có hiệu suất cao nhất để xây dựng mô hình dự đoán cho hệ thống trực tuyến (như được mô tả trong Mục 3.2) Kết quả thực nghiệm của từng mô hình được trình bày trong chương 4.
3.2 Xây dựng hệ thống xử lý nội dung theo thời gian thực
Hình 3.3 Quy trình xây dựng hệ thống để phat hiện ngôn từ kích động thù địch của người Việt từ các luồng video trên mạng xã hội ở Việt Nam Đã có nhiều phương pháp và hệ thống xử lý dữ liệu thời gian thực được giới thiệu trong các nghiên cứu quốc tế, ví dụ như quy trình xử lý dữ liệu theo luồng của
Nagarajan et al và xử lý dữ liệu thời gian thực của các tweet trên Twitter sử dụng
Spark Streaming Rengarajan et al [24] cũng đã giới thiệu một thiết kế ống dẫn dữ liệu thời gian thực cho dữ liệu lớn sử dung Kafka Đối với ngôn ngữ tiếng Việt, đã có các công trình nghiên cứu liên quan đến việc xây dựng các hệ thống có khả năng truyền dữ liệu trong thời gian thực Ví dụ, Long-
An Doan et al [17] đã sử dụng công nghệ học máy và dữ liệu lớn để phát hiện lời lẽ kích động, thù địch trong các bình luận YouTube tiếng Việt Một nghiên cứu khác của Khanh Q Tran et al [16] đã phát triển một mô hình phát hiện lời lẽ kích động, thù địch mới kết hợp mô hình PhoBERT đã được tiền huấn luyện với mô hình Text-CNN, sử dụng các kỹ thuật EDA để cải thiện hiệu suất phân loại.
Tuy nhiên, tất cả các hệ thông này đều không đáp ứng đủ cho nhiệm vụ phát hiện lời lẽ kích động, thù địch hướng mục tiêu từ các nền tảng video streaming Trong
Xây dựng hệ thống xử ly nội dung theo thời gian thực
phần này, chúng tôi giới thiệu một hệ thống có khả năng nhận dạng các comment trực tiếp các video đang streaming từ các nền tảng truyền thông xã hội Hệ thống hoạt động bằng cách xử lý các comment khi chúng được đăng và đánh dấu các comment cho thấy dấu hiệu của nội dung kích động, thù địch Hệ thống không chỉ phát hiện ngôn ngữ xúc phạm mà còn cả các đối tượng mà người dùng đang đề cập , cũng như là mức độ mà họ đề cập đên.
3.2.1 Quy trình xây dựng hệ thong
Trong việc xử lý lượng lớn dữ liệu từ nhiều nguồn khác nhau trong thời gian thực, xử lý dữ liệu theo luồng (data streaming) đóng vai trò quan trọng Các nền tang mang xã hội như Facebook, YouTube và Tiktok đóng góp nhiều vào nguồn dữ liệu phổ biến nhất Để thực hiện công việc này, các phương pháp xử lý luồng dữ liệu thời gian thực như Apache Kafka và Spark Streaming được sử dụng phổ biến Trong nội dung này, chúng tôi tập trung vào triển khai Spark Streaming để xử lý luồng dữ liệu từ các nền tảng video trực tuyến Quy trình hệ thống của chúng tôi gồm có 3 giai đoạn chính:
Dữ liệu đầu vào: Chúng tôi tập trung vào xử lý các bình luận từ video trực tiếp, điều này đòi hỏi hệ thống phải thu thập dữ liệu dựa trên ID của video.
Mô hình chính: Tiền xử lý dữ liệu và phát hiện lời lẽ căm thù trên dữ liệu đã thu thập.
Dư liệu đầu ra: Danh sách bao gồm các thuật ngữ trong định dạng target#priority | trong đó target đề cập đến đối tượng mà người dùng dé cập trong bình luận, và priorit chỉ định mức độ nghiêm trọng của lời nói thù địch liên quan đến đối tượng đó.
3.2.2 Tien xử lý dữ liệu
Hình 3.3 cung cấp một cái nhìn tổng quan về kiến trúc hệ thống để phát hiện lời lẽ căm thù trong tiếng Việt Các phần 2 và 3 thảo luận về quá trình xây dựng tập dữ liệu ViTHSD, việc huấn luyện mô hình và các tiêu chí được sử dụng để chọn mô hình tốt nhất Để xử lý dữ liệu nhiễu có mặt trong đầu vào từ các nền tảng xã hội,
3.3 XÂY DỰNG ỨNG DỤNG WEB THEO DÕI CÁC NỀN TẢNG VIDEO TRỰC
TUYẾN đặc biệt là video trực tuyến, chúng tôi thực hiện một quá trình tiền xử lý dữ liệu để cải thiện chất lượng tập dữ liệu để trích xuất các đặc trưng có giá trị Quy trình của chúng tôi dựa trên phương pháp tiền xử lý dữ liệu hai pha của Khanh Q Tran et al.
Môhìnhchính
Dữ liệu được tiền xử lý và chuẩn hóa trước để đảm bảo rằng nó có định dạng nhất quán Sau đó, dữ liệu này được đưa vào các chủ đề Kafka, đó là một hệ thống gửi tin nhắn phân tán cho phép xử lý dữ liệu thời gian thực Dữ liệu trong các chủ đề Kafka sau đó được tiêu thụ bởi mô hình đã được huấn luyện trước đó, để tạo ra các dự đoán Các dự đoán sau đó được tổ chức và hiển thị bởi Spark Streaming, đây là một framework cho phép xử lý dữ liệu trong thời gian thực Chúng tôi sử dụng
SparkSQL để truy van và hiển thị dữ liệu, trong khi Kafka Connect giúp đưa các dự đoán vào MongoDB, một cơ sở đữ liệu để lưu trữ các dự đoán Việc lưu trữ vào cơ sở dữ liệu rất quan trọng vì nó giúp chúng tôi có thể truy vấn, phân tích dif liệu va khai thác dữ liệu trong quá trình phát triển các ứng dụng sau này.
3.3 Xây dựng ứng dụng web theo dõi các nền tảng video trực tuyến
Dựa vào kiến trúc được trình bày ở phần 3.2 chúng tôi tiến hành xây dựng 1 ứng dụng web để giám sát các các bình luận từ các luồng video đang phát trực tiếp Như đã mô tả trong hình 3.3 sau khi hệ thống đưa ra các dự đoán và lưu lại trong cơ sở dữ liệu Chúng tôi sẽ truy vấn dữ liệu thông qua Api để hiển thị lên trên web của mình Chúng tôi sử dung Flask, 1 framework xây dựng web của ngôn ngữ python làm Backend, phần Front end chúng tôi sử dụng React để có thể tạo giao diện thân thiện với người sử dụng.
Hình 3.4 hiển thị các dự đoán từ các bình luận của người dùng Các bình luận với các mức độ khác nhau sẽ được hệ thống gắn cờ và thống kê lại như hình 3.5 Người dùng chỉ cần thông qua hệ thống web có thể theo dõi và đánh giá được chất lượng của các bình luận trong hệ thống của mình, từ đó có các biện pháp xử lí kịp thời.
3.3 XÂY DỰNG ỨNG DỤNG WEB THEO DÕI CÁC NỀN TẢNG VIDEO TRỰC
TUYẾN igh) vot 10083) teen chuyện ca game sang maaan ôi (inlet
Hình 3.4 Giao diện của hệ thống theo dõi các bình luận từ các video đang phát trực
Hình 3.5 Thống kê các dự đoán từ hệ thống theo thời gian thực
