Khóa luận tốt nghiệp Khoa học dữ liệu: Nhận diện chuỗi xúc phạm cho tiếng Việt

Để có thể trích xuất các chuỗi độc hại phản cảm từ các bình luận mạng xã hội, chúng tôi xây dựng bộ dữ liệu gồm 11,056 bình luận tiếng việt đã được gán nhãn chuỗi xúc phạm.. Không chỉ th

ĐẠI HỌC QUÓC GIA TP HÒ CHÍ MINH

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC VÀ KỸ THUẬT THÔNG TIN

HOÀNG GIA PHÚ LƯU ĐỨC CANH

TIENG VIET

HATE SPEECH SPANS DETECTION FOR VIETNAMESE

CU NHÂN NGANH KHOA HOC DU LIEU

TP HO CHi MINH, 2023

ĐẠI HỌC QUÓC GIA TP HÒ CHÍ MINH

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC VÀ KỸ THUẬT THÔNG TIN

HOÀNG GIA PHÚ - 19520215 LƯU ĐỨC CẢNH - 19521272

KHÓA LUẬN TÓT NGHIỆP

NHAN DIỆN CHUOI XÚC PHAM TRONG BÌNH LUẬN

TIENG VIỆT

HATE SPEECH SPANS DETECTION FOR VIETNAMESE

CU NHAN NGANH KHOA HOC DU LIEU

GIANG VIEN HUONG DAN

ThS NGUYEN VAN KIET

TP HO CHi MINH, 2023

THONG TIN HOI DONG CHAM KHÓA LUẬN TOT NGHIỆP

Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số

ngày của Hiệu trưởng Trường Đại học Công nghệ Thông tin.

LỜI CÁM ƠN

Đầu tiên, nhóm chúng em xin được gửi lời cảm ơn chân thành đến Trường Đại Học

Công Nghệ Thông Tin, Khoa Khoa Học và Kỹ Thuật Thông Tin và Phong thí nghiệm Xử

lý Ngôn ngữ Tự nhiên UIT (NLP@UIT) đã tạo điều kiện cho chúng em có thể học tập,

rèn luyện để hoàn thành khoá luận này.

Ching em xin gửi lời cảm ơn sâu sắc nhất tới thay Nguyễn Văn Kiệt đã chỉ day tận tình, thúc đẩy và xây dựng cho chúng em những kiến thức, kỹ năng can thiết để chúng

em có thé hoc tập, nghiên cứu và đặc biệt là có thé hoàn thành được công trình nghiên

Cứu này.

Tuy nhiên, trong quá trình thực hiện nghiên cứu có thể còn có những sai sót do kỹ năng, kiến thức chuyên môn còn đang được hoàn thiện Vì vậy, chúng em rất mong nhận được sự quan tâm, đánh giá và ý kiến của thay cô dé chúng em có thể rút được kinh nghiệm, học hỏi thêm để hoàn thiện hơn bản thân, đáp ứng kỳ vọng của quỷ thay cô.

Chúng em xin chân thành cảm ơn!

Nhóm tác giả Hoàng Gia Phú Lưu Đức Cảnh

ĐẠI HỌC QUOC GIA TP HO CHÍMINH CONG HÒA XÃ HOI CHÚ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc

CÔNG NGHỆ THÔNG TIN

ĐÈ CƯƠNG CHI TIẾT

TEN DE TÀI: NHẬN DIỆN CHUOI XÚC PHAM CHO TIENG VIỆT.

TEN DE TAI (tiéng Anh): HATE SPEECH SPANS DETECTION FOR

VIETNAMESE.

Cán bộ hướng dẫn: ThS Nguyễn Văn Kiệt

Thời gian thực hiện: Từ ngày 15/09/2022 đến ngày 09/01/2022

Sinh viên thực hiện:

Hoàng Gia Phú — 19520215 Lớp: KHDL2019

Email: 19520215@gm.ui(.edu.vn Điện thoại: 0355856296

Lưu Dire Cảnh — 19521272 Lớp: KHDL2019

Email: 19521272@gm.uit.edu.vn Điện thoại: 0858181724

Nội dung đề tài: (Mô ta chỉ tiết mục tiêu, phạm vi, đối tượng, phương pháp thực hiện,

kết quả mong đợi của dé tài)

e Muc tiêu, phạm vi và đối tượng của đề tài

Mạng xã hội ngày càng được biết đến và sử dụng rộng rãi bởi con người trên khắp thế

giới Tại đây người dùng có thé thoải mái kết nối, tương tác với nhau, chia sẻ suy nghĩ,

tạo nội dung thậm chí kinh doanh buôn bán Chính vì cộng đồng người sử dụng mạng

xã hội rat lớn nên van đề de doa trên mạng, quấy rồi trực tuyết hay lạm dụng ngôn từ

để tan công cá nhân, tổ chức bằng các bình luận độc hai, phản cảm xảy ra thường xuyên

và mức độ nghiêm trọng ngày cảng cao, qua đó ảnh hưởng trực tiếp đến môi trường

sống của con người Chính vì vậy, những người điều hành và quản lý dữ liệu bình luận

trên mạng xã hội luôn luôn phải đối mặt với một số lượng lớn các bình luận mang tính

bạo lực theo từng ngày Với số lượng các bình luận sinh ra hàng ngày lên đến hàng

triệu bình luận với đa dạng các loại khác nhau trong cuộc sóng, việc phân loại và nhận

diện đâu là các bình luận, các chuỗi xúc phạm bằng cách thu công là không hề dễ dàng.

Thay vào đó, một hệ thông tự động giúp phát hiện các chuỗi, các từ mang tính độc hai

phản cảm trong các bình luận, qua đó tìm ra các bình luận không phù hợp sẽ mang lại

hiệu quả và tiết kiệm tài nguyên hơn.

Để có thể trích xuất các chuỗi độc hại phản cảm từ các bình luận mạng xã hội, chúng

tôi xây dựng bộ dữ liệu gồm 11,056 bình luận tiếng việt đã được gán nhãn chuỗi xúc phạm Bộ dữ liệu được xây dựng theo một guidelines cụ thể và chỉ tiết về các đặc điểm

xúc phạm và tính chất xúc phạm của bình luận, từ đó huấn luyện cho những người gán nhãn các tính chất đặc trưng nhất của ngôn ngữ mạng xã hội Ngoài ra, quy trình gán

nhãn và kiểm tra chất lượng dữ liệu sau khi gán nhãn của chúng tôi mang lại độ đồng thuận cao giữa những người gan nhãn Qua đó khang định chat lượng của bộ dit liệu

mà chúng tôi xây dựng Cuối cùng, chúng tôi đánh giá khả năng nhận diện chuối xúc

phạm bằng các mô hình SOTA học sâu (Deep Neural Models): BiLSTM — CRF, học chuyên tiếp (Transformers Model): XLM-R và PhoBERT.

Mục tiêu đặt ra của bai toán này là xây dựng và phát triển bộ dữ liệu chuỗi xúc phạm phản cảm cho tiếng Việt Từ đó, áp dụng và đánh giá hiệu suất các mô hình học sâu và

học chuyển tiếp để trích xuất chuỗi xúc phạm phản cảm Để thực hiện mục tiêu này,

chúng tôi xây dựng bộ dữ liệu ViHOS với các bình luận được gan nhãn từ bộ dữ liệu

ViHSD [1], từ đó huấn luyện các mô hình học sâu và học chuyền tiếp trên cả đơn ngôn

ngữ và đa ngôn ngữ đề tìm ra mô hình phù hợp nhất trên bộ dữ liệu của chúng tôi Ngoài ra, chúng tôi phân tích các đặc trưng của ngôn ngữ mạng xã hội tiếng Việt dé

có giải pháp giúp tăng hiệu suất của mô hình sau này.

Trong quá trình xây dựng bộ dữ liệu, chúng tôi tiền hành xem xét và đánh giá liên tục trong quá trình gán nhãn và kiểm qua, qua đó điều chỉnh quy trình gán nhãn phù hợp,

đem lại hiệu quả cao để đảm bảo chất lượng, giảm thiểu tối đa sai sót từ phía đữ liệu cho bộ đữ liệu cuối cùng.

Từ bộ dữ liệu đã được xây dựng trước đó, chúng tôi tiến hành thí nghiệm, phân tích và đánh giá qua các mô hình học sâu như BiLSTM — CRF, học chuyền tiếp đơn ngôn ngữ

PhoBERT và đa ngôn ngữ XLM-R Từ đó rút ra mô hình đem lại hiệu suất cao nhất

trên bộ dữ liệu của chúng tôi.

Không chỉ thành công trong việc xây dựng giải pháp nhận diện chuỗi xúc phạm phản

cảm của bình luận trên mạng xã hội cho tiếng Việt, chúng tôi từ đó còn tiễn hành xâydựng ứng dụng streaming đữ liệu từ trang mạng xã hội cho mục đích chứng minh khảnăng nhận diện chuỗi xúc phạm phản cảm và nhận diện bình luận, từ đó, cung cấp cáinhìn trực quan về tính ứng dụng của đề tài trong thực tế

Chính vì các lý do đó, nghiên cứu này đưa ra một giải pháp mới và mạnh mẽ nhằm

việc phân loại, bóc tách ra chuỗi xúc phạm, phản cảm của bình luận, từ đó đưa ra giải

pháp giúp tăng cường cho nỗ lực đưa các môi trường mạng nói chung và môi trường

mạng xã hội nói riêng trở nên an toản.

e_ Đóng góp chính của đề tài

Nghiên cứu của chúng tôi là nghiên cứu tiên phong cho nhiệm vụ nhận diện chuỗi xúc

phạm, phảm cảm trên dữ liệu mạng xã hội Việt Nam Chúng tôi xây dựng một bộ dữliệu mới gồm 11,056 điểm dữ liệu đã được gán nhãn chuỗi xúc phạm phản cảm và tiễnthành chạy thực nghiệm các mô hình học sâu, học chuyền tiếp trên bộ dữ liệu nào, từ

đó có thê xử lý các vấn đề từ nhỏ như các bình luận đơn lẻ đến việc liên tục xử lý lượng

dữ liệu khổng lồ trong thời gian thực Những đóng góp khoa học chính trong nghiên

cứu của chúng tôi được tóm tắt như sau:

- Ching tôi đã thực hiện xây dựng một bộ dữ liệu mới có chất lượng

cao lên tới 11,056 bình luận trên mạng xã hội.

- Cac mô hình học sâu và học chuyền tiếp được áp dụng dé đánh

giá bộ dữ liệu được xây dựng, từ đó đưa ra kết luận, so sánh giữa

các mô hình và tìm ra mô hình cho hiệu suât cao nhât.

- Đề chứng minh được tính ứng dụng của đề tài, chúng tôi xây dựng

một ứng dụng có khả năng xử lý liên tục từ nguồn đữ liệu không

lồ của các nền tảng truyền thông xã hội dé phát hiện các chuỗi xúc

phạm phản cảm trong mỗi bình luận và phân loại bình luận đó

e Các van đề còn tồn đọng

- Binh luận thiéu ngữ cảnh: Các bình luận được gan nhãn là các bình luận độc

lập và không được thu thập chung với nội dung bài viết, vì vậy chúng tôi phải

đối mặt với các bình luận thiêu ngữ cảnh, gây khó khăn khi xác định các chuỗi xúc phạm phản cảm Do đó, mặc dù chúng tôi đã xây dựng guidelines chỉ tiết

và xem xét các ngữ cảnh có thé xảy ra của bình luận dé tránh gây nhằm lẫn,

nhưng van còn nhiêu điêm dữ liệu gây ra độ nhiều.

Vi dụ: “Linh câu” — Bình luận có thé hiểu theo nghĩa là; đối tượng “Linh” đang bị so

sánh với con cầu (chó) nên đây là bình luận mang tính xúc phạm Hoặc bình luận chỉđang nói về con Linh Cầu bình thường

- Binh luận thiếu dấu: Với đặc trưng là dữ liệu mạng xã hội nên người dùng có

thói quen viết tắt, viết thiếu dau nhiều Từ đó gây nhiễu và khó khăn không chỉ

cho người gán nhãn khi gán mà còn cho cả các mô hình khi trích xuất đặc trưng

của từ trong câu.

Ví du: “Lon roi an noi mat day” — Từ “Lon” có thé hiểu theo hai ý nghĩa khác nhau khi

từ này không mang dấu

- _ Về việc phát triển mô hình vào ứng dụng thực tế:

= Nhu cầu được đặt ra là cần có một giải pháp ứng dụng trong việc xử lý

những bình luận xúc phạm, phản cảm trên môi trường dữ liệu lớn như mạng xã hội Việc này giúp mạng xã hội tại Việt Nam có khả năng nhận

diện được chuỗi phản cảm có trong mỗi bình luận tốt hơn, giảm thiểuđược khối lượng công việc của người kiểm duyệt Ngoài ra nhu cầu củacác đơn vị thông tin truyền thông cũng cần công cụ tự động kiểm duyệt,giúp họ có thê sát sao hơn những từ, cụm từ trong bình luận cho phép

được hién thi.

“ Đáp ứng những nhu cau này, chúng tôi xây dựng ứng dụng có khả năng

thu thập liên tục nội dung từ các trang mạng xã hội dé nhận diện chuỗixúc phạm, phản cảm và phân tích sắc thái bình luận

e Phương pháp thực hiện

Xây dựng bộ dữ liệu

Quá trình tạo bộ dữ liệu của chúng tôi trải qua 4 giai đoạn gồm có: Thu thập bình luận

từ bộ dit liệu ViHSD, tính độ đồng thuận giữa những người gan nhãn, xây dựng điểm

dữ liệu tiêu chuẩn và gán nhãn dữ liệu.

Giai đoạn 1: Thu thập dữ liệu

Bộ dữ liệu ViHOS bao gồm 11,056 bình luận bắt nguồn từ bộ ViHSD Bộ VietnameseHate Speech Detection — VIHSD là một trong số ít bộ đữ liệu liên quan tới dữ liệumạng xã hội trên tiếng Việt VIHSD được thu thập trên hai nền tảng mạng xã hội phôbiến ở Việt Nam là Facebook và Youtube và bao gồm 27,624; 3,514 va 2,262 bìnhluận tương ứng với các nhãn CLEAN, HATE, OFFENSIVE Tất cả các bình luận(5,528 bình luận) có nhãn HATE, OFFENSIVE sau khi loại bỏ các ban sao được chúngtôi gán nhãn các chuỗi xúc phạm và phản cảm Ngoài ra, chúng tôi tiến thành lay 5,528điểm đữ liệu có nhãn CLEAN, các bình luận này không vi phạm bắt kì quy tắc nào về

định nghĩa chuỗi xúc phạm phản cảm của chúng tôi Lý do chúng tôi thêm 5,528 bình

luận có nhãn CLEAN là để hướng tới nhận diện chuỗi xúc phạm phản cảm trên bình

luận mạng xã hội và tránh mô hình huấn luyện bị thiên vỊ

Giai đoạn 2: Tính độ đồng thuận

Sau khi thu thập dữ liệu, mỗi người gán nhãn sẽ được nhận 100 điểm dữ liệu ngẫunhiên trong 5,528 bình luận chứa các chuỗi xúc phản phản cảm đề gán nhãn thử Saukhi kết thúc quá trình này, chúng tôi tiến hành tính độ đồng thuận và cải thiện bộ hướngdẫn kiểm tra nhãn (guideline) Quá trình này được lặp lại bốn lần trước khi cho kết quảkhi tính độ đồng thuận là 0.82 tại lần cuối cùng Từ đó chúng tôi xây dựng được một

bộ hướng dẫn kiểm tra gán nhãn đầy đủ, chỉ tiết và một đội ngũ gán nhãn chất lượng

Giai đoạn 3: Xây dựng điểm đữ liệu tiêu chuẩn

Dựa trên bộ hướng dẫn kiêm tra nhãn được xây dựng trong gian đoạn hai, chúng tôilay ngẫu nhiên 600 diém dữ liệu từ 5,528 bình luận HATE, OFFENSIVE và tiến hànhgán nhãn thành 600 điềm đữ liệu tiêu chuẩn bởi hai người phát triển guideline Kết quakhi tính độ đồng thuận giữa giữa hai người lên tới 0,86 Cuối cùng chúng tôi thảo luận

dé giải quyết các bình luận không đồng nhất và cập nhật, nâng cấp bộ hướng dẫn kiếmtra nhãn.

Giai đoạn 4: Gán nhãn dữ liệu

Đề đánh giá và kiểm tra chất lượng dữ liệu khi được gán nhãn, chúng tôi chia 5,528điểm dữ liệu HATE và OFFENSIVE thành thành sau tập dữ liệu nhỏ không trùng nhau,sau đó chúng tôi trộn 100 điểm đữ liệu tiêu chuẩn đã được xây dựng ở giai đoạn 3 vàomỗi tập Mỗi người gán nhãn sẽ nhận một tập con và tiễn hành gán nhãn, nếu giá trịFl-score khi tính trên 100 điểm dữ liệu tiêu chuẩn nhỏ hơn 0.81 thì người gan nhãn

được yêu câu phải gán lại.

Tiếp theo chúng tôi tiến hành gán chuỗi xúc phạm phảm cảm cho 5,528 bình luận cónhãn HATE và OFFENSIVE theo bộ ViHSD Đối với 5,528 điểm có nhãn CLEAN

được thêm vào, người gan nhãn phải phát hiện ra chuỗi xúc phạm phản cảm trong các

bình luận đó để tiễn hành loại bỏ cho tới khi chúng tôi đáp ứng đủ số lượng

Kết thúc quá trình gán nhãn, chúng tôi xây dựng được một bộ đữ liệu có kích thướctương đối lớn và có độ tin cậy cao với 11,056 điểm dit liệu Đây là bộ dữ liệu đầu tiêncho nhiệm vụ nhận diễn chuỗi xúc phạm phản cảm trên dữ liệu mạng xã hội tiếng Việt

Qua đó sử dụng dé phiền triển các mô hình học máy (Machine Learning), học sâu

(Deep Learning) và học chuyên tiếp (Transfer Learning) trong lĩnh vực xử lý ngôn ngữ

tự nhiên.

Các phương pháp thực nghiệm

BiLSTM - CRF:

Mô hình học sâu BiLSTM — CRF [2] hiện nay đạt được hiệu suất cao đối với các nhiệm

vụ phân Chúng tôi triển khai thực hiện mô hình này với ba lớp chính là: Lớp nhúng

từ (Embedding layer) sử dụng PhoW2V [3] để vector hoá các bình luận đầu vào, lớp

BiLSTM để trích xuất đặc trưng của dữ liệu và lớp Conditional Random Field (CRF)

dé tính xác suất nhãn đầu ra cho bình luận

dữ liệu lớn, XLM — R được chính minh cho kết quả và hiệu suất vượt trội hon so với

mBERT.

PhoBERT:

PhoBERT [5] là mô hình học chuyển tiếp đơn ngôn ngữ cho tiếng Việt có cách tiếp

cận và cấu trúc tương tự ROBERTa Mô hình được huấn luyện trên 20GB dữ liệu, trong

đó bao gồn 1GB Vietnamese Wikipedia corpus và 19GB còn lại lay từ Vietnamese new corpus PhoBERT cũng được chứng minh là mô hình SOTA trên nhiều nhiệm vụ

xử lý ngôn ngữ tự nhiên như POS (Part-of-Speech), Dependency Parsing và NER

(Name Entity Recognition) [5]

Ngoài ra, trong quá trình xây dựng ứng dụng nhận diện chuỗi xúc phạm phan cam theo

thời gian thực trên các nền tảng mảng xã hội, chúng tôi còn sử dụng mô hình kết hợpPhoBERT — CNN dé phân loại nhãn của các bình luận thành CLEAN, OFFENSIVEhoặc HATE với định nghĩa của mỗi nhãn được đề cập trong công trình nghiên cứu củaSon.T Luu và cộng sự Qua đó cung cấp một ứng dụng toàn diện, phù hợp và đa chứcnăng đề xử lý khối lượng bình luận lớn trên mạng xã hội theo thời gian thực

Ứng dụng tương tác với mô hình:

Nhu cầu được đặt ra là cần có một giải pháp nâng cao trong việc xử lý những chuỗixúc phạm phản cảm của bình luận trong môi trường dữ liệu lớn như mạng xã hội Việc

này giúp mạng xã hội tại Việt Nam có khả năng xử lý các bình luận xúc phạm, phản

cảm tốt hơn, giảm thiểu được khối lượng công việc của người kiểm duyệt Ngoài ra

nhu cầu của các đơn vị thông tin truyền thông cũng cần công cụ tự động kiểm duyệt,

giúp họ có thé sát sao hơn những bình luận cho phép được hién thị

Đáp ứng những nhu cau này, chúng tôi xây dựng ứng dụng có khả năng thu thập liêntục nội dung từ các trang mạng xã hội dé nhận diện chuỗi xúc phạm, phản cảm Sau

khi thực hiện các thực nghiệm về xử lý dữ liệu streaming, chúng tôi đã xây dựng

thành công hệ thống có khả năng xử lý được khối lượng lớn dữ liệu theo thời gian

thực từ nền tảng mạng xã hội mà cụ thể ở đây là các bình luận của Twitter

e _ Kết quả mong đợi của đề tài

Nghiên cứu của chúng tôi thực hiện góp phần tạo dựng một công trình trong công cuộcphân tích và xử lý ngôn ngữ tự nhiên cho tiếng Việt Với đề xuất một bộ đữ liệu mớigồm 11,056 bình luận được gán chuỗi xúc phạm phảm cảm cũng là một đóng góp tưliệu cho hướng nghiên cứu các mô hình học sâu, học chuyền tiếp trên bộ dir liệu tiênphong này Từ việc nghiên cứu trên, kết quả của chúng tôi có thể ứng dụng vào việcnhận diện liên tục và hàng loạt bình luận trực tiếp từ các trang mạng xã hội tại ViệtNam Không những vậy, giải pháp từ mô hình còn có thé ứng dụng vào các cơ quan,

tổ chức có nhu cầu tương tự tại các trang thông tin truyền thông của mình Từ đó, giải

pháp giúp nâng cao sự kiểm duyệt toàn diện chuỗi xúc phạm phảm cảm của các bìnhluận trên không gian mạng tại Việt Nam.

e Tw liệu tham khảo

[1] Son T.Luu, Kiet Van Nguyen, Ngan Luu-Thuy Nguyen, "A Large-scale

Dataset for Hate Speech," 2021.

[2] Sepp Hochreiter, Jiirgen Schmidhuber, "Long Short-Term Memory,"

[4]

[5]

1997.

Anh Tuan Nguyen, Mai Hoang Dao, Dat Quoc Nguyen, "A Pilot Study

of Text-to-SQL Semantic Parsing for Vietnamese," 2020.

Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzman, Edouard Grave, Myle Ott, Luke Zettlemoyer, Veselin Stoyanov, "Unsupervised Cross-

lingual Representation Learning at Scale," 2019.

Dat Quoc Nguyen, Tuan Anh Nguyen, "PhoBERT: Pre-trained language

models for Vietnamese," in Association for Computational Linguistics,

2020.

Kế hoạch thực hién:(M6 ta kế hoạch làm việc và phân công công việc cho từng sinh

viên tham gia)

e Mô tả kế hoạch làm việc: Kế hoạch làm việc của chúng tôi được trình bay chi tiết

trong bảng sau.

Phân công công việc cho từng thành viên:

Khảo sát bài toán và tìm

Triên khai mô hình thực

(Ký tên và ghi rõ họ tên)

Nguyễn Văn Kiệt

MỤC LỤC

Chương 1 TONG QUAN s <2sS<©2s£EseEESEESeEEserseersereserserseersere 8

1.1 GiGi thiệu khoá luận s°s<sscss+rseersserseerssrrssersssrsee 8 1.2 Tính ứng dụng của khoá luận << << «<5 S995 459995 e9 9

Chương 2 CAC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN 11

2.1 Công trình nghiên cứu về dữ liệu -. -2 s2 ssssssssessessesse 11

2.2 Công trình nghiên cứu về mô hình nhận diện . -5 <- 11

Chương 3 XAY DUNG BO DU LIBU 2- 2c -scs<©ssecssessessscsse 12

3.1 Tổng quan về bộ dữ liệu -s-s- se ssssssesesessessessessee 12

3.2 Quy trình xây dựng bộ dữ liệu << «5< < 5< «<< sssssssss+ 12

3.2.1 Nguồn gốc của dữ liệu -. 2-s-ssssssssessessesse 12

3.2.2 Bộ hướng dẫn gan nhãn -° 5° sssssssssseseessssrssessese 13

3.2.3 Qua trình xây dựng bộ dữ liỆUu s5 < 5= seessssesseses 25

3.3 Thống kê bộ dữ liệu - 2-2 ©ss s2 se ssssessessessessessee 30

Chương 4 THI NGHIỆM VÀ ĐÁNH GIÁ - 2-2 << ssssssesses 33

4.1 Quy trình thí nghiém <5 < 5G < << 8 E4 99 94 5998 56 5694 56 5884 56% 33

4.1.1 Mã hoá bình luận thành €@Ìk€I << «5< << 5S 955% 33

4.1.2 Thí nghiệm mô hình trên miên dữ liệu xúc phạm, phản cảm và trên toàn DO dữ ÏỆ d << G5 < 5 9 9 9 0 0 0 c0 0 09 0008 66 34

4.1.3 Thí nghiệm mô hình trên đơn chuỗi, đa chuỗi và toàn bộ chuỗi xúc

phạm, phản CảIIm - << 5< < << s9 Hi 00 00 35

4.2 CAC mô hình C0 SỞ o0 55c 2G G G55 5.95 9 9 59996 99595 9696995.9568969895556869995.55 35

4.2.1 BiLSTM-CIE 0c SH TH 00000008 06 35 4.2.2 XLUM- co Ăn Họ TH n0, 37 4.2.3 PhoBERÏT - << Ăn HH n n0 0n, 37

4.3 CAC độ ỞO cọ HH HH Hư ưng, 38

4.4 _ Thí nghiệm và kết quả -s- 2 s°sss£ssesetsserseesetrseesserssese 38

4.4.1 Cài đặt thí nghiệm -°- 2° esecesecesseerrssrrrcee 384.4.2 Kết quả thí nghiệm 2° 2s 2 se seesersessersecse 39

4.5 Phân tích kết quả ° ° << se s£ se s£EseEs£Ess Essessessessesserserse 42

Chương 5 XÂY DỰNG UNG DỤNG s scsecesecsecesersecssersecsee 46

5.1 Môi trường thực hiỆn o G5 < G55 99.9 99 96895689656 46

5.2 _ Xây dựng ứng dụng tương tác với mô hìnhh -«-s «e< sses ssss 46

5.2.1 Tong quan về ứng dụng -e-ssssssssssssesssssszsersess 46

5.2.1 Xây dựng ứng dụng xử lý dữ liệu lớn bình luận theo thời gian thực

47

5.3 Kết quả xây dựng ứng dụng tương tác với mô hình - - 49

Chương 6 KET LUẬN VA HƯỚNG PHAT TRIN -° 5< s<e 52

6.1 Kết luận -<-<-s©cscseSsEsEEsEEseEsereersesersersesrsersesee 52

6.2 Han chế <-s©cs°csecseEseEseEseEsetsrseserserseeserrseree 52

6.3 Hướng phát triỄn s- sec s©secsetsetsscsseserseeseersersesee 53

Chương 6 TAI LIEU THAM KHAO 2-s°ssssssecssessezssesee 54

DANH MỤC HÌNH Hình 1.1 Một ví dụ về sự hỗ trợ của nhận điện chuỗi xúc phạm cho hệ thống truyền

thống có thé đem lại nhiều giá trị thông tin hơn cho người kiểm duyệt nội dung 9

Hình 3.1 Hướng dan gan nhãn chuỗi xúc phạm, phản cảm -. 2- 255255252 15

Hình 3.2 Tổng quan quy trình gan nhãn . 2-22 +2 £+EE+EE+£EEtzEEeExrrrrerxerrree 30Hình 4.1 Phân tích lỗi trên tập phát triển của hai mô hình PhoBERTharge và XLM-Ruarge

—— 42

Hình 5.1 Tổng quan về hệ thống phân loại, nhận diện chuỗi xúc phạm, phản cảm theo

00051871117 48 Hình 5.2 Mô tả quá trình quá trình resquest, respone của ứng dụng 49 Hình 5.3 Giao diện ứng dụng phân loại bình luận, nhận diện chuỗi xúc phạm, phản cảm

VOi dit L6u ni) 8E a1 50

DANH MỤC BANG

Bảng 3.1 Đặc trưng của ngôn ngữ xúc phạm, phản cảm và cách gan nhãn 15 Bảng 3.2 Các chú ý khác cho người gan nhãn 5 6+ + **E*vEssreeeserseees 23Bảng 3.3 Ma trận nhằm lẫn của hai người gãn nhãn ví dụ trên mức ký tự (có bao gồm

khoảng trắng) 2¿2+ 22c CC 221 711211 711211711211 T1 11 T1 11 T1 11 1E 11 11c 27

Bang 3.4 Điểm đồng thuận của các pha gan nhãn Trong đó, pha đầu tiên gồm bon lầnhuấn luyện và chỉnh sửa bộ hướng dẫn gan nhãn . - 2 ¿+ +22 £+E+E++E++E+zxe2 28

Bảng 3.5 Số liệu thống kê của tập dữ liệu VIHOS Trong đó, kích cỡ tập từ vựng được

tính ở mức âm tiẾt . +222+++22EE++2EE11E 222.1 T T TT E.Trrrrrrrerie 30Bảng 3.6 Thống kê về số lượng và độ dài chuỗi xúc phạm phản cảm trong bộ dữ liệu

ke .⁄7 PT Tô 31

Bảng 4.1 Siêu tham số cho mô hình BiLSTM-CRE 2-52 22 s2+S£+£s2+Sz+sz+2 38Bảng 4.2 Kết qua thí nghiệm trước và sau khi thêm bình luận sạch 40Bảng 4.3 Kết quả thí nghiệm trên ba bộ dit liệu đơn chuỗi, đa chuỗi và tat cả chuỗi .41Bảng 4.4 Một số ví dụ nhận diện sai của hai mô hình XLM-RLarge và PhoBERTlarge

trên tập phát triỀn -c 5c S1211211211211211211211 11 1111111111111 errree 45

DANH MỤC TỪ VIET TAT

STT | Tên thuật ngữ Mô tả

1 API Application Programming Interface

2 BERT Bidirectional Encoder Representations from Transformers

3 BiLSTM Bidirectional Long Short Term Memory

4 BPE Byte-Pair Encoding

5 CRF Conditional Random Field

6 HTPLNNXPTT | Hệ Thống Phân Loại Ngôn Ngữ Xúc Pham Truyền Thong

7 IAA Inter Annotators Agreement

8 ipynb IPython Notebook

9 JSON JavaScript Object Notation

10 LGBTQ+ Lesbian, Gay, Bisexual, Transgender, Queer,

11 MLM Masked Language Model

12 NER Named Entity Recognition

13 RoBERTa Robustly Optimized BERT Pretraining Approach

14 SQL Structured Query Language

15 THPTQG Trung Học Phé Thông Quốc Gia

16 UIT-ViCTSD Vietnamese Constructive and Toxic Speech Detection

17 ViHOS Vietnamese Hate and Offensive Spans

18 ViHSD Vietnamese Hate Speech Dataset

19 XLM Cross-lingual Language Model

20 XP/PC Xuc pham/Phan cam

TOM TAT KHOA LUẬN

Su phát triển vượt bậc của khoa học kĩ thuật trong thời kỳ cách mang công nghiệp lần

thứ tư đã và đang thay đôi cuộc sống con người theo từng ngày Con người không những

ngày càng được kết nối với nhau nhiều hơn thông qua các nền tảng mạng xã hội, mà còn

có thé là nơi dé thực hiện kinh doanh như thông qua việc đăng bài quảng cáo, tiếp thịliên kết, Song, cũng vì sự tương tác không rào cản này dẫn đến nảy sinh các vấn đề về

an toàn không gian mạng Theo các báo cáo nghiên cứu cho thấy, môi trường mạng xãhội chứa rất nhiều những nội dung độc hại, xúc phạm và phản cảm và có dấu hiệu không

ngừng tăng lên theo thời gian Lý do bởi lẽ người dùng mạng xã hội ngày càng tăng mả

những hệ thống kiểm duyệt nội dung bình luận hiện tại lại đang còn nhiều hạn chế Nhậnthấy được vấn đề cần giải quyết, khoá luận của chúng tôi đề xuất một giải pháp xây dựng

hệ thống nhận diện nội dung xúc phạm, phản cảm có trong bình luận mạng xã hội

Giải pháp đề xuất của chúng tôi bao gồm bốn đóng góp chính: bộ dit liệu chất lượngcho nhiệm vụ trích xuất, nhận diện chuỗi xúc phạm, phản cảm có trong bình luận mạng

xã hội tiếng Việt; bộ hướng dẫn gán nhãn đầy đủ được xây dựng dựa trên đặc điểm ngônngữ tiếng Việt có ý nghĩa cho việc mở rộng dữ liệu và cho các nghiên cứu tương tự trêncùng miền văn bản; thí nghiệm đa dạng các mô hình huấn luyện trên bộ dữ liệu được xâydựng, từ đó phân tính, đánh giá và đưa ra kết luận về các yếu tố ảnh hưởng tới khả năngnhận diện chuỗi xúc pháp của từng mô hình; xây dựng hệ thống giúp nhận diện trực tiếp,liên tục từ nguồn đữ liệu lớn của Twitter dé chứng minh tinh ứng dụng của giải pháp

Khoá luận là sự đóng góp về cả mặt khoa học và thực tế khi đi tiên phong xử lý bài

toán nhận diện chuỗi xúc phạm, phản cảm trong bình luận mạng xã hội cho ngôn ngữ

tiếng Việt Chúng tôi cũng đã thành công xây dựng bộ đữ liệu đầu tiên dành cho tiếngViệt và đưa vào ứng dụng nhận diện trực tiếp, liên tục chuỗi xúc phạm, phản cảm với độ

chính xác F1 — Score lên tới 0,7770 Từ đó, chúng tôi hy vọng hệ thống sẽ mang lại giá

trị lớn khi có tiềm năng ứng dụng rộng rãi cho các trang thông tin điện tử, các trang mạng

xã hội, góp phần xây dựng môi trường mạng xã hội an toàn, lành mạnh

MỞ DAU

Đặt vấn đề

Ngày nay, dưới sự ảnh hưởng mạnh mẽ của cuộc cách mạng công nghiệp lần thứ tư,

các nhu cầu của con người ngày càng được đáp ứng trên nhiều lĩnh vực như an sinh xã

hội, kinh tế, phương tiện di duyên và sự kết nối vạn vật Điều này đã và dang anh

hưởng trực tiếp tới đời sống của con người mọi nhiều mặt, đặc biệt là kết nói giữa người

dùng với người dùng thông qua các nền tảng mạng xã hội, các trang thông tin điện tử

Van dé tan công mạng, lừa đảo, xúc phạm trên các mang xã hội ngày càng trở nên mat

dần kiểm soát, qua đó trực tiếp biến thế giới thứ hai của con người trở thành một môitrường nguy hiểm và ảnh hưởng tiêu cực đến chính người dùng

Thực trạng trên đã chỉ ra rằng việc phát hiện, kiểm soát và xử lý các bình luận trêncác nên tảng này là cực kỳ cấp thiết và quan trọng Bởi lẽ đặc trưng của môi trường trựctuyến này là tính lan truyền nhanh chóng, tính công cộng và không giới hạn nội dụngchia sẻ Cụ thể, các bình luận có thể được chia sẻ thông qua nhiều phương thức khác

nhau như truyền miệng, chia sẻ trực tiếp hoặc in ấn văn bản từ đó làm cho tốc độ lan

truyền thông trở nên cực kỳ nhanh chóng Ngoài ra, việc các cá nhân đều có khả năng

truy cập và tiếp cận các thông tin xúc phạm, phan cảm hay công kích một cách dé dàng

khiến tác động tiêu cực tới cá nhân, tổ chức có nguy cơ rất lớn

Ngoài ra, theo khảo sát của Microsoft [1], Việt Nam hiện là nước có chỉ số văn minh

năm trong nhóm thấp nhất trong tổng số 25 quốc gia được khảo sát Đây là một tín hiệu

báo động về mặt tối của tác động mạng xã hội tới người dùng Số lượng bình luận xúcphạm ngày càng tăng cao, trong khi các công cụ xử lý vấn đề xúc phạm này còn rất hạnchế Qua đó, ta có thể hiểu rằng không chỉ ở Việt Nam, mạng xã hội vẫn đang từng ngàyđem theo những bình luận không đúng chuẩn mực của các cá nhân thiếu sự tôn trọng,

chuẩn mực đến với người khác Trong đó đặc biệt là trẻ em hay nhóm người nhạy cảm

về tâm lý khi tiếp xúc với những nội dung này là những đối tượng chịu ảnh hưởng đặcbiệt và sâu sắc nhất tới tư tưởng và hành vi của họ

Tuy nhiên, việc xử lý trích xuất các văn bản độc hại có trong một khối lượng khổng

lồ các bình luận trên nền tảng mạng xã hội đang thực sự gặp nhiều vấn đề và thách thức

Cụ thể, trên thế giới hiện nay có rất ít các công trình nghiên cứu liên quan tới lĩnh vựctrích xuất chuỗi xúc phạm, phản cảm trong bình luận mạng xã hội Bên cạnh đó, các

công trình nghiên cứu này cũng chưa chứng minh được tính ứng dụng vao thực tế bởi

các ly do sau: (1) các nghiên cứu chưa áp dụng phân tích chuyên sâu về đặc trưng ngôn

ngữ vùng miền, qua đó dẫn đến hiệu suất mô hình gặp khó khăn khi trích xuất chuỗi xúc

phạm, phan cảm có trong các bình luận ấn ý, nói bóng gió hoặc sử dụng phương ngữ;

(2) các công trình chỉ dừng lại ở mức nghiên cứu, thiếu sự phát triển hướng triển khai

thành ứng dụng hỗ trợ cho việc xử lý khối lượng lớn bình luận trên các nền tảng nhiều

người dung Chính vì vậy, môi trường không gian mạng đang rất cần những ứng dụng

dé có thé xử lý những bình luận độc hại đang tăng lên theo từng ngày, cụ thê là trích xuấtnhững thông tin, chuỗi xúc phạm, phản cảm có trong các bình luận, từ đó góp phần giảmthiểu các bình luận độc hại và nâng cao an toàn không gian mạng

Sau khi khảo sát các công trình nghiên cứu về lĩnh vực xử lý dữ liệu bình luận độc hạicho tiếng Việt, chúng tôi nhận thấy rằng chỉ có số ít công nghiên cứu về lĩnh vực này.Những công trình này tập trung chủ yếu phân loại nhãn xúc phạm, phản cảm từ bình luậnbằng phương pháp tiền xử dữ liệu đầu vào [2] và huấn luyện các mô hình máy học, học

sâu và học chuyển tiếp cho các bộ dữ liệu, qua đó nâng cao hiệu suất phân loại bình luận

của mô hình [3] [4] Ngoài ra, khảo sát của chúng tôi chỉ ra rằng bài toán nhận diện chuỗi

xúc phạm, phản cảm có trong bình luận mạng xã hội vẫn đang là một bài toán chưa có

lời giải vì hiện tại chưa có công trình nào nghiên cứu về lĩnh vực này

Ngoài ra, đặc trưng của văn bản tiếng Việt vốn dĩ phức tạp, có sự khác nhau giữanhiều vùng miền và đa ý nghĩa trong từng bình luận Chính vì vậy việc phân tích, bóctách khái niệm và gán nhãn xúc phạm, phản cảm trong từng loại bình luận tiếng Việt làcực kỳ quan trọng Điều này góp phần chỉ ra những đặc trưng riêng mà chỉ tiếng Việt

mới có, từ đó giúp nhận biệt ưu và nhược điểm của các mô hình khi trích xuất chuỗi xúc

phạm, phản cảm trong trường hợp các bình luận khó Tuy nhiên, hiện nay chưa có bộ dữ

liệu được xây dựng giúp nhận diện chuỗi xúc phạm, phản cảm cho tiếng Việt và cũng

chưa có công trình nghiên cứu liên quan đến định nghĩa, phân tích các đặc điểm hay đặctrưng riêng về chuỗi xúc phạm, phản cảm của bình luận mạng xã hội Việt Nam

Nhận thấy được sự tồn tại các vấn đề trên, khoá luận này đề xuất một giải pháp hoànchỉnh nhằm xây dựng dữ liệu chuỗi xúc phạm, phản cảm có trong bình luận mạng xã hội

và các phân tích sâu sắc.

Mục tiêu khoá luận

Trong khoá luận này, chúng tôi tập trung nghiên cứu các phương pháp dé xây dựng

một hệ thống hoàn chỉnh giúp phân loại bình luận và đặc biệt là trích xuất chuỗi xúcphạm, phản cảm có trong mỗi bình luận mạng xã hội được thu thập theo thời gian thực

Cu thé, chúng tôi dat ra từng mục tiêu như sau:

e Xây dựng bộ dữ liệu Vietnamese Hate and Offensive Spans (VIHOS), bộ

dữ liệu dành cho tiếng Việt đầu tiên bao gồm các bình luận đã được gán

nhãn các chuỗi xúc phạm, phản cảm bên trong Bộ dit liệu được kỳ vọng

giúp các mô hình huấn luyện mang lại hiệu suất cao nhờ các phân tích,

bóc tách đặc trưng và định nghĩa khái niệm chuỗi xúc phạm, phản cảm

của bình luận mạng xã hội tiếng Việt

e Thí nghiệm đa dạng các mô hình huấn luyện đã được chứng minh tinh

hiệu quả cho bài toán Sequence Labeling trên các mô hình học sâu, học

chuyền tiếp đa ngôn ngữ và đơn ngôn tiếng Việt Chúng tôi mở rộng cácthí nghiệm dựa trên đặc trưng về số lượng của các chuỗi xúc phạm, phảncảm có trong mỗi bình luận, qua đó so sánh phân tích và đưa ra kết luận

về tính hiệu quả của từng mô hình trên từng thí nghiệm với mục tiêu tìm

ra mô hình cho hiệu suât cao nhât.

e Để chứng minh tính hữu ích của dit liệu, chúng tôi xây dựng ứng dụng

liên tục truyền dir liệu từ nguồn đữ liệu không 16 ở trang mạng xã hội và

tiến hành nhận diện chuỗi xúc phạm, phan cảm có trong bình luận theo

thời gian thực Ngoài ra, chúng tôi còn áp dụng các kỹ thuật phân loại các bình luận nhận được thành một trong ba nhãn CLEAN, HATE hoặc

OFFENSIVE [2] để tăng tính ứng dụng của hệ thống, từ đó xây dựngthành công mô hình và sẵn sàng áp dụng vào thực tế

Đối tượng và phạm vi nghiên cứu

> Đối tượng: Sự phát triển mạnh mẽ của Internet kéo theo sự phát triển của các

nền tảng mạng mã hội, các bình luận trên mạng xã hội ngày càng trở nên mat

kiểm soát dần bởi số lượng và bộc lộ nhiều khía cạnh tiêu cực Trong đó số

lượng chuỗi độc hại, xúc phạm, phản cảm có trong mỗi bình luận trở nên nhiều

và tinh vi hơn bao giờ hết, qua đó gây quan ngại về sự ảnh hưởng tiêu cực củachúng tới người dùng Điều này đã tạo động lực cho chúng tôi tìm tòi nghiêncứu và đưa ra giải pháp giải quyết vấn đề bóc tách chuỗi xúc phạm, phản cảm

có trong bình luận mạng xã hội Việt Nam Góp phần xây dựng không gianmạng trở nên an toàn và lành mạnh đối với tất cả người dùng

> Phạm vi: Tuy đề tài hiện đang ở mức sơ khởi nhưng phạm vi áp dụng là vô

cùng lớn Cụ thể, hệ thống của chúng tôi không chỉ đáp ứng tốt ở các trangmạng xã hội trực tuyến có quy mô nhỏ như các trang thông tin điện tử có lượngngười dùng thấp nhưng rất cần sự kiểm duyệt cao mà còn đáp ứng tối đối vớicác trang mạng xã hội phổ biến hiện nay như Facebook, Youtube Từ đó, gópphần ngăn chặn những thông tin độc hại phát tán, giảm thiểu đáng ké bình luậnxúc phạm, phản cảm đối với các đối tượng nhạy cảm như người già, trẻ em.Góp phần thiết lập trật tự an ninh mạng, giúp các cơ quan nhà nước theo dõi

các đôi tượng nhăm mục đích giáo dục, nghiên cứu, và quản lý một cách hiệu

quả.

Kết quả nghiên cứu

Khoá luận của chúng tôi đi tiên phong trong lĩnh vực trích xuất, nhận diện chuỗi xúcphạm, phản cảm có trong bình luận mạng xã hội tiếng Việt Không chỉ xây dựng thành

công bộ dir liệu ViHOS băng cách bóc tách, phân tích các đặc trưng đặc biệt về bình

luận xúc phạm dành riêng cho tiếng Việt, mà chúng tôi còn thí nghiệm phân tích các môhình huấn luyện dựa trên đặc điểm về số lượng của chuỗi xúc phạm, phản cảm, qua đórút ra kết luận về chất lượng bộ dit liệu và hiệu suất của mô hình Cuối cùng, chúng tôi

triển khai ứng dụng phân loại bình luận và nhận diện chuỗi xúc phạm, phản cảm có trong

bình luận mạng xã hội theo thời gian thực, đưa hệ thống của chúng tôi tiễn gần hơn vớicon người và sẵn sàng ứng dụng vào thực tế Những kết quả này cũng là một đóng góp

về mặt tư liệu cho các công trình nghiên cứu về sau kế thừa và phát triển, tận dụng nhữngđiểm mạnh của khoá luận và khắc phục những vấn đề còn tồn đọng mà chúng tôi đanggap phải

Cấu trúc khoá luận

Khoá luận của chúng tôi gồm 6 chương với các nội dung chính như sau:

> Chương 1: Tong quan

Giới thiệu bài toán nhận diện chuỗi xúc phạm, phan cảm có trong bình luận

mạng xã hội tiếng Việt Tầm quan trọng và tính ứng dụng của khoá luận vàothực tế đời sống trong bối cảnh phát triển mạnh mẽ của nền tảng trực tuyếnhiện tại.

> Chương 2: Các công trình nghiên cứu liên quan

Chúng tôi giới thiệu một vài các công trình nghiên cứu liên quan đến bài toán

nhận diện chuỗi xúc phạm, phản cảm có trong bình luận mạng xã hội đối với

một số ngôn ngữ nước ngoài như tiếng Anh.

Chương 3: Xây dựng bộ dữ liệu

Giới thiệu bộ đữ liệu Vietnamese Hate and Offensive Spans (VIHOS) Chúng

tôi trình bày quy trình xây dựng bộ dữ liệu cụ thể theo từng bước kèm theo

phân tích về các đặc điểm ngôn ngữ đặc thù kèm phương pháp tiếp cận giải quyết, đưa ra những thống kê cơ bản cho bộ đữ liệu ViHOS.

Chương 4: Thí nghiệm và đánh giá

Thí nghiệm các mô hình học sâu, học chuyên tiếp đa ngôn ngữ và đơn ngôn

ngữ dành riêng cho tiếng Việt trên bộ dữ liệu ViHOS Phân tích kết qua của

từng mô hình, sau đó tiến hành so sánh, đánh giá và kết luận về hiệu suất của

từng loại mô hình.

Chương 5: Xây dựng ứng dụng

Chúng tôi trình bày những công nghệ sử dụng và tổng quan về ứng dụng phân

loại bình luận, nhận diễn chuỗi xúc phạm, phản cảm có trong bình luận mạng

xã hội tiếng Việt theo thời gian thực

Chương 6: Kết luận và hướng phát triển

Tổng kết các kết quả đạt được của khoá luận và định hướng phát triển của khoá

luận trong tương lai.

Chuong 1 TONG QUAN

1.1 Giéi thiệu khoá luận

Các trang mạng xã hội đã và đang từ lâu được sử dụng rộng rãi khắp thế giới Ở đây,người dùng dé dàng chia sẻ những khoảnh khắc trong cuộc sống, kết nỗi với nhau haythậm chí kiếm tiền bằng buôn bán hàng, viết các bài viết quảng cáo Cũng chính vì cáctrang web này được cả thé giới chấp nhận, nhiều người dùng quá khích đã có tình làm

dụng quyền được bình luận dé gây rối tới các cá thé hay tổ chức khác bằng các ngôn ngữ

xúc phạm, phản cảm Hậu quả dẫn tới nó có thé gây ra nhiều ton hại về tinh thần củangười khác [5] Những hành vi sai trái này đôi khi còn được xem là bao lực không gianmạng, hay quấy rối không gian mạng

Tuy nhiên, các nghiên cứu hiện tại chỉ đang tập trung chính vao việc phân loại một

bình luận theo hai nhãn [6] [3] hay đa nhãn [7] [8] dua trên các đặc điểm xúc phạm

Những nỗ lực này đều nhằm mục đích hỗ trợ người quản trị không gian mạng trong việcloại bỏ những nội dung này dựa trên các tiêu chuẩn cộng đồng Tuy nhiên, một hệ thống

có thê chỉ ra được nội dung hay chuỗi các ký tự nào trong các bình luận xúc phạm này

là rất có giá trị cho những quản trị viên này Bởi lẽ, họ liên tục phải xử lý số lượng lớncác bình luận mà nếu chỉ dựa vào các hệ thông phân loại truyền thống thành các nhãn thì

khi gặp các trường hợp đặc biệt họ vẫn phải đọc lại và xác định lại các ý xúc phạm từ

đầu Hơn nữa, các hệ thống cho phép chỉ ra các nội dung nào trong bình luận là xúc phạm

còn là một sự hỗ trợ hiệu quả cho những quản trị viên khi cần phải ngăn chặn một cuộcbạo lực không gian mạng hay các tư tưởng sai lệch.

Bài toán nhận diện chuỗi xúc phạm trong văn bản là một hướng nghiên cứu mới dựa

trên nhánh nghiên cứu phân tích cảm xúc Những bai toán thược nhánh này đã từ lâu

được cộng đồng nghiên cứu và các doanh nghiệp, tổ chức quan tâm từ lâu [9] Trong

phần này, chúng tôi tóm tắt bài toán nhận diện chuỗi xúc phạm, phản cảm trong bình

luận tiêng Việt Bài toán có thê được mô tả ngăn gọn như sau:

e Đầu vào: Một câu bình luận tiếng Việt trực tiếp thu thập từ mạng xã hội.

@username Tổ sư may thang may chỉ bênh vực nhau, lại them thằng ngu

thíc sủa bậy

Hỗ trợ kiểm duyệt © 33: Hỗ trợ kiểm duyệt

l R= ° kèm lý do: y

Người kiêm duyệt nội dung

HTPLNNXPTT kèm theo nhận diện chuỗi xúc phạm

Chửi cũng nề nang chứ Đkm tao báo công an bắn chết cụ mày

Hình 1.1 Một ví dụ về sự hỗ trợ của nhận diện chuỗi xúc phạm cho hệ thống truyền

thống có thể đem lại nhiều giá trị thông tin hơn cho người kiểm duyệt nội dung

1.2 Tính ứng dụng của khoá luận

Trong bối cảnh Chính Phủ đang ngày càng siết chặt hơn về hành vi trên không gianmạng, các chính sách hay các cơ quan, tổ chức đang ngày càng coi trọng hơn việc giữ

gìn sự an toàn và trong sạch các nền tảng này Tuy nhiên, nếu chỉ dựa vào sức người hay

sự ý thức của người dùng thì khó có thé kiểm soát trên quy mô lớn Vì vậy, các công cụmang tính tự động trong việc xử lý lớn các nội dung trên mạng xã hội có ý nghĩa quantrọng trong tầm nhìn, chiến lược cũng như như cầu hiện nay

Với việc ứng dụng công nghệ nhận diện chuỗi xúc phạm, phản cảm kết hợp với các

nghiên cứu hiện nay sẽ là một trợ thủ đắc lực cho các cơ quan, đoản thê Từ đâu ra của

nghiên cứu này, các đơn vị có thé có cái nhìn sâu sắc hơn về hành vi ngôn ngữ của người

dùng trên không gian mạng Từ đó đưa ra các phương án sử trí các đối tượng bất hảo,

hay có sự phân tích đưa ra các tuyên truyền hay sự ngăn chặn kịp thời về các vấn đềtrong xã hội.

Ngoài ra, nghiên cứu của chúng tôi được thực hiện trên cơ sở chi phí thấp, tài nguyênhạn chế cũng là điểm lợi cho tính ứng dụng Các nhà đầu tư hay các cơ quan từ nghiên

cứu này có thé có những sự áp dụng vào các sản phẩm của mình với chi phí tương tự.

Từ đó, ý nghĩa về xã hội và kinh tế của các đề tài nghiên cứu này cũng được thê hiện rõ

ràng bởi các nỗ lực thiết thực

10

Chương2 CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN

2.1 Công trình nghiên cứu về dữ liệu

Dữ liệu là một thành phần cực kỳ quan trong trong tất cả các bài toán học máy nói

chung và bài toán về xử lý ngôn ngữ tự nhiên nói riêng Tuy nhiên, các nghiên cứu về

dữ liệu có kích thước lớn và chất lượng cao về ngôn ngữ tại Việt Nam còn rất hạn chế.Thực vậy, cho tới thời điểm hiện tại, chúng ta chưa có nghiên cứu nào trên tiếng Việt vềnhận diện chuỗi xúc phạm và phản cảm Dữ liệu gần nhất tới bài toán này là dữ liệu vềphân loại xúc phạm, phản cảm như bộ VIHSD [4] và bộ HSD-VLSP [10] hay dữ liệu vềtính độc hại hay tính xây dựng trên bình luận mạng xã hội là bộ UIT-ViCTSD [3].

Về bài toán nhận diện chuỗi xúc phạm, phản cảm thì trên tiếng Anh cũng chỉ có rất íttới thời điểm hiện tại nghiên cứu về dé tài này Bộ dữ liệu của cuộc thi SemEval-2021Task 5: Toxic Spans Detection [11] là một trong ít số nghiên cứu đó Bộ dit liệu nàycung cấp 10.629 bình luận kèm theo gán nhãn các chuỗi từ khiến cho các bình luận đótrở nên độc hại Dữ liệu của nghiên cứu này có nguồn gốc từ nguồn dé liệu uy tín là CivilComments [12] Một nghiên cứu khác có sự gan nhãn tương tự nhưng lại sử dụng cácchuỗi xúc phạm, phản cảm này như một sự giải thích cho quyết định phân loại thành các

nhãn của bình luận Bộ dữ liệu tên là HateXplain [13], chứa 20.148 bình luận thu thập

từ hai nền tảng mạng xã hội là Gab và Twitter

2.2 Công trình nghiên cứu về mô hình nhận diện

Các nghiên cứu trên bài toán gần là phân loại quan điểm trên văn bản cũng có nhiềugiá trị nói chung cho cộng đồng xử lý ngôn ngữ Những hướng tiếp cận ban đầu thườngdựa vào các mô hình học máy truyền thống hay các mô hình học sâu kết hợp các bộnhúng từ Sau này, sự ra đời của nghiên cứu về Transformer [14] đã thúc đây những

bước tiến lớn trong lĩnh vực Các mô hình như BERT [15], BERTology [16], mô hình

học chuyên tiếp gốc BERT đã và đang có sức ảnh hưởng mạnh mẽ bởi hiệu năng của

chúng tại các cuộc thi uy tín như SemEval-2020 Task 12 [17] hay SemEval-2021 Task

5 [11].

11

Chương 3 XÂY DỰNG BỘ DỮ LIỆU

3.1 Tông quan về bộ dữ liệu

Trong phan này chúng tôi giới thiệu về quy trình và nguồn gốc của bộ di liệu

Vietnamese Hate and Offensive Spans (ViHOS) của chúng tôi Với nguồn dữ liệu đượclây từ nghiên cứu uy tín trên tiếng Việt về xử lý văn bản xúc phạm và phản cảm, kết hợpvới quy trình gán nhãn dữ liệu chặt chẽ thông qua các kiểm định nghiêm ngặt, chúng tôi

đưa tới cộng đồng nghiên cứu khoa học một bộ đữ liệu đầu tiên trên thế giới và trên tiếng

Việt phục vụ bài toán trích xuất chuỗi xúc phạm, phản cảm trong văn bản mạng xã hội

3.2 Quy trình xây dựng bộ dữ liệu

3.2.1 Ngudn gốc của dữ liệu

Bộ dữ liệu ViHOS của chúng tôi chứa 11.056 bình luận có nguồn gốc từ tap dir liệu

Vietnamese Hate Speech Detection (VIHSD) [4] Tập di liệu VIHSD là một trong số Ít

bộ dữ liệu uy tín và có SỐ lượng lớn dữ về văn bản mạng xã hội tại Việt Nam, nơi màcho tới hiện tại chưa có nhiều công bồ về dữ liệu so với các ngôn ngữ như tiếng Anh haytiếng Trung

Về bộ dit liệu ViHSD, có 27.624 điểm dữ liệu được gan nhãn là CLEAN, 3.514 điểm

dữ liệu được gan nhãn là HATE va 2.262 điểm dữ liệu được gan nhãn là OFFENSIVE.Các điểm dit liệu thuộc bộ ViHSD có nguồn gốc là các bình luận công khai va được

nhóm tac gia thu thập về từ các trang mạng xã hội nồi tiếng ở Việt Nam Vì vậy, các biện

pháp tu từ trong ngôn ngữ như ân dụ, hoán dụ hay các thành ngữ, tục ngữ và các đặcđiểm ngôn ngữ phức tạp khác khá phổ biến ở tập ViHSD này

Để phục vụ nhiệm vụ xây dựng bộ VIHOS, chúng tôi sử dụng toàn bộ các điểm dữ

liệu có gan nhãn là HATE và OFFENSIVE trong tập ViHSD dé gan nhãn chuỗi xúc

phạm, phan cảm Sau khi thực hiện việc xoá bỏ các điểm dữ liệu trùng lặp, từ 5.776 điểm

dữ liệu có nhãn là HATE và OFFENSIVE, chúng tôi thu về được 5.528 điểm dữ liệu vụcho bai toán của chúng tôi Hơn nữa, mục tiêu ban đầu là xây dựng bài toán nhận diện

chuỗi xúc phạm và phản cảm từ văn bản mạng xã hội chúng tôi đã thực hiện thu thập

12

5.528 điểm dữ liệu có nhãn là CLEAN từ tập VIHSD Việc thu thập này được thực hiện

thủ công dựa trên việc nếu các văn bản này không chứa bất kỳ chuỗi nào được xếp làxúc phạm, phản cảm dựa trên bộ quy tắc được thể hiện ở mục 3.2.2 Ngoài ra, thông qua

việc thu thập một số lượng ngang bằng về điểm dif liệu không chứa nội dung xúc phạm

và nội dung có chứa sẽ góp phần giúp mô hình ở phần 4.2 không bị thiên vị về nhãn và

từ đó tăng tăng hiệu suất của chúng

3.2.2 Bộ hướng dẫn gan nhãn

Mục tiêu của chúng tôi là xây dựng một tập dữ liệu chứa không chỉ các từ xúc phạm

hay phản cảm, mà còn có cả đữ liệu hoàn chỉnh về hành vi, tư tưởng và ý định xúc phạm

bên trong bình luận Đề làm được điều này cũng như đề hỗ trợ các người gán nhãn, chúng

tôi đã định nghĩa chuỗi xúc phạm, phản cảm như sau:

e Chuỗi xúc phạm, phản cảm là chuỗi chứa nội dung quấy rối, lăng mạ,

chửi rua hay bat kính tới đối tượng khác

e - Chuỗi xúc phạm, phan cảm là chuỗi chứa hành vi lạm dụng tình dục, hành

hạ bang ngôn từ tới một hoặc một nhóm các các thé dựa trên các đặc điểmnhạy cảm của họ như vùng miền, tôn giáo, chính tri, cơ thể, giới tính, e_ Chuỗi xúc phạm, phản cảm là chuỗi chứa nội dung bóng gió, ân dụ, hoán

dụ cho mục đích xúc phạm, phản cảm hay gây tranh cãi dựa trên các đặcđiểm nhạy cảm như giới tính, vùng miền, quyền con người

e Chuỗi xúc phạm, phản cảm là chuỗi chứa hành vi chia rẽ, phá hoại các tô

chức, đoàn thê dựa trên các đặc điểm về chính trị, tôn giáo, hệ tư tưởng,

giới tính,

e_ Chuỗi xúc phạm, phản cảm là chuỗi thiếu tôn trọng người khác do sử

dụng các đại từ bất kính, không phù hợp.

e Chuỗi xúc phạm, phản cảm là chuỗi khi mà loại bỏ ra khỏi câu thì câu

không còn bắt kỳ sắc thái xúc phạm, phản cảm nào

13

Tuy nhiên, nội dung xúc phạm, phan cam trong các bình luận tiếng Việt có thé chứa

một hay thậm chí nhiều thành phần trong một câu Điều này dẫn đến việc tạo ra một quy

trình gán nhãn chuỗi xúc phạm, phản cảm dựa trên sự phân hoạch các thành phần trong

câu sẽ gây hiện tượng đứt đoạn ý nghĩa xúc phạm.

Ví dụ câu:

“thằng ad thở ra cái tư duy như trẻ lớp mâm ”Bình luận này có thể dễ dàng xác định được là đang chứa ba danh từ/cụm danh từ vàmột động từ chính, bao gồm:

I “thằng ad” với vai trò là chủ ngữ và xúc phạm khi gọi người khác là

“thằng”

2 “cái tư duy” và “trẻ lớp mầm” vai trò là đôi tượng trong vị ngữ cũng mang

sắc thái xúc phạm khi lần lượt xuất hiện của từ “cái” dé nói về “tư duy”của ai đó và gọi tư duy ấy như “trẻ lớp mầm”

3 “thở” vai trò là động từ chính cũng mang sắc thái xúc phạm

Tuy nhiên, các thành phan trong câu hầu hết gắn kết và cau thành nên một ý niệm xúcphạm hoàn chỉnh và đầy đủ của người bình luận tới chủ thé tên là “ad” Vì vậy, dé cóthé gan nhãn được chuỗi xúc phạm, phản cảm trong văn bản, người gan nhãn được kêucầu ngoài việc xác định được các thành trong câu đề có thể gán nhãn trong hầu hết cáctrường hợp nhưng cũng cần linh hoạt trong các nội dung đặc biệt

Vì vậy, chúng tôi đã xây dựng một quy trình gan nhãn day đủ và chỉ tiết dé hỗ trợ tối

đa các trường hợp trong lúc gán nhãn của đội ngũ làm việc này (Hình 3.1.) Theo như

quan sát từ đữ liệu, hầu hết các bình luận đều mang tính đời thường và là văn nói Điềunày khiến nội dung bình luận được viết rất tự do và không tuân thủ nhiều các luật về ngữpháp Hệ quả dẫn đến các bình luận này có thường thiếu chủ ngữ, vị ngữ, đại từ trongcâu Trong khi đó, dé cấu thành nên một câu hoàn chỉnh đúng ngữ pháp trong tiếng Việt,một câu cần phải có tối thiểu một cụm Chủ ngữ và VỊ ngữ Câu có một cụm Chủ - VỊ làmột câu đơn và câu có nhiêu hơn một cum Chủ - VỊ là câu phức hoặc câu ghép tuỳ vào

14

vi trí của các cụm này Từ đặc điêm ngôn ngữ nay, chúng tôi lợi dung nó đê xây dựng quy trình gan nhãn dữ liệu của chúng tôi.

Danh từ chính

Định ngữ cho danh tir

từ Định ngữ phía trước danh từ Cone | ; Dinh ngữ phía sau danh từ

Tuy nhiên, trong quá trình gán nhãn sẽ không tránh khỏi việc các hướng dẫn của chúng

tôi gặp khó khăn trong nhiều trường hợp đặc biệt về cả đặc điểm ngôn ngữ cũng như

nhập nhăng Ở trong mục 3.2.2.1 và 3.2.2.2 sau đây chúng tôi sẽ đề cập tới các đặc điểm

ngôn ngữ xúc phạm cũng như các lưu ý kèm theo các ví dụ và phương hướng giải quyết

hay giải thích hỗ trợ cho các người gán nhãn.

3.2.2.1 Đặc trưng của ngôn ngữ xúc phạm, phản cảm và cách gán nhãn

Dưới đây là bảng các đặc điểm ngôn ngữ xúc phạm, phản cảm kèm theo ví dụ,

định nghĩa và hướng dẫn gán nhãn chúng.

Bảng 3.1 Đặc trưng của ngôn ngữ xúc phạm, phản cảm và cách gán nhãn.

Các đặc trưng của ngôn

Giải thích: một số bìnhluận không dấu có thé gây

15

tien,deo bao hiem thi nam

do di.

(2) Dung la con linh dien

dien vua thoi chang qua nt

goi de choc my dien thoi

"con ng" nhu linh dien thi

nhất của nó

Ó Trong bình luận này, cómột số từ gây khó khăn chongười gán nhãn khiến cho

họ cần phải đọc lại nhiềulần mới có thể gán nhãnđược do vừa có chữ thiếu

dấu vừa thiếu dấu câu.

Trong đó, “con ng” trong

câu này có thể được hiểu làcon ngụ hay con người.

Dau vậy, cả hai trong

trường hợp này đều mang ýnghĩa xúc phạm.

Cách gán nhãn: người gán

nhãn vẫn phải gán nhãn

những bình luận không dấu

này như bình thường Tuy

nhiên, để đảm bảo chấtlượng họ cần phải đọc lại

nhiêu lân đê hiêu được

16

chính xác nghĩa của các bình luận này Các ví dụ

trên có thê gán như sau:

bình luận sử dụng phép

hoán dụ hoặc ấn du dé thé

hiện sự xúc phạm, phản

cảm.

(1) Trong bình luận này,

“cái miệng” được an dụthành bộ phận sinh con của người phụ nữ.

(2) Bình luận sử dụng phéphoán dụ áo đấu của độibong Juventus! giống áo tù

để ám chỉ đối tượng bình

luận nhăm vào sé di tù.

! Áo dau hình sọc trắng đen của Juventus F.C.: https://vi.wikipedia.org/wiki/Juventus_F.C.

17

Cách gan nhãn: người gannhãn cần gan toàn bộ ýhoán dụ, ẩn dụ.

(1): [“cái miệng rộng quá

đẻ con ra c.n lọt”].

(2): [“Dm”, “thằng sốngích kỷ này chắc sớm gia

Cách gán nhãn: người gán

nhãn gân gan toản bộ chuỗi

chơi chữ.

(1): [“Bén Ky Lac”

Su dung cac ky tu, biéu

tượng, emoji như tượng