nghiên cứu xây dựng hệ thống hỗ trợ xác định một số luồng dư luận về trường đại học trên mạng xã hội

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA CÔNG NGHỆ THÔNG TIN 1 --- ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI NGHIÊN CỨU XÂY DỰNG HỆ THỐNG HỖ TRỢ XÁC ĐỊNH MỘT SỐ LUỒNG DƯ LUẬN VỀ TRƯỜNG ĐẠI HỌC TRÊN MẠ

Trang 1

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

KHOA CÔNG NGHỆ THÔNG TIN 1

-

ĐỒ ÁN TỐT NGHIỆP

ĐỀ TÀI

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG

HỖ TRỢ XÁC ĐỊNH MỘT SỐ LUỒNG DƯ LUẬN VỀ TRƯỜNG ĐẠI HỌC TRÊN MẠNG XÃ HỘI

Sinh viên thực hiện: LÊ VĂN SANG

thue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohthue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohthue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohthue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xoh

62Thursday, June 13, 20249:56:56 PM9:56:56 PM62Thursday, June 13, 20249:56:56 PM9:56:56 PM62Thursday, June 13, 20249:56:56 PM9:56:56 PM

thue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohthue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohthue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohthue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohthue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohthue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohthue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohthue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xoh

62thue trahg bao lue hoe duohg tai truohg truhg hoe eo xo thi trah dihh lau huyeh dihh lau tihh lahg xohThursday, June 13, 2024

Trang 2

KHOA CÔNG NGHỆ THÔNG TIN 1

-

ĐỒ ÁN TỐT NGHIỆP

ĐỀ TÀI

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG

HỖ TRỢ XÁC ĐỊNH MỘT SỐ LUỒNG DƯ LUẬN VỀ TRƯỜNG ĐẠI HỌC TRÊN MẠNG XÃ HỘI

Sinh viên thực hiện: LÊ VĂN SANG

Trang 3

LỜI CẢM ƠN

Để hoàn thành đồ án tốt nghiệp này, ngoài sự nỗ lực và cố gắng của bản thân, em đã nhận được rất nhiều sự giúp đỡ và hỗ trợ từ rất nhiều người Lời cảm ơn đầu tiên, em xin gửi tới người Thầy hướng dẫn của em, Thầy Nguyễn Mạnh Hùng Nhờ có sự tận tình của Thầy trong quá trình làm đồ án, em đã có những hiểu biết sâu sắc hơn, đặc biệt là trong lĩnh vực liên quan đến trí tuệ nhân tạo, cũng như xây dựng hệ thống Bên cạnh đó, Thầy cũng là người hướng dẫn, góp ý và định hướng giải quyết vấn đề mỗi khi em gặp khó khăn Toàn bộ quá trình được làm việc với Thầy giúp em trau dồi và tích lũy thêm nhiều kiến thức và kinh nghiệm quý báu trong lĩnh vực mà em đang theo đuổi

Em cũng xin được gửi lời cảm ơn tới các quý thầy cô trong Học viện và trong Khoa Công nghệ thông tin 1 đã truyền tải rất nhiều kiến thức bổ ích với ngành học mà em đã lựa chọn trong những năm được làm sinh viên của Trường Em chúc các thầy cô luôn có sức khỏe, hạnh phúc và có thêm nhiều lớp sinh viên được truyền lửa từ sự nhiệt huyết của thầy cô cập bến bờ thành công

Đồng thời em cũng muốn gửi lời cảm ơn tới gia đình, những người đã luôn yêu thương, động viên em trong suốt thời gian học tập tại Học viện Con cảm ơn bố mẹ đã luôn tin tưởng, quan tâm để con hoàn thành quá trình học tập

Lời cảm ơn cuối cùng, em xin gửi tới những người bạn tốt đã đồng hành cùng em trong suốt quá trình học tập Quãng thời gian có mọi người là thời gian tươi đẹp nhất trong quãng đời sinh viên của em

Em xin chúc tất cả mọi người thật nhiều sức khỏe, thành công!

Hà Nội, tháng 01 năm 2022 Sinh viên

Lê Văn Sang

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 4

NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM (Của giảng viên hướng dẫn)

Trang 5

NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM (Của giảng viên phản biện)

Trang 6

CHƯƠNG 1: GIỚI THIỆU CHUNG 3

1.1 Giới thiệu bài toán 3

1.2 Phân loại văn bản 4

1.3 Các hướng nghiên cứu và giải quyết bài toán hiện nay 6

1.3.1 Một số kĩ thuật trích xuất đặc trưng 6

1.3.2 Một số thuật toán phân loại văn bản 8

1.4 Đề xuất hướng tiếp cận đồ án 10

1.5 Kết luận 12

CHƯƠNG 2: THUẬT TOÁN PHÂN LỚP LOGISTIC REGRESSION 13

2.1 Tổng quan các bước xây dựng mô hình phân loại bài đăng theo chủ đề 13

2.2 Phương pháp phân loại trong bài toán multi-label classification 14

2.2.1 Phương pháp Binary Relevance 16

2.2.2 Phương pháp OneVsRest 17

2.2.3 Phương pháp Classifier Chains 17

2.3 Trích xuất đặc trưng TF-IDF 18

2.4 Thuật toán phân lớp Logistic Regression 20

3.2.1 Chuẩn hóa unicode trong Tiếng Việt 31

3.2.2 Chuẩn hóa cách gõ dấu của từ 31 622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 7

3.2.3 Tách từ tiếng việt 33

3.2.4 Loại bỏ các stopword 34

3.3 Phương pháp đánh giá thuật toán 35

3.4 Kết quả thử nghiệm và phân tích đánh giá 36

3.5 Kết luận 37

CHƯƠNG 4: HỆ THỐNG HỖ TRỢ XÁC ĐỊNH LUỒNG DƯ LUẬN 38

4.1 Hệ thống hỗ trợ xác định một số luồng dư luận của trường đại học trên mạng xã hội 38

Trang 8

DANH MỤC KÍ HIỆU VÀ CHỮ VIẾT TĂT

AI: Artificial Intelligence Trí tuệ nhân tạo

CM: Confusion Matrix Ma trận nhầm lẫn/ Ma trận lỗi CNN: Convolutional Neural Network Mạng nơ-ron tích chập

CRUD: Create, Read, Update, Delete Tạo mới, Đọc, Cập nhật, Xóa IDF: Inverse Document Frequency Tần suất nghịch đảo của văn bản IDE: Integrated Development

NLP: Natural Language Processing Xử lý ngôn ngữ tự nhiên NER: Named-entity recognition Nhận dạng thực thể có tên POST: Part-of-speech tagging Gán nhãn từ loại

SGD: Stochastic gradient descent Thuật toán tối ưu hóa cơ bản theo họ gradient TF: Term Frequency Tần suất xuất hiện của từ

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 9

DANH MỤC CÁC BẢNG

Bảng 3.1 Danh sách các thuộc tính từ tập dữ liệu ban đầu 28

Bảng 3.2 Danh sách số lượng bản ghi theo chủ đề 29

Bảng 3.3 Danh sách số lượng bài đăng theo số lượng nhãn 30

Bảng 3.4: Kết quả của bước chuẩn hóa cách gõ dấu của từ 32

Bảng 3.5 Kết quả sau khi hoàn thành tiền xử lý 34

Trang 10

DANH MỤC CÁC HÌNH VẼ

Hình 1.1 Huấn luyện mô hình [25] 5

Hình 1.2 Quá trình phân loại tự động [25] 5

Hình 1.3 Minh họa kĩ thuật Bag-of-Words [13] 7

Hình 1.4 Minh họa Gradient Descent và Stochastic Gradient Descent [18] 8

Hình 1.5 Minh họa thuật toán Support Vector Machines [32] 9

Hình 1.6 Minh họa kiến trúc mô hình mạng CNN [33] 10

Hình 2.1: Sơ đồ các bước xây dựng mô hình phân loại 13

Hình 2.2: Minh họa bài toán Multi-class Classification [15] 14

Hình 2.3: Minh họa bài toán Multi-label Classification [15] 15

Hình 2.4: Biểu diễn tập đầu ra mong muốn [16] 16

Hình 2.5: Mô tả phương pháp Binary Relevance [16] 16

Hình 2.6: Tập đầu ra của phương pháp Classifier Chains [16] 18

Hình 2.7: Mô tả phương pháp Classifier Chains [16] 18

Hình 2.8: Biểu đồ hàm sigmoid [4] 21

Hình 3.1: Ma trận nhầm lẫn [28] 35

Hình 4.1: Mô hình hệ thống 38

Hình 4.2 Giao diện chức năng visualize luồng dư luận 41

Hình 4.3 Giao diện biểu đồ đường theo tổng tích lũy 42

Hình 4.4 Giao diện chi tiết biểu đồ đường theo từng ngày 42

Hình 4.5: Giao diện chức năng visualize luồng dư luận theo dữ liệu tuần 43

Hình 4.6 Xem danh sách bài đăng ở màn Visualize 43

Hình 4.7 Xem chi tiết bài đăng ở màn Visualize 44

Hình 4.8: Giao diện xem danh sách bài đăng 44

Hình 4.9: Giao diện xem chi tiết một bài đăng 45

Hình 4.10 Giao diện chức năng tìm kiếm từ khóa 45

Hình 4.11: Giao diện chức năng thu thập dữ liệu 46 622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 11

MỞ ĐẦU

Ngày nay, trí tuệ nhân tạo (Artificial Intelligence - AI) và học máy (Machine Learning - ML) đang hiện diện trong mọi lĩnh vực của đời sống con người, từ kinh tế, giáo dục, các ứng dụng của nó trong y học cho đến những công việc nhà, giải trí hoặc thậm chí là trong quân sự Con người thời nay đang chứng kiến những bùng nổ về công nghệ AI và những ứng dụng nổi bật trong việc phát triển AI đem đến cho nhiều lĩnh vực để giải quyết nhiều vấn đề khác nhau, từ cơ bản cho đến phức tạp

Những năm gần đây, chúng ta thấy sự tăng trưởng vượt trội của mạng xã hội hoặc các nền tảng thương mại điện tử Từ việc ứng dụng thông tin thu thập được từ các nền tảng mạng xã hội hoặc thương mại điện tử này vào các hoạt động quản lý, hoạt động kinh tế đang đem lại những lợi ích chưa từng có Các doanh nghiệp có thể thu thập các đánh giá của khách hàng về các sản phẩm và dịch vụ của họ Việc thống kê, phân tích lượng dữ liệu từ các mạng xã hội để đưa ra các quyết định chiến lược Các nhà chức trách có thể theo dõi và phân loại tình huống khẩn cấp để phản ứng nhanh nếu có bất kỳ tình huống nào phát sinh Và để giải quyết các bài toán đó thì phân loại văn bản tự động chính là một trong những hướng đi để đạt được những mục đích, ứng dụng kể trên

Trong nội dung của đồ án tốt nghiệp này sẽ trình bày quá trình tìm hiểu và xây dựng mô hình phân loại văn bản tự động, đồng thời áp dụng mô hình xây dựng được vào một hệ thống hỗ trợ xác định luồng dư luận cho một trường đại học

Nội dung đồ án bao gồm 4 chương như sau:  Chương 1: Giới thiệu chung

Chương này sẽ giới thiệu bài toán mà đồ án sẽ giải quyết, trình bày các hướng nghiên cứu để xử lý bài toán hiện nay và đề xuất hướng tiếp cận mà đồ án sẽ sử dụng

 Chương 2: Thuật toán phân lớp Logistic Regression

Chương này sẽ trình bày kiến thức tổng quát của thuật toán phân lớp Logistic Regression, với kỹ thuật liên quan là kỹ thuật trích xuất đặc trưng và một số phương pháp phân loại được sử dụng kết hợp với thuật toán

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 12

 Chương 3: Thử nghiệm và đánh giá

Trong chương 3, đồ án sẽ trình bày về quá trình thu thập dữ liệu từ mạng xã hội và gán nhãn dữ liệu, tiền xử lý dữ liệu, phương pháp đánh giá thuật toán Đánh giá kết quả thử nghiệm và đưa ra kết luận

 Chương 4: Hệ thống hỗ trợ xác định luồng dư luận

Ở chương này, đồ án trình bày về hệ thống được xây dựng với các chức năng kết hợp với mô hình phân loại đã xây dựng được Đưa ra kết quả cài đặt, một số vấn đề, giải pháp khắc phục và kết luận

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 13

CHƯƠNG 1: GIỚI THIỆU CHUNG

Trong chương 1, đồ án sẽ giới thiệu về bài toán phân loại văn bản, tìm hiểu các hướng nghiên cứu và giải quyết bài toán, cùng với đó là đề xuất hướng tiếp cận mà đồ án đặt ra

1.1 Giới thiệu bài toán

Cùng với sự phát triển của các nền tảng mạng xã hội, việc trích xuất, thống kê và phân tích thông tin sinh ra từ các nền tảng này cũng trở thành một bài toán mà các nhà phát triển ứng dụng, những tổ chức, doanh nghiệp muốn giải quyết để tận dụng những thông tin đó Phân loại văn bản tự động chính là một trong những công nghệ ngày càng phát triển để phục vụ cho những mục đích như vậy

Hiện nay, mạng xã hội Facebook được biết đến là một phương tiện truyền thông xã hội và dịch vụ hàng đầu Theo số liệu thống kê tính đến quý 3 năm 2021, số lượng người dùng của nền tảng này đã vượt 2.9 tỷ người dùng [30] Số liệu tính đến tháng 6 năm 2021, tổng số người dùng Facebook tại Việt Nam là gần 76 triệu người [31] Số lượng bài đăng được đăng tải hàng ngày và lượng thông tin sản sinh ra theo đó là rất lớn Ở các trường đại học ở Việt Nam hiện nay, Facebook cũng là một phương tiện phổ biến được sử dụng để trao đổi thông tin của phần lớn sinh viên trên các chủ đề như chia sẻ kiến thức học tập trên lớp đến kiến thức chuyên ngành, những sự kiện giải trí được diễn ra ở trường Vì vậy, việc thu thập các bài đăng được đăng tải, thống kê và phân loại chúng theo chủ đề sẽ đem lại giá trị trong công tác quản lý, lắng nghe ý kiến sinh viên đối với ban quản lý nhà trường

Từ những ứng dụng mà bài toán phân loại văn bản đã và đang làm được, bài toán mà đồ án đặt ra là với lượng dữ liệu thu thập từ các trang cộng đồng và nhóm của một trường đại học trên mạng xã hội, cụ thể trường đại học mà đồ án hướng tới là trường Học Viện Công Nghệ Bưu Chính Viễn Thông và mạng xã hội Facebook, đồ án sẽ thực hiện nghiên cứu các phương pháp phân loại, các thuật toán phân loại, sau đó xây dựng mô hình và áp dụng mô hình phân loại xây dựng được vào một hệ thống hỗ trợ xác định luồng dư luận, tức là đưa ra danh sách các chủ đề, các bài viết đang được quan tâm trong một khoảng thời gian với một lượng các chủ đề đã được xác định sẵn

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 14

1.2 Phân loại văn bản

Phân loại văn bản, hay còn gọi là Text Classification hay Text Categorization, là một bài toán cổ điển trong xử lý ngôn ngữ tự nhiên, nhằm mục đích gán nhãn hoặc thẻ cho các đơn vị văn bản như câu, truy vấn, đoạn văn và tài liệu Nó có một loạt các ứng dụng bao gồm trả lời câu hỏi, phát hiện spam, phân tích cảm xúc, phân loại tin tức, phân loại ý định của người dùng, kiểm duyệt nội dung, … Dữ liệu văn bản có thể đến từ các nguồn khác nhau, bao gồm dữ liệu web, email, cuộc trò chuyện, phương tiện truyền thông xã hội, vé, yêu cầu bảo hiểm, đánh giá của người dùng và câu hỏi và câu trả lời từ các dịch vụ khách hàng Văn bản là một nguồn thông tin vô cùng phong phú Nhưng việc trích xuất thông tin chi tiết từ văn bản có thể khó khăn và tốn thời gian, do tính chất phi cấu trúc của nó

Phân loại văn bản có thể được thực hiện thông qua chú thích thủ công hoặc bằng cách dán nhãn tự động Với quy mô ngày càng tăng của dữ liệu văn bản trong các ứng dụng công nghiệp, việc phân loại văn bản tự động ngày càng trở nên quan trọng Các phương pháp tiếp cận để phân loại văn bản tự động có thể được nhóm thành hai loại:

 Rule-based methods - Phương pháp dựa trên các luật

 Machine learning based methods - Phương pháp dựa trên học máy

Các phương pháp dựa trên luật để phân loại văn bản thành các danh mục, chủ đề khác nhau bằng cách sử dụng một tập hợp các luật được xác định trước và yêu cầu kiến thức miền sâu, tức là hiểu biết sâu rộng về các kiến thức chuyên ngành hoặc một lĩnh vực cụ thể Mặt khác, các phương pháp phân loại văn bản bằng học máy lại dựa trên quan sát về dữ liệu Sử dụng tập dữ liệu đã được gắn nhãn trước làm dữ liệu để huấn luyện mô hình, các thuật toán học máy sẽ “học” các liên kết vốn có giữa các văn bản và nhãn của chúng

Các mô hình học máy đã thu hút rất nhiều sự chú ý trong những năm gần đây Hầu hết giai đoạn huấn luyện các mô hình dựa trên học máy cổ điển đều tuân theo quy trình hai bước

Trong bước đầu tiên, đặc trưng (features) được trích xuất từ các tài liệu (hoặc bất kỳ đơn vị văn bản nào khác), bước này còn gọi là featute extraction

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 15

Trong bước thứ hai, các đặc trưng đó, kết hợp cùng với nhãn tương ứng với văn bản của đặc trưng đó, được cung cấp cho thuật toán học máy Sau khi trải qua quá trình huấn luyện với dữ liệu đầu vào sẽ cho ra mô hình phân loại (classifier model) Quá trình huấn luyện các mô hình có thể được trực quan hóa bằng hình ảnh dưới đây

Hình 1.1 Huấn luyện mô hình [25]

Sau khi đã xây dựng được mô hình phân loại, ta có thể sử dụng mô hình để bắt đầu dự đoán, giai đoạn này được gọi là giai đoạn prediction Bước đầu tiên để dự đoán, ta cũng cần phải trích xuất đặc trưng của văn bản muốn phân loại Sau đó đưa đặc trưng vào mô hình để phân loại, Kết quả của quá trình dự đoán sẽ là nhãn đầu ra, thuộc tập nhãn phân loại đầu vào Quá trình dự đoán có thể hình dung bằng hình ảnh dưới đây

Hình 1.2 Quá trình phân loại tự động [25]

Phân loại văn bản bằng máy học thường chính xác hơn nhiều so với các hệ thống luật do con người tạo ra, đặc biệt là đối với các nhiệm vụ phân loại NLP phức tạp Ngoài

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 16

ra, các mô hình phân loại với học máy dễ bảo trì hơn và luôn có thể gắn thẻ, nhãn các dữ liệu mới để tìm hiểu các tác vụ mới

1.3 Các hướng nghiên cứu và giải quyết bài toán hiện nay

Ở Việt Nam, cộng đồng nghiên cứu trí tuệ nhân tạo để áp dụng vào bài toán xử lý tiếng Việt đang rất phát triển Một số doanh nghiệp và trường đại học hoạt động trong lĩnh vực công nghệ thông tin đã và đang nghiên cứu đưa bài toán phân loại văn bản vào ứng dụng thực tế như: Framgia, Đại học Lê Quý Đôn, FPT, Đại học Khoa học Công nghệ thuộc Đại học Quốc gia Việt Nam để theo dõi tình hình, nắm bắt thông tin Hoặc các ứng dụng Chatbot có ứng dụng phân loại văn bản được tổ chức triển khai ở một số trường đại học như Học Viện Công Nghệ Bưu Chính Viễn Thông, Học Viện Kỹ Thuật Mật Mã, …

Do đặc thù của tiếng Việt và sự khác biệt về bộ ngôn ngữ trong các thư viện, công cụ hỗ trợ, nên cộng đồng các nhà nghiên cứu AI của Việt Nam đã xây dựng và phát triển một số các thuật toán, thư viện và công cụ dành riêng cho tiếng Việt Ví dụ có thể kể đến như thư viện Underthesea là bộ công cụ NLP sử dụng Python mã nguồn mở, hỗ trợ nghiên cứu và phát triển trong Xử lý ngôn ngữ tự nhiên dành cho Tiếng Việt Thư viện cung cấp API cực kỳ dễ dàng để nhanh chóng áp dụng các mô hình NLP đã được huấn luyện trước vào văn bản Tiếng Việt, chẳng hạn như PoS tagging, NER, phân loại văn bản

Để giải quyết được các bài toán phân loại văn bản như này, cần các kĩ thuật tiền xử lý, trích xuất đặc trưng, phương pháp phân loại được sử dụng và thuật toán phân loại Các kĩ thuật tiền xử lý là quá trình xử lý dữ liệu thô/gốc nhằm cải thiện chất lượng dữ liệu và do đó, cải thiện chất lượng của kết quả thuật toán

1.3.1 Một số kĩ thuật trích xuất đặc trưng

Một số kĩ thuật trích xuất đặc trưng văn bản phổ biến bao gồm of-words, of-n-Grams, TF-IDF [21]

Bag-BoW là mô hình biểu diễn không gian vecto đơn giản và phổ biến cho các văn bản phi cấu trúc Trong mô hình này, một văn bản được biểu diễn như một “túi” các từ của nó, không tính đến ngữ pháp và thậm chí cả trật tự từ, tức là một văn bản được biểu diễn dưới dạng một vecto trong đó tần suất xuất hiện của mỗi từ được sử dụng như một đặc điểm để

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 17

huấn luyện một mô hình phân loại Nếu một từ trong tập từ vựng không xuất hiện trong văn bản thì giá trị của nó trong vecto bằng 0 [13]

Hình 1.3 Minh họa kĩ thuật Bag-of-Words [13]

Bag-of-n-Grams, hoặc bag-of-n-grams là một dạng mở rộng của Bag-of-Words

Trong khi Bag-of-Words không xem xét đến trật tự các từ thì n-gram giữ lại nhiều hơn cấu

trúc trình tự ban đầu của văn bản, và do đó, bag-of-n-grams chứa nhiều thông tin hơn Một n-gram hiểu đơn giản là một tập hợp các âm tiết đứng cạnh nhau và xuất hiện trong các văn bản Thông thường ta sẽ có Bi-gram từ 2 âm tiết, Tri-gram từ 3 âm tiết [21]

Về mặt lý thuyết, với k từ duy nhất, có thể có 𝑘2 2-grams duy nhất (còn gọi là bigram) Trong thực tế, gần như không có nhiều như vậy, bởi vì không phải từ nào cũng có thể theo sau mọi từ khác Tuy nhiên, thường có rất nhiều n-grams (n> 1) khác biệt hơn

so với các từ Điều này có nghĩa là bag-of-n-grams là một không gian rộng hơn và thưa thớt hơn nhiều Điều đó cũng có nghĩa là n-grams để tính toán, lưu trữ và lập mô hình cần tiếu tốn nhiều chi phí hơn Và khi n càng lớn thì thông tin càng phong phú và chi phí càng

lớn [13]

Tf-idf là một bước ngoặt đối với phương pháp tiếp cận của Bag-of-Words TF-IDF viết tắt của “term frequency–inverse document frequency” Thay vì xem xét số lượng thô của từng từ trong mỗi tài liệu trong tập dữ liệu, tf-idf xem xét số lượng được chuẩn hóa trong đó mỗi số từ được chia cho số tài liệu mà từ này xuất hiện [13]

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 18

1.3.2 Một số thuật toán phân loại văn bản

Các lựa chọn phổ biến cho thuật toán phân loại bao gồm Logistic Regression, Naive Bayes [2], Stochastic Gradient Descent, Support Vector Machines [3], Hidden Markov model [4], Convolutional Neural Network [8]

Logistic Regression hay hồi quy logistic là một cách tiếp cận để dự đoán kết quả của một biến phụ thuộc phân loại dựa trên một hoặc nhiều biến quan sát Các xác suất mô tả các kết quả có thể xảy ra, được mô hình hóa dưới dạng một hàm của các biến quan sát bằng cách sử dụng một hàm logistic, hay còn gọi là hàm sigmoid [2], để đưa ra các đánh giá phân loại theo xác suất

Stochastic Gradient Descent là 1 biến thể của Gradient Descent Khác với các bài toán tối ưu thường tìm giá trị nhỏ nhất của 1 hàm số nào đó mà hàm số đạt giá trị nhỏ nhất khi đạo hàm bằng 0; Gradient Descent tìm điểm gần với điểm cực tiểu nhất và xem đó là nghiệm bài toán, thực hiện bằng cách chọn ngẫu nhiên 1 nghiệm cứ sau mỗi vòng lặp hay epoch thì cho nó tiến dần đến điểm cần tìm Còn trong SGD sau mỗi epoch người ta sẽ cập nhật trọng số 1 lần thì trong mỗi epoch có N điểm dữ liệu chúng ta sẽ cập nhật trọng số N lần

Hình 1.4 Minh họa Gradient Descent và Stochastic Gradient Descent [18]

Công thức SGD cũng tương tự như Gradient Descent nhưng thực hiện trên từng điểm dữ liệu Vì vậy SGD phù hợp với các bài toán có lượng cơ sở dữ liệu lớn và các bài toán yêu cầu mô hình thay đổi liên tục, tức dữ liệu cập nhật liên tục [18]

Naive Bayes cũng được biết đến là một thuật toán phân lớp được mô hình hoá dựa trên định lý Bayes trong xác suất thống kê như sau [2]:

𝑝(𝑌|𝑋) = 𝑝(𝑋|𝑌)𝑝(𝑌)𝑝(𝑋)

(1.1) 622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 19

Support Vector Machines hay SVM là một thuật toán học có giám sát, được sử dụng chủ yếu cho việc phân loại Một mô hình SVM là một cách biểu diễn các điểm trong không gian và thực hiện tìm đường hyper-plane phân chia các lớp Hyper-plane hiểu đơn giản là 1 đường thẳng có thể phân chia các lớp ra thành hai phần riêng biệt và tìm đường thẳng có margin nhỏ nhất chính là bài toán tối ưu đối với thuật toán SVM [3]

Hình 1.5 Minh họa thuật toán Support Vector Machines [32]

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 20

Convolutional Neural Network, hay mạng nơ ron tích chập giúp xây dựng được những hệ thống thông minh với độ chính xác cao, thường được sử dụng trong các bài toán nhận dạng các vật thể trong ảnh Neural Network lấy cảm hứng từ hoạt động của não bộ,mỗi nơ-ron sẽ nhận xung điện từ nơ-ron khác thông qua sợi nhánh [8]

Hình 1.6 Minh họa kiến trúc mô hình mạng CNN [33]

CNN khác biệt với Logistic Regression ở chỗ Logistic regression chỉ có “hai lớp” là input layer và output layer, còn CNN sẽ có các hidden layer nằm giữa input layer và output layer

Ban đầu mạng nơ-ron tích chập được phát minh cho thị giác máy tính, tuy nhiên gần đây nó được áp dụng và cho thấy một số thành công trong bài toán phân loại văn bản với kết quả khá tốt Các mô hình CNN sau đó đã được chứng minh là hiệu quả cho NLP và đã đạt được kết quả xuất sắc trong phân tích ngữ nghĩa, truy xuất truy vấn tìm kiếm và các nhiệm vụ NLP khác [8]

1.4 Đề xuất hướng tiếp cận đồ án

Nhìn chung, bài toán phân loại văn bản là một trong những bài toán phổ biến nhưng cũng không hề đơn giản Với đầu vào là một bài đăng trên Facebook thì có thể thuộc một hoặc nhiều chủ đề khác nhau nên bài toán đặt ra ở đây là bài toán multi-label classification,

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 21

tức là kết quả đầu ra của một bản ghi đầu vào có thể thuộc nhiều hơn một chủ đề, khác với các bài toán binary classification phổ biến là ứng với mỗi đầu vào, kết quả đầu ra chỉ là 0 hoặc 1, tức là thuộc lớp đang xét hay không Việc huấn luyện ra các mô hình để thực hiện được nhiệm vụ phân loại này sử dụng các thuật toán phức tạp và yêu cầu một lượng dữ liệu lớn

Đầu tiên, đồ án sẽ thực hiện thu thập được một lượng lớn dữ liệu đầu vào Một trong những lý do khiến bài toán phân loại văn bản trở thành một bài toán khó là tập từ vựng rộng lớn và được cập nhật thường xuyên, cấu trúc ngữ pháp linh hoạt và đôi khi khá lỏng lẻo, ngôn ngữ đôi khi thể hiện cảm xúc, ẩn ý của người viết Có thể kể đến tính nhập nhằng của ngôn ngữ, nhập nhằng là hiện tượng xảy ra khi ngôn ngữ có thể được hiểu theo nhiều cách khác nhau, tùy thuộc vào ngữ cảnh mà nó xuất hiện Chính vì thế mà dữ liệu đóng vai trò quan trọng trong việc quyết định độ chính xác của mô hình và tính ứng dụng của mô

hình vào các bài toán thực tế

Thu thập dữ liệu từ các nền tảng web hiện nay thường dùng các công cụ mã nguồn mở có thể kể đến như: Selenium, Beautiful Soup [14] Đồ án sẽ sử dụng hai công cụ này để thực hiện việc thu thập mã HTML từ các trang mạng xã hội Facebook, sau đó trích xuất thông tin từ mã HTML thu thập được

Sau khi đã thu thập được dữ liệu, đồ án sẽ thực hiện quá trình gán nhãn cho dữ liệu Các nhãn dữ liệu được quyết định trong quá trình khảo sát các thông tin thu nhặt cần thiết đối với hệ thống Công việc gán nhãn dữ liệu này được thực hiện thủ công lần lượt đối với từng bài đăng trong tập dữ liệu Đồng thời, đồ án cũng sẽ tìm hiểu và thực hiện quá trình tiền xử lý dữ liệu văn bản Tiếng Việt cho tập dữ liệu thu thập được để làm đầu vào cho bước tiếp theo trong quá trình xây dựng mô hình phân loại văn bản tự động với ít nhiễu hơn dữ liệu thô, làm tăng tính chính xác cho mô hình

Với tập dữ liệu đã được tiền xử lý, đồ án tiếp tục thực hiện quá công việc trích xuất đặc trưng để làm đầu vào cho thuật toán ở bước tiếp theo Kỹ thuật trích xuất đặc trưng mà đồ án sẽ sử dụng là kỹ thuật TF-IDF

Một số thuật toán phân loại mà đồ án tìm hiểu và sử dụng để đem ra so sánh kết quả thực nghiệm và đánh giá bao gồm 3 thuật toán dưới đây:

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 22

 Thuật toán Logistic Regression  Thuật toán SGD

 Thuật toán Naive Bayes

Phương pháp và thuật toán phù hợp nhất với dữ liệu đầu vào dựa theo kết quả kiềm thử sẽ được chọn để xây dựng mô hình phân loại hoàn thiện

Sau khi đã xây dựng được mô hình phân loại văn bản tự động với thuật toán cho kết quả tốt nhất ở bước trên, đồ án sẽ áp dụng mô hình phân loại vào việc xây dựng các chức năng cho hệ thống hỗ trợ xác định một số luồng dư luận cho trường đại học

Hệ thống được mô tả khái quát trong các chương tiếp theo để trình bày luồng hoạt động của hệ thống, các khối của hệ thống kết hợp với nhau như thế nào và ứng dụng của khối mô hình phân loại sẽ nằm ở đâu trong hệ thống, từ đó chỉ ra được lợi ích của việc áp dụng mô hình phân loại văn bản tự động Cùng với đó là kết quả cài đặt hệ thống, một số vấn đề và giải pháp khắc phục vấn đề, phân tích đưa ra hướng phát triển tiếp theo có thể thực hiện để mở rộng hệ thống

Các chức năng của hệ thống ứng dụng mô hình phân loại được xây dựng sẽ giúp cho ban quản lý nhà trường có thể xác định được mối quan tâm của nội bộ học sinh trong trường, những vấn đề nổi cộm đang xảy ra, theo đó ban quản lý nhà trường nắm bắt được tình hình và đưa ra những quyết định đúng đắn cho sự phát triển của toàn thể sinh viên nhà trường

1.5 Kết luận

Trong chương một, đồ án đã trình bày bài toán đặt ra, trình bày các kiến thức về phân loại văn bản tự động Đồ án cũng đã mô tả vấn đề, giới thiệu các hướng giải quyết giải quyết bài toán hiện nay bao gồm các kĩ thuật trích xuất đặc trưng và các thuật toán phân loại văn bản phổ biến Đồng thời đồ án đề ra hướng tiếp cận để giải quyết bài toán mà đồ án sẽ trình bày trong các chương sau

Trong chương tiếp theo, đồ án sẽ giới thiệu về thuật toán phân lớp Logistic Regression, kỹ thuật trích xuất đặc trưng TF-IDF và một số phương pháp phân loại trong bài toán Multilabel Classification.

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 23

CHƯƠNG 2: THUẬT TOÁN PHÂN LỚP LOGISTIC REGRESSION

Trong chương 2, đồ án sẽ giới thiệu tổng quan về mô hình phân loại bài đăng theo chủ đề và các phương pháp, thuật toán được đề xuất để tham gia đánh giá xây dựng mô hình

2.1 Tổng quan các bước xây dựng mô hình phân loại bài đăng theo chủ đề

Một mô hình phân loại bài đăng theo chủ đề được xây dựng dựa theo các bước trong hình dưới đây

Hình 2.1: Sơ đồ các bước xây dựng mô hình phân loại

Bước thu thập dữ liệu nhằm thu thập các bài đăng từ các trang và nhóm trên mạng xã hội Facebook liên quan đến trường để làm dữ liệu nguyên bản

Tiền xử lý dữ liệu sẽ thực hiện một nhiệm vụ quan trọng đó là đưa tất cả các dữ liệu nguyên bản không cấu trúc ban đầu về thành một tập dữ liệu có cấu trúc nhất định, tất cả

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 24

các bài đăng sẽ được chuẩn hóa để tuân theo cấu trúc mà sẽ được giới thiệu ở phần tiếp theo

Khi làm việc với các bài toán Machine Learning thực tế, nhìn chung chúng ta ban đầu chỉ có thể thu thập được dữ liệu dưới dạng thô, tức là dữ liệu chưa qua chỉnh sửa, chọn lọc Từ đó, công việc của chúng ta là tìm ra một phép biến đổi để loại đi những dữ liệu nhiễu và đưa dữ liệu thô với số chiều khác nhau về cùng một chuẩn (cùng là các vector hoặc ma trận) Trong bộ dữ liệu chuẩn mới này cần đáp ứng được yêu cầu cơ bản là phải đảm bảo giữ được những thông tin đặc trưng của tập dữ liệu thô ban đầu Quá trình quan trọng này được gọi là Feature Extraction, hay Feature Engineering, một số tài liệu tiếng Việt gọi nó là trích chọn đặc trưng Bước trích xuất đặc trưng sẽ sử dụng thuật toán trích xuất tf-idf, đặc trưng được trích xuất ở bước này sẽ trở thành đầu vào cho bước tiếp theo là huần luyện mô hình

Bài toán mà đồ án đặt ra là một bài toán multilabel classification, tức là một giá trị văn bản đầu vào có thể được phân vào nhiều hơn một lớp chủ đề đầu ra Chính vì thế mà cần có các phương pháp phân loại sử dụng trong dạng bài toán này được sử dụng kết hợp với thuật toán phân lớp trong quá trình huấn luyện mô hình

2.2 Phương pháp phân loại trong bài toán multi-label classification

Trong các bài toán phân loại thông thường, ví dụ như khi phân loại email thì đầu ra của bài toán sẽ là email là spam spam hoặc email không phải là spam Hoặc trong các bài toán đánh giá xem một bệnh nhân có bị mắc bệnh phổi hay không dựa vào hình chụp x-quang phổi của bệnh nhân đó, đầu ra tương ứng là bệnh nhân có mắc bệnh hoặc không mắc bệnh Các bài toán này được gọi là phân lớp hay các bài toán Classification thông thường

Hình 2.2: Minh họa bài toán Multi-class Classification [15]

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 25

Khác với các bài toán được lấy ví dụ ở bên trên, bài toán phân loại nhãn topic trong phạm vi tài liệu là bài toán Multilabel Classification, là một dạng của Classification Ví dụ như một bài toán xác định các vật mà một người đang mặc dựa vào hình ảnh, thì kết quả của bài toán đó, một người có thể mặc nhiều hơn một vật trong một lần Khi tích hợp vào bài toán thực tế mà đồ án này đang giải quyết, ta có thể hiểu với đầu vào một câu hay một văn bản thì ở đầu ra, văn bản đó có thể được phân loại vào nhiều chủ đề khác nhau, tùy thuộc vào mức độ tương đồng của văn bản với từng chủ đề

Hình 2.3: Minh họa bài toán Multi-label Classification [15]

Ta có thể thấy các thuật toán thường xuyên được sử dụng trong các bài toán Binary Classification, ví dụ như:

 Logistic Regression  Naive-Bayes

 Stochastic gradient descent (SGD)

Tuy nhiên, trong bài toán Multilabel Classification thì không thể sử dụng các thuật toán này một cách trực tiếp Hầu hết các thuật toán truyền thống được phát triển cho các bài toán phân loại nhãn đơn Do đó, đồ án cũng thử nghiệm một cách tiếp cận khác là chuyển đổi bài toán đa nhãn thành nhiều bài toán nhãn đơn, để có thể sử dụng các thuật toán nhãn đơn hiện có Một kĩ thuật hay được sử dụng để giải quyết bài toán được đề xuất là Problem Transformation Problem Transformation là một phương pháp sử dụng kĩ thuật phân tách bài toán multi-label thành các bài toán nhỏ hơn theo hướng single-label classification

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 26

2.2.1 Phương pháp Binary Relevance

Đây là kỹ thuật đơn giản nhất, về cơ bản coi mỗi nhãn như một bài toán phân loại riêng biệt Ví dụ, ta hãy xem xét một trường hợp như hình dưới đây Chúng ta có tập dữ liệu như thế này, trong đó X là đặc trưng đầu vào và Y là các class, các giá trị nhãn đầu ra

Hình 2.4: Biểu diễn tập đầu ra mong muốn [16]

Trong Binary Relevance, bài toán này được chia thành 4 bài toán phân loại lớp đơn khác nhau như trong hình bên dưới

Hình 2.5: Mô tả phương pháp Binary Relevance [16]

Khi này, sẽ có 4 model phân loại nhị phân được huấn luyện, tương ứng với 4 lớp Sự kết hợp của tất cả các lớp sẽ được coi như là đầu ra của bài toán ban đầu Cách tiếp cận này khá phổ biến vì nó dễ thực hiện, tuy nhiên nó cũng sẽ bỏ qua mối tương quan có thể có giữa các lớp

Nói cách khác, nếu có q label, phương pháp Binary Relevance sẽ tạo ra q tập dataset từ dữ liệu ban đầu, mỗi tập dataset cho mỗi label và huấn luyện từng single-label classifier với từng dataset mới được tạo ra Mỗi classifier có thể có câu trả lời yes/no hoặc 0/1 cho

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 27

mỗi bài toán con Đây thực sự là một cách tiếp cận đơn giản nhưng có một nhược điểm là nó sẽ không hoạt động tốt nếu như có sự liên quan, ràng buộc giữa các label

2.2.2 Phương pháp OneVsRest

OneVsRest là một phương pháp heuristic để sử dụng các thuật toán Binary Classification để cho bài toán Multi-class Classification hoặc Multilabel Classification [20] OvR liên quan đến việc tách tập dữ liệu multi-class thành nhiều bài toán Binary Classification Sau đó, một bộ Binary Classifier được trainning về mỗi bài toán phân loại nhị phân và các dự đoán được thực hiện bằng cách sử dụng mô hình đáng tin cậy nhất

Ví dụ: Một bài toán phân loại nhiều lớp với các ví dụ cho mỗi lớp “red”, “blue”, và “green” Điều này có thể được chia thành ba bộ dữ liệu phân loại nhị phân như sau:

 Binary Classification 1: red vs [blue, green]  Binary Classification 2: blue vs [red, green]  Binary Classification 3: green vs [red, blue]

Cách tiếp cận này yêu cầu mỗi mô hình dự đoán xác suất của mỗi class, tức là tính điểm tương đồng cho mỗi class Chỉ số của class nào có điểm lớn nhất sau đó được sử dụng để dự đoán

Một nhược điểm có thể có của phương pháp này là nó yêu cầu một mô hình được tạo cho mỗi lớp Như ví dụ ở trên thì ba lớp yêu cầu ba mô hình Đây có thể là vấn đề đối với tập dữ liệu lớn (ví dụ: hàng triệu hàng), mô hình chậm (ví dụ: mạng nơ-ron) hoặc số lượng lớp rất lớn (ví dụ: hàng trăm lớp)

2.2.3 Phương pháp Classifier Chains

Trong phương pháp này, bộ phân loại đầu tiên được huấn luyện chỉ trên dữ liệu đầu vào và sau đó mỗi bộ phân loại tiếp theo được huấn luyện trên không gian đầu vào và tất cả các bộ phân loại trước đó trong chuỗi

Giả sử trong tập dữ liệu dưới đây, chúng ta có X là không gian đầu vào và Y là nhãn 622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 28

Hình 2.6: Tập đầu ra của phương pháp Classifier Chains [16]

Trong Classifier Chains, bài toán ban đầu sẽ được chuyển thành 4 bài toán nhãn đơn khác nhau, giống như hình dưới đây Ở đây màu vàng là không gian đầu vào và phần màu trắng đại diện cho mục tiêu đầu ra

Hình 2.7: Mô tả phương pháp Classifier Chains [16]

Điều này khiến cho Classifier Chains trông giống với Binary Relevance, sự khác biệt duy nhất là Classifier Chains tạo thành chuỗi để duy trì mối tương quan nhãn mà vẫn giữ được hiệu quả tính toán của Binary Relevance

2.3 Trích xuất đặc trưng TF-IDF

Term frequency – Inverse Document Frequency, hay còn gọi là là TF-IDF, là một kỹ thuật để xử lý ngôn ngữ tự nhiên, một trong những kỹ thuật quan trọng nhất được sử dụng để truy xuất thông tin nhằm thể hiện tầm quan trọng của một từ hoặc cụm từ cụ thể đối với một tài liệu, văn bản nhất định Giá trị tf-idf tăng tương ứng với số lần một từ xuất hiện trong tài liệu nhưng thường được bù đắp bởi tần suất xuất hiện của từ trong ngữ liệu, điều này giúp điều chỉnh đối với thực tế là một số từ nhìn chung sẽ xuất hiện thường xuyên hơn TF-IDF sử dụng hai phương pháp thống kê: Term Frequency và Inverse Document Frequency [12]

Dạng đầu tiên của trọng số Term Frequency do Hans Peter Luhn đưa ra vào năm 1957 [11] Trọng số Term Frequency – trọng số tf là dùng để tính tần xuất của một từ xuất hiện trong văn bản Giả sử ta có rất nhiều văn bản tiếng Anh và cần tìm xem văn bản nào

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 29

phù hợp hơn với truy vấn "the brown cow" Điều ta cần làm đầu tiên đó là loại bỏ các văn bản không chứa cả ba từ "the", "brown" và "cow" Với những văn bản còn lại, ta có thể đếm số lần mỗi từ trong truy vấn xuất hiện trong mỗi văn bản; số lần một từ xuất hiện trong văn bản được gọi là tần suất thuật ngữ của nó Tuy nhiên, mỗi văn bản thì sẽ có độ dài khác nhau nên số lần xuất hiện của từ có thể nhiều hơn Vì vậy cho nên số lần xuất hiện của từ sẽ được chia cho độ dài của văn bản, hiểu là tổng số từ có trong văn bản

Trọng số Term Frequency có thể được tóm tắt là: Trọng số của một thuật ngữ xuất hiện trong tài liệu đơn giản là tỷ lệ thuận với tần suất thuật ngữ [12]

tf(t, d) = 𝑓𝑡,𝑑∑𝑡′∈𝑑𝑓𝑡′,𝑑

Trọng số Inverse Document Frequency – trọng số idf dùng để đánh giá tầm quan trọng của một từ Khác với trọng số TF, tất cả các từ đều được xét có độ quan trọng như nhau Nhưng một số từ như:

 Từ nối: nhưng, và, vì thế, tuy nhiên, …  Giới từ: trong, trên, ở, …

 Từ chỉ định: ấy, nhỉ, đó, …

thường sẽ xuất hiện nhiều lần trong các văn bản, rõ ràng các từ này không phải là một từ khóa tốt để sử dụng khi phân biệt các tài liệu, văn bản với nhau Vì vậy, ta phải giảm độ quan trọng của những từ như thế này xuống và làm tăng trọng số của những từ hiếm gặp hơn

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 30

Trọng số Inverse Document Frequency về sau đã trở thành nền tảng của trọng số thuật ngữ: Tính cụ thể của một thuật ngữ có thể được định lượng như một hàm nghịch đảo của số lượng tài liệu mà nó có xuất hiện [12]

Khi này, ta có được công thức hoàn chỉnh tf-idf:

tfidf(t, d, D) = tf(t, d) ∗ idf(t, D) (2.3)

2.4 Thuật toán phân lớp Logistic Regression

Bước quan trọng trong xây dựng mô hình xác định luồng dư luận để giải quyết bài toán đó chính là tìm hiểu thuật toán phân lớp và áp dụng thuật toán vào bài toán thực tế

Thuật toán Logistic Regression là một thuật toán phân loại có giám sát rất phổ biến Trong một bài toán phân loại, biến mục tiêu (hoặc đầu ra) y chỉ có thể nhận các giá trị rời rạc cho một tập hợp các tính năng (hoặc đầu vào) nhất định X Trái với quan niệm phổ biến, Logistic Regression là một mô hình hồi quy Mô hình xây dựng một mô hình hồi quy để dự đoán xác suất mà một mục nhập dữ liệu đã cho thuộc danh mục được đánh số là "1" Cũng giống như hồi quy tuyến tính giả định rằng dữ liệu tuân theo một hàm tuyến tính, hồi quy Logistic mô hình hóa dữ liệu bằng cách sử dụng hàm sigmoid

Thuật toán Logistic Regression với đầu ra là giá trị nhị phân, ví dụ: email gửi đến hòm thư của bạn có phải spam hay không; u là u lành tính hay ác tính, … Thuật toán sẽ cho ra giá trị nhị phân là xác suất thuộc vào các lớp đầu ra từ các giá trị đầu vào Với xác

622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM

Trang 31

suất là các số trong khoảng [0,1], được gán tương ứng với một biến cố mà khả năng xảy ra hoặc không xảy ra là ngẫu nhiên

Đầu ra của thuật toán Logistic Regression thường được viết dưới dạng như sau [3]:

Trong đó g(𝑤𝑇𝑥) được gọi là logistic function

Xác suất một sự kiện xảy ra nằm trong khoảng [0,1] Xác suất càng cao thì sự kiện đó càng chắc chắn xảy ra Và trong các hàm số, thì hàm sigmoid có đủ các tính chất trên

và được sử dụng nhiều nhất Hàm số y bên dưới có tên gọi là hàm sigmoid hoặc hàm logistic

[4]:

𝑔(𝑍) = 𝑒𝑍

Hình 2.8: Biểu đồ hàm sigmoid [4]

Dễ thấy, hàm số liên tục, nhận giá trị thực trong khoảng (0,1) và hàm có đạo hàm tại mọi điểm, đáp ứng được các điều kiện cần và đủ để xây dựng thuật toán Khi này, phương trình giả thuyết trở thành [10]:

ℎ(𝑥) = 𝑔(𝑤𝑇𝑥) = 11 + 𝑒−𝑤𝑇𝑥

(2.6) 622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM622413069:56:56 PM9:56:56 PM