Nhận dạng chủ đề văn bản bằng Naive Bayes với dữ liệu tin tức AG News

CƠ SỞ LÝ THUYẾT

• Tìm hiểu về học máy(Machine Learning) 1. Định nghĩa
• Thuật toán Naive Bayes 2. Khái niệm
• Thuật toán K-Nearest Neighbor (KNN) 1. Định nghĩa
• Thuật toán K-mean 1. Định nghĩa
• Thuật toán DBSCAN (Density-Based Spatial Clustering of Applications with Noise)
• Kỹ thuật HC 1. Định nghĩa

- Là một lĩnh vực của trí tuệ nhân tạo liên qua đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống học tự động từ dữ liệu để giải quyết các vấn đề cụ thể. - Machine Learning có liên quan đến thống kê vì cả hai lĩnh vực đều nghiên cứu việc phân tích dữ liệu, nhưng khác với thống kê, học máy tập trung vào sự phức tạp của các giải thuật trong việc thực thi tính toán. - Machine Learning có hiện nay được áp dụng rộng rãi bao gồm máy truy tìm dữ liệu, máy phân tích thị trường chứng khoán, nhận dạng tiếng nói và chữ viết.

- Classification (phân lớp): Là quá trình phân lớp một đối tượng dữ liệu vào một hay nhiều lớp đã cho trước nhờ một mô hình phân lớp (model). Ứng dụng của bài toán phân lớp được sử dụng rất nhiều và rộng rãi như nhận dạng khuôn mặt, nhận dạng chữ viết, nhận dạng giọng nói, phát hiện thư rác. Trái ngược với học có giám sát, tập dữ liệu huấn luyện của học không giám sát không do con người gán nhãn, máy tính sẽ phải tự học hoàn toàn.

Hiện tại học tăng cường chủ yếu được áp dụng vào lý thuyết trò chơi, các thuật toán cần xác định được nước đi tiếp theo để đạt được điểm số cao nhất. Thông thường sẽ sử dụng cross-validation (kiểm tra chéo) để chia tập dataset thành hai phần, một phần phục vụ cho training và phần còn lại phục vụ cho mục đích testing trên mô hình. Thông thường để xây dựng mô hình phân lớp cho bài toán này chúng ta sử dụng các thuật toán học giám sát như KNN, NN, SVM, Decision tree, Navie Bayers.

Nếu không đạt được kết quả mong muốn của chúng ta thì phải thay đổi các tham số của thuật toán học để tìm ra các mô hình tốt hơn và kiểm tra, đánh giá lại mô hình phân lớp. Python là một ngôn ngữ lập trình đa mẫu hình, lập trình hướng đối tượng và lập trình cấu trúc được hỗ trợ hoàn toàn, và nhiều tính năng của nó cũng hỗ trợ lập trình hàm và lập trình hướng khía cạnh (bao gồm siêu lập trình và siêu đối tượng (phương thức thần kỳ)). Tuy nhiên, chính sự đơn giản của nó với việc dự đoán rất nhanh kết quả đầu ra khiến nó được sử dụng rất nhiều trong thực tế trên những bộ dữ liệu lớn, đem lại kết quả khả quan.

• Vấn đề Zero khi phân lớp, nếu có một đối tượng X nào (trong dữ liệu huấn luyện) không có thuộc tính lớp Ck, có thuộc tính Fi nhận một giá trị cụ thể vij, thì xác suất điều kiện P(Fi = xij | Ck) sẽ luôn bằng 0). Thuật toán K-means là một phương pháp trong học máy được sử dụng để phân cụm dữ liệu thành các nhóm (clusters) dựa trên các đặc trưng tương tự nhau. Mục tiêu của thuật toán này là tìm ra K centroids, trong đó K là một số nguyên dương được xác định trước, để tối thiểu hóa tổng bình phương khoảng cách giữa mỗi điểm dữ liệu và centroid tương ứng của nó.

● Khi thuật toán hội tụ (không có thay đổi đáng kể trong việc gán các điểm vào các clusters), quá trình kết thúc và kết quả cuối cùng là việc các điểm dữ liệu được phân thành các clusters. Hierarchical Clustering (Phân cụm phân cấp), viết tắt là HC, là một phương pháp trong học máy và thống kê được sử dụng để phân cụm dữ liệu thành các nhóm dựa trên độ tương tự hoặc khoảng cách giữa chúng.

CHUẨN BỊ DỮ LIỆU

XÂY DỰNG MÔ HÌNH

• Thư viện Matplotlib là một thư viện vẽ đồ thị rất hữu ích của Python, được sử dụng để trực quan hóa dữ liệu và tạo các biểu đồ chất lượng cao. Thư viện

● Hiệu suất tốt trên dữ liệu thưa và lớn: Naive Bayes thường hoạt động tốt trên các tập dữ liệu lớn và dữ liệu thưa (có nhiều đặc trưng không xuất hiện trong mỗi mẫu). ● Khả năng xử lý nhiễu và đầu vào không hoàn hảo: Naive Bayes có khả năng xử lý các đặc trưng không hoàn hảo hoặc nhiễu trong dữ liệu. ● Không yêu cầu một lượng lớn dữ liệu huấn luyện: Naive Bayes thường hoạt động tốt ngay cả khi có ít dữ liệu huấn luyện.

Tuy nhiên, cũng cần lưu ý rằng Naive Bayes dựa trên giả định "ngây ngô" về sự độc lập giữa các đặc trưng, điều này không phải lúc nào cũng phù hợp với thực tế. Thư viện pandas là một thư viện mã nguồn mở được viết bằng ngôn ngữ lập trình Python, được sử dụng để phân tích và xử lý dữ liệu. Thư viện này cung cấp các cấu trúc dữ liệu và công cụ để thực hiện các tác vụ phân tích dữ liệu như lọc, sắp xếp, nhóm, ghép nối và tính toán.

Thư viện scikit-learn là một thư viện mã nguồn mở được viết bằng ngôn ngữ lập trình Python, được sử dụng rộng rãi trong lĩnh vực học máy và khoa học dữ liệu. Thư viện này cung cấp các công cụ để thực hiện các tác vụ phân tích dữ liệu như phân loại, hồi quy, phân cụm và giảm chiều dữ liệu. Bạn có thể sử dụng thư viện scikit-learn để xây dựng các mô hình học máy và đánh giá chúng trên các tập dữ liệu khác nhau.

Nó cũng cung cấp các công cụ để thực hiện các tác vụ phân tích dữ liệu như phân loại, hồi quy, phân cụm và giảm chiều dữ liệu. Thư viện Matplotlib là một thư viện vẽ đồ thị rất hữu ích của Python, được sử dụng để trực quan hóa dữ liệu và tạo các biểu đồ chất lượng cao. Sau khi cài đặt, bạn có thể import nó vào chương trình Python của mình và sử dụng các hàm được cung cấp để tạo ra các biểu đồ theo ý muốn của mình.

Điều này có nghĩa rằng chỉ có 5000 từ quan trọng nhất (theo TF-IDF) sẽ được sử dụng cho quá trình biểu diễn dưới dạng vector. X_train và y_train sẽ được sử dụng để huấn luyện mô hình, trong khi X_test và y_test sẽ được sử dụng để đánh giá hiệu suất của mô hình. Đầu tiên, nó tạo một danh sách new_text chứa đầu vào của người dùng, sau đó biểu diễn nó thành vector bằng cách sử dụng cùng bộ biến đổi TF-IDF.

KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN TRONG TƯƠNG LAI