Tiền xử lý và xây dựng vector đặc trưng

Một phần của tài liệu (Luận văn thạc sĩ) phân lớp đa nhãn, đa thể hiện và áp dụng trong quản lý danh tiếng (Trang 28 - 29)

Trong mô hình này, luận văn coi mỗi nhận xét của người dùng là một tài liệu. Giả sử tập tài liệu là D = {d1, d2, …., dm}. Luận văn sử dụng các đặc trưng TF.IDF trong quá trình phân lớp dữ liệu đa nhãn đa thể hiện :

TF.IDF là một kỹ thuật thống kê đánh giá ý nghĩa, độ quan trọng của một cụm đối với một văn bản, hoặc môt lớp.

Term Frequency (TF) là độ đo tần số : tần suất xuất hiện của cụm từ trong một văn bản:

Trong đó : là tần suất xuất hiện của từ khóa ti trong tài liệu j.

Tập kết quả Dữ liệu kiểm tra Dữ lệu học Tiền xử lý và xây dựng vector đặc trưng Phân cụm thể hiện Áp dụng 5 bộ phân lớp nhị phân SVM Mô hình phân lớp

19

Inverse Document Frequency (IDF) là độ đo tổng quát độ quan trọng của cụm từ :

* ∈ +

Trong đó :

 |D| là số lượng tài liệu trong tập D

 * ∈ + là số lượng tài liệu mà từ khóa ti xuất hiện

Từ đó TF.IDF được tính bằng công thức :

Trọng số TF.IDF của một từ mục biểu diễn độ quan trọng của từ mục. TF.IDF của một từ mục trong một tài liệu sẽ giảm nếu như từ đó xuất hiện trong hầu hết các văn bản. Vì vậy, một từ xuất hiện quá ít hoặc quá nhiều được đánh giá ít quan trọng hơn so với các từ xuất hiện cân bằng.

Khi đó, luận văn thu được vector trọng số TF.IDF từ tập các từ khóa trong dữ liệu học là :

D(d) = (tfidf(d,1), tfidf(d,2), …., tfidf(d,n)) Với n là số lượng các từ khóa riêng biệt

Một phần của tài liệu (Luận văn thạc sĩ) phân lớp đa nhãn, đa thể hiện và áp dụng trong quản lý danh tiếng (Trang 28 - 29)

Tải bản đầy đủ (PDF)

(38 trang)