STT Danh mục Precison Recall F1
1 Cơng nghệ 80.9 90.58 85.47
2 Giải trí 81.7 83.29 82.49
3 Giáo dục 82.1 93.26 87.32
Kết quả ở bảng trên cho thấy, tồn bộ kết quả phân loại đã được cải thiện cả về độ chính xác và độ hồi tưởng, độ chính xác Precision trung bình từ 73.71% lên đến
81.43%, độ hồi tưởng Recall cũng tăng từ 78.64% lên tới 89.38%, kéo theo đĩ độ đo F1
cũng tăng khá rõ rệt.
4.5.Đánh giá kết quả xác định từ khĩa quan trọng và chọn câu tĩm tắt 4.5.1. Phương pháp đánh giá. 4.5.1. Phương pháp đánh giá.
Việc đánh giá bài tốn này được thực hiện một cách thủ cơng một phần dựa trên ý kiến chuyên gia (expert judgment) bởi đặc điểm đặc biệt của bài tốn: Để đánh giá bài tốn xác định từ khĩa quan trọng (tags) để phục vụ vấn đề nêu bật chủ đề của bản tin cũng như hỗ trợ việc phục vụ tối ưu máy tìm kiếm (SEO) và chọn câu tĩm tắt cho chủ đề bản tin nếu bản tin thiếu phần tĩm tắt khá phức tạp địi hỏi người đánh giá vừa cĩ kinh nghiệm về SEO và vừa cĩ kinh nghiệm trong biên tập bản tin. Luận văn sử dụng việc tổng hợp kết quả đánh giá từ ba người trong ban biên tập viên đã được đào tạo kĩ năng SEO để thực hiện đánh giá với mỗi bạn 100 bản tin. Tổng số bản tin được lấy từ khĩa quan trọng, và chọn câu tĩm tắt là 300 bản tin, tỉ lệ chọn (nén câu tĩm tắt là 5:1)[2]. Chi tiết kết quả thu được cĩ trong phần kết quả đánh giá.
4.5.2. Kết quả đánh giá.
Kết quả đánh giá thủ cơng ba lần do ba biên tập viên cĩ kinh nghiệm SEO được đào tạo bài bản cả về mảng biên tập lẫn kinh nghiệm về đánh giá nội dung được cho ở bảng 4.6.