5. Nội dung nghiên cứu
3.3. Đánh giá kết quả đạt được
Dựa vào các kết quả trên ta thấy, ban đầu sử dụng các tính năng dự đoán liên kết trên các cặp nút là CN, PA, TN cho kết quả đánh giá tương đối tốt (trên 90%). Sau khi chúng ta thêm hai tính năng là đếm tam giác và hệ số phân cụm cục bộ, kết quả đánh giá của chúng ta cải thiện thêm trung bình khoảng 4% trên các metric đánh giá. Cụ thể:
Bảng 3.1: Bảng kết quả đánh giá mô hình.
STT Metric đánh giá
Với CN, PA, TN
Bổ sung thêm đếm tam giác và hệ số phân cụm cục bộ Phần trăm 1 Accuracy 0.916 0.952 + 3,6% 2 Precision 0.922 0.949 + 2.7% 3 Recall 0.909 0.955 + 4.6% 4 F1 0.915 0.952 + 3.7%
Bện cạnh đó dựa vào hình 3.16 và 3.21 ta thấy tính năng CN ở cả hai trường hợp đều có ảnh hưởng lớn nhất, nhưng nhưng tầm quan trọng của các tính năng tam giác cũng đang tăng lên tương đối.
Vấn đề tiếp theo cần đánh giá là xem thử việc phân chia các năm khác nhau để đào tạo và kiểm tra có ảnh hưởng đến dự đoán của tôi không?
Dựa vào hình 3.5 ta thấy rất ít bài báo được xuất bản trước năm 1997, và sau đó có rất nhiều bài báo được xuất bản từ năm 2001 đến năm 2006, trước khi giảm và sau đó tăng dần kể từ năm 2011 (không bao gồm năm 2013). Tôi tiến hành chọn các năm 1997, 2004, 2013 để phân chia dữ liệu và tiến hành đào tạo và kiểm tra. Kết quả đánh giá các mô hình như sau:
Hình 3.22: Kết quả đánh giá mô hình ở năm 1997
Năm 2004:
Hình 3.23: Kết quả đánh giá mô hình ở năm 2004
Năm 2013:
Hình 3.24: Kết quả đánh giá mô hình ở năm 2013
Ta thấy việc phân chia các năm khác nhau để đào tạo và kiểm tra thì kết quả thu được ở các metric đánh giá là tương đối cao và các điểm số đánh giá sau luôn cao hơn các đánh giá trước trong năm được chọn để phân chia dữ liệu. Một điều nửa dễ nhận thấy là điểm số của Accuracy và F1 là gần bằng nhau, điều đó chứng tỏ mô hình đào tạo mà luận văn xây dựng là một mô hình tương đối tốt dùng để dự đoán các bài toán liên kết.