4 Học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh
4.3 Kết quả phân loại quan điểm theo khía cạnh
Phương pháp Pos-F1 Neg-F1 Neu-F1 Con-F1 Accuracy
SG 87.05 52.03 65.74 55.46 78.77 CB 86.93 52.25 66.60 55.93 79.22 GV 87.10 51.07 71.02 57.85 80.35 WEFT-rand 88.65 64.18 74.13 56.40 82.15 WEFT-SG 90.87 64.63 73.82 60.23 83.82 WEFT-CB 93.12 64.70 77.03 61.17 84.05 WEFT-GV 93.61 64.77 77.11 61.43 84.23
thực nghiệm sử dụng các công cụ sau: Word2Vec3và GloVe4để học các véc-tơ từ, kích thước véc tơ từ được cấu hình bằng 300 và kích thước cửa sổ ngữ cảnh bằng 4.
Trong thực tế, chúng ta không thể đánh giá trực tiếp các các véc-tơ từ nhúng, bởi vì khơng có dữ liệu giả thiếtground-truthtừ tập dữ liệu đã cho. Vì thế, khi đạt được kết quả, luận án lựa chọn cách đánh giá gián tiếp các véc-tơ từ thông qua hai bài tốn của phân tích quan điểm dựa trên khía cạnh: xác định khía cạnh và phân loại quan điểm khía cạnh. Cụ thể, luận án sử dụng mơ hình CNN [3] như là một mơ hình dự đốn cho từng bài toán. Cùng với độ đo, kết quả dự đoán trong trường hợp nào thấp thì có nghĩa là chất lượng véc-tơ từ đã học được trong trường hợp đó thấp.
Xác định khía cạnh:Trong Bảng 4.2, luận án trình bày độ đo F1-score của cơng việc xác định khía cạnh cho từng phương pháp. Trong một quan sát chung, sử dụng các véc-tơ từ được tinh chỉnh từ mơ hình WEFT cho các kết quả tốt hơn các mơ hình khác. Ngồi ra, mặc dù mơ hìnhWEFT-randchỉ bắt được thơng tin khía cạnh và quan điểm của khía cạnh trong các câu được gán nhãn, nhưng nó thực hiện tốt hơn các mơ hình CBOW, skip-gram và GloVe. Điều này xác nhận rằng thơng tin khía cạnh và quan điểm của khía cạnh đóng vai trị quan trọng các véc-tơ biểu diễn từ đã được học từ mơ hình đề xuất.
Phân loại quan điểm theo khía cạnh:Trong Bảng 4.3, luận án trình bày các kết quả đạt được của từng phương pháp. Trong hầu hết các trường hợp, sử dụng các véc-tơ từ
3https://github.com/piskvorky/gensim/
được chỉnh sửa từ mơ hình WEFT đã giúp cải thiện các kết quả dự đốn quan điểm khía cạnh.
Truy vấn từ ngữ nghĩa gần:Để đánh giá khả năng bắt được mối quan hệ giữa các từ của mơ hình đề xuất. Luận án khảo sát một số véc-tơ từ học được từ các mơ hình khác nhau và quan sát mức độ gần gần gũi thông qua giá trị độ đo tương đồng. Nội dung trong Bảng 4.4 luận án trình bày một số từ gần với từ cho trước nhất. Các từ này được xác định bằng công thức đo độ tương đồng 4.26. Chúng ta thấy rằng những véc-tơ đã được tinh chỉnh bằng mơ hình đề xuất có xu hướng tốt hơn khi chúng không được tinh chỉnh.