4 Học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh
4.6 Cài đặt và đánh giá mô hình SSCWE
4.6.3 So sánh hai mơ hình WEFT và SSCWE
Đặc điểm chung của cả hai mơ hình là hỗ trợ các véc-tơ biểu diễn từ bắt được cả ba loại thơng tin: ngữ nghĩa, khía cạnh, và quan điểm khía cạnh. Mơ hình mạng nơ-ron tích chập WEFT sử dụng đầu vào là những câu được gán nhãn và ma trận các véc-tơ từ, được khởi tạo bằng kết quả đạt được từ các mơ hình học véc-tơ nhúng ngữ nghĩa như Word2Vec, Glove. Mơ hình SSCWE sử dụng các câu đầu vào, gồm cả câu gán nhãn và câu không gán nhãn. Ma trận các véc-tơ từ được khởi tạo ngẫu nhiên. Xét về kiến trúc, mơ hình WEFT có vai trị giống với thành phần SCWE trong mơ hình SSCWE,
Hình 4.6: Hiệu quả của số chiều véc-tơ từ trong công việc dự đốn quan điểm khía cạnh
tuy nhiên thành phần SCWE đơn giản hơn khi chỉ sử dụng một tầng ẩn. Quá trình học trong mơ hình WEFT là q trình tinh chỉnh các véc-tơ biểu diễn từ, cịn q trình học trong mơ hình SSCWE là q trình học liên hợp, đồng thời giữa hai thành phần SWE và SCWE. Bảng 4.8 thể hiện kết quả đạt được của mơ hình WEFT so với mơ hình SSCWE, trong hầu hết các trường hợp mơ hình SSCWE cho kết quả nhỉnh hơn mơ hình WEFT. Điều này chứng tỏ việc học liên hợp trong mơ hình SSCWE tốt hơn việc tinh chỉnh trong mơ hình WEFT.
Bảng 4.8: So sánh kết quả phân loại quan điểm giữa mơ hình WEFT và SSCWE
Phương pháp Positive-F1 Negative-F1 Neutral-F1 Conflict-F1 Accuracy
WEFT-SG 90.87 64.63 73.82 60.23 83.82
WEFT-CB 93.12 64.70 77.03 61.17 84.05
WEFT-GV 93.61 64.77 77.11 61.43 84.23
SSCWE 93.80 64.70 76.13 63.02 84.69
Xét về thời gian thực hiện, cả hai mơ hình cùng được cài đặt bằng ngơn ngữ lập trình Java trên mơi trường NetBean IDE 7.2 trên máy tính ASUS PC với bộ xử lý IntelR Core
TM i5-2450M CPU @ 2.50 GHz, 4.00 GB memory. Hệ điều hành Window 7 Ultimate Service Pack 1. Nhưng, để khách quan khi so sánh thời gian huấn luyện mơ hình WEFT với mơ hình SSCWE, luận án tính cả q trình huấn luyện của các mơ hình Word2Vec và Glove khi tạo ra ma trận các véc-tơ biểu diễn từ khởi tạo cho mơ hình WEFT. Nội dung Bảng 4.9 thể hiện thời gian thực hiện học véc-tơ biểu diễn từ với kích cỡ chiều véc-tơ là 300 của các mơ hình.
Bảng 4.9: So sánh thời gian thực hiện giữa mơ hình WEFT và SSCWE
Mơ hình Thời gian thực hiện
WEFT-SG 4045 WEFT-CB 1823 WEFT-GV 1087
SSCWE 46832
Thời gian thực hiện của mơ hình SSCWE là 46832 giây (tương đương 13 giờ 41 phút 32 giây), trong khi mơ hình WEFT-SG là 4045 giây (tương đương 1 giờ 7 phút 25 giây). Lý do có sự chênh lệch lớn này là do mơ hình SSCWE được cài đặt theo một thuật tốn lan truyền ngược chuẩn, cịn mơ hình WEFT-SG sử dụng kỹ thuật tính tốn tối ưu
Huffman tree[86] nên thời gian huấn luyện được giảm đi rất nhiều.
4.7 Kết luận
Trong chương này, luận án đã trình bày hai mơ hình mới học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh. Mơ hình thứ nhất là mơ hình mạng nơ-ron tích chập WEFT chỉnh sửa các véc-tơ được học từ các mơ hình Word2Vec và Glove. Mơ hình thứ hai là mơ hình SSCWE, sử dụng sự kết hợp của kỹ thuật học giám sát và không giám sát để học véc-tơ từ cho các cơng việc của phân tích quan điểm theo khía cạnh. Các kết quả thực nghiệm đã cho thấy rằng, khi sử dụng các véc-tơ từ học từ mơ hình đề xuất cho các cơng việc: xác định khía cạnh và phân loại quan điểm, kết quả dự đoán đã được cải thiện so với việc sử dụng các véc-tơ từ được học từ mơ hình Word2Vec hay GloVe. Mơ hình WEFT và SSCWE cùng với các kết quả thực nghiệm đã được cơng bố trong cơng trình [3] và [4], xuất bản trong kỷ yếu của các hội nghị quốc tế uy tín,TSD 2017
vàPACLING 2017.
Trong tương tai, chúng tơi định hướng tập trung cải tiến kỹ thuật trong mơ hình SSCWE để quá trình huấn luyện được rút ngắn thời gian hơn. Chúng tôi cũng sẽ sử dụng các véc-tơ biểu diễn từ vào các cơng việc khác của phân tích quan điểm theo khía cạnh, như dự đốn hạng khía cạnh, xác định trọng số khía cạnh. Đặc biệt mơ hình cũng sẽ được mở rộng thực hiện trên các tập dữ liệu sản phẩm/dịch vụ của tiếng Việt, giải quyết các bài toán ứng dụng trong thực tế như Ngân hàng, Bất động sản, Chứng khốn. Kiến trúc các mơ hình học véc-tơ từ khác nhau, do đó các véc-tơ biểu diễn từ học từ các mơ hình đó cũng có thể mã hóa được những thơng tin ngơn ngữ khác nhau. Trong chương tiếp theo, luận án sẽ trình bày vấn đề khai thác đa tập véc-tơ từ cho phân tích quan điểm theo khía cạnh.
Chương 5
Mơ hình đa kênh dựa trên CNN nhằm khai thác đa véc-tơ biểu diễn từ và ký tự cho phân tích quan điểm theo khía cạnh
Trong bất kỳ một mơ hình học máy nào, dữ liệu trước hết phải được chuyển đổi về dạng cấu trúc phù hợp để có thể đưa vào mơ hình. Ví dụ như một câu đầu vào trước khi đưa vào mơ hình CNN thì phải được chuyển đổi về dạng ma trận các số thực dựa trên việc mỗi từ được đại diện bởi một vec-tơ các số thực. Các cách biểu diễn dữ liệu khác nhau sẽ chuyển đổi lượng thơng tin khác nhau vào mơ hình học của hệ thống. Trong chương này chúng tôi đặt vấn đề làm thế nào để tích hợp các nguồn thơng tin khác nhau (từ việc biểu diễn dữ liệu đầu vào khác nhau) để tạo nên mơ hình tích hợp mạnh hơn.
Trong chương này chúng tơi sẽ đề xuất mơ hình tích hợp thơng tin dựa trên mạng đa kênh CNN (Convolutional Neural Network). Các nguồn thông tin khác nhau được đồng thời sử dụng bao gồm các mơ hình Word2Vec khác nhau và mơ hình Character2Vec. Các nguồn thơng tin được tích hợp một cách hiệu quả thơng qua các tầng CNN và kết hợp giữa các tầng CNN. Đầu tiên luận án trình bày về giới thiệu các nghiên cứu liên quan và mơ tả đầu vào/ra của nó. Tiếp đến, trình bày mơ hình đề xuất để giải quyết bài toán. Cuối cùng, luận án đánh giá mơ hình đề xuất thơng qua hai bài tốn của phân tích quan điểm theo khía cạnh: (1) Xác định khía cạnh; (2) Phân loại quan điểm theo khía cạnh.