4 Học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh
4.8 So sánh kết quả phân loại quan điểm giữa mơ hình WEFT và SSCWE
Phương pháp Positive-F1 Negative-F1 Neutral-F1 Conflict-F1 Accuracy
WEFT-SG 90.87 64.63 73.82 60.23 83.82
WEFT-CB 93.12 64.70 77.03 61.17 84.05
WEFT-GV 93.61 64.77 77.11 61.43 84.23
SSCWE 93.80 64.70 76.13 63.02 84.69
Xét về thời gian thực hiện, cả hai mơ hình cùng được cài đặt bằng ngơn ngữ lập trình Java trên mơi trường NetBean IDE 7.2 trên máy tính ASUS PC với bộ xử lý IntelR Core
TM i5-2450M CPU @ 2.50 GHz, 4.00 GB memory. Hệ điều hành Window 7 Ultimate Service Pack 1. Nhưng, để khách quan khi so sánh thời gian huấn luyện mơ hình WEFT với mơ hình SSCWE, luận án tính cả q trình huấn luyện của các mơ hình Word2Vec và Glove khi tạo ra ma trận các véc-tơ biểu diễn từ khởi tạo cho mơ hình WEFT. Nội dung Bảng 4.9 thể hiện thời gian thực hiện học véc-tơ biểu diễn từ với kích cỡ chiều véc-tơ là 300 của các mơ hình.
Bảng 4.9: So sánh thời gian thực hiện giữa mơ hình WEFT và SSCWE
Mơ hình Thời gian thực hiện
WEFT-SG 4045 WEFT-CB 1823 WEFT-GV 1087
SSCWE 46832
Thời gian thực hiện của mơ hình SSCWE là 46832 giây (tương đương 13 giờ 41 phút 32 giây), trong khi mơ hình WEFT-SG là 4045 giây (tương đương 1 giờ 7 phút 25 giây). Lý do có sự chênh lệch lớn này là do mơ hình SSCWE được cài đặt theo một thuật tốn lan truyền ngược chuẩn, cịn mơ hình WEFT-SG sử dụng kỹ thuật tính tốn tối ưu
Huffman tree[86] nên thời gian huấn luyện được giảm đi rất nhiều.
4.7 Kết luận
Trong chương này, luận án đã trình bày hai mơ hình mới học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh. Mơ hình thứ nhất là mơ hình mạng nơ-ron tích chập WEFT chỉnh sửa các véc-tơ được học từ các mơ hình Word2Vec và Glove. Mơ hình thứ hai là mơ hình SSCWE, sử dụng sự kết hợp của kỹ thuật học giám sát và không giám sát để học véc-tơ từ cho các cơng việc của phân tích quan điểm theo khía cạnh. Các kết quả thực nghiệm đã cho thấy rằng, khi sử dụng các véc-tơ từ học từ mơ hình đề xuất cho các cơng việc: xác định khía cạnh và phân loại quan điểm, kết quả dự đoán đã được cải thiện so với việc sử dụng các véc-tơ từ được học từ mơ hình Word2Vec hay GloVe. Mơ hình WEFT và SSCWE cùng với các kết quả thực nghiệm đã được cơng bố trong cơng trình [3] và [4], xuất bản trong kỷ yếu của các hội nghị quốc tế uy tín,TSD 2017
vàPACLING 2017.
Trong tương tai, chúng tơi định hướng tập trung cải tiến kỹ thuật trong mơ hình SSCWE để quá trình huấn luyện được rút ngắn thời gian hơn. Chúng tôi cũng sẽ sử dụng các véc-tơ biểu diễn từ vào các cơng việc khác của phân tích quan điểm theo khía cạnh, như dự đốn hạng khía cạnh, xác định trọng số khía cạnh. Đặc biệt mơ hình cũng sẽ được mở rộng thực hiện trên các tập dữ liệu sản phẩm/dịch vụ của tiếng Việt, giải quyết các bài toán ứng dụng trong thực tế như Ngân hàng, Bất động sản, Chứng khốn. Kiến trúc các mơ hình học véc-tơ từ khác nhau, do đó các véc-tơ biểu diễn từ học từ các mơ hình đó cũng có thể mã hóa được những thơng tin ngơn ngữ khác nhau. Trong chương tiếp theo, luận án sẽ trình bày vấn đề khai thác đa tập véc-tơ từ cho phân tích quan điểm theo khía cạnh.
Chương 5
Mơ hình đa kênh dựa trên CNN nhằm khai thác đa véc-tơ biểu diễn từ và ký tự cho phân tích quan điểm theo khía cạnh
Trong bất kỳ một mơ hình học máy nào, dữ liệu trước hết phải được chuyển đổi về dạng cấu trúc phù hợp để có thể đưa vào mơ hình. Ví dụ như một câu đầu vào trước khi đưa vào mơ hình CNN thì phải được chuyển đổi về dạng ma trận các số thực dựa trên việc mỗi từ được đại diện bởi một vec-tơ các số thực. Các cách biểu diễn dữ liệu khác nhau sẽ chuyển đổi lượng thơng tin khác nhau vào mơ hình học của hệ thống. Trong chương này chúng tôi đặt vấn đề làm thế nào để tích hợp các nguồn thơng tin khác nhau (từ việc biểu diễn dữ liệu đầu vào khác nhau) để tạo nên mơ hình tích hợp mạnh hơn.
Trong chương này chúng tơi sẽ đề xuất mơ hình tích hợp thơng tin dựa trên mạng đa kênh CNN (Convolutional Neural Network). Các nguồn thông tin khác nhau được đồng thời sử dụng bao gồm các mơ hình Word2Vec khác nhau và mơ hình Character2Vec. Các nguồn thơng tin được tích hợp một cách hiệu quả thơng qua các tầng CNN và kết hợp giữa các tầng CNN. Đầu tiên luận án trình bày về giới thiệu các nghiên cứu liên quan và mơ tả đầu vào/ra của nó. Tiếp đến, trình bày mơ hình đề xuất để giải quyết bài toán. Cuối cùng, luận án đánh giá mơ hình đề xuất thơng qua hai bài tốn của phân tích quan điểm theo khía cạnh: (1) Xác định khía cạnh; (2) Phân loại quan điểm theo khía cạnh.
5.1 Giới thiệu
Cùng với sự phát triển mạnh mẽ của các mơ hình học biểu diễn véc-tơ từ, nhiều tập véc-tơ từ đã được đưa ra cho cộng đồng khai thác áp dụng vào các cơng việc cụ thể của NLP. Bài tốn khai thác đa tập véc-tơ biểu diễn từ cho trước các tập véc-tơ biểu từ được học từ nhiều mơ hình khác nhau như Word2Vec, Glove. Nhiệm vụ là cần xây dựng một mô hình học biểu diễn có thể khai thác hiệu quả các mức biểu diễn này cho các công việc cụ thể trong phân tích quan điểm theo khía cạnh. Nhiều mơ hình mạng nơ-ron tích chập CNN sử dụng các véc-tơ biểu diễn từ làm đầu vào đã chứng minh được sự hiệu quả trong nhiều công việc của xử lý ngôn ngữ tự nhiên [101–103]. Các mơ hình CNN có khả năng học biểu diễn thông tin hiệu quả tại mức cao hơn của đối tượng văn bản đầu vào. Nhiều nghiên cứu đã sử dụng đa kênh CNN cho phân loại câu, như Kim [3] đã đề xuất một kiến trúc học biểu diễn đa kênh dựa trên các bộ lọc với kích cỡ khác nhau. Nhưng mơ hình đa kênh của họ chỉ làm việc với một phiên bản của Word2Vec, cụ thể, một kênh sử dụng các véc-tơ Word2Vec tĩnh, một kênh còn lại thực hiện việc tinh chỉnh lại các véc-tơ Word2Vec. Yin và các cộng sự [104] đã phát triển một mơ hình đa kênh CNN khai thác đa véc-tơ biểu diễn từ, tuy nhiên mơ hình của họ u cầu các véc-tơ biểu diễn từ phải có số nhiều bằng nhau. Zhang và các cộng sự [105] cải tiến mơ hình của Yin và các cộng sự [104] bằng cách coi các phiên bản biểu diễn từ như là các nhóm khác nhau, và họ đã áp dụng mơ hình CNN cho từng nhóm.
Đối với véc-tơ biểu diễn ký tự, một số nghiên cứu sử dụng riêng chúng làm đầu vào hoặc sử dụng kết hợp với véc-tơ biểu diễn từ như Zhang và cộng sự [81] thiết kế một mơ hình mạng nơ-ron tích chập sâu gồm 9 tầng thực hiện trên các véc-tơ biểu diễn ký tự cho bài tốn phân loại văn bản. Mơ hình đã đạt được kết quả tốt hơn các phương pháp truyền thống, như mơ hình hồi quy sử dụng đặc trưng là túi từBoW,Bag-of-ngramsvà véc-tơ trung bình biểu diễn từ. Ngồi ra mơ hình của họ cũng nhỉnh hơn các mơ hình học sâu như LSTM (Long-Short Term Memory), mơ hình mạng nơ-ron tích chập thực hiện trên đầu vào là các véc-tơ Word2Vec. Tuy nhiên việc thiết kế và triển khai một mơ hình mạng CNN gồm 9 tầng địi hỏi cấu hình phần cứng của máy tính cao. Santos và các cộng sự [82] đề xuất mạng nơ-ron tích chập với đầu vào là các véc-tơ ký tự và véc-tơ biểu diễn từ Word2Vec cho bài toán phân loại văn bản ngắn. Kim và các cộng sự [83] đề xuất mơ hình mạng nơ-ron ngơn với đầu vào là các véc-tơ ký tự, họ sử dụng mơ hình mạng nơ-ron tích chập để sinh các véc-tơ biểu diễn từ, sau đó các véc-tơ từ được sử dụng làm vào cho mơ hình LSTM và mơ hình mạng nơ-ron ngơn ngữ hồi quy (recurrent
5.2 Mơ tả bài tốn
Bài tốn xác định khía cạnh và phân loại quan điểm theo khía cạnh đã được trình bày trong phần 4.2 của Chương 4. Trong phần này luận án xem việc khai thác đa véc-tơ biểu diễn từ và ký tự như là một công việc được thực hiện đồng thời trong quá trình học một mơ hình dự đốn cho các bài tốn này.
Đối với từng bài tốn (xác định khía cạnh hoặc phân loại quan điểm theo khía cạnh) của phân tích quan điểm theo khía cạnh, để học được mơ hình dự đốn, chúng ta cần sử dụng một tập dữ liệu huấn luyện gồm các câu được gán nhãn được trích xuất từ một tập các văn bản đánh giá của các thực thể (ví dụ: các thực thể sản phẩm/dịch vụ là các quán ăn). Sau khi học được mơ hình dự đốn, đối với một câu văn bản mới chúng ta có thể dự đốn được nhãn thích hợp tương ứng cho nó. Hình 5.1 mơ tả cơng việc cần giải quyết của bài tốn. Đầu tiên là sử dụng một tập các câu văn bản D=`1, `2, ..., `|D| được gán nhãn, các nhãn này tương ứng với các nhãn trong bài toán con của phân tích quan điểm theo khía cạnh cần giải quyết (ví dụ: bài tốn Xác định khía cạnh), sau đó tập dữ liệuDđược thông qua giai đoạn tiền xử lý dữ liệu. Tiếp theo tập dữ liệuDđược sử dụng cùng với một tập véc-tơ Word2vec, một tập véc-tơ GloVe, và một tập véc-tơ one-hot biểu diễn ký tự làm đầu vào cho một mơ hình khai thác các mức biểu diễn từ và ký tự. Mơ hình này có nhiệm vụ học để dự đốn nhãn của các câu mới (chưa được gán nhãn) và cho đầu ra là các giá trị của các tham số mơ hình dự đốn.
Hình 5.1: Mơ tả đầu vào, đầu ra của công việc khai thác đa véc-tơ biểu diễn từ, biểu diễn ký tự cho phân tích quan điểm theo khía cạnh
Trong nghiên cứu của chúng tơi, để đơn giản và khơng mất tính hiệu quả của mơ hình đề xuất, giống như nghiên cứu của [106], chúng tôi coi từng câu văn bản chỉ gồm
Hình 5.2: Minh họa thành phần tích chập
một nhãn khía cạnh và một nhãn quan điểm của khía cạnh.
5.3 Phương pháp đề xuất
Mạng nơ-ron tích chập (CNN) đã chứng tỏ được sự phù hợp và hiệu quả trong việc khai thác đa phiên bản véc-tơ biểu diễn từ [3, 104, 105], hay các véc-tơ biểu diễn ký tự [81–83] cho các bài toán cần giải quyết ở mức câu hoặc mức văn bản ngắn. Trong phần này, đầu tiên luận án trình bày thành phần tích chập gồm hai tầng, tầng tích chập và tầng thu thập đặc trưng. Sau đó, thành phần tích chập được sử dụng để trình bày mơ hình đề xuất, giải quyết bài tốn khai thác các mức biểu diễn cho phân tích quan điểm theo khía cạnh.
5.3.1 Thành phần tích chập
Luận án định nghĩa thành phần tích chập giống như một mơ hình mạng nơ-ron tích chập truyền thống. Kiến trúc của thành phần tích chập được minh họa như trong Hình 5.2. Ngồi hai tầng: tích chập và thu thập đặc trưng, cịn có tầng đầu vào và đầu ra. Khi muốn áp dụng thành phần CNN lên một chuỗi ký tự thì đầu vào gồm các véc-tơ biểu diễn mức thấp hơn mức biểu diễn chuỗi ký tự, đầu ra chính là véc-tơ biểu diễn cuối cùng của chuỗi ký tự.
vàx1,x2, ...,xnlà các véc-tơ biểu diễn tương ứng của chuỗi này. Hai tầng của thành phần tích chập được trình bày như sau:
Tầng tích chập (Convolutional layer):Tầng này nhậnx1,x2, ...,xn làm đầu vào và sử dụng phép tốn tích chập để đạt được một dãy véc-tơ mới y11,y12, ...,y1n theo biểu thức sau:
y1i = f(U.xi:i+h−1+b) (5.1) vớixi:i+h−1là ký hiệu phép nối của các véc tơxi,xi+1, ...,xi+h−1,hlà của sổ kết hợp các véc-tơ và hàm f(.)là hàm kích hoạt lên từng thành phần (element-wise activation
function) có dạng f(t) =tanh(t) = eett+e−e−t−t),U ∈RC×m và b∈RC là các tham số thành phần, các tham số này được học trong quá trình huấn luyện, m là số chiều của véc-tơ
xj∈ {x1,x2, ...,xn},Clà số chiều đầu ra.
Tầng thu thập đặc trưng (Pooling layer):Tại tầng này, phép toánmax pooling opera- tion[107] được sử dụng để tổng hợp số lượng đặc trưng được cung cấp từ tầng tích chập vào trong một véc-tơ có số chiều cố định, theo biểu thức sau:
y2= [max(y1i1),max(y1i2), ...,max(y1iC)] (5.2)
vớiy1i j là ký hiệu chiều thứ jcủay1i vày2∈RClà véc-tơ đầu ra của thành phần tích chập. Véc-tơy2 chính là véc-tơ biểu diễn của chuỗi ký tự mà chúng ta cần tính thơng qua thành phần phần tích chập. Trong các bài tốn phân lớp thì véc-tơy2sẽ được tiếp tục sử dụng làm đầu cho một mơ hình học dự đốn, như mơ hình hồi quy logistic, máy véc-tơ hỗ trợ SVM. Các tham số của thành phần tích chập sẽ được học cùng với các tham số của mơ hình này.
5.3.2 Mơ hình mạng nơ-ron tích chập đa kênh cho phân tích quanđiểm theo khía cạnh điểm theo khía cạnh
Trong phần này, luận án sẽ trình bày mơ hình đề xuất thơng qua bài tốn xác định khía cạnh. Kiến trúc của mơ hình được minh họa như trong Hình 5.3, gồm có ba kênh CNN, hai kênh đầu tiên, một kênh làm việc với véc-tơ biểu diễn từ Word2Vec, một kênh làm việc với véc-tơ biểu diễn từ Glove và kênh thứ ba sử dụng các véc-tơ biểu diễn ký tự làm đầu vào.
Sử dụng phương pháp véc-tơ mã hóa ký tự (character2vec) là một tiếp cận trong một số bài tốn Xử lý ngơn ngữ tự nhiên (NLP), như dịch máy (machine translation), cho việc biểu diễn đầu vào cho mơ hình học. Nó bắt nguồn từ việc các mơ hình học sâu
Hình 5.3: Mơ hình mạng nơ-ron tích chập đa kênh MCNN cho cơng việc xác định khía cạnh
(deep learning) có khả năng học đặc trưng từ biểu diễn thơ của đầu vào. Vì vậy coi các ký tự (characters) như là biểu diễn thơ sơ nhất của đầu vào thì mơ hình có khả năng học được nhiều đặc trưng phong phú. Và từ (word) chỉ là một trong các đặc trưng học được. Ngồi ra mơ hình cịn có thể học được nhiều đặc trưng giá trị khác như sub-word. Chính vì vậy mà khi thử nghiệm thì mơ hình dựa trên véc-tơ ký tự cho kết quả tốt so với các mơ hình chỉ dựa trên word2vec.
Các véc-tơ biểu diễn từ được học từ các nguồn dữ liệu và mơ hình khác nhau (Word2Vec, GloVe,...), do đó chúng có thể mã hóa được những thơng tin khác nhau của ngơn ngữ. Bên cạnh đó, thơng tin về ký tự sẵn có trong bất kỳ tập dữ liệu huấn luyện nào và sử dụng các véc-tơ biểu diễn ký tự cũng có thể sinh ra được các véc-tơ biểu diễn từ tốt [81–83]. Với mục đích hướng đến biểu diễn mức câu giàu thông tin nhất của ngơn ngữ cho các bài tốn của phân tích quan điểm theo khía cạnh, chúng tơi đề xuất mơ hình MCNN sử dụng đa kênh CNN làm việc với những véc-tơ biểu diễn từ và ký tự này.
Xét một câu văn bản đầu vào`∈Dgồm cóntừ{w1,w2, ...,wn}, từng kênh và từng tầng sử dụng các công thức và ký hiệu cần thiết tương ứng được trình bày như sau:
làm đầu vào, luận án sử dụng ba bộ lọc với các kích thước tương ứng là 1, 2 và 3 để mã hóa ngữ nghĩa của unigrams, bigrams và trigramstrong câu `. Đối với bộ lọc thứ
j, j∈ {11,12,13}, ký hiệuUj∈RCj×mj là một ma trận trọng số,bj∈RCj là véc-tơ độ