4 Học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh
2.8 Minh họa mơ hình phân lớp câu sử dụng mạng CNN [3]
Vớic∈Rn−h+1. Tiếp theo, áp dụng phép toán “a max-overtime pooling” (Collobert và các cộng sự [88]) qua tất cả các đặc trưng và lấy đặc trưng có giá trị lớn nhất, cụ thể là ∧c=max{c} như là một đặc trưng được chọn cho bộ lọc cụ thể này. Ý tưởng là bắt (capture) lấy đặc trưng tốt nhất trong số các đặc trưng được sinh ra từ một bộ lọc.
Nội dung bên trên, chúng tôi đã mô tả cơng việc xử lý một đặc trưng được trích xuất từ một bộ lọc. Mơ hình CNN cho một câu sử dụng nhiều bộ lọc (với kích thước từng cửa
sổ được cho trước) để đạt được nhiều đặc trưng khác nhau. Các đặc trưng này tạo thành một lớp áp chót trong mạng CNN, lớp này được hiểu là một véc-tơ đặc trưng và véc-tơ này được sử dụng làm đầu vào cho một bộ phân lớp, một số bộ phân lớp mà chúng ta có thể lựa chọn như là Perceptron, mạng nơ ron hay SVM (Support Vector Machine).
Hình 2.8, minh họa mơ hình phân lớp câu sử dụng mạng tích chập CNN, bao gồm đầu vào là một ma trận câu “I like this movie very much !”, tại tầng chập được phân chia làm 3 vùng kích thước tương ứng là 2, 3, 4. Mỗi vùng gồm 2 ma trận bộ lọc, cụ thể là vùng thứ nhất gồm 2 ma trận bộ lọc kích thước2x5, vùng thứ 2 gồm 2 ma trận kích thước3x5, vùng thứ 3 gồm 2 ma trận kích thước4x5. Mỗi ma trận bộ lọc này sinh ra một véc-tơ đặc trưng, 6 ma trận bộ lọc sẽ sinh ra 6 véc-tơ đăc trưng, thực hiện phép tốn “a max-overtime pooling” trên mỗi véc-tơ đặc trưng thì trên mỗi véc-tơ đặc trưng chúng ta chọn ra được một đặc trưng (feature) tốt nhất. Tiếp đến chúng ta thực hiện nối đặc trưng trên mỗi vùng có kích thước ma trận bộ lọc ban đầu. Tiếp theo nữa, chúng ta thực hiện phép nối đặc trưng trên ba vùng riêng biệt (kích thước: 2,3,4) chúng ta được một véc-tơ đặc trưng (véc-tơ 6 chiều) tại tầng áp chót. Véc-tơ này làm đầu vào cho một bộ phân lớp câu. Bộ phân lớp có thể được lựa chọn như hồi quy logistic (Logistic Regression), SVM, hoặc có thể là một mạng nơ-ron gồm một vài tầng ẩn. Tùy thuộc vào bài toán cụ thể mà chúng ta có thể lựa chọn được bộ phân lớp phù hợp.
2.3.5 Mơ hình véc-tơ kết hợp
Mitchell và các cộng sự [89] đã sử dụng các luật kết hợp với các phép toán cộng và nhân véc-tơ biểu diễn từ để sinh ra mức biểu diễn tốt hơn, cho các mức cao hơn như mức câu, đoạn hoặc cả văn bản. Dựa trên các luật kết hợp véc-tơ [89], Hermann và các cộng sự [90] đã giới thiệu hai hàm kết hợp các véc-tơ biểu diễn từ, tên là ADD và BI cho học biểu diễn câu và văn bản. Hàm ADD thực hiện biểu diễn câu bằng cách cộng tất cả các véc-tơ biểu diễn từ lại với nhau, nhưng với hàm này mơ hình học biểu diễn câu cũng như văn bản không thể bắt được thông tin ngữ nghĩa kết hợp giữa các từ. Hàm BI được thiết kế để bắt lấy thông tin giữa các cặp từ kết hợp với nhau, họ sử dụng một hàm phi tuyến tính (hàmtanh) thực hiện thơng qua các cặp từ (bi-gram pairs). Cụ thể,
ký hiệuxlà một câu gồmnvéc-tơ biểu diễn từx1,x2, ...,xn, kích cỡ số chiều của véc-tơ làm, thì hàm kết hợp BI được định nghĩa như sau:
v(x) =
n
∑
i=1
f(M[xi−1+xi] + [b]) (2.21)
vớiM∈Rm×m là ma trận trọng số tại mức câu,b∈Rmlà véc-tơ độ lệch, cảM∈Rm×m vàb∈Rm được học trong pha huấn luyện.là phép nhân thành phần với tổng của hai
véc-tơxi−1vàxi. f(.)là hàm phi tuyến tính được định nghĩa như sau:
f(y) =tanh(y) = e
y−e−y
ey+e−y (2.22)