4 Học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh
2.7 Minh họa tích chập trong ma trận câu
Cửa sổ trượt (sliding window) cịn có tên gọi là nhân, là bộ lọc, hay bộ xác định đặc trưng (kernel,filterhayfeature detector). Trong Hình 2.7, ứng với một kích thước trượt
chúng ta sử dụng một ma trận bộ lọc nhân từng thành phần tương ứng (element-wise) với ma trận câu bên trái. Giá trị đầu ra là tích của các thành phần này cộng lại. Kết quả tích chập của một cửa sổ trượt là một ma trận bên phải, nó được sinh ra từ việc trượt ma trận bộ lọc. Như vậy tương ứng với 6 ma trận bên phải là 6 ma trận bộ lọc (cụ thể là 2 ma trận bộ lọc2x5, 2 ma trận bộ lọc3x5và 2 ma trận bộ lọc4x5). Vấn đề xác định ma trận bộ lọc được xem là cơng việc trọng tâm trong mơ hình mạng CNN, và nó được xác định trong q trình huấn luyện mạng CNN.
Mơ hình phân lớp câu quan điểm sử dụng mạng tích chập CNN
Lấyxi∈Rklà một véc-tơ từ (word vector) -kchiều tương ứng với từ thứitrong một câu, khi đó một câu với chiều dàin(một câu gồmntừ) được biểu diễn như sau:
x1:n=x1⊕x2⊕...⊕xn (2.18) với ⊕là một phép toán nối. Trong trường hợp tổng quát, ký hiệuxi:i+j tương ứng với phép nối của các từ:xi,xi+1, ...,xi+j. Một phép tốn tích chập bao gồm một bộ lọc (filter) được biểu diễn bởi một véc-tơ trọng sốw∈Rhk(Chú ý rằng)1, bộ lọc này được áp dụng 1Chú ý rằng, véc-tơ bộ lọc ở đoạn này giống ma trận bộ lọc được giới thiệu đoạn trên, nhưng nó là một véc-tơ vì nó nốihvéc-tơ từ có kích thướckchiều lại với nhau.
cho một cửa sổ gồm cóh từ để sinh ra một đặc trưng (feature) mới. Một đặc trưngci
được sinh ra từ một của sổ có phép nốixi:i+h−1là:
ci= f(w.xi:i+h−1+b) (2.19) Vớiblà độ lệch và f là một hàm phi tuyến, một số dạng hàm mạng CNN hay sử dụng như là hàm tanh: f(u) =tanh(u) =eeuu−e+e−u−u hoặc là hàm ReLU: f(u) =max(0,u). Bộ bộ
lọc này được áp dụng cho từng cửa sổ từ trong câu {x1:h,x2:h, ...,xn−h+1:n} để sinh ra một véc-tơ đặc trưng như sau:
c= [c1,c2,...,cn−h+1] (2.20)