3.2 Các đặc trưng của mơ hình
3.2.2 Mơ hình CNN
Mạng tích chập CNN đã được nghiên cứu áp dụng trong các bài tốn Xử lý Ngơn ngữ Tự nhiên và đạt hiệu quả trên một số bộ dữ liệu. Vì thế, trong đề tài này, tơi cũng nghiên cứu áp dụng mơ hình CNN được đề xuất bởi tác giả Yoon Kim [11] để phát hiện ra các loại khía cạnh và trạng thái ý kiến. Hình 3.3 mơ tả kiến trúc của mơ hình CNN được áp dụng để dự đốn ra loại khía cạnh và trạng thái ý kiến của loại khía cạnh. Mơ hình gồm các thành phần chính như sau: Lớp đầu vào (Input), Lớp nhúng từ (Word embedding), Lớp tích chập (Convolutional), Lớp Pooling, Lớp phân loại (Fully connected) và lớp đầu ra (Output). Mỗi lớp có chức năng như sau:
40
Lớp đầu vào: Mỗi bình luận sau khi qua bước tiền xử lý sẽ được biểu diễn thành
các vector số với chiều dài cố định, ở đây, chúng tơi sử dụng bình luận dài nhất là chiều của vectơ cố định. Các bình luận khơng đủ độ dài sẽ được tự động thêm giá trị <PAD>.
Lớp nhúng từ: Để rút trích ra các vector cho mỗi từ vựng, chúng tôi sử dụng một
bộ nhúng từ đã được huấn luyện được công bố trên trang Github. Các nghiên cứu trước đây đã chứng minh sử dụng một bộ nhúng từ đã được huấn luyện trong cùng miền dữ liệu sẽ đem lại hiệu quả tốt hơn.
Lớp tích chập: Trong lớp này, chúng tơi áp dụng 128 bộ lọc (filters) với các kích
thước khác nhau qua ma trận của lớp nhúng từ. Cụ thể, kích thước bộ lọc được sử dụng trong lớp này có kích thước là 3,4 và 5.
Lớp Pooling: Ở lớp này, chúng tôi sử dụng sự kết hợp giữa Global Max Pooling và
Global Average Pooling cho mỗi lớp tích chập để rút trích ra các đặc trưng quan trọng của bình luận.
Lớp phân loại: Sau khi rút trích ra các đặc trưng quan trọng của lớp Pooling, chúng
tôi đưa các đặc trưng này qua lớp phân loại với hàm kích hoạt hoạt Relu.
Lớp đầu ra: Mỗi khía cạnh sẽ được biểu diễn thành một one-hot vector có độ dài là
4 giá trị với các thông tin như sau: o Nếu giá trị 1 xuất hiện ở y1 thì bình luận sẽ được khơng được gán loại khía cạnh đang xét. o Nếu giá 1 xuất hiện một trong các vị trí y2 đến y6 thì sẽ loại khía cạnh sẽ được gán cho bình luận kèm theo trạng thái ý kiến của loại khía cạnh tương ứng là rất tích cực, tích cực, trung tính, tiêu cực và rất tiêu cực.
Ví dụ như sau: Loại khía cạnh đang xét là Food#Quality, đầu ra của mơ hình là
vectơ [0,1,0,0] thì sẽ được hiểu là bình luận được gán loại khía cạnh Food#Quality và trạng thái ý kiến là trung tính (positive). Chi tiết cài đặt mơ hình như sau: chiều của vector từ vựng huấn luyện tập tập dữ liệu bình luận nhà hàng là 300 chiều, kích thước của mỗi bộ lọc là 128 cịn kích thước cửa sổ là 3,4,5. Ở lớp phân lớp sử dụng 300 nốt và sử dụng hàm kích hoạt Relu. Thuật tốn tối ưu được sử dụng trong nghiên cứu này là Adam.
41
Hình 3. 3: Mơ hình mạng nơ-ron tích chập CNN13