Chương 4 PHƯƠNG PHÁP ĐỀ XUẤT
4.2. Phương pháp tham khảo
Trong quá trình nghiên cứu và thực hiện luận văn, tôi đã tham khảo một số phương pháp giải quyết bài tốn Phân tích cảm xúc dựa trên khía cạnh khác nhau. Sau thời gian tìm hiểu các phương pháp đó, tơi đã quyết định chọn phương pháp của tác giả Chi Sun và các cộng sự làm phương pháp tham khảo chính cho luận văn này.
Lý do mà tôi lựa chọn phương pháp được đề xuất bởi tác giả Chi Sun và các cộng sự là vì phương pháp này sử dụng mơ hình BERT, một mơ hình ngơn ngữ hiện đại và rất nổi tiếng trong lĩnh vực Xử lý ngôn ngữ tự nhiên. Ngồi ra, mơ hình phân loại dựa trên BERT mà nhóm tác giả đề xuất cũng rất tường minh và dễ dàng áp dụng cho các ngơn ngữ khác.
Trong cơng trình nghiên cứu tham khảo, nhóm tác giả đã đề xuất việc xây dựng câu phụ trợ, nhằm biến đổi bài tốn Phân tích cảm xúc dựa trên khía cạnh thành một bài tốn phân loại với đầu vào là một cặp câu (câu đầu vào ban đầu và câu phụ trợ).
Có bốn phương pháp xây dựng câu phụ trợ được đề xuất trong cơng trình tham khảo, đó là:
− Sentences for QA-M:Câu phụ trợ được tạo ra từ các khía cạnh trong tập các khía cạnh ban đầu. Đó là các câu hỏi với cấu trúc như nhau. Ví dụ, đối với khía cạnh "price", câu phụ trợ được tạo ra là "what do you think of the price of it ?". Phương pháp này chuyển đổi bài toán
gốc thành bài toán phân loại nhiều lớp, với các nhãn phân loại là tập các thái cực cảm xúc{positive,neutral,negative,con f lict,none}. − Sentences for NLI-MCâu phụ trợ được tạo ra từ các khía cạnh trong
tập các khía cạnh ban đầu. Đó là các câu giả chỉ chứa chính khía cạnh đó. Ví dụ, đối với khía cạnh"price", câu phụ trợ được tạo ra là"price".
Phương pháp giống với phương pháp "Sentences for QA-M", chuyển đổi bài toán gốc thành bài toán phân loại nhiều lớp.
− Sentences for QA-B Trong phương pháp này, nhãn phân loại cảm xúc được thêm vào câu phụ trợ, từ đó đưa bài tốn gốc về bài toán phân loại nhị phân với hai nhãn phân loại là "yes" và "no". Ví dụ, đối với khía cạnh "price" các câu phụ trợ được tạo ra là:"the polarity of the aspect price is positive", "the polarity of the aspect price is neutral", "the polarity of the aspect price is negative", "the polarity of the aspect price is conflict"
− Sentences for NLI-B Phương pháp này khác với Sentences for QA-B
là câu phụ trợ đổi thành một câu giả. Ví dụ, đối với khía cạnh"price"
các câu phụ trợ được tạo ra là: "positive - price", "neutral - price", "negative - price", "conflict - price", "none - price"
Sau khi có được các câu phụ trợ, một mơ hình phân loại cặp câu được xây dựng bằng các kết hợp mơ hình ngơn ngữ BERT và một mạng nơ-ron truyền thẳng có nhiệm vụ phân loại. Các bước xử lý của mơ hình này có thể được tóm tắt như sau: Cặp câu đầu vào được chuyển thành chuỗi các token và đưa vào mơ hình ngơn ngữ BERT, ta lấy đầu ra của token [CLS] và tiếp tục đưa qua mạng nơ-ron truyền thẳng, véc-tơ đầu ra của mạng nơ-ron truyền thẳng này có số chiều khác nhau tương ứng với các phương pháp xây dựng câu phụ trợ được sử dụng. Hàm kích hoạt So f tmax được sử dụng để tính tốn phân phối xác suất của các nhãn phân loại.
Hình 4.1: Tổng quan mơ hình phân loại sử dụng BERT và mạng nơ-rontruyền thẳng truyền thẳng