3. Bố cục luận văn
2.5.Phương pháp tiếp cận học sâu (Deep Learning)
Trong nhiều thập kỷ các phương pháp học máy được sử dụng trong các bài tốn xử lý ngơn ngữ tự nhiên trong đĩ cĩ bài tốn phân tích quan điểm đã dựa trên các mơ hình học máy truyền thống, được huấn luyện trên các đặc trưng với số chiều và độ thưa dữ liệu rất cao để khắc phục hạn chế này gần đây sử dụng các mạng nơ ron dựa trên các biểu diễn véc tơ dầy đặc đã tạo ra kết quả vượt trội cho một số bài tốn xử lý ngơn ngữ tự nhiên. Xu hướng này được tạo ra bở sự thành cơng của việc nhúng các từ (Word Embedding) dưới dạng véc tơ và phương pháp
học sâu cho phép học nhiều mức tự động các đặc trưng đại diện. Một số phương pháp học sâu được sử dụng cho bài tốn xử lý ngơn ngữ tự nhiên cho kết quả đáng khích lệ như: Mạng nơron tích chập (Convolutional neural netwoks – CNN), mạng nơron hồi quy (Recurrent neural netwok – RNN) và mạng bộ nhớ dài ngắn (Long Short Term Memory network –LSTM).
Phân tích quan điểm ở mức độ câu là xác định quan điểm được thể hiện trong một câu nhất định. Quan điểm của một câu trong bài tốn này cĩ thể đưa ra quan điểm tích cực, trung tính hoặc tiêu cực. Trong các mơ hình học sâu hiện nay phân lớp quan điểm câu thường được xây dựng như một bài tốn phân lớp đa chiều. Sử dụng vec-tơ đại biểu cho một câu được tạo ra bởi mạng nơ ron cũng rất quan trọng để cĩ thể phân lớp cho câu đấy. Hơn nữa, vì một câu thường ngắn so với một tài liệu, các thơng tin về cú pháp và ngữ nghĩa cĩ thể được sử dụng để bổ sung cho mơ hình. Thơng tin bổ sung như cây phân tích cú pháp, từ điển, phân loại từ cũng cĩ thể được sử dụng.
Trong nghiên cứu trước đây, cây phân tích cú pháp được sử dụng cùng với các từ ban đầu làm đầu vào cho các mạng nơ ron để đạt kết quả tốt hơn. Nhưng hiện nay các phương pháp CNN và RNN đã trở nên phổ biến hơn, khơng cần dựa vào phân tích cú pháp để trích xuất đặc trưng từ câu. Thay vào đĩ, CNN và RNN sử dụng từ nhúng làm đầu vào, vốn đã mã hĩa thơng tin cú pháp và ngữ nghĩa. Hơn thế nữa, kiến trúc mơ hình của CNN hoặc RNN cũng cĩ khả năng hiểu mối quan hệ giữa các từ trong một câu.