4 Học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh
3.9 Các kết quả thực nghiệm trên các trường hợp khởi tạo trọng số khía cạnh
Khởi tạo trọng sốα∧ Phương pháp ∆aspect Paspect Preview Ngẫu nhiên trong khoảng [-1,1] LRNN-ASR 0.747 0.424 0.658 Full-LRNN-ASR 0.742 0.432 0.667 Theo công thức 3.35 LRNN-ASR 0.703 0.497 0.675 Full-LRNN-ASR 0.596 0.512 0.741
Để làm rõ hơn vai trị trọng số khía cạnh trong mơ hình đề xuất, luận án thực hiện thêm thực nghiệm trong trường hợp tất cả các sản phẩm sử dụng chung một trọng số khía cạnh chung. Khi áp dụng trọng số khía cạnh chung vào mơ hình đề xuất, chúng ta có thể coi nó là trọng số từ tầng hạng khía cạnh tới tầng hạng chung (tầng đầu ra). Sau đó thực hiện Thuật toán 4 với các tham số được khởi tạo như đã giới thiệu trong phần
3.6.3, Bảng 3.10 thể hiện kết quả dự đốn hạng khía cạnh đạt được so với trường hợp sử dụng trọng số khía cạnh cho từng sản phẩm. Chúng ta thấy rằng trường hợp sử dụng trọng số khía cạnh chung cho kết quả dự đốn hạng khía cạnh tốt hơn so với sử dụng trọng số khía cạnh riêng.
Bảng 3.10: Kết quả thực nghiệm mơ hình đề xuất sử dụng trọng số khía cạnh chung so với sử dụng riêng
Trọng số khía cạnh Phương pháp ∆aspect Paspect Preview Sử dụng riêng LRNN-ASR 0.703 0.497 0.675 Full-LRNN-ASR 0.596 0.512 0.741 Sử dụng chung LRNN-ASR 0.698 0.505 0.689 Full-LRNN-ASR 0.581 0.530 0.772
Hình 3.13 thể hiện kết quả xác định trọng số khía cạnh chung của Thuật toán Full- LRNN-ASR với các cột màu đỏ và NNAWs với các cột màu xanh. Các kết quả cho chúng ta thấy rằng cả hai Thuật toán NNAWs và Full-LRNN-ASR xác định được mức độ quan trọng của các khía cạnh cùng có thứ tự là Room, Service, Value, Cleanliness,
và Location. Các thơng tin chung về khía cạnh này rất quan trọng đối các nhà quản lý
dịch vụ khách sạn. Thơng qua nó có thể giúp nhà quản lý cải thiện dịch vụ khách sạn theo từng khía cạnh được tốt hơn.
Hình 3.13: Kết quả xác định trọng số khía cạnh chung của dịch vụ khách sạn
So sánh kết quả của hai Thuật toán NNAWs và Full-LRNN-ASR, chúng ta thấy sự chênh lệch về kết quả là không lớn. Điều này cho chúng ta thấy rằng mơ hình học khơng giám sát Full-LRNN-ASR có kết quả tương tự với mơ hình học giám sát NNAWs. Điều này một lần nữa xác nhận sự đảm bảo về tính chính xác của mơ hình đề xuất Full- LRNN-ASR.
3.5 Kết luận
Trong chương này luận án đã trình bày ba phương pháp sử dụng mơ hình mạng nơ- ron cho việc xác định hạng và trọng số khía cạnh. Ba phương pháp này cùng với các kết quả nghiên cứu đã được cơng bố trong các cơng trình [6], [5], và [2]. Phương phương pháp thứ nhất là một phương pháp xác định hạng và trọng số khía cạnh ẩn thơng qua ba giai đoạn chính: (1) phân đoạn khía cạnh; (2) học biểu diễn khía cạnh; (3) xác định hạng và trọng số khía cạnh. Cụ thể, luận án đã đề xuất tiếp cập học biểu diễn khía cạnh bằng mơ hình véc-tơ Paragraph và mơ hình mạng nơ-ron cho xác định hạng và trọng số khía cạnh. Thơng qua các kết quả thực nghiệm, luận án đã chứng mình rằng sử dụng mơ hình véc-tơ Paragraph biểu diễn các khía cạnh cho kết quả tốt hơn so với các biểu diễn khác như biểu diễn dựa trên túi từ, trung bình véc-tơ từ hoặc trung bình véc-tơ câu. Ngồi ra, mơ hình LRNN cịn cho thấy được kết quả dự đốn hạng khía cạnh tốt hơn mơ hình LRR.
Phương pháp thứ hai sử dụng các kỹ thuật học biểu diễn, bao gồm kỹ thuật học biểu diễn véc-tơ từ và mơ hình véc-tơ kết hợp để đạt được mức biểu diễn từ, câu, khía cạnh và khía cạnh mức cao hơn. Các mức biểu diễn này đã được tích hợp vào trong một mạng nơ-ron. Thuật toán lan truyền ngược đã được sử dụng để học mơ hình cho dự đốn khía cạnh và hạng khía cạnh. Các kết quả thực nghiệm đã cho thấy, mơ hình đề xuất đã thực hiện tốt hơn các phương pháp thông thường rất nhiều. Điều này chứng tỏ rằng việc áp dụng các kỹ thuật học biểu diễn vào trong một kiến trúc đa tầng cho bài tốn phân tích quan điểm dựa trên khía cạnh rất hiệu quả. Nó cũng xác nhận rằng từ một tập dữ liệu huấn luyện gồm ý kiến đánh giá ban đầu chỉ được cung cấp hạng quan điểm chung, chúng ta có thể xác định được hạng khía cạnh cũng như trọng số khía cạnh.
Trong q trình thực nghiệm, mơ hình đề xuất LRNN-ASR còn được đánh giá trong trường hợp sử dụng trọng số khía cạnh chung cho các khách sạn, kết quả đạt được khi dự đốn hạng khía cạnh trong trường hợp này nhỉnh hơn trong trường hợp sử dụng trọng số khía cạnh riêng trên từng khách sạn. Kết quả này gợi ý cho chúng ta sử dụng trọng số khía cạnh chung, khi áp dụng vào các miền dữ liệu khác và cũng tùy vào mục đích của bài tốn. Trong trường hợp u cầu chỉ xác định hạng khía cạnh thì chúng ta có thể chỉ cần dùng trọng số khía cạnh chung, cịn nếu phải xác định trọng số khía riêng cho từng sản phẩm/dịch vụ thì việc sử dụng trọng số riêng trong mơ hình đề xuất là cần thiết.
Phương pháp thứ ba sử dụng một mơ hình mạng nơ-ron xác định trọng số khía cạnh chung cho sản phẩm/dịch vụ. Mặc dù không cung cấp cho chúng ta thông tin trọng số khía cạnh riêng của từng sản phẩm/dịch vụ, nhưng nó cung cấp cho nhà quản lý dịch vụ/sẩn phẩm có cái nhìn chung về mức độ quan trọng của từng khía cạnh. Thơng qua các kết quả thực nghiệm cũng đã chứng minh được chất lượng của phương pháp này so với các phương pháp khác.
Mặc dù các véc-tơ Word2Vec được học từ mơ hình học khơng giám sát, chỉ sử dụng thơng tin ngữ cảnh của từ, nhưng đã cho thấy vai trò quan trọng trong các kết quả dự đoán. Thực tế, trong lĩnh vực phân tích quan điểm theo khía cạnh, ngồi thơng tin ngữ cảnh, cịn có các thơng tin khác như quan điểm, khía cạnh được đánh giá trên mỗi câu văn bản. Với mong muốn mã hóa được nhiều thơng tin hơn từ dữ liệu gán nhẵn cho các véc-tơ biểu diễn từ. Trong chương tiếp theo chúng tơi trình bày đề xuất các mơ hình học véc-tơ từ cho các bài tốn của phân tích quan điểm theo khía cạnh.
Chương 4
Học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh
Trong chương này chúng tơi sẽ trình bày các mơ hình đề xuất học véc-tơ biểu diễn từ hiệu quả cho bài tốn phân tích quan điểm theo khía cạnh. Đầu tiên luận án trình bày giới thiệu về học véc-tơ từ và bài tốn xác định khía cạnh, phân loại quan điểm theo khía cạnh, sau đó trình bày mơ hình hóa hai bài tốn cho học véc-tơ biểu diễn từ. Sau đó luận án sẽ trình bày mơ hình đề xuất tương ứng cho mỗi bài tốn học véc-tơ biểu diễn từ. Mơ hình thứ nhất sử dụng mơ hình mạng nơ-ron tích chập thực hiện việc tinh chỉnh các véc-tơ từ được học từ các mơ hình học khơng giảm sát như Word2Vec, Glove. Mơ hình thứ hai gồm hai thành phần được xây dựng dựa trên mơ hình Word2Vec và mơ hình mạng nơ-ron một lớp ẩn. Q trình học mơ hình là quá trình học liên hợp giữa hai thành phần nhằm thực hiện việc học trực tiếp các véc-tơ biểu diễn từ sao cho chúng có thể mã hóa được ba loại thơng tin: ngữ nghĩa, khía cạnh và quan điểm khía cạnh. Cuối cùng, chất lượng hai mơ hình đề xuất được đánh giá thơng qua việc sử dụng các véc-tơ biểu diễn từ vào hai bài tốn của phân tích quan điểm theo khía cạnh mức câu: (1) Xác định khía cạnh; (2) Phân loại quan điểm theo khía cạnh.
4.1 Giới thiệu
Trong lĩnh vực học biểu diễn thì học biểu diễn từ có thể được coi là bài toán được quan tâm nhiều nhất. Mặc dù các véc-tơ nhúng từ (word embeddings) được đề xuất lần đầu bởi Rumelhart và các cộng sự [98], nhưng các kỹ thuật học biểu diễn véc-tơ từ được phát triển bắt đầu từ năm 2003 với mơ hình mạng nơ-ron ngơn ngữ trong nghiên cứu [56]. Mơ hình gồm bốn tầng của mơ hình ngơn ngữ để tự động học các véc-tơ biểu diễn từ. Năm 2011, Collobert và các cộng sự [99] đề xuất mơ hình mạng nơ-ron tích chậpC&W. Năm 2013, Mikolov và các cộng sự [57] đã đề xuất mơ hình Word2Vec với
hai kiến trúc là CBOW và Skip-Gram. Họ cải thiện hiệu quả thời gian học và chất lượng véc-tơ biểu diễn từ bằng kiến trúc mơ hình đơn giản của mơ hình ngơn ngữ. Mơ hình Skip-Gram sử dụng từ hiện tại để sinh ra các từ trong ngữ cảnh của từ đó. Ngược với mơ hình Skip-Gram, mơ hình CBOW sử dụng các ngữ cảnh của từ để dự đoán từ hiện tại. Năm 2014, Pennington [58] và các cộng sự đã đề xuất mơ hình Glove sử dụng một mơ hình hồi quy tồn cục mới để học các véc-tơ biểu diễn từ. Mơ hình của họ sử dụng hiệu quả hơn mơ hình Word2Vec trong nhiều bài tốn.
Đối với bài toán học véc-tơ biểu diễn từ cho phân tích quan điểm, ngồi việc mã hóa thơng tin ngữ nghĩa trong các véc-tơ biểu diễn từ một số nghiên cứu đã thực hiện mã hóa thêm thơng tin quan điểm vào trong các véc-tơ biểu diễn từ. Maas và các cộng sự [78] đã đề xuất một mơ hình xác suất gồm hai thành phần, một thành phần học không giám sát sử dụng đầu vào là các câu không gán nhãn, một thành phần học giám sát sử dụng đầu ra (thông tin giám sát) là các từ quan điểm được gán nhãn. Quá trình học mơ hình là q trình học liên hợp (đồng thời) của cả hai thành phần. Tang và các cộng sự trong nghiên cứu [79] đã đề xuất ba mơ hình mạng nơ-ron (SSW Eh,SSW Er, vàSSW Eu) dựa trên mơ hìnhC&W [99] để học các véc-tơ biểu diễn từ từ các câu (comments, tweets) chứa quan điểm tích cực và tiêu cực. Mơ hìnhSSW Ehsử dụng thơng tin quan điểm mức
ngramvà ngữ cảnh, trong khi đó mơ hìnhSSW Er sử dụng thơng tin quan điểm của cả câu trong đầu vào.SSW Eu là mơ hình kết hợp củaSSW EhvàSSW Er. Nghiên cứu [80] đã cải tiến các mơ hình mạng nơ-ron trong nghiên cứu [79] bằng cách khai thác thêm thông tin về chủ đề của các từ, và tiến hành học đa biểu diễn từ cho từng từ.
4.2 Mơ hình hóa bài tốn
Bài tốn xác định khía cạnh và phân loại quan điểm theo khía cạnh được mơ hình hóa với các ký hiệu như sau:
Xác định khía cạnh: Cho trước một tậpknhãn khía cạnh{A1,A2,...,Ak}của một thực thể. Đối với một câu văn bản đầu vào`chúng ta cần dự đoán một véc-tơ nhãn nhị phân
a`∈ {0,1}k cho nó. Nếua`i=1thì có nghĩa là câu` được gán nhãn khía cạnhAi, nếu
a`i=0thì có nghĩa là câu`khơng được gán nhãnAi.
Ví dụ với một câu văn bản trong miền dữ liệu thực thể điện thoại:Chất lượng âm thanh của điện thoại này là tuyệt vời. Nhãn khía cạnh cần gán cho câu này là “Loa”.
Phân loại quan điểm theo khía cạnh: Cho trước một tập nhãn m quan điểm O= {O1,O2,...,Ol}của một thực thể. Đối với một câu văn bản`đã được gán nhãn khía cạnh của một thực thể, chúng ta cần dự đoán một véc tơ nhãn nhị phâno`∈ {0,1}m cho câu `. Nếuo`i=1thì có nghĩa là câu`được gán nhãn quan điểmOi, nếuo`i=0thì có nghĩa là câu`khơng được gán nhãn quan điểmOi.
Ví dụ với một câu văn bản trong miền dữ liệu thực thể điện thoại:Chất lượng âm thanh của điện thoại này là tuyệt vời. Giả sử câu này đã được gán nhãn khía cạnh là “Loa” thì
nhãn quan điểm cần gán cho nó là “Tích cực”.
Cả hai bài tốn trên đều có thể coi như những bài tốn phân lớp và để giải quyết nó chúng ta cần một tập dữ liệu huấn luyện gồm các câu được gán nhãn và một mơ hình huấn luyện như là SVM, hay mạng nơ-ron nhân tạo, v.v....Đầu vào cho các mơ hình huấn luyện là các véc-tơ biểu diễn câu. Các véc-tơ này có thể biểu diễn dựa trên một bộ từ điển hoặc các véc-tơ biểu diễn từ trên từng câu. Vì thế nếu có một bộ từ điển hoặc một tập véc-tơ biểu diễn từ tốt sẽ góp phần giúp kết quả của mơ hình huấn luyện/dự đốn tốt hơn.
Trong nội dung tiếp theo của phần này, luận án trình bày mơ hình hóa hai bài tốn liên quan đến học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh.
4.2.1 Bài tốn tinh chỉnh véc-tơ biểu diễn từ
Khi sử dụng trực tiếp các véc-tơ biểu diễn từ được học từ các mơ hình khơng giám sát như WordVec hay Glove vào các bài tốn của phân tích quan điểm theo khía cạnh bị thiếu thơng tin khía cạnh và quan điểm khía cạnh. Do đó, bài tốn tinh chỉnh các véc-tơ biểu diễn từ giải quyết thiếu sót này bằng cách sử dụng một dữ liệu huấn luyện, gồm các câu văn bản có gán nhãn khía cạnh và quan điểm khía cạnh để tinh chỉnh các véc-tơ thơng qua một mơ hình học dự đốn nhãn cho các câu văn bản.
Cho một tập các câu văn bản gán nhãn D2 =`1, `2, ..., `|D2| được trích xuất từ một tập ý kiến đánh giá của tập thực thể (ví dụ: tập thực thể dịch vụ nhà hàng), từng câu`∈D2được gán hai nhãn, nhãn khía cạnh và nhãn quan điểm khía cạnh. Ký hiệu
V ={ω1,ω2, ...,ω|V|}là một bộ từ điển vàW ∈Rnx|V| là một ma trận véc-tơ từ nhúng, với cột thứicủa ma trậnW là một véc-tơnchiều của từ thứitrongV. Giả thiết rằng ma trậnW là ma trận được học từ một mơ hình khơng giám sát (ví dụ mơ hình Word2Vec) với một lượng lớn các câu khơng gán nhãn. Bài tốn ở đây là làm thế nào tinh chỉnh các véc-tơ từ trong ma trậnW. Hình 4.1 mơ tả các cơng việc cần thực hiện cho bài toán tinh chỉnh véc-tơ biểu diễn từ.
Hình 4.1: Mơ tả đầu vào và đầu ra của của bài tốn tính chỉnh véc-tơ biểu diễn từ
Trong cơng việc đầu tiên, sử dụng một tập các câu văn bản không gán nhãn D1=
`1, `2, ..., `|D1| , các câu này cần thông qua các bước của tiền xử lý dữ liệu (chuẩn hóa, tách từ, loại bỏ từ dừng). Sau đó tập D1 được sử dụng làm đầu vào cho mơ hình học khơng giám sát (như mơ hình WordVec hoặc Glove) để học ra các véc-tơ biểu diễn từ, ma trậnW. Công việc tiếp theo, sử dụng ma trậnW đã được học cùng với tập dữ liệu
D2 =`1, `2, ..., `|D2| làm đầu vào cho một mơ hình tinh chỉnh các véc-tơ từ. Cuối cùng, thơng qua q trình học mơ hình tinh chỉnh thơng tin khía cạnh và qua điểm khía cạnh được mã hóa và cập nhật vào trong các véc-tơ biểu diễn từ trong ma trậnW.
Đối với các ký hiệu nhãn trong mỗi câu`∈D2, ký hiệuklà số lượng nhãn khía cạnh và m là số lượng nhãn quan điểm khía cạnh. a`∈Rk là một véc-tơ nhị phân của các nhãn khía cạnh trong câu `. Từng giá trị trong a` xác nhận câu` có thảo luận về một khía cạnh hay khơng. Ký hiệuod∈Rm là một véc-tơ nhị phân của các quan điểm trong câud. Từng thành phần trong véc-tơo`xác nhận câu`có thảo luận một quan điểm khía cạnh hay khơng.
4.2.2 Bài tốn học véc-tơ biểu diễn từ
Khác với bài toán tinh chỉnh véc-tơ biểu diễn từ, bài toán này thực hiện trên dữ liệu huấn luyện gồm các câu gán nhãn và câu không được gán nhãn.
Ký hiệu D=`1, `2, ..., `|D| là một tập các câu văn bản, được trích xuất từ một ý kiến đánh giá của tập thực thể (ví dụ: tập thực thể dịch vụ nhà hàng). Từng câu`∈Dcó