Phát triển các mô hình dựa trên mạng nơ ron cho phân tích quan điểm theo khía cạnh

ĐẠI HOC QUOC GIA HÀ N I TRƯ NG ĐẠI HOC CÔNG NGH ——————— PHẠM ĐỨC HONG PHÁT TRIEN CÁC MƠ HÌNH DỰA TRÊN MẠNG NƠ-RON CHO PHÂN TÍCH QUAN ĐIEM THEO KHÍA CẠNH LU N ÁN TIEN SĨ NGÀNH KHOA HOC MÁY TÍNH Hà N i 2019 ĐẠI HOC QUOC GIA HÀ N I TRƯ NG ĐẠI HOC CÔNG NGH ——————— PHẠM ĐỨC HONG PHÁT TRIEN CÁC MƠ HÌNH DỰA TRÊN MẠNG NƠ-RON CHO PHÂN TÍCH QUAN ĐIEM THEO KHÍA CẠNH Chun ngành: Khoa hoc máy tính Mã so: 9480101.01 LU N ÁN TIEN SĨ NGÀNH KHOA HOC MÁY TÍNH NGƯŐI HƯŐNG DAN KHOA HOC: PGS.TS Lê Anh CưỜng Hà N i 2019 L I CÂM ƠN Lu n án tien sĩ ngành Khoa hoc Máy tính đưoc Chính phủ Vi t Nam hő tro m t phan kinh phí thơng qua Đe án 911 đưoc thục hi n B mơn Khoa hoc máy tính, Khoa Cơng ngh thơng tin, Trưịng Đại hoc Cơng ngh , Đại hoc Quoc gia Hà N i dưói sụ hő tro ve m t thủ tục Phịng Tài ke tốn, Trưịng Đại hoc Cơng ngh Bên cạnh cịn có sụ hő tro kinh phí đoi vói cơng bo có so SCIE, SCI Trưịng Đại hoc Đi n lục đe tài NAFOSTED, mã so 102.01-2014.22 thu c Quỹ Phát trien khoa hoc công ngh Quoc gia Tôi xin chân thành cảm ơn đơn vị, to chức giúp đõ tơi thịi gian nghiên cứu Lu n án cịn có sụ hop tác hő tro cá nhân, ngưịi đóng góp rat nhieu q trình hồn thành van đe nghiên cứu lu n án Trưóc het tơi xin chân thành cảm ơn PGS.TS Lê Anh Cưịng trục tiep hưóng dȁn, giúp đõ ln sȁn lịng tạo moi đieu ki n thu n loi nhat cho tơi q trình hoc t p nghiên cứu Tơi xin gửi lịi cảm ơn chân thành tói PGS.TS Hồng Xn Huan, PGS.TS Phan Xuân Hieu, TS Nguyen Văn Vinh, TS Lê Nguyên Khôi, TS Nguyen Bá Đạt, TS Nguyen Thị Ngoc Đi p (Trưịng Đại hoc Cơng ngh , Đại hoc Quoc gia Hà N i), PGS.TS Lê Thanh Hương (Trưòng Đại hoc Bách khoa Hà N i), TS Nguyen Thị Minh Huyen (Trưòng Đại hoc Khoa hoc Tụ nhiên, Đại hoc Quoc gia Hà N i), PGS TS Tran Đăng Hưng (Trưòng Đại hoc Sư Phạm Hà N i), TS Đ ng Thị Thu Hien (Trưịng Đại hoc Thủy loi) sụ góp ý rat chân thành thȁng than, giúp cho lu n án tơi đưoc hồn thi n tot Tơi biet ơn chân thành đoi vói PGS.TS Nguyen Lê Minh (Vi n Khoa hoc công ngh Tiên tien Nh t Bản), TS Tran Quoc Long (Trưòng Đại hoc Công ngh , Đại hoc Quoc gia Hà N i) Hai thay trục tiep giảng dạy, chia sẻ cho nhieu hieu biet liên quan đen n i dung nghiên cứu Tơi xin gửi lịi cảm ơn đen tat anh, chị, em bạn bè đong nghi p, nghiên cứu sinh ỏ B mơn Khoa hoc máy tính, Khoa Cơng ngh thơng tin, Trưịng Đại hoc Cơng ngh , Đại hoc Quoc gia Hà N i giúp đõ tơi hồn thành ke hoạch thủ tục hành thịi gian làm nghiên cứu sinh Tơi muon cảm ơn đen anh/chị/em đong nghi p, giảng viên khoa Cơng ngh Thơng tin, Trưịng Đại hoc Đi n lục co vũ đ ng viên sát cánh bên tơi suot q trình nghiên cứu Cuoi cùng, tơi muon nói lịi cảm ơn đ c bi t tói vo tơi Lê Thị Kim Chung, trai Phạm Công Phúc dành cho tình u sụ cảm thơng, cho phép tơi dành nhieu thịi gian, t p trung cho cơng vi c nghiên cứu Tơi het lịng biet ơn bo me tơi ve tình u sụ cong hien to lón đe trưỏng thành ngày hôm nay, cảm ơn anh, chị, em tơi ve tình u gia đình sụ quan tâm giúp đõ ho cho công vi c L I CAM ĐOAN Tôi xin cam đoan lu n án ket nghiên cứu tơi, đưoc thục hi n dưói sụ hưóng dȁn PGS.TS Lê Anh Cưòng Các n i dung trích dȁn từ nghiên cứu tác giả khác mà tơi trình bày lu n án đưoc ghi rõ nguon phan tài li u tham khảo Phạm Đ c Hong ii Mục lục LỜi cam ơn i LỜi cam đoan ii Mục lục iii Danh mục ch viet tat vii Danh mục bang ix Danh mục hình vẽ xi LỜi mƠ đau 1 Tong quan van đe nghiên c u 1.1 Giói thi u tốn 1.2 Các tốn phân tích quan điem 1.3 1.2.1 Tong quan m t h thong phân tích quan điem 1.2.2 Phân tích quan điem cho tồn b văn 1.2.3 Phân tích quan điem theo khía cạnh 1.2.4 Các tốn phân tích quan điem theo khía cạnh Các nghiên cứu liên quan 10 1.3.1 Trích xuat từ the hi n khía cạnh 10 1.3.2 Xác định khía cạnh 11 1.3.3 Phân đoạn khía cạnh .11 1.3.4 Phân loại quan điem theo khía cạnh .12 iii 1.3.5 Xep hạng khía cạnh 12 1.3.6 Xác định hạng so khía cạnh an 13 1.4 Các tiep c n giải quyet toán 14 1.5 Nghiên cứu the giói Vi t nam 15 1.6 Thảo lu n 16 Kien th c sƠ 18 2.1 Các ký hi u khái ni m liên quan .18 2.2 Các mơ hình hoc máy sỏ cho phân tích quan điem theo khía cạnh 21 2.3 2.4 2.2.1 Mơ hình hoi quy đánh giá an 21 2.2.2 Thu t tốn xác suat xep hạng khía cạnh 22 Các mơ hình hoc bieu dien mức từ, câu, đoạn/văn .25 2.3.1 Mơ hình Word2Vec 25 2.3.2 Mơ hình GloVe .26 2.3.3 Mơ hình véc-tơ Paragraph 27 2.3.4 Mơ hình mạng nơ-ron tích ch p CNN 30 2.3.5 Mơ hình véc-tơ ket hop 33 Ket lu n thảo lu n .34 Đe xuat mơ hình d a mạng nơ-ron xác định hạng so khía cạnh cua th c the 35 3.1 Giói thi u 35 3.2 Mơ hình hóa tốn 36 3.3 3.2.1 Bài toán xác định hạng so khía cạnh an thục the .36 3.2.2 Bài tốn xác định so khía cạnh chung thục the 37 Phương pháp đe xuat 38 3.3.1 Xác định hạng so khía cạnh an thục the sử dụng mơ hình mạng nơ-ron m t lóp an 38 3.3.2 Xác định hạng so khía cạnh an thục the sử dụng mơ hình hoc bieu dien đa tang 45 iv 3.3.3 3.4 3.5 Xác định so khía cạnh chung thục the sử dụng mơ hình mạng nơ-ron 52 Thục nghi m 54 3.4.1 Các đ đo 57 3.4.2 Cài đ t mơ hình 58 3.4.3 Ket thục nghi m 59 3.4.4 Đánh giá 60 3.4.5 Hi u tham so mơ hình LRNN-ASR 63 Ket lu n 66 Hoc véc-tơ bieu dien t cho phân tích quan điem theo khía cạnh 68 4.1 Giói thi u 68 4.2 Mơ hình hóa tốn 69 4.3 4.4 4.5 4.6 4.7 4.2.1 Bài toán tinh chỉnh véc-tơ bieu dien từ 70 4.2.2 Bài toán hoc véc-tơ bieu dien từ .71 Phương pháp đe xuat 72 4.3.1 Mô hình tinh chỉnh véc-tơ bieu dien từ 72 4.3.2 Mơ hình hoc véc-tơ bieu dien từ SSCWE 77 Thục nghi m 82 4.4.1 Dữ li u thục nghi m đ đo .82 4.4.2 Các đ đo .82 Cài đ t đánh giá mô hình tinh chỉnh véc-tơ từ WEFT 83 4.5.1 Cài đ t mơ hình 83 4.5.2 Đánh giá mô hình 83 Cài đ t đánh giá mơ hình SSCWE 85 4.6.1 Cài đ t mơ hình 85 4.6.2 Đánh giá mơ hình 85 4.6.3 So sánh hai mơ hình WEFT SSCWE 88 Ket lu n 90 v Mơ hình đa kênh d a CNN nham khai thác đa véc-tơ bieu dien t ký t cho phân tích quan điem theo khía cạnh 91 5.1 Giói thi u 92 5.2 Mô tả toán 93 5.3 Phương pháp đe xuat 94 5.3.1 Thành phan tích ch p 94 5.3.2 Mô hình mạng nơ-ron tích ch p đa kênh cho phân tích quan điem theo khía cạnh 95 5.4 5.5 Thục nghi m 100 5.4.1 Dữ li u thục nghi m cài đ t mơ hình MCNN 100 5.4.2 Mơi trưịng thịi gian thục nghi m 101 5.4.3 Đánh giá 101 5.4.4 Hi u loại tham so 105 Ket lu n 109 Ket lu n 110 Danh mục cơng trình khoa hoc cua tác gia liên quan đen lu n án 112 Tài li u tham khao 113 vi Danh mục ch viet tat LRNN LRR ASR NNAWs CNN MCNN NLP POS SVM Latent Rating Neural Network (Mạng nơ-ron đánh giá an) Latent Rating Regression (Hoi quy đánh giá an) Aspect Semantic Representation (Bieu dien ngữ nghĩa khía cạnh) Neural Network Aspect Weights (Mạng nơ-ron so khía cạnh) Convolutional Neural Network (Mạng nơ-ron tích ch p) Multichannel Convolutional Neural Network (Mạng nơ-ron đa kênh tích ch p) Natural Language Processing (Xử lý ngôn ngữ tụ nhiên) Part Of Speech (Nhãn từ loại) Support Vector Machine (Máy véc-tơ hő tro) vi Danh sách bang 3.1 Các từ hạt nhân đưoc lụa chon cho thu t toán phân đoạn khía cạnh 55 3.2 Thong ke li u thục nghi m 55 3.3 Ket dụ đoán hạng khách sạn .59 3.4 Ket xác định so khía cạnh khách sạn 59 3.5 So sánh mơ hình LRNN vói phương pháp LRR bon trưịng hop bieu dien khía cạnh 61 3.6 Top 10 từ có so tích cục tiêu cục khía cạnh 61 3.7 Các ket thục nghi m so sánh mơ hình vi c xác định hạng khía cạnh .62 3.8 Ket so sánh chat lưong so khía cạnh chung 63 3.9 Các ket thục nghi m trưòng hop khỏi tạo so khía cạnh 64 3.10 Ket thục nghi m mơ hình đe xuat sử dụng so khía cạnh chung so vói sử dụng riêng 65 4.1 Thong kê t p li u thứ 82 4.2 Ket xác định khía cạnh 84 4.3 Ket phân loại quan điem theo khía cạnh .84 4.4 Bon từ gan ngữ nghĩa vói từ cho đoi vói mơ hình 85 4.5 Các ket xác định khía cạnh 87 4.6 Các ket phân loại quan điem 87 4.7 Năm từ gan ngữ nghĩa vói từ cho đoi vói mơ hình 88 4.8 So sánh ket phân loại quan điem mơ hình WEFT SSCWE 89 4.9 So sánh thòi gian thục hi n mơ hình WEFT SSCWE .90 5.1 Thong kê so lưong câu đưoc sử dụng thục nghi m 100 vi ... điem 1.2.2 Phân tích quan điem cho tồn b văn 1.2.3 Phân tích quan điem theo khía cạnh 1.2.4 Các tốn phân tích quan điem theo khía cạnh Các nghiên cứu liên quan 10 1.3.1... bieu dien ký tụ cho phân tích quan điem theo khía cạnh 93 5.2 Minh hoa thành phan tích ch p 94 5.3 Mơ hình mạng nơ- ron tích ch p đa kênh MCNN cho công vi c xác định khía cạnh ... mơ hình hoc bieu dien mức từ cho phân tích quan điem theo khía cạnh Các véc-tơ từ đạt đưoc từ mơ hình đe xuat đưoc đánh giá hi u thơng qua hai tốn: xác định khía cạnh phân loại quan điem theo khía