Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc

IăH CăQU CăGIAăTP.ăH ăCHệăMINH TR NG I H C BÁCH KHOA LÊ TH TH Y PHÂN GI I NG THAM CHI U IT CHO PHÂN TệCH C M X́C LU NăÁNăTI NăS K THU T TP.ăH ăCHệăMINH - N Mă2022 NG TR IăH CăQU CăGIAăTP.ăHCM NG I H C BÁCH KHOA LÊ TH TH Y PHÂN GI I NG THAM CHI U IT CHO PHÂN TệCH C M X́C Chuyên ngành: KHOA H C MÁY TệNH Mưăs ăchuyênăngƠnh: 62.48.01.01 Ph năbi năđ căl p: PGS.ăTSăNguy năTu nă ng Ph năbi năđ căl p: PGS TS Lê Hoàng Thái Ph năbi n: PGS.ăTSă inhă i n Ph năbi n: PGS.ăTSă ăV năNh n Ph năbi n: PGS.ăTSăPh măTr năV NG I H NGăD N: GS TS PHAN TH T I NG L I CAM OAN Tácăgi ăxin camăđoanăđơyălƠăcơngătrìnhănghiênăc uăc aăb năthơnătácăgi ăCácăk tăqu ă nghiên c uăvƠăcácăk tălu nătrongălu năán nƠyălƠătrungăth c,ăvƠăkhôngăsaoăchépăt ăb tăk ă m tăngu nănƠoăvƠăd đưăđ iăb tăk ăhìnhăth cănƠo Vi căthamăkh oăcácăngu nătƠiăli uă(n uăcó) căth căhi nătríchăd năvƠăghiăngu nătƠiăli uăthamăkh oăđúngăquyăđ nh Tácăgi ălu năán Ch ký Lê Th Th y i TịM T T LU N ÁN Phân gi iăđ ng tham chi u vƠ phân tích c m xúc lƠ hai bƠi tốn ph bi n x ĺ ngôn ng t nhiên, đ c r t nhi u nhƠ nghiên c u quan tâm v i cách ti p c n khác nănay đư cóănhi uăcơngătrìnhăk t h p bƠi toán phân gi iăđ ng tham chi u v i tốn phân tích c m xúc nh mănơngăcaoăđ ăchínhăxác đ bƠi tốn phân tích c m xúc có c k t qu đ yăđ , chi ti t mang l i l i ích th c ti n, lu n án đ xu t gi i quy t bƠi toán phân gi i đ ng tham chi u đ i t ng cho phân tích c m xúc ơyăchính lƠ m c tiêu c a lu n án K t qu c a bƠi toánăđ xu t lƠ b baăđ iăt ng, khía c nh vƠ c m xúc c a s n ph m hay d ch v m t mi n chuyên bi t Gi i h n c a lu n ánăđ c áp d ng cácăv năb n c m xúc ti ng Anh gi i quy t bƠi toán phân gi iăđ ng tham chi uăđ iăt ng cho phân tích c m xúc, lu n ánăđ xu t xây d ng h th ng v i cách ti p c n c ăs tri th c - ontology c m xúc, k t h p gi i thu t x ĺ ngôn ng t nhiên vƠ cácăph ngăpháp h c máy, h c sâu kho ng li uăv năb n có c m xúc, có ng c nh D aătrênăđ căđi m c aăv năb n c m xúc vƠ m c tiêu c a bƠi toán, lu n án c n gi i quy t v năđ sauăđơy Th nh t,ăđ xu t ontology c m xúc vƠ đ th đ ng tham chi u h tr gi i quy t bƠi toán c a lu n án Th hai, đ xu t mơ hình phân gi iăđ ng tham chi uăđ iăt m tăđ iăt ng cho phân tích c m xúc có ng Th ba, đ xu t mơ hình lƠm giƠu ontology c m xúc cho mi n chuyên bi t Th t ,ăđ xu t mơ hìnhăxácăđ nhăkhíaăc nhă nătrongăv năb năc măxúc.ă Th n m,ăđ xu t mơ hình phân gi iăđ ng tham chi uăđ iăt có nhi uăđ iăt ng Ph n th c nghi m c a lu n ánăđ ng cho phân tích c m xúc c th c hi n kho ng li u v nă b n c m xúc bình lu n v s n ph m, d ch v trang web c a Amazon vƠ YouNetMedia Các k t qu th c nghi m ph n ánh tính kh thi c a gi i thu t, mơ hình đ xu t lu n án ii ABSTRACT Coreference resolution and aspect-based sentiment analysis are popular problems in natural language processing (NLP) and are going under research by the NLP community with different approaches Up to now, many works combine co-referencing resolution into the sentiment analysis problem to improve accuracy In order for the sentiment analysis problem to have complete and detailed results that bring practical benefits, the thesis proposes to solve the object coreference resolution problem for sentiment analysis This is the aim of the thesis Results of the problem are triplets of object-aspect-sentiment, which belong to special products or services on a domain The limit of the thesis is applied to English sentiment texts To build object coreference resolution in sentiment analysis, the thesis proposes a fairly popular knowledge-based approach, sentiment ontology, combining natural language processing algorithms, machine learning, and deep learning on contextual sentiment corpus Based on the characteristics of the sentiment text and the goal of the problem, the thesis must solve the following problems Firstly, the thesis proposes sentiment ontology and the coreference graph to support the problem of object coreference resolution in sentiment analysis Secondly, the thesis proposes the model of object coreference resolution on texts with one object Thirdly, the thesis proposes the instance-based enrichment of the sentiment ontology model depending on the special domain Fourthly, the thesis proposes the implicit aspect identification model in sentiment texts Finally, the thesis proposes object coreference resolution in sentiment analysis with more than one object The experiments of the thesis are carried out on the corpus of sentiment texts commenting on products and services on the Amazon website and the YouNetMedia Company The experimental results reflect the feasibility of the proposed algorithms and models in the thesis iii L IC M TrongăqătrìnhăhoƠnăthƠnhălu năán,ătơiăđưăđ N căcácăTh yăCơăn iăc ăs ăđƠoăt oăgiúpăđ ă t nătình,ăc ăquanăn iăcơngătácăt oăm iăđi uăki năthu năl iăvƠăgiaăđìnhăc̀ng b n b̀ th ngă xuyênăđ ngăviênăkhíchăl Lu năánănƠyăđư đ c hoƠn thƠnh v iăs ăh báu r t nhi u t GS.TS.ăPhanăTh ăT ngăd năt n tình,ăgiúpăđ ăvƠ s đ ng viên quý i,ăcánăb h ngăd nămƠătôiătônătr ngăvƠăbƠyăt ălịngă bi tă năsơuăs cănh t Quaăđơy,ătơiăbƠyăt ălịngăbi tă năcácăth yăcơătrongăkhoaăKhoaăh căvƠăK ăthu tăMáyătínhă tr ngă iăh căBáchăKhoaăTp.H ăChíăMinhăđưăt oăđi uăki năthu năl iăchoătơi q trìnhăh căt păvƠănghiênăc uăt iăKhoa.ă L iăc mă năc aătơiăxinăđ căg iăđ năPhịngăQu năĺăSauă iăh căv ăs ăh ătr ăcácăth ăt că trongăquáătrìnhăhoƠnăthƠnhălu năán ngăth i,ătôiămu năc mă năBanăGiámăHi uătr ngă Khoaăh căCôngăngh ă&ăD ăán,ăPhịngăQu năĺăSauă đ ătƠiăc pătr iăh căBáchăKhoaăTp.HCM,ăPhịngă iăh căđưătƠiătr ăchoătơiăth căhi nă ngăn mă2016 Cu iăc̀ngătôiăc mă năt tăc ăb năb̀ăvƠăng viênăkhíchăl ăqăbáuăgiúpătơiăv iăthơnăđưăgópănhi uắăki năvƠănh ngăl iăđ ngă tăquaăkhóăkh năđ ăhoƠnăthƠnhăt tălu năán Tácăgi ălu năán LêăTh ăTh y iv M CL C DANHăM CăCÁCăHÌNHă NH vii DANHăM CăB NGăBI U ix DANHăM CăCÁCăT ăVI TăT T x CH NG GI IăTHI U 1.1 ngăc ănghiênăc u 1.2 M cătiêuăvƠăph măviănghiênăc u 1.3 Mơăhìnhăđ ăxu t 1.4 óngăgópăchínhăc aălu năán 10 1.5 C uătrúcăc aălu năán 13 CH NG CÁCăNGHIÊNăC UăLIÊNăQUANăVÀăCÁCăKI NăTH CăN NăT NG 14 2.1 Phơnăgi iăđ ngăthamăchi u 14 2.2 Phơnătíchăc măxúc 15 2.3 Phơnăgi iăđ ngăthamăchi uăđ iăt 2.4 Xácăđ nhăkhíaăc nhă n 25 2.5 Ontologyăc măxúcăvƠ lƠm giƠu ontology 27 2.6 Cácăki năth năt ng 33 ngăvƠăkhíaăc nhăchoăphơnătích c m xúc 19 2.6.1 M ngăn -ronănhơnăt oăậ ANN 33 2.6.2 Mơăhìnhăngơnăng ă- Ti n hu n luy n 35 2.7 K t lu n 38 CH NGă3 PHÂN GI Iă C M X́C Cị M Tă IăT 3.1 NG THAM CHI Uă IăT NGăCHOăPHỂNăTệCH NG 39 Mơ hình xácăđ nh khía c nh n - IAI 39 3.1.1 Gi i thi u 39 3.1.2 Ti năx ăĺăd ăli u 41 3.1.3 Mơ hình xácăđ nh khía c nh n 42 3.1.4 Th c nghi m 46 3.2 Mơăhìnhăphơnăgi iăđ ngăthamăchi uăđ iăt ngăchoăphơnătích c m xúcăcóăm tă đ iăt ng 53 3.2.1 Parse ậ Phân tích cú pháp 54 3.2.2 Anaphora & Entity CR - Phơnăgi iăđ ngăthamăchi uăđ iăt ăvƠăth căth 55 v 3.2.3 Aspect-based sentiment analysis - Phơnătíchăc măxúcăm căkhíaăc nh 56 3.2.4 Ontologyăc măxúc 56 3.2.5 ăth ăđ ngăthamăchi uă(CoReferenceăGraphăậ CRG) 59 3.2.6 Mô-đunăOBASCore 60 3.2.7 K tăqu ăth cănghi m 63 3.2.8 ánhăgiáăth cănghi m 65 3.3 K tălu n 66 CH NGă4 LÀM GIÀU ONTOLOGY C M X́C H TR PHÂN GI Iă NG THAM CHI U CHO PHÂN TệCH C M X́C 67 4.1 Gi i thi u 67 4.2 MơăhìnhălƠmăgiƠuăontologyăc măxúcăESOă(EnrichedăSentimentăOntology) 68 4.3 Th cănghi măvƠăđánhăgiá 75 4.4 K tălu n 79 CH NGă5 PHÂN GI Iă NGăTHAMăCHI Uă IăT NGăCHOăPHỂNăTệCH C M X́C CÓ NHI Uă IăT NG 80 tăv năđ 80 5.1 5.2 Mơăhìnhăphơnăgi iăđ ngăthamăchi uăchoăphơnătích c m xúc có nhi uăđ iăt ngăCROAS 81 5.2.1 Giaiăđo năhu năluy n 81 5.2.2 Giaiăđo năth ănghi m 86 5.2.3 ánhăgiáăth cănghi m 90 5.3 CH K tălu n 97 NGă6 K TăLU N 99 6.1 K t qu đ tăđ 6.2 H c 99 ng phát tri n 102 CÁC TÀI LI U CÔNG B C A TÁC GI LIÊNăQUANă N LU N ÁN 103 TÀI LI U THAM KH O 104 PH L C 118 vi DANH M C CÁC HÌNH NH Hình 1.1 Mơ hình phân gi iăđ ng tham chi uăđ iăt ng cho phân tích c m xúc Hình 2.1 Ki n trúc mơ hìnhăOAC2ăh ng tri th c [87] 22 Hình 2.2 Ví d ontology t ng quát [8] 28 Hình 2.3 T-Box c a ontology công nghi p [8] 29 Hình 2.4 A-Box c a ontology công nghi p [8] 29 Hình 2.5 T ng quan OntoSenticNet [104] 31 Hình 2.6 Ki n trúc lƠm giƠu ontology [113] 32 Hình 2.7 M tăn -ron nhân t o ậ Perceptron 34 Hình 2.8 Ki n trúc m ng n -ron nhân t o ANN 34 Hình 2.9 Word embedding c a t ắking”ăvƠăắqueen” 36 Hình 2.10 Word embeddings c a t ắbank”ăkhơngăng c nh 36 Hình 2.11 Bi u di năđ u vào c a mơ hình BERT [92] 37 Hình 3.1 Kho ng li u có ch a d u hi u xácăđ nh khía c nh n c aăắbeautiful” 40 Hình 3.2 Ki n trúc mơ hình xácăđ nh khía c nh n IAI 43 Hình 3.3 Ki n trúc m ngăn ăronănhơnăt o t ng n - mô-đunăTraining 45 Mơ-đunăTrainingăcóă69.905ăm u d li uăđ c trích xu t t Corpus12 v iă389.103ăv nă b n c m xúc v n tho iăthơngăminhă(smartphone),ătrongăđó:ăd li u hu n luy n có 64.374 m u vƠ d li u th nghi m có 5.598 m uăvƠăđ xác 0,82 nh d ng c a Corpus12ăđ c mô t chi ti tănh ăHìnhă3.4,ătrongăđó: 47 Hình 3.5 Minh h aăđ nh d ng d li u c a Corpus12 47 Hình 3.6 So sánh mơ hình IAI v iăph ngăphápăML-KB* 53 Hình 3.7 Mơ hình phân gi iăđ ng tham chi u cho phân tích c m xúc có m tăđ iăt ng 55 Hình 3.8 Ki n trúc Ontology c m xúc 58 Hìnhă3.9ă th CRG c a Ví d 3.8 62 Hình 3.10 Gi i thu t c a mơ-đunăOBASCore 61 Hìnhă3.11ă th CRG c a Ví d 3.8 sauăb c c a gi i thu t Hình 3.10 62 Hình 3.12 CRG c a Ví d 3.8 đ c th c hi n b i gi i thu t Hình 3.10 63 Hìnhă4.1ăMơăhìnhăđ xu t ESO làm giàu ontology c m xúc 69 Hình 4.2 Quan h v năph măắcompound”ă[146] 69 Hình 4.3 T p t đ ng ngh a c a danh t ắquality”ătrongăWordNet 70 Hình 4.4 C u trúc phân c p c a t ắquality”ăv i ngh aăđ u tiên 70 Hình 4.5 C u trúc phân c p c a WordNet 72 Hình 4.6 C u trúc phân c p c a WordNet 74 Hình 4.7 C u trúc c a Opinion Lexicon (OL) [138] 74 Hình 4.8 Hi u qu mơ hình ESO 614 câu 78 Hình 5.1 Ki n trúc c a mơ hình CROAS 81 Hình 5.2 Mơ-đunăTrainingăc a mơ hình CROAS 82 vii Hình 5.3 M ngăn -ronăxácăđ nh b tr ng s W2 83 Hình 5.4 K t qu phân l p c a Ví d 5.1 89 Hình 5.5 CRG c a Ví d 5.1 90 Hình 5.6 M i quan h gi a kho ng cách Euclid trung bình vƠ s b c l p c a mơ-đună hu n luy n v i 300.000 vƠ 500.000ăb c ti n hu n luy n 93 Hình 5.7 K t qu mơ-đunăphơnăl p D1 vƠ D2 v i (a) 300.000 vƠ (b)ă500.000ăb c ti n hu n luy n 94 Hình 5.8 K t qu mơ-đunăphơnăl p ví d v i (a) 300.000 vƠ (b)ă500.000ăb c ti n hu n luy n 94 Hìnhă5.9ă ánhăgiáăk t qu CROASătrênă1.000ăv năb n c m xúc 97 viii ... năcácăv năđ ănh ă phơnăgi iăđ ng? ?tham? ?chi u,ăphơnăgi iăđ ng? ?tham? ?chi u? ?cho phân tích c m xúc, phân tích c m? ?xúc, ăontologyăc m? ?xúc, ăcácăph ngăphápălƠmăgiƠuăontologyăc m? ?xúc. ăT ănh ngă tìmăhi uăcácănghiênăc... ng tham chi u đ i t ng khía c nh cho phân tích c m xúc Phân gi iăđ ng tham chi u cho phân tích c m xúc [6,87,88] xácăđ nh t , c m t ch đ iăt ng vƠ khía c nh c̀ng tham chi uăđ n m t th c th lƠ s... tr phân gi iăđ ng tham chi uăđ iăt ng cho phân tích c m xúc M c tiêu c a bƠi toán 3: - Xây d ng mơ hình xácăđ nh khía c nh n h tr phân gi iăđ ng tham chi uăđ i t ng Bài toán : Phân gi i đ ng tham