Khai phá quan điểm với kỹ thuật học sâu

Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.

TÍNH CẤP THIẾT CỦALUẬNÁN

Trongkỷnguyênbùngnổthôngtinhiệnnay,vớisựpháttriểnmạnhmẽvànhanh chóng của các nền tảng truyền thông xã hội, thương mại điện tử, người dùng không chỉ chia sẻ thông tin mà còn có thể bày tỏ thái độ, quan điểm cá nhân trực tiếp trên những nền tảng này Cụ thể là những bình luận, đánh giá, chia sẻ kinh nghiệm của cộng đồng đối với các sản phẩm, dịch vụ mà họ đã từng trải nghiệm; các quan điểm của cộngđồng đối với một chính sách mới hay đối với một nhân vật có tầm ảnh hưởng lớn; và một số vấn đề khác thông qua mạng xã hội, các diễn đàn, blog cá nhân…Thông tin từ các bình luận, chia sẻ, quan điểm dạng này đã ảnh hưởng trực tiếp đến suy nghĩ, tâm tư, nguyện vọng, hành vi của người dùng toàn cầu Lượng thông tin này đã và đang là một khối dữ liệu khổng lồ không ngừng tăng lên từng ngày từng giờ một cách khó kiểm soát. Đặc biệt từ năm 2020 đến nay, do ảnh hưởng của dịch bệnh Covid 19 cùng với những diễn biến phức tạp của đại dịch, thương mại điện tử đã tăng trưởng ngoạn mục dựa trên lựa chọn ngày càng nhiều của người tiêu dùng Đối với các cá nhân thường xuyên mua sắm trực tuyến, việc tham khảo các bình luận, nhận xét trên mạng đã ảnh hưởng rất lớn đến quyếtđịnhmuahàngcủahọ.Điềunàychothấycácnềntảngtruyềnthôngxãhội,thương mại điện tử… chính là nơi trao đổi thông tin, đưa ra các bình luận, góp ý cũng như cập nhật trạng thái người dùng ở khắp mọi nơi liên quan đến mọi vấn đề trong xã hội hiện đại.Nguồnthôngtinkhổnglồnàyđãtrởthànhmộtkhodữliệulớnđểcáccánhânvàtổ chứcsửdụngquanđiểmcộngđồngtrongtiếntrìnhraquyếtđịnh,hoạchđịnhchiếnlược đối với một sản phẩm hay dịch vụ cụthể.

Tuynhiên,cáctươngtácnhưchiasẻ,cậpnhật,đểlạibìnhluậnliêntụcđượcthực hiệnsẽdẫnđếnlượngkíchhoạtmớităngmạnh.Vấnđềnàylàmộttấtyếulàmphátsinh bùngnổdữliệu.Việctìmkiếmvàchắtlọcthôngtincầnthiếtvẫnlàmộttácvụkhókhăn vì sự gia tăng không ngừng của dữ liệu Nói một cách cụ thể, vấn đề dữ liệu lớn sẽ đi kèm vướng mắc, khó khăn trong việc kiểm soát, tìm kiếm, tổng hợp, phân tích và đánh giáquanđiểm.Dođó,việcsửdụngmộthệthống khaiphávàtổnghợpquanđiểmtự

2 động giữa lớp lớp thông tin phi cấu trúc dạng này là rất cần thiết Đặc biệt đối với các nhà hoạch định chiến lược kinh doanh, các doanh nghiệp, các tổ chức chính trị, việc sử dụnghệthốngkhaiphávàtổnghợpquanđiểmtựđộngsẽgiúphọdễdàngxácđịnhđược hướng quan điểm chuyên biệt đối với vấn đề họ quantâm.

Khai phá quan điểm hay phân tích cảm xúc[11][12][16]là lĩnh vực nghiên cứu về trích rút và phân loại quan điểm, ý kiến, cảm xúc, thái độ, đánh giá chủ quan của người dùng đối với các thực thể, cá nhân, vấn đề, sự kiện từ nội dung được phát sinh trong văn bản Khai phá quan điểm áp dụng cho các nền tảng truyền thông xã hội để nghiêncứuhànhvivàphảnứngcủangườidùngđốivớimộtsảnphẩm,dịchvụhaymột chínhsáchcụthể.Việcphântích,khaithácýkiếncủangườidùngcóthểmanglạinhững tri thức hữu ích hỗ trợ cho việc tìm hiểu xem cộng đồng sử dụng cảm thấy thế nào về dịch vụ, sản phẩm, chủ đề, tổ chức, sự kiện hay các nhân vật nổi tiếng…Trên cơ sởnày, các cá nhân và tổ chức có thể sử dụng ý kiến của cộng đồng để ra quyết định Ngoài ra, khai phá quan điểm còn giúp đạt được những mục đích khác nhau như theo dõi được tâm trạng của cộng đồng liên quan đến các cuộc vận động chính trị, mua bán, giao dịch thông minh[5],phép đo độ thoả mãn của khách hàng[72], phán đoán doanh số củamột bộ phim[117].

Quan điểm[8][39][53]trong một hệ thống khai phá quan điểm là nhân tố ảnh hưởng cốt yếu đến hành vi, thái độ của người dùng Quan điểm đóng vai trò nền tảng trong tiến trình ra quyết định của cả cá nhân và tổ chức bởi vì quan điểm có sức ảnh hưởng lớn đến dự định, xu hướng của con người Khai phá quan điểm cho phép cung cấpnhữnghiểubiếthữuíchthúcđẩycácquyếtđịnh,chiếnlượcvàmụctiêukinhdoanh hiệu quả Mục đích chính là hỗ trợ doanh nghiệp đề ra những giải pháp kinh doanh chủ động; hỗ trợ cá nhân trong tiến trình ra quyết định sử dụng sản phẩm, dịch vụ mà họ đang quan tâm Chính vì lý do này mà nhu cầu khai thác năng lực thăm dò và hiểu các quan điểm một cách tự động ngày càng được quan tâm nghiên cứu[91].

Những nội dung liên quan trong khai phá quan điểm[13][66][71]bao gồm: (1) phân loại quan điểm, (2) phân loại tính chủ quan, (3) tổng hợp quan điểm, (4) tìm kiếm và khôi phục quan điểm, (5) phân tích các quan điểm so sánh, (6) thăm dò quan điểm spam, (7) chất lượng của các bình luận.

Hiện nay có hai hướng tiếp cận để khai phá quan điểm [70][120]: hướng tiếpcận dựa trên từ vựng và hướng tiếp cận dựa trên máyhọc.

 Hướng tiếp cận dựa trên từ vựng[54][159]sử dụng phương pháp dựatrên từ điển hoặc dựa trên ngữ liệu để xác định quan điểm Đến thời điểm hiện tạiđãcónhiềunhữngnghiêncứusửdụngkỹthuậtthốngkênhưphântích ngữ nghĩa tiềm ẩn LSA[23]; hoặc kỹ thuật ngữ nghĩa như đồng nghĩa và tráinghĩa.

 Hướng tiếp cận máy học[17]có thể thực hiện phương pháp học giám sát và học không giám sát để tiến hành phân loại quan điểm Trong học giám sát,cácbàitoánphânloạicâyquyếtđịnh,phânloạituyếntínhcụthểlàkỹ thuật máy vector hỗ trợ SVM hoặc mạng neuron, phân loại dựa trên luật, phân loại xác suất cụ thể là Nạve Bayes, Bayesian Network, Maximum Entropy được sử dụng[139] Tuy nhiên các kỹ thuật này thường không hiệu quả đối với một số vấn đề khó nhận biết trong cấu trúc của ngôn ngữ tựnhiên.Chẳnghạnnhưphủđịnhcủamộtcụmtừthểhiệnquanđiểmtích cựcsẽhoàntoànngượclạivớiquanđiểmbanđầucủanónhưngnếuchúng ta không biểu diễn được cấu trúc của câu trên tập đặc trưng một cách hợp lý thì sẽ không đạt được kết quả Xét ở mức độ trừu tượng cao hơn thì những ý chế nhạo hay nghĩa bóng trong một bình luận sẽ là một thử thách lớn đối với máy tính Các hướng tiếp cận máy học truyền thống để khai phá quan điểm đều dựa trên những đặc trưng được thiết kế, tuy nhiên rất khó xử lý, điều chỉnh các đặc trưng để trích rút thuộc tính được đềcập.

Họcsâu[25][26][44][47]làmộtlĩnhvựcmớitrongnghiêncứuvềmáyhọcđược phát triển từ năm 2006 Học sâu bao gồm một lớp các kỹ thuật và kiến trúc máy họcvới khả năng sử dụng nhiều lớp trạng thái xử lý thông tin không tuyến tính[52][61][83] Dựa vào những kiến trúc và kỹ thuật này để xác định hướng sử dụng phù hợp, chẳng hạn:tổnghợp,phátsinh,nhậndạnghayphânloại[143].Ưuthếcủahọcsâulàkhảnăng tựhọctậndụngnguồndữliệukhổnglồliêntụcđượccậpnhậttừcáctrangweb,cácdiễn đàn giúp các mô hình học sâu càng ngày càng trở nên thông minh hơn, đạt độ chínhxác cao hơn[145][171][172].

Gần đây, các giải thuật học sâu[29][74]đã cho những kết quả khả quan trongxử lý tín hiệu nói chung và xử lý ngôn ngữ tự nhiên nói riêng Với tốc độ học nhanh dựa trênkhảnăngtíchhợpcardđồhoạvàđộchínhxácđạtđượckhácaonhờvàolợithếcủa dữliệulớnsẵncó,họcsâuđangngàycàngđượcquantâmnghiêncứutriểnkhaichocác bài toán xử lý dữ liệu lớn hiệnnay.

Dựa trên nhu cầu tất yếu cần có một hệ thống khai phá, tổng hợp quan điểm tự động hỗ trợ người dùng và khả năng xử lý tốt của học sâu trên dữ liệu lớn sẵn có hiện nay, đề tài “Khai phá quan điểm với kỹ thuật học sâu” được thực hiện trong khuôn khổ luậnántiếnsĩchuyênngànhkhoahọcmáytínhđãđượctriểnkhai.Luậnánmongmuốn được đóng góp một phần vào lĩnh vực khai phá, phân tích quan điểm và nghiên cứu hướng tiếp cận học sâu áp dụng cho khai phá quanđiểm.

MỤC TIÊU,ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU CỦALUẬNÁN

Luận án đi sâu tìm hiểu, áp dụng lý thuyết học sâu vào lĩnh vực khai phá quan điểm.Mụctiêuchunglàvậndụngcáckỹthuậthọcsâuđểđềxuấtvàtinhchỉnhmôhình khai phá quan điểm mức khía cạnh nhằm cải tiến độ chính xác, nâng cao hiệu suất,tăng tính tiện ích của mô hình. Các mục tiêu cụ thể gồm:

- Đềxuấttríchrútkhíacạnhcủathựcthểvớihướngtiếpcậnhọcsâuvàmôhình khai phá quan điểm thực hiện tác vụ này dựa trên các kỹ thuật họcsâu;

- Đềxuất,mởrộngkhảnăngtríchrút,phânloạicáctácvụchínhmộtcáchđồng thời (đa tác vụ/đa nhiệm) trong một hệ thống khai phá quan điểm dựa trên mức khía cạnh; và mô hình khai phá quan điểm mức khía cạnh đa tác vụthực hiện trích rút các tác vụ nói trên sử dụng hướng tiếp cận họcsâu;

- Đề xuất xây dựng một tập dữ liệu đa miền dùng cho thực nghiệm được hình thành trên cơ sở tích hợp các bình luận của người dùng trên các miền khác nhau; và mô hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền sử dụng hướng tiếp cận học sâu được thực nghiệm trên tập dữ liệu đa miềnnày.

Luận án tập trung cụ thể vào các đối tượng nghiên cứu sau:

- Khía cạnh, quan điểm, khai phá và phân tích quan điểm mức khíacạnh.

- Các kỹ thuật học sâu áp dụng cho xử lý ngôn ngữ tựnhiên.

- Cácmôhìnhtríchrútkhíacạnhvàkhaipháquanđiểmmứckhíacạnhsửdụng kỹ thuật họcsâu.

Luận án được giới hạn trong phạm vi cụ thể sau:

- Tập trung vào vấn đề khai phá quan điểm và những thuận lợi cũng như tính thực tiễn cao của việc trích rút quan điểm của ngườidùng.

- Tập trung nghiên cứu về các mạng neural sâu hỗ trợ xử lý ngôn ngữ tựnhiên vàkhaipháquanđiểm,thếmạnhvàkhảnăngtíchhợpvớicardđồhoạđểgiải quyết vấn đề tốc độ xử lý trong máyhọc.

CÁC ĐÓNG GÓP CỦALUẬNÁN

Luận án có những đóng góp sau:

- Xây dựng mô hình trích rút khía cạnh của thực thể trong khai phá quan điểm dựa trên hướng tiếp cận học sâu mới với cải tiến về hiệu suất của môhình.

- Xâydựnghệthốngkhaipháquanđiểmdựatrênmứckhíacạnhđatácvụmới nhằm dự đoán quan điểm người dùng Hệ thống thực hiện đồng thời các tác vụ: trích rút từ mục tiêu, trích rút khía cạnh, phân loại thực thể và xác định quan điểm thể hiện trên khía cạnh của thực thể trong các bình luận trên một miền xácđịnh.

- Xây dựng một tập dữ liệu bình luận đa miền dùng cho thực nghiệm Tập dữ liệu này được hình thành từ việc thực hiện trộn ngẫu nhiên các bình luận từ các miền khác nhau thành một tập dữ liệu hỗnhợpđa miền và triển khai hệ thống khai phá quan điểm trên tập dữ liệu đa miềnnày.

- Xâydựnghệthốngkhaipháquanđiểmmứckhíacạnhđatácvụđamiềnmới nhằm dự đoán quan điểm người dùng Hệ thống thực hiện đồng thời các tác vụ: trích rút khía cạnh, phân loại thực thể, phân loại miền và xác định quan điểm thể hiện trên khía cạnh của thực thể trong các bình luận thuộc tập dữ liệu đamiền.

Cụ thể, các mô hình khai phá quan điểm mới được nêu ở trên đã được xây dựng dựa trên cơ chế tích hợp các mạng học sâu:

- Mô hình khai phá quan điểm BiGRU-CRF và BiIndyLSTM-CRF thực hiện trích rút khía cạnh trong câu bìnhluận.

- Mô hình khai phá quan điểm mức khía cạnh đa tác vụ CNN-BiGRU, CNN- IOB2 và MABSA thực hiện trích rút và phân loại đa tác vụ (trích rút từ mục tiêu, khía cạnh, phân loại thực thể và xác định quan điểm trên mỗi khía cạnh của thực thể) trên tập dữ liệu đơnmiền.

- MôhìnhkhaipháquanđiểmmứckhíacạnhđatácvụđamiềnCNN-BiLSTM và CNN- BiIndyLSTM-Attention thực hiện trích rút và phân loại đa tác vụ trêntậpdữliệuđơnmiềnvàđamiền.Cácmôhìnhnàykhiđượcthựcnghiệm trên các tập dữ liệu đơn miền và đa miền đều đạt hiệu suất cao so với cácmô hình trước đây chỉ thực nghiệm trên các tập dữ liệu đơnmiền.

BỐ CỤC CỦALUẬNÁN

Trên cơ sở mục tiêu đặt ra, các đối tượng và phạm vi nghiên cứu được giới hạn, luậnánđượctổchứcthànhbaphần:Phầnmởđầu;Phầnnộidungvàkếtquảnghiêncứu, thực nghiệm; Phần kết luận và hướng pháttriển.

 Phần mở đầu giới thiệu về tính cấp thiết, mục tiêu, đối tượng, phạm vivàcácđóng góp của luậnán

 Phầnnộidungvàkếtquảnghiêncứuđượcxâydựngthànhbốnchương.Phần nàytrìnhbàytổngquanlýthuyếtvềkhaipháquanđiểm,cáccấpđộkhaipháquanđiểm, các kỹ thuật học sâu phổ biến cho xử lý ngôn ngữ tự nhiên và khai phá quan điểm, các nghiên cứu hiện nay về khai phá quan điểm cũng như những vấn đề còn phải tiếp tục giải quyết để nâng cao hiệu suất và độ chính xác của nó, từ đó đề xuất nội dung nghiên cứu của luận án Cụ thể các chương được giới thiệu khái quát bêndưới:

Chương 1 đi sâu tìm hiểu về lĩnh vực khai phá, phân tích quan điểm, các cấp độ khaipháquanđiểm,họcsâuvàcáckỹthuậthọcsâuphổbiếndùngtrongxửlýngônngữ tự nhiên, phương pháp đánh giá hiệu suất của một mô hình khai phá quan điểm, các hướngtiếpcậnkhaipháquanđiểmcũngnhưnhữngnghiêncứuhiệncóvềlĩnhvựckhai phá quan điểm để từ đó xác định được phạm vi nghiên cứu của luận án Trên cơ sở này, Chương 1 phác thảo những đề xuất cho mô hình khai phá quan điểm sẽ được cụ thểhoá trong các chương tiếptheo.

Chương 2 tập trung vào nghiên cứu trích rút khía cạnh trong khai phá quan điểm vớimôhìnhtríchrútsửdụngkỹthuậthọcsâu Môhìnhnàychophéptríchrútđượccác khíacạnhliênquanthựcthểđượcđềcậptrongcácbìnhluận.Môhìnhtríchrútkhíacạnh dựatrêncácmạnghọcsâunàyđượcsosánhvớimộtsốmôhìnhhiệncócũngthựchiện cùng một tác vụ trích rút trên hai miền Laptop và Restaurant của cùng một tập dữ liệu SemEval 2014. Hiệu suất của mô hình đề xuất trong chương 2 được đánh giá qua tính chính xác đạt được thể hiện trên độ đoF1.

Chương 3 giới thiệu các tác vụ chính trong khai phá quan điểm bên cạnh tác vụ tríchrútkhíacạnhđãđượcthựchiệntrongChương2.Songsongvớiđó,Chương3cũng trình bày mô hình khai phá quan điểm mức khía cạnh đa tác vụ tập trung trích rút và phân loại các tác vụ chính đã nêu sử dụng các kỹ thuật học sâu tích hợp Xuyên suốtmô hình được xây dựng trong Chương 3 thực hiện các tác vụ này là các mạng học sâu phổ biếnđượctíchhợpchồnglênnhauđikèmvớimộtsốkỹthuậtnhúngtừvàxácđịnhhình thái từ nhằm mục đích tăng mức độ hiểu ngữ cảnh, hình thái và ngữ nghĩa của từ trong câu bình luận Mô hình khai phá quan điểm đa tác vụ đề xuất không chỉ trích rút từng thành phần riêng lẻ trong nhóm các tác vụ chính đã nêu mà tiến hành trích rút đồngthời các tác vụ này Hiệu suất của mô hình đa tác vụ đề xuất được so sánh với các mô hình trước đây chỉ trích rút hoặc phân loại từng thành phần riêng lẻ được thực nghiệm trên cùng tập dữ liệu; được đánh giá thông qua việc đánh giá độ chính xác đạt được thể hiện lần lượt trên các độ đo Precision, Recall, F1 vàAccuracy.

Chương 4 trình bày mô hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền thực nghiệm trên một tập dữ liệu đa miền với hướng tiếp cận học sâu Khác với tiếp cận trong Chương 2 và Chương 3 chỉ thực nghiệm mô hình trên các tập dữ liệuđơn miền, mô hình khai phá quan điểm đa miền được đề cập trong Chương 4 thực nghiệm trêntậpdữliệuđamiền.Đềxuấtnàygópphầncungcấpmộtmôhìnhhiệuquảvàtương thíchvớidữliệutrêncácbìnhluậnthuộcnhiềumiềnkhácnhau.Môhìnhđượcxâydựng khẳngđịnhtínhthuậntiện,tinhgọntrongtrườnghợpchỉcầndùngmộtmôhìnhkhai phá quan điểm cho việc trích rút, phân loại khía cạnh, quan điểm…đa tác vụ trên một tậpdữliệuđamiềnsửdụnghướngtiếpcậnhọcsâumàvẫnđảmbảođộchínhxáctương đối cao Tương tự các chương trước, hiệu suất của mô hình khai phá quan điểm đa tác vụ, đa miền đề xuất được so sánh với các mô hình trước đây, được đánh giá cho thấy tínhhiệuquảcaohơnthôngquađộchínhxácđạtđượcthểhiệntrêncácđộđoPrecision,

Recall,F1vàAccuracynhưtrongChương3.Bêncạnhđó,môhìnhcũngđượctriểnkhai thực nghiệm trên cả dữ liệu đơn miền và đamiền.

 Phần kết luận và hướng phát triển đúc kết lại những đóng góp của luận ánvà hướng nghiên cứu tiếp theo để phát triển luậnán.

TỔNG QUAN VỀ KHAI PHÁ QUAN ĐIỂM VÀ KỸ THUẬTHỌC SÂU

KHAI PHÁQUANĐIỂM

Quan điểm thể hiện thái độ, xúc cảm của chủ thể bày tỏ quan điểm đối với một sảnphẩm,dịchvụ,mộtnhântốcụthểcótầmảnhhưởnglớnđốivớicộngđồnghaymột chính sách mới tác động đến quyền lợi, nghĩa vụ của toàn xã hội Quan điểm đóng vai trò nền tảng trong tiến trình ra quyết định của mỗi cá nhân, tổ chức và được chia thành hai loại[11][101]: (1) quan điểm chính quy và (2) quan điểm sosánh.

(1) Quan điểm chính quy được chia thành hai loại: quan điểm trực tiếp_được thể hiện trực tiếp trên thực thể hoặc khía cạnh của thực thể và quan điểm không trực tiếp_ không thể hiện trực tiếp trên thực thể hoặc trên khía cạnh của thực thể mà dựa trên những kết quả của nó trên một số thực thểkhác.

(2) Quan điểm so sánh biểu diễn mối liên quan về độ tương tự hoặc khác nhau của các thực thể hoặc thể hiện quan điểm của chủ thể nắm giữ quan điểm là thích khía cạnh này hơn hay khía cạnh kiahơn.

Ngoài ra, khai phá quan điểm cũng có thể phân loại thành: (i) quan điểm hiện hay(ii) quan điểm ẩn, dựa trên cách quan điểm được thể hiện trong văn bản[12]. i Quan điểm hiện là một câu chủ quan cung cấp một quan điểm chính quy hay quan điểm so sánh. ii Quan điểm ẩn là một câu khách quan mang ngụ ý quan điểm chính quy hay quan điểm so sánh.

Quan điểm được định nghĩa là nhóm năm thành phần (e i , a ij , s ijkl , h k , t l )[11]với:

- s ijkl : quan điểm trên khía cạnha ij của thực thểe i

- t l : thời gian khi quan điểm được biểu diễn bởih k

Bất cứ khi nào cần đưa ra một quyết định, người dùng sẽ có khuynh hướng tìm kiếmnhữngquanđiểmcủanhữngngườiđitrước,trảinghiệmtrước.Chẳnghạnnhưcác cá nhân thường tìm kiếm quan điểm từ bạn bè, gia đình, người quen hoặc cộng đồng mạng Các tổ chức, doanh nghiệp thường tìm kiếm các quan điểm từ các cuộc khảo sát, các nhóm tập trung, các cuộc bỏ phiếu, các chuyên gia tưvấn…

Cụ thể khi có một tập tài liệu quan điểm, việc khai phá quan điểm về cơ bản sẽ lần lượt thực hiện những tác vụ sau:

 Rút trích, phân loại thựcthể

 Rút trích, phân loại khíacạnh

 Rút trích, phân loại chủ thể nắm giữ quanđiểm

 Rút trích, chuẩn hoá thờigian

 Phân loại quan điểm trên từng khía cạnh là tích cực, tiêu cực hay trunglập

 Phát sinh tất cả các nhóm quan điểm năm thành phần (e i , a ij , s ijkl ,h k ,t l )cóxuấthiệntrongtậptàiliệudựatrênkếtquảthuđượctừcáccông việc vừa thựchiện.

Vídụ:“(1)Danangisabeautifulandfriendlytouristcity.(2)MybrotherandI used to travel here (3) My brother loves smooth white sandy beach stretching hiseyes.(4)Ilikeshimmeringbridgesintheevening.(5)Wetriedseafoodhere,sodelicious.(6)

However, my brother still complained about traffic in Danang.” (người đăng: Mark, thời gian: 18/6/2019)

Thực thể được rút trích là: e i = {“tourist”} (ở Đà Nẵng).

Tiếp theo là rút trích khía cạnh biểu diễn: a ij = {“sandy beach”, “bridges”, “seafood”, “traffic”}.

Tiếptheotìmkiếmngườinắmgiữquanđiểmh k trongcâu(1),(4)và(5)là{Mark} và trong câu (3), (5) và (6) là {anh trai củaMark}.

Sau đó xác định thời giant l khi văn bản này được đưa lên vào ngày 18/6/2019. Tácvụtiếp làphânloạiquanđiểms ijkl :quanđiểmlàtíchcực trongcâu(1)vềthànhphố du lịch Đà Nẵng Câu (3) đưa ra một quan điểm tích cực về bãi biển Đà Nẵng Câu (4) thể hiện quan điểm tích cực về các cây cầu ở Đà Nẵng Câu (5) cũng đưa ra một quan điểm tích cực về hải sản ở Đà Nẵng Câu (6) thể hiện quan điểm tiêu cực về giao thông ởĐàNẵng.Tácvụcuốicùnglàtiếnhànhphátsinhtấtcảcácquanđiểmdướidạngnhóm năm thành phần (e i , a ij , s ijkl , h k , t l ) Như vậy tác vụ này cuối cùng sẽ sinh ra nămquanđiểm là các nhóm năm thànhphần:

(tourist, general, positive, Mark,June-18-2019)

(tourist, sandy beach, positive, Mark’s brother,June-18-2019)

(tourist, bridges, positive, Mark,June-18-2019)

(tourist, food_quality, positive, Mark and his brother, June-18-2019)

(tourist, traffic, negative, Mark’s brother, June-18-2019)

Khai phá quan điểm hay phân tích cảm xúc là lĩnh vực nghiên cứu nhằm trích rút thông tin về quan điểm, cảm nghĩ, tính chủ quan, sự đánh giá, thái độ, ảnh hưởng, tầm nhìn, xúc cảm…được diễn tả trong vănbản.

CÁC CẤP ĐỘ KHAI PHÁQUANĐIỂM

TheoBingLiu[11][12],khaipháquanđiểmcóthểđượcphânchia thànhcáccấp độ/mức khác nhau, được thể hiện ở Hình1.1.

Khai phá quan điểm mức khía cạnh Khai phá quan điểm mức câu Khai phá quan điểm mức tài liệu

Hình 1.1.Các cấp độ cụ thể trong khai phá quan điểm

Mỗi cấp độ trong Hình 1.1 sẽ phù hợp với các tiêu chí và yêu cầu khai phá quan điểm cụ thể trong từng bài toán nhất định.

1.2.1 Khai phá quan điểm mức tàiliệu

Trong khai phá quan điểm mức tài liệu, toàn bộ văn bản được phân loại vào một trongcáclớpquanđiểmtíchcực,tiêucựchoặctrunglậptuỳthuộcvàođộphâncựccủa thông tin chủ quan được thể hiện trên tài liệu Cụ thể với một tài liệu bình luận được người dùng cung cấp, khai phá quan điểm sẽ giúp phát hiện được quan điểm của họ thể hiện trên toàn bộ nội dung bìnhluận.

1.2.2 Khai phá quan điểm mứccâu

Nếukhaipháquanđiểmmứctàiliệutậptrungphânloạitoànbộvănbảnvàomột trong ba lớp quan điểm thì khai phá quan điểm mức câu sẽ thực hiện ở phạm vi cụ thể vàchitiếthơn,đólàtiếnhànhphânloạiquanđiểmthểhiệntrênmỗicâubìnhluậntrong toàn văn bản vào một trong ba lớptích cực,tiêu cựchoặctrunglập.

1.2.3 Khai phá quan điểm mức khía cạnh hay mức đặctrưng

Khaipháquanđiểmmứckhíacạnhliênquanđếnviệcxácđịnhvàtríchrútnhững khía cạnh của sản phẩm từ dữ liệu nguồn và xác định quan điểm bày tỏ trên từng khía cạnh đó.

Việc khai phá quan điểm ở mức tài liệu hay mức câu không thể hiện quan điểmtíchcực,tiêucựchaytrunglậpcủangườinắmgiữquanđiểmđốivớitừngkhíacạnhcụ thể của thực thể được đề cập trong câu hay tài liệu bình luận Có thể một tài liệu là tích cực trên một thực thể không có nghĩa rằng người nắm giữ quan điểm có các quanđ i ể m tíchcựctrêntấtcảcáckhíacạnhcủathựcthểđó.Tươngtự,mộttàiliệulàtiêucựckhông cónghĩalàngườinắmgiữquanđiểmkhôngthíchmọithứcủathựcthể.Thựctếthìtrong một tài liệu đánh giá, người nắm giữ quan điểm thường thể hiện cả những quan điểm tích cực và tiêu cực trên mỗi khía cạnh của thực thể mặc dù ý kiến tổng quát trên thực thểđócóthểhoặctíchcựchoặctiêucực.Nhưvậyđểđạtđượcđếncácquanđiểmcụthể trên từng khía cạnh chi tiết của thực thể thì cần khai phá quan điểm ở mức khíacạnh.

Khai phá quan điểm dựa trên cơ cấu gồm sáu tác vụ được minh hoạ trong ví dụở mục1.1đượcgọilàkhaipháquanđiểmdựatrênkhíacạnhhaykhaipháquanđiểmmức khíacạnh[90] [91].Mộtmôhìnhtổnghợpvàkhaipháquanđiểmmứckhíacạnhsẽđảm bảo cung cấp một công thức hoàn chỉnh, trọn vẹn và chi tiết cho vấn đề khai phá quan điểm Mô hình sẽ xác định những mẫu thông tin chìa khoá nên được khai phá và mô tả một quá trình tổng hợp quan điểm có cấu trúc được tổng hợp từ những văn bản phi cấu trúc.Cụthểmôhìnhchỉkhaiphánhữngkhíacạnhcủasảnphẩm,dịchvụmàngườidùng bày tỏ quan điểm của họ trên đó và xác định những quan điểm này là tích cực hay tiêu cực.

Mỗi một cấp độ trong ba cấp độ khai phá quan điểm đã nêu trong các mục1.2.1, 1.2.2 và1.2.3cóthểhữudụngtrongcácngữcảnhkhácnhau.Việclựachọnsửdụngcấp độnàophụthuộcvàoyêucầuvàmụctiêucụthểcủamộttácvụkhaipháquanđiểmnhất định.Vídụnhưkhaipháquanđiểmmứctàiliệucóthểphùhợpđểphântíchnhanhquan điểm của một số lượng lớn tài liệu, trong khi khai phá quan điểm mức khía cạnh có thể hữu ích hơn để hiểu quan điểm đối với mỗi khía cạnh hoặc đối tượng cụ thể trong tài liệu.

Luận án tập trung vào khai phá quan điểm mức khía cạnh Đây là cấp độ chi tiết nhất trong ba cấp độ khai phá quan điểm nhằm giúp hệ thống xác định được quan điểm cụthểcủangườidùngthểhiệntrựctiếptrênmỗikhíacạnhtrongtàiliệubìnhluậnđược đềcập.

CÁC HƯỚNG NGHIÊN CỨU KHAI PHÁQUANĐIỂM

Các hệ thống khai phá quan điểm hiện nay nghiên cứu khả năng phân loại, tổng hợp, tìm kiếm và khôi phục quan điểm… đều tập trung vào một số tác vụ cụ thể như trích rút khía cạnh của thực thể mà chủ thể bình luận thể hiện quan điểm trên đó; trích rúttừhoặccụmtừthểhiệnquanđiểmcủachủ thểbìnhluận;xácđịnhhướngquanđiểm của từ hoặc cụm từ được trích rút từ đó xác định quan điểm của tài liệu, của câu hay cụ thể là quan điểm trên mỗi khía cạnh được tríchrút.

Cáchướngtiếpcậnchínhcủađaphầncácnghiêncứutrướcvàgầnđâytrongkhai phá quan điểm tập trungvào:

 Hướng tiếp cận dựa trên ngữ liệu: chủ yếu sử dụng nhóm các độ đo với các mô hình khác nhau cho khai phá quanđiểm.

 Hướng tiếp cận dựa trên máy học: sử dụng các kỹ thuật phân loại để phân loại văn bản, xác định quan điểm dựa trên các tập dữ liệu huấn luyện và kiểmtra.

1.3.1 Hướng tiếp cận dựa trên ngữ liệu

Phương pháp này sử dụng từ điển cảm xúc gồm các từ thể hiện quan điểm, cảm xúc và khớp chúng với dữ liệu trong tài liệu để xác định hướng quan điểm thể hiện trên dữ liệu đó Điểm số cảm xúc sẽ được gán cho các từ quan điểm mô tả mức độ phân loại cảmxúclàtíchcực,tiêucựchaytrunglậpcủacáctừcótrongtừđiển.Phươngphápnày thuộcvàophânloạikhônggiámsátbởivìnókhôngđòihỏinhữngtậpdữliệuhuấnluyện trước đó để phân loại dữ liệu Trong kỹ thuật không giám sát, việc phân loại được thực hiện bằng cách so sánh các đặc trưng của một văn bản có sẵn với các từ quan điểm có giátrịquanđiểmđãđượcxácđịnhtrướckhisửdụngtrongmộtkhongữliệuquanđiểm Ngữ liệu quan điểm chứa một danh sách các từ và thành ngữ được sử dụng để diễn đạt cảmxúcvàquanđiểmchủquancủaconngười Cụthể,vănbảncầnxácđịnhquanđiểm sẽ được tiến hành phân tích với một ngữ liệu quan điểm nguồn gồm tập hợp các từ tích cực và tiêu cực Nếu văn bản chứa nhiều từ thể hiện quan điểm tích cực thì nó là tích cực, ngược lại, nó là tiêucực.

Hướngtiếpcậnnàysửdụngcáckỹthuậtphânloạiđểphânloạivănbản,xácđịnh quan điểm dựa trên các tập huấn luyện và tập kiểm tra Phương pháp máy học áp dụng cho khai phá quan điểm chủ yếu thuộc về phân loại có giám sát Phương thức học có giámsátcũngchínhlàminhhoạchođịnhnghĩacủamáyhọccơbản_cókhảnăngtựhọc dựa trên dữ liệu đưa vào mà không cần phải được lập trình cụthể.

Dữ liệu vào được cung cấp cho mạng gồm nhiều cặp dữ liệu, mỗi cặp gồm dữ liệu- nhãn.Cáccặpdữliệu-nhãnnàyđượcgọilàdữliệuhuấn luyện.Từtậpdữliệuhuấn luyện này, mỗi khi có một dữ liệu mới, máy tính sẽ dự đoán được nhãn tương ứng với dữ liệu mớiđó.

𝐿 ={𝑙 1 ,𝑙 2 ,… ,𝑙 𝑛 } Với𝐷là tập dữ liệu,𝐿là tập nhãn

Với các cặp dữ liệu(𝑑, 𝑙)tương ứng, sẽ cần một ánh xạ tương đương mỗi phần tử của tập𝐷với một phần tử của tập𝐿

𝑙 𝑖 ≈ 𝑓(𝑑 𝑖 ) Sau khi hoàn tất thủ tục huấn luyện, từ một dữ liệu𝑥mới có thể xác định nhãn𝑦tương đương với dữ liệu đó.

𝑦 ≈ 𝑓(𝑥) Với hướng tiếp cận máy học, hệ thống luôn cần có hai tập dữ liệu: huấn luyệnvà kiểm tra Việc đầu tiên là thu thập dữ liệu huấn luyện Bước tiếp theo là huấn luyệnmột bộ phân loại tự động trên tập huấn luyện vừa thu thập được để tìm hiểu các đặc điểm khác biệt của tài liệu Tập kiểm tra được dùng để kiểm tra xem bộ phân loại hoạt động tốt như thế nào Một số kỹ thuật máy học thường được áp dụng để phân loại các tài liệu bìnhluậnnhưNaiveBayes,MaximumEntropyhaySupportVectorMachineđãđạtđược những thành công đáng kể trong phân tích quan điểm Mỗi khi một kỹ thuật phân loại giám sát được chọn, yếu tố quan trọng là việc lựa chọn đặc trưng Trong phân loại quan điểm sẽ tập trung vào một số đặc trưng được trình bày bêndưới

 Sự xuất hiện của thuật ngữ và tần số xuất hiện: Những đặc trưng này bao gồm uni-gramhoặcn-gramvàtầnsốhoặcsựhiệndiệncủachúng.Nhữngđặctrưng này đã được sử dụng rộng rãi và thành công trong các nghiên cứu phân loại quan điểm trướcđây.

 Part of speech (POS): Trong POS tagging, mỗi thuật ngữ trong câu sẽ được gánmộtnhãnthểhiệnvaitròcủanótrongngữcảnhvănphạm.Chẳnghạnnhư với POS tags, chúng ta có thể xác định các tính từ và trạng từ thường được sử dụng như là các từ bày tỏ quanđiểm.

 Phủ định: Đây cũng là một đặc trưng được quan tâm vì nó có khả năng đảo ngược hướng quan điểm được thểhiện.

 Các từ và cụm từ quan điểm: Đây là những từ và cụm từ bày tỏ cảm xúc/quan điểm tích cực hoặc tiêucực.

1.3.3.1 Nghiên cứu dựa trên hướng tiếp cận ngữliệu

Với hướng tiếp cận ngữ liệu, đã có nhiều nghiên cứu từ trước đến nay tập trung vào hướng tiếp cận này và bước đầu đã đạt được kết quả tương đối khả quan Turney và Littman[111]xác định quan điểm thể hiện trên từ quan điểm bằng cách quan sát mối liênhệcủatừvớimộttậpcáctừhạtnhântíchcựchaytiêucực.Takamuravàcộngsự

[55]sử dụng mô hình spin để trích rút hướng ngữ nghĩa của từ bằng cách xây dựng một mạng lưới các từ sử dụng các chú thích, định nghĩa, từ điển đồng nghĩa, trái nghĩa và nhữngthốngkêxácsuấtxuấthiệnđồngthờicủacáctừ.Kampsvàcộngsự[62]sửdụng từ điển đồng nghĩa WordNet, xác định lộ trình ngắn nhất giữa một từ bất kỳ với các từ

“good”và“bad”đểdựđoánquanđiểmcủatừ Độchínhxácphươngphápnàyđạtđược chưacaodochỉthựchiệntrêntínhtừ.CũngsửdụngtừđiểnWordNet,phươngphápcủa Hu và Liu nghiên cứu trích rút khía cạnh và xác định quan điểm[90]tập trung vào tần số xuất hiện của các danh từ và cụm danh từ đượcphát hiện bởi một bộ POS tagger và chỉnhữngdanhtừhaycụmdanhtừnàoxuấthiệnthườngxuyênthìđượcxemnhưlàcác khía cạnh Các tác giả đã tiến hành dự đoán quan điểm của từ quan điểm bằng cách sử dụng từ điển đồng nghĩa và trái nghĩa WordNet Khi chưa biết quan điểm thể hiện trên một từ, phương pháp này tìm kiếm trên WordNet danh sách các từ hạt nhân (đã được gánnhãnhướngquanđiểm),kiểmtratừcầnxácđịnhquanđiểmxemcóđồngnghĩahay trái nghĩa với từ hạt nhân hay không, nếu có thì gán nhãn từ đó trùng với nhãn của từ đồng nghĩa (ngược lại là trái nghĩa) Quá trình này được thực hiện cho đếnkhi gán nhãn toàn bộ các từ được yêu cầu Popescu và Etzioni[5]cải tiến giải thuật của Hu và Liu bằng cách thăm dò một danh từ hay cụm danh từ có phải là một khía cạnh hay khôngsử dụng độ đo PMI Scaffidi và các cộng sự[27]dựa trên việc so sánh tần số xuất hiệncủa nhữngdanhtừvàcụmdanhtừđượctríchrúttừvănbảnquanđiểmvớitỷlệxuấthiện của chúng trên một kho tài liệu tiếng Anh phổ biến để xác định các khía cạnh Long, ZhangvàZhu[24]tríchrútcáckhíacạnhcũngbằngcáchsửdụngphươngphápdựatrên tầnsốxuấthiệncủatừ.Họdùngkhoảngcáchthôngtinđểtìmđượcmộtsốlượngcáctừ cóliênquanđếnkhíacạnh,từđóchọnlựaranhữngbìnhluậnnàođangthảoluậnvềcác khíacạnhnày.Kobayashi,InuivàMatsumoto[102]sửdụngmộtbộphântíchphụthuộc đểnhậndạngnhữngmốiliênhệphụthuộcgiữakhíacạnhvàquanđiểmnhằmthựchiện tác vụ trích rút khía cạnh Tương tự, Wu và cộng sự[173]cũng dùng một bộ phân tích phụ thuộc, cụ thể dựa trên mối liên hệ phụ thuộc cụm từ, cho việc trích rút những cụm danh từ và cụm động từ có thể là các khía cạnh Qiu và cộng sự[45]đề xuất một hướng tiếp cận trích rút khía cạnh sử dụng ngữ liệu phụ thuộc miền Trong phương pháp này, tận dụng mối liên hệ cú pháp giữa quan điểm và khía cạnh với một tập các từ hạt nhân cho trước, các tác giả đã thực hiện trích rút đồng thời quan điểm và khía cạnh trong tài liệu Hầu hết các nghiên cứu dựa trên mối liên hệ phụ thuộc nêu trên đều sử dụng độ đo PMI để xác định mức độ phụ thuộc giữa cụm từ quan điểm với từ hạt nhân nhằm mục đích dự đoán được hướng ngữ nghĩa của cụmtừ.

Lu và các cộng sự[174]nghiên cứu sử dụng hướng tiếp cận ngữ liệu nhưng với phương pháp phân tích ngữ nghĩa tiềm ẩn xác suất Probabilistic Latent Semantic Analysis (pLSA) Cụ thể kỹ thuật LSA được sử dụng kết hợp với một mô hình xác suất để xác định khía cạnh và quan điểm trong văn bản Lin và He dùng một phương pháp cho phép xác định cả chủ đề và quan điểm từ tài liệu quan điểm thông qua phân bổ Dirichlet tiềm ẩn Latent Dirichlet Allocation (LDA)[20] Tuy nhiên, khía cạnh và từ quan điểm được trích rút từ mô hình của họ không được phân biệt rõ ràng Brody và Elhadad[131]cũng áp dụng mô hình chủ đề để xác định khía cạnh và tập trung xem xét những tính từ sẽ là từ quan điểm trong tài liệuđểphát hiện và phân loại quan điểm thể hiện trên khía cạnh đã xác định Các tác giả trong[77]đề xuất mở rộng từ vựng cho mô hình khai phá quan điểm mức khía cạnh với hai phương pháp tạo từ vựng: một sử dụng phương pháp thống kê và một sử dụng thuật giải di truyền Các từ vựng phát sinh sẽkết hợpvớicáctừvựngsẵncótrongkhongữliệuđểgiúpxácđịnhkhíacạnhtrongcâubình luận.

1.3.3.2 Nghiên cứu dựa trên hướng tiếp cận máyhọc

Hướng tiếp cận máy học trong khai phá quan điểm cũng đã thu hút nhiều nghiên cứugầnđây, tậptrungvàokhảnănggiảiquyếthaivấnđề:biểudiễnvănbảnvà tríchrút khía cạnh Pang và nhĩm cộng sự [17]đã so sánh hiệu suất của ba bộ phân loại Nạve Bayes(NB),MaximumEntropy(ME)vàSupportVectorMachine(SVM)trongtríchrút và phân loại quan điểm ở cấp độ tài liệu Kết quả cho thấy sự xuất hiện của đặc trưng (feature) là yếu tố quan trọng và khi tập đặc trưng nhỏ thì NB hoạt động tốt hơn SVM Ngược lại, khi không gian đặc trưng tăng lên thì SVM và ME lại hoạt động tốt hơn NB, tuy nhiên ME có thể bị ảnh hưởng bởi vấn đề quá khớp Một số các phương pháp chủ đạo phù hợp với việc học tuần tự cũng dùng các kỹ thuật máy học như Hidden Markov

Models(HMM)vàConditionalRandomField(CRF).JakobvàGurevych[100]ápdụng CRF cho các tác vụ trích rút đặc trưng như tokens, POS tags, và những phụ thuộc cú pháp từ đó xác định khía cạnh của tài liệu Li và cộng sự [43]cũng sử dụng cùng một hướngtiếpcậnđểtríchrútcảhaikhíacạnhvàquanđiểmbằngviệckếthợphaibiếnthể củaCRFlàSkip- CRFvàTree-CRF.Zhang[88]tríchrútđồngthờicảkhíacạnhvàquan điểm liên quan trong một mô hình CRF mở rộng sử dụng kỹ thuật mạng neural Một phươngphápwordembeddingliêntụcđãđượcsửdụngđểthaythếchonhữngkhíacạnh rời rạc trên CRF và một lớp neural được thêm vào trong mô hình này để thực hiện các tác vụ đã nêu Trong[155], các tác giả áp dụng một mô hình tích hợp của mạng neural đệ quy và CRF để trích rút khía cạnh và quanđiểm.

Cùngvớiviệcsửdụngnhữngkỹ thuậtmáyhọctruyềnthốngtrongkhaipháquan điểm, các nghiên cứu gần đây đã áp dụng các kỹ thuật học sâu để tăng độ chính xác của môhình.Nhiềucácphươngpháphọcthôngminhđãđượcnghiêncứuvàsửdụngcụthể trong[47][50]

[125] Các tác giả đã áp dụng mạng neural sâu để xây dựng các hệ thống biểudiễnđặctrưngchophântíchquanđiểm[49][56][78].KatiyarvàCardie[6]đãdùng một mạng Long Short Term Memory (LSTM) hai chiều cho việc trích rút quan điểm và xácđịnhnhữngmốiliênhệIS- FROMvàIS-ABOUTgiữaquanđiểmvới chủthểbày tỏ quan điểm và từ mục tiêu Các tác giả trong[36]đã sử dụng mô hình Deep Dynamic Neural Network cho việc nhận dạng các cử chỉ, hành vi đa phương thức Nghiên cứuđã kếthợpmạng3D C o n v o l u t i o n a l NeuralNetwork (CNN)vớimộtmạngniềm tinsâ u

MỘT SỐ HẠN CHẾ CỦA CÁC TIẾP CẬN KHAI PHÁ QUAN ĐIỂMHIỆNNAY

Các hệ thống khai phá quan điểm hiện nay đã có những bước tiến nhanh chóng đáng kể Các nghiên cứu mới liên tục được cập nhật Tuy nhiên, dù đạt được thành tựu nhấtđịnh,nhưngcáckỹthuậtđượcsửdụngtrongcáchệthốngkhaipháquanđiểmcũng cònnhiềuràocản,dẫnđếnkếtquảchưatốiưunhưmongđợi.Nhìnchungcóthểnhận thấy cả hai hướng tiếp cận nêu trên đều có những hạn chế nhất định thông qua kết quả thực nghiệm từ các nghiên cứu trước:

 Đối với hướng tiếp cận ngữ liệu (với một số nghiên cứu điển hình được tổng hợp ở Bảng1.1):

 Đòi hỏi đối với hướng tiếp cận ngữ liệu là kho ngữ liệu từ điển phải đảm bảođủlượngtừquanđiểmđểcóthểsokhớpvớicáctừtrongvănbảncầnxácđịnhquan điểm nhằm đảm bảo hiệu suất hoạt động của hệ thống Đây là một yêu cầu cực kỳ quan trọng đối với hướng tiếp cậnnày.

 Bên cạnh đó độ phân cực quan điểm của các từ đôi khi phụ thuộc rất lớn vào miền và ngữ cảnh Chẳng hạn như cùng một từ nhưng trong ngữ cảnh này hay trên miềnnàythểhiệnquanđiểmtíchcựcnhưngtrongngữcảnhkháchaytrênmiềnkháclại thể hiện quan điểm tiêu cực Điều này cũng ảnh hưởng không nhỏ đến tính chính xác của các môhình.

 Mặtkhác,cácnghiêncứudựatrênhướngtiếpcậnngữliệusửdụngcácđộ đo để xác định mối liên quan Trên cơ sở các mối liên quan này, hệ thống dự đoánđược quan điểm thể hiện trên khía cạnh của thực thể; quan điểm chung của cả câu; hay quan điểm chung của toàn văn bản Cụ thể như độ đo tương quan PMI thường được dùng để xác định mức độ phụ thuộc giữa từ hoặc cụm từ quan điểm với từ hạt nhân trong kho ngữliệutừđódựđoánhướngngữnghĩahayhướngquanđiểmcủatừhaycụmtừđó.Độ đoPMIxácđịnhmứcđộtươngquangiữahaisựkiệnxvàycụthể.Tínhtươngquanthể hiện ở việc tăng hay giảm sự kiện x sẽ kéo theo sự tăng hay giảm của sự kiện y Như vậy, độ đo tương quan dùng đo độ mạnh của sự phụ thuộc tuyến tính giữa x và y và chỉ đượctínhkhicảhaibiếnđượcxácđịnhcụthể.Đâycũngchínhlàhạnchếcủacácnghiên cứu sử dụng độ đonày.

Trong một nghiên cứu năm 2018 “Dự đoán hướng ngữ nghĩa của cụm từ trong khai phá quan điểm với độ đo thông tin tương hỗ” được in trongTạp chí Khoa học vàCông

Nghệ Đại học Đà Nẵng, số 3(124) (trong Danh mục các công trình khoa học đã côngbố),chúngtôiđãđềxuấtsửdụngnhómđộđothôngtintươnghỗcóthểđođộmạnh của sự phụ thuộc tuyến tính và phi tuyến để giải quyết tác vụ này thay thế cho độ đo PMI Kết quả thực nghiệm cho thấy việc sử dụng nhóm độ đo tương hỗ bước đầu đãđạt được những kết quả tương đối khả quan so với các nghiên cứu trước đây Tuy vậy,nhìn chung các nghiên cứu sử dụng hướng tiếp cận ngữ liệu dựa trên nhóm các độ đothường chỉđượcthựcnghiệmtrêndữliệutươngđốinhỏ,dẫnđếnđộchínhxácđạtđượccủamô hình vẫn chưa thực sự thuyếtphục.

Bảng 1.1.Các mô hình khai phá quan điểm dựa trên hướng tiếp cận ngữ liệunổi bật và hiệu suất của các môhình

Nghiên cứu Dữliệu thựcng hiệm

Zhu và cộng sự[67] Restaurants

Dragoni và cộng sự[85] Electronics,

Kamp và cộng sự[62] General

Popescu và Etzioni [5] Tập dữ liệu tự xây dựng [5]

Qiu và cộng sự[45] Electronics[4

Lu và các cộng sự[174] eBay commercial [174]

Mowlaei và cộng sự[77] Bing

 Đối với hướng tiếp cận máyhọc:

 Các kỹ thuật máy học giám sát đã cho thấy hiệu suất tốt hơn hẳn so với phương pháp dựa trên ngữ liệu không giám sát, đặc biệt đối với các nghiên cứu gầnđây sử dụng nhóm các kỹ thuật học sâu (một phân nhánh của máy học) (chi tiết ở Bảng1.2)

Bảng 1.2.Các mô hình khai phá quan điểm dựa trên hướng tiếp cận máy học nổi bật và hiệu suất của các mô hình Nghiên cứu

Dữ liệu thực nghiệm Accuracy Precision Recall F1

SVM Tập dữ liệu bao gồm các đánh giá sản phẩm bằng tiếng Hindi được thu thập từ nhiều nguồn khác nhau[87]

SVM Tập dữ liệu bao gồm các đánh giá sản phẩm bằng tiếng Anh được thu thập từ nhiều nguồn khác nhau [115]

Tập dữ liệu bao gồm các đánh giá sản phẩm bằng tiếng Anh được thu thập từ nhiều nguồn khác nhau [115]

Dữ liệu thực nghiệm Accuracy Precision Recall F1

 Giớihạnlớnnhấtcủacácphươngphápmáyhọclàđòihỏitậpdữliệuhuấn luyện phải đủ lớn để đảm bảo hệ thống có thể hoạt động tốt đạt hiệu suất tốiưu.Tuy nhiên ưu thế của thực trạng hiện nay là dữ liệu lớn luôn có sẵn, chính vì vậy mà việc áp dụng các hướng tiếp cận máy học cho khai phá quan điểm là hoàn toàn phù hợp nhằm cải thiện hiệu suất,tăng độ chính xác và tốc độ xử lý của môhình.

H ỌC SÂU VÀ NHÓM KỸ THUẬT HỌC SÂU ĐƯỢC SỬ DỤNG TRONG CÁC MÔ HÌNH KHAI PHÁ QUAN ĐIỂMĐỀXUẤT

khai phá quan điểm đề xuất 1.5.1 Họcsâu

Học sâu[25][152][153]là một lĩnh vực mới trong nghiên cứu về máy học được phát triển từ năm 2006, với mục tiêu đưa máy học tiến gần hơn nữa tới bản chất của trí tuệ nhân tạo [97][108].Học sâu bao gồm một lớp các kỹ thuật và kiến trúc máy học với khả năng sử dụng nhiều lớp trạng thái xử lý thông tin không tuyến tính Dựa vào những kiếntrúcvàkỹ thuậtnàyđểxácđịnhhướngsửdụngphùhợp,chẳnghạn:tổnghợp,phát sinh, nhận dạng hay phân loại Gần đây kỹ thuật này còn được sử dụng cho việc họcđại diệnliênquanđếnmộtcơchếphâncấpcácđặctrưnghoặckháiniệmmàtrongđónhững khái niệm mức cao hơn được định nghĩa từ những khái niệm mức thấp hơn Những giải thuậthọcsâuđãcónhữngthànhcôngquantrọngtrongmộtsốứngdụngtrítuệnhântạo truyền thống như thị giác máy tính, nhận dạng ảnh, nhận dạng tiếng nói và xử lý ngôn ngữtựnhiên.Phươngchâmcơbảncủagiảithuậthọcsâu làmôphỏng lạihoạtđộngcủa nãobộthànhthuậttoánliênquanđếntiếpthuđốitượngquansátquanhiềutầngbiểuđạt gồmcảcụthểvàtrừutượng.Tiếptheosẽlàmrõnghĩadầncácdữliệuđó.Họcsâutrong thời gian gần đây đã có thể đưa ra kết quả với độ chính xác cao do học nguồn dữ liệu khổnglồvàtậndụngnănglựcxửlýmạnhcủamáytính.Họcsâuđangthuhútnhiềuchú ý từ cả cộng đồng học thuật và công nghệ[171].

Cácmôhìnhhọcsâuhiệnnayđềudựatrênmạngneuralnhântạo.Điểmkhácbiệt chính giữa học sâu với những mạng neural nhân tạo một lớp ẩn truyền thống là chiều sâu Đó chính là số lớp mà thông qua đó dữ liệu được truyền trong một tiến trình nhận dạng mẫu nhiềubước.

Nhữngmạngneuralđơngiảnchỉsửdụngbalớpchiathànhmộtlớpdữliệunhập, một lớp dữ liệu xuất và một lớp ẩn ở giữa[25] Theo minh hoạ trong Hình 1.2, có thể thấy các neural được kết nối với nhau qua các lớp Lớp ẩn gồm các neural nhận dữ liệu nhập từ neural ở lớp trước đó rồi xử lý dữ liệu nhập này sau đó tiến hành xuất dữ liệura chocáclớpxửlýtiếptheo.Mỗineuralcungcấpdữliệuxuấtcủanóchocácneuralkhác trong lớp theo sau Mạng được huấn luyện bằng việc lặp lại thao tác điều chỉnh những trọng số đầu vào cho các neural để cố gắng tối thiểu hoá sự khác biệt giữa dữ liệu xuất của toàn bộ mạng và kết quả mongđợi. lớp input lớp output lớp ẩn (hidden)

Hình 1.2.Mô hình mạng neural đơn giản gồm 1 lớp ẩn

Như vậy có thể nói một mô hình có nhiều hơnbalớp được xem như là mô hình học

“sâu” (xem Hình 1.3) Thuật ngữ “sâu” thể hiện khái niệm có nhiều hơn một lớp ẩn trongmạng.Việctăngsốlớpẩnsẽgiúpcảithiệnđộchínhxáccủamôhìnhhọcsâu.Cần mộtsốlượnglớnnguồndữliệuvàochocácmôhìnhhọcsâu,càngnhiềudữliệuthìđầu ra càng chuẩnxác.

Trong mạng học sâu, mỗi lớp huấn luyện trên một tập thuộc tính phân biệt dựa trêndữliệuxuấtcủalớptrướcđó.Đâychínhlàkhảnăngtổhợpnhữngthuộctínhtừlớp trước, nhờ khả năng này mà mạng càng sâu (càng nhiều lớp ẩn) thì độ phức tạp lớn của các thuộc tính càng dễ nhận ra Điều này sẽ giúp cung cấp khả năng xử lý những tập dữ liệu rất lớn với hàng tỷ tham số truyền qua các hàm phituyến.

Hơn thế nữa, học sâu còn có khả năng khám phá những cấu trúc tiềm ẩn chẳng hạn như những dữ liệu không được gán nhãn hoặc phi cấu trúc còn được gọi là dữ liệu thô.Đây là lượng dữ liệu chiếm đại đa số trong thế giới thực, ví dụ như ảnh, văn bản, video và audio Một trong những vấn đề mà kỹ thuật học sâu giải quyết tốt nhất là xửlý và phân nhóm loại dữ liệu này Học sâu có thể nhận thấy điểm tương đồng và khácbiệt lớp dữ liệu nhập (input)(hidden 1) (hidden 2) (hidden 3)lớp dữ liệu xuất (output) trong một khối dữ liệu khổng lồ mà con người khó có thể tổ chức thành những cơ sở dữ liệu quan hệ hay đặt tên cho nó. lớp ẩn 1 lớp ẩn 2 lớp ẩn 3

Hình 1.3.Mô hình mạng học sâu gồm 3 lớp ẩn

Khiđứngtrướcnhiềuphânlớpcủanhữngvấnđềcầnxửlý:nhậndạngđốitượng, hiểu khái niệm, thông hiểu tiếng nói…chúng ta sẽ không biết nên lập trình như thế nào hoặcnếugiảsửchúngtacóýtưởngđểlậptrìnhthìchươngtrìnhcóthểquárắcrối,phức tạp Cho nên, thay vì cố gắng viết một chương trình, chúng ta cần tập trung phát triển mộtgiảithuậtgiúpmáytínhcóthểquansáthàngtrămhoặchàngngànvídụ,sauđómáy tính sẽ sử dụng kinh nghiệm này để giải quyết vấn đề tương tự trong những tình huống mới.Nhưvậycóthểthấycàngnhiềudữliệuđểcóthểhuấnluyệnchomạngthìđộchính xáckhimạngxửlýtìnhhuốngtươngtựđạtđượccàngcao.Đíchcuốicùnglàhuấnluyện cho máy tính giải quyết vấn đề bằng khả năng nhận diện mẫu Đã có một số giải thuật cho phép máy tính thực hiện khả năng này trong đó các kỹ thuật học sâu là mô hình thể hiện khátốt.

Một số nghiên cứu sử dụng kỹ thuật học sâu trong xử lý ngôn ngữ tự nhiên gần đây[82][109][118][119][122][142][170]đã cho kết quả tương đối khả quan Bên cạnh đó học sâu còn có khả năng thực hiện trích rút đặc trưng tự động không cần có sự can thiệp của con người, điều mà hầu hết các mô hình máy học truyền thống đều phải được cungcấp.Đólàbởivìmôhìnhhọcsâucóthểtựhọcnhữngđặctrưngnàythôngquamột tiến trình học có thứ bậc Những đặc trưng phức tạp được học tại một mức được cung cấp dựa trên những đặc trưng đơn giản hơn, có liên quan, được hình thành trong mức trước đó theo thứ bậc Lợi ích chủ yếu của học sâu là việc phân tích và học một lượng dữ liệu không giám sát khổng lồ khiến cho nó trở thành một công cụ có giá trị cho việc phân tích dữ liệu lớn Như vậy có thể thấy các kỹ thuật học sâu sẽ cung cấp một khả năng hỗ trợ rất lớn cho các tác vụ khai phá quanđiểm.

1.5.2 Các kỹ thuật học sâu phổ biến dùng trong xử lý ngôn ngữ tựnhiên và khai phá quanđiểm 1.5.2.1 Mạng neural tích chậpCNN

Mạng CNN (Convolutional Neural Network) [3][19][32][99]là một trongnhững mô hình học sâu phổ biến giúp xây dựng được những hệ thống thông minh với độchính xác cao CNN có khả năng trích rút các đặc trưng n-gram nổi bật từ câu đầu vào để tạo ramộtđạidiệnngữnghĩatiềmẩn thôngtincủacâu.Đâyđượcxemnhưlàcácđặctrưng mức cao hay đặc trưng trừu tượng được dùng cho các tác vụ xử lý ngôn ngữ tự nhiên khác nhau trong đó có phân tích quan điểm Về cơ bản mô hình mạng neural tích chập bao gồm các lớp sau: lớp Convolutional, lớp Pooling, lớp Fully connected Sự sắp xếp về số lượng và thứ tự giữa các lớp này sẽ tạo ra những mô hình khác nhau phù hợp cho các bài toán khác nhau Mạng neural tích chập đã được sử dụng rộng rãi hiện nay trong lĩnh vực nhận dạng và xử lý ảnh, âm thanh, văn bản[121][130][157][167].

Lớp Convolution thể hiện tư tưởng ban đầu của mạng neural tích chập Thay vì kết nối toàn bộ dữ liệu, lớp này dùng một tập hợp các bộ lọc có kích thước nhỏ so với ma trận câu đầu vào áp vào một vùng trong ma trận đầu vào và tiến hành tính tích chập giữa bộ lọc và giá trị trong vùng cục bộ đó Bộ lọc sẽ được dịch chuyển/trượt theo một giá trị bước trượt chạy dọc theo ma trận câu và quét toàn bộ ma trận (xem Hình 1.4) Nếu trong lớp có bao nhiêu bộ lọc thì sẽ có bấy nhiêu ánh xạ đặc trưng tương ứng mà n x k đại diện lớp Convolution với nhiều bộ lọc và ánh xạ đặc trưng

Max pooling Lớp fully connected lớpnàytrảvềvàđượctruyềnvàolớptiếptheo.Cáctrọngsốcủabộlọcbanđầusẽđược khởi tạo ngẫu nhiên và sẽ được học dần trong quá trình huấn luyện môhình.

Hình 1.4.Mạng neural tích chập [nguồn hình vẽ tham khảo từ tài liệu[170]]

HàmkíchhoạtReLUf(x)=max(0,x)thườngđượccàiđặtngaysaulớp

Convolution Hàm này kết hợp với một vài lớp của Convolution để tạo ra thông tintrừu tượng hơn cho các lớp tiếp theo Đầu ra của ReLU có sự loại bỏ đi tất cả các giá trị âm. Nói cách khác ReLU có nhiệm vụ chuyển toàn bộ giá trị âm trong kết quả lấy từ lớp Convolutionthànhgiátrị0.Ý nghĩacủacáchcàiđặtnàychínhlàtạonêntínhphituyến cho môhình.

Lớp Pooling sử dụng một cửa sổ trượt quét qua toàn bộ ma trận dữ liệu, mỗi lần trượt theo một bước trượt cho trước (xem Hình 1.5) Khác với lớp Convolution, lớp Pooling không tính tích chập mà tiến hành lấy mẫu Khi cửa sổ trượt trên ma trận dữ liệu,chỉcómộtgiátrịđượcxemlàgiátrịđạidiệnchothôngtindữliệutạivùngđóđược giữ lại Phương thức phổ biến trong lớp Pooling là MaxPooling, MinPooling và AveragePooling.

Lớp Pooling có vai trò giảm kích thước dữ liệu, từ đó làm giảm lượng tham số,tăng hiệu quả tính toán và giúp kiểm soát được hiện tượng quá khớp. x max pooling với các bộ lọc 2x2 và bước trượt 2 y

Hình 1.5.Tính toán với MaxPooling

LớpFullyConnectedcócácgiátrịdữliệuđượcliênkếtđầyđủvàonúttronglớp tiếp theo Sau khi dữ liệu được xử lý và trích rút đặc trưng từ các lớp trước đó, dữ liệu sẽ không còn quá lớn so với mô hình truyền thẳng nên có thể sử dụng mô hình truyền thẳng để tiến hành nhậndạng.

Một mạng neural tích chập được hình thành bằng cách ghép các lớp nêu trên lại với nhau (xem Hình 1.6).

MôhìnhbắtđầuvớilớpConvolution,tiếptheothườnglàhàmReLU,hoặccókhi làkếthợpcảhaithànhmộtlớp.CáclớptiếptheocóthểlàConvolutionhayPoolingtuỳ theo kiến trúc muốn xây dựng Cuối cùng là lớp fully connected để tiến hành phân lớp. Ứngdụngmạngneuraltíchchập trongxửlývănbảnvớiđầuvàolàcáccâuhoặccáctài liệu được biểu diễn dưới dạng ma trận với mỗi hàng tương ứng với một từ hoặc một ký tự Các từ được vector hoá thông qua kỹ thuật word embeddings Sử dụng các bộ lọc trượt qua các hàng của ma trận từ vì vậy độ rộng của bộ lọc sẽ tương đương vớiđộ rộng của ma trận đầu vào Thế mạnh của mạng neural tích chập là khả năng xử lý nhanh dựa vàocơchếchophépcàiđặttíchchậptrênlớpphầncứngtrêncácGPUcóthểđẩytốcđộ xử lý của máy tính tăng lên một cách đột biến[170].

Hàm kích hoạt Max pooling

2 ánh xạ đặc trưng đối với mỗi vùng

6 vector liên kết tạo thành 1 vector đặc trưng 2 lớp

3 vùng kích thước:2,3,4;mỗi vùng gồm 2 bộ lọc

Hình 1.6.Mô hình CNN trong xử lý văn bản [nguồn hình vẽ tham khảo từ tài liệu[167]]

RNN (Recurrent Neural Network)[1][110][154][168]cũng là một trong các kỹ thuật học sâu được sử dụng rộng rãi cho dữ liệu kiểu chuỗi RNN có khả năng mô hình hoá những chuỗi khác nhau có chiều dài bất kỳ dựa trên quá trình lặp lại của một đơnvị hồi quy dọc theo các token trong chuỗi Chính nhờ khả năng nhớ được các thông tin được tính toán trước đó mà RNN có thể giải quyết được yêu cầu bài toán muốn đoán từ sẽxuấthiệntiếptheotrongmộtcâu.CấuhìnhcủamộtmạngRNNcơbảnvớibướctriển khai cụ thể nhưHình1.7.

Hình 1.7.Mô hình mạng RNN và các tính toán bên trong RNN

𝑥 𝑡 : Đầu vào tại bước thứ𝑡của mô hình Cụ thể,𝑥 𝑡 là một vector tương ứng với từ thứ hai trong câu (vector one-hot).

𝑠 𝑡 : Trạng thái ẩn tại bước thứ𝑡của mô hình, đây chính là bộ nhớ của mạng

𝑠 𝑡−1 : Trạng thái ẩn tại bước trước đó𝑡 − 1

𝑜 𝑡 : Đầu ra tại bước𝑡 Cụ thể nếu muốn đoán từ xuất hiện tiếp theo thì vector xác suất các từ trong danh sách từ vựng:𝑜 𝑡 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 (𝑉𝑠 𝑡 ).

Bên cạnh các RNN truyền thống, các nghiên cứu gần đây đã phát triển các kiểu RNN hai chiều (BiRNN) và RNN hai chiều sâu (deep BiRNN).

K ẾT LUẬNCHƯƠNG 1

Chương 1 của luận án tìm hiểu về: khai phá, phân tích quan điểm và các hướng tiếp cận hiện nay đối với bài toán khai phá quan điểm; học sâu và các kỹ thuật học sâu hỗ trợ xử lý ngôn ngữ tự nhiên và phân tích quan điểm từ đó xác định hướng tiếp cận cho hệ thống khai phá quan điểm mức khía cạnh đề xuất Về khai phá, phân tích quan điểm,luậnántìmhiểucácmứckhaipháquanđiểmtừcấpđộxácđịnhquanđiểmchung chotừngtàiliệubìnhluậnđếncấpđộchitiếtcụthểứngvớitừngkhíacạnhcủathựcthể đượcđềcậptrongcâuhaytàiliệubìnhluận.Bêncạnhđó,Chương1củaluậnáncòntìm hiểucáchướngtiếpcậnkhaipháquanđiểmhiệncóvàxácđịnhưu,nhượcđiểmcủacác hướng nghiên cứu này để từ đó có định hướng lựa chọn hướng tiếp cận và kỹ thuật phù hợpchomôhìnhkhaipháquanđiểmđềxuấtđồngthờixácđịnhphạmvinghiêncứucủa luận án Về học sâu và các kỹ thuật học sâu hỗ trợ xử lý ngôn ngữ tự nhiên và phân tích quan điểm, luận án tập trung tìm hiểu các kỹ thuật phù hợp và nghiên cứu tích hợp các kỹ thuật này kết hợp với một số thao tác tiền xử lý dữ liệu để đề xuất được các mô hình khaipháquanđiểmhiệuquả.Đểđánhgiáhiệusuấtcũngnhưtínhchínhxáccủacácmô hình đề xuất, luận án sử dụng nhóm các độ đo sẽ được nhắc đến và sử dụng trong các chương tiếp theo Từ các kết quả đã tìm hiểu, Chương 1 phác thảo những đề xuất khai phá quan điểm sẽ được cụ thể hoá trong các chương tiếp theo.

RÚT KHÍA CẠNH TRONG KHAI PHÁ QUAN ĐIỂMVỚIHƯỚNG TIẾP CẬNHỌCSÂU

TRÍCH RÚT KHÍA CẠNH VỚI HƯỚNG TIẾP CẬNHỌCSÂU

Một trong những tác vụ quan trọng của khai phá quan điểm là trích rút khíacạnh của thực thể mà quan điểm bày tỏ trên đó Tác vụ này hỗ trợ xác định đúng đối tượng mà quan điểm thể hiện Đã có nhiều hướng tiếp cận và kỹ thuật khác nhau nhằm phát hiện, trích rút khía cạnh từ các bình luận phi cấu trúc Hầu hết các nghiên cứu chủ yếu thuộc vào một trong bốn hướng tiếp cận chính[11]thực hiện nhiệm vụ phát hiện, trích rútkhíacạnh:(1)dựatrêntầnsốxuấthiệncủadanhtừvàcụmdanhtừ,(2)dựatrênmối liên hệ giữa khía cạnh với quan điểm, (3) dựa trên mô hình chủ đề và (4) dựa trên học giámsát.

Hu và Liu[90]đã nghiên cứu thực hiện trích rút khía cạnh từ tài liệu quan điểm sử dụng hướng tiếp cận dựa trên tần số xuất hiện của danh từ và cụm danh từ Các tác giả tiến hành đếm số lần xuất hiện của các danh từ và cụm danh từ đã được xác định trước đó bằng một bộ gán nhãn từ loại và những danh từ và cụm danh từ nào xuất hiện thườngxuyênsẽđượcxemnhưlàcáckhíacạnh.PopescuvàEtzioni[5]đãcónhữngcải tiếngiảithuậtcủaHuvàLiuthôngquaviệcđưaradựđoánliệudanhtừvàcụmdanhtừ có phải là khía cạnh hay không bằng cách dùng độ đo PMI để đo mức độ tương quan giữa cụm từ với các từ hạt nhân đã được xác định trước trong một kho ngữ liệu có sẵn. Scaffidivàcộngsự[27]xemxéttầnsốcủacácdanhtừvàcụmdanhtừđượctríchrúttừ văn bản đánh giá với tỷ lệ xuất hiện của chúng trong một kho ngữ liệu tiếng Anh để tìm ra các khía cạnh thực sự Họ giả sử rằng những khía cạnh sản phẩm trong các bình luận về sản phẩm đó sẽ xuất hiện thường xuyên hơn trong một văn bản ngôn ngữ tự nhiên tổng quát Cũng sử dụng hướng tiếp cận dựa trên tần số xuất hiện của danh từ và cụm danh từ để trích rút khía cạnh như các nghiên cứu trên, các tác giả Long, Zhang vàZ h u

[24]đã áp dụng khoảng cách thông tin hỗ trợ tìm ra một số từ liên quan đến các khía cạnh để chọn được những bình luận nào đang thảo luận về các khía cạnh này.

Tríchrútkhíacạnhdựatrênmốiliênhệgiữakhíacạnhvàquanđiểmcũnglàmột trong những hướng tiếp cận chính hấp dẫn các nhà khoa học Liu, Hu và Cheng[ 1 3 ] đ ã ápdụngphươngphápnàyđểtríchrútcáckhíacạnhkhôngthườngxuyên.Cáctácgiảđã đề xuất hướng giải quyết: những đặc trưng khác nhau có thể được hiệu chỉnh bởi cùng mộttừquanđiểm.Nếumộtcâuhayđoạnvănbảnkhôngcókhíacạnhthườngxuyênnào xuất hiện nhưng lại chứa từ quan điểm thì danh từ hoặc cụm danh từ gần nhất với mỗi từquanđiểmsẽđượctríchrút.Vídụvớicâu“Thisviewisexcellent”,nếuchúngtabiết “excellent” là một từ quan điểm thì “view” sẽ được trích rút như là một khía cạnh mặc dù “view” xuất hiện không thường xuyên trong câu hay đoạn văn bản chứa câu đó Kobayashi, Inui và Matsumoto[102]sử dụng một bộ phân tích phụ thuộc để nhận ra nhữngmốiliênhệphụthuộcnhưvậygiữacáctừriênglẻtừđóthựchiệntácvụtríchrút khía cạnh Cũng đi theo hướng tiếp cận này, nhóm các tác giả trong[173]đã đề xuất sử dụng một bộ phân tích phụ thuộc cụm cho tác vụ trích rút cụm danh từ và cụm động từ có thể là khía cạnh Qiu và các cộng sự[45]đề xuất hướng tiếp cận trích rút đặc trưng quan điểm sử dụng kho ngữ liệu phụ thuộc miền để các đặc trưng quan điểm phụ thuộc miền có thể được tìm thấy. Phương pháp này tận dụng mối liên quan cú pháp giữa quan điểmvàkhíacạnhvớimộttậpnhỏcáctừhạtnhânquanđiểmđểtríchrútđồngthờiquan điểm và khía cạnh Nhờ vào liên hệ giữa quan điểm và khía cạnh của nó, các khía cạnh có thể được xác định bởi quan điểm có sẵn và ngượclại.

Việc sử dụng mô hình chủ đề để trích rút khía cạnh cũng là một trong những hướng tiếp cận phổ biến trong những năm gần đây Mô hình chủ đề[169]thực chất là phương pháp phát hiện các chủ đề có thể là các khía cạnh trong ngữ cảnh khai pháquan điểm Một số các nghiên cứu sử dụng hướng tiếp cận này có thể kể đến là nhóm các tác giả trong[20]đề xuất một mô hình chủ đề-tình cảm sử dụng phân bổ Dirichlet tiềm ẩn Latent Dirichlet Allocation (LDA) để trích rút khía cạnh và quan điểm Tuy nhiên vấn đề các từ quan điểm và khía cạnh được trích rút không được phân biệt rõ ràng chính là mộthạnchếtrongnghiêncứunày.Nghiêncứutrong[174]tríchrútkhíacạnhbằngcách sử dụng mô hình chủ đề pLSA có cấu trúc với khả năng mô hình hoá sự phụ thuộc cấu trúc của các cụm từ trong các đánh giá ngắn Hơn nữa, mô hình này có thể dự đoán xếp hạng cho mỗi đặc trưng được trích rút bằng cách kết hợp tất cả các đánh giácủabình luậnvàkếtquảphânloạicủamộtphânloạiđặctrưngđã họcđược.BrodyvàElhadad

[131]thìápdụngmôhìnhchủđềđểxácđịnhkhíacạnhvàsauđóxácđịnhtừquanđiểm cụ thể trên khía cạnh đó bằng cách chỉ xem xét các tínhtừ.

Trích rút khía cạnh dựa trên hướng tiếp cận học giám sát cũng được quan tâm nghiên cứu rất nhiều trong thời gian gần đây Các phương pháp chủ yếu nhất dựa trên họctuầntựsửdụngcáckỹthuậtmáyhọcnhưHMMvàCRFcụthểnhưJinvàHo[151]trích rút các cụm từ khía cạnh và quan điểm bằng cách học các khuôn dạng với mô hình từvựngHMM.JakobvàGurevych[100]ápdụngCRFchocáctácvụtríchrútđặctrưng độc lập miền như tách từ, gán nhãn từ loại, phụ thuộc cú pháp Các tác giả trong[43]cũng sử dụng cùng một hướng tiếp cận để trích rút cả đặc trưng liên quan khía cạnh và quan điểm bằng cách kết hợp hai biến thể CRF là Skip-CRF và Tree-CRF Wang vàcác cộng sự[155]đã sử dụng một mô hình tích hợp mạng neural đệ quy Recursive Neural Network và CRF để trích rút đặc trưng của khía cạnh và quanđiểm.

Bêncạnhviệcsửdụngcáckỹthuậtmáyhọctruyềnthống,tríchrútkhíacạnhvới học giám sát cũng áp dụng các kỹ thuật học sâu nhằm tăng độ chính xác cho mô hình Học sâu như đã được đề cập trong Chương 1, là một lĩnh vực mới trong nghiên cứu về máy học được phát triển từ năm 2006 Học sâu bao gồm một lớp các kỹ thuật và kiến trúcmáyhọcvớikhảnăngsửdụngnhiềulớptrạngtháixửlýthôngtinkhôngtuyếntính Dựa vào những kiến trúc và kỹ thuật này để xác định hướng sử dụng phù hợp, chẳng hạn: tổng hợp, phát sinh, nhận dạng hay phân loại Ưu thế của học sâu là khả năng càng họcnguồndữliệulớnthìcácmôhìnhhọcsâucàngtrởnênthôngminhhơn,đạtđộchính xác caohơn.

Thời gian gần đây đã có một số nghiên cứu áp dụng học sâu cho khai phá quan điểmvàtríchrútkhíacạnh.CụthểnhưnghiêncứucủaKatiyarvàCardie[6]đãsửdụng một mạngLSTM hai chiều để trích rút thực thể và xác định mối liên quan IS-FROM và IS-ABOUT giữa một từ hay cụm từ bày tỏ ý kiến với người nắm giữ quan điểm và đích quan điểm Irsoy vàCardie[104]đã phát triển một ứng dụng dùng mạng RNN sâu hai chiềuđểtríchrútkhíacạnhvớikếtquảđạtđượcvượtxanhữngứngdụngsửdụngmạng RNN nông truyền thống trước đó với cùng số lượng tham số trong các mạng Liu và nhóm cộng sự[110]thực hiện một lớp các mô hình phân biệt dựa trên RNN Cơ chế nhúng từ trong mô hình này được huấn luyện từ 3 nguồn khác nhau trong các kiếnt r ú c

RNN khác nhau là Elman-type, Jordan-type, LSTM và các biến thể của chúng cho tác vụ xác định khía cạnh Một kiến trúc mạng CNN sâu 7 lớp cũng được áp dụng trong

[137]để gán nhãn mỗi từ trong tài liệu quan điểm là khía cạnh hoặc không và kết hợp với một tập mô hình ngôn ngữ Các tác giả trong[7]đã dùng B-LSTM và CRF để trích rút khía cạnh và tự động xây dựng tập dữ liệu cho tác vụ này Tuy nhiên, hiệu suất đạt được của các mô hình trong các nghiên cứu này đa phần chưa cao Lý do chính là việc lựachọnkỹthuậtnhúngtừvàcácthamsốtrongmôhìnhchưathậtsựphùhợp.Bêncạnh đó,mộtsốnghiêncứutậptrungxâydựngtậpdữliệuriêngvàthựcnghiệmmôhìnhtrên tập dữ liệu đó dẫn đến độ chính xác đạt được chưa đáng tincậy.

Dù theo hướng tiếp cận nào, một hệ thống khai phá quan điểm luôn mong muốn mang lại những kết quả khả quan, thoả mãn nhiều hơn và đa dạng hơn nhu cầu cập nhật thôngtinbìnhluậnchínhxáccủangườidùng.Mụcđíchchínhlàhỗtrợchủyếuchoviệc ra quyết định của mỗi cá nhân, tổ chức Mặt khác, trong kỷ nguyên bùng nổ thông tin hiệnnay,vớinguồndữliệulớnđangcósẵnởkhắpmọinơivàkhôngngừnglớnlêntừng ngàytừnggiờ,làmthếnàođểcóthểkhaitháctriệtđểnguồnthôngtinđó,xácđịnhđúng quan điểm, thái độ trên mỗi bình luận là một yêu cầu tiên quyết Yêu cầu này tương đối khắt khe, đòi hỏi tính hiệu quả đối với mỗi nghiên cứu đề xuất đảm bảo phù hợp và hỗ trợ hữu hiệu cho mọi đối tượng người dùng Đã có những mô hình trích rút khía cạnh thuộc một trong bốn hướng tiếp cận (được đề cập ở phần đầu của mục 2.1) được giới thiệu và áp dụng rộng rãi, tuy nhiên độ chínhxácđạt được chưa cao và còn phụ thuộc rất nhiều vào dữ liệu thựcnghiệm.

Trong bối cảnh đó, tận dụng khả năng xử lý tốt trên dữ liệu lớn của học sâu,luận án đề xuất áp dụng hướng tiếp cận học sâu cho tác vụ trích rút khía cạnh trong khai phá quanđiểm.

Trong phạm vi Chương 2, luận án tập trung đề xuất mô hình trích rút khía cạnh trên cơ sở một số kỹ thuật học sâu là các biến thể của mạng RNN cụ thể là GRU và LSTM Mô hình được thực nghiệm trên tập dữ liệu gán nhãn SemEval 2014 bao gồm

7686 bình luận để trích rút và phân loại tập đặc trưng trên các bình luận Nhóm các kỹ thuậthọcsâuđượcsửdụngtrongmôhìnhđềxuấtđãtừngchứngtỏđượckhảnăngvượt trộitrongxửlýngônngữtựnhiên,đặcbiệtlàvớixửlýdữliệulớn.Dựatrênhaikỹthuật này, luận án đã cải tiến đồng thời tích hợp thành các mạng hai chiều BiGRU và BiIndyLSTM để tận dụng khả năng nhớ dữ liệu từ cả hai chiều trên câu đầu vào Song song với đó, để mô hình đạt hiệu suất cao, luận án kết hợp lựa chọn công cụ word embedding phù hợp nhằm mã hoá dữ liệu vào thành các vector đặc trưng chứa đầy đủ cácđặctrưngvềhìnhtháitừ,cấutrúcvàngữnghĩatrongcâuđầuvào.Bêncạnhđó,luận án cân nhắc lựa chọn tham số thích hợp đảm bảo tăng tính chính xác của mô hình trên tập dữ liệu chuẩn đã từng được sử dụng làm cơ sở thực nghiệm trong các nghiên cứu trước đây để trực tiếp so sánh, đánh giá hiệu suất của mô hình đềxuất.

Với hướng tiếp cận này, luận án đã triển khai xây dựng mô hình trích rút khía cạnh cho khai phá quan điểm Mô hình đề xuất được xây dựng trên cơ sở tích hợpmạng bộ nhớ ngắn dài độc lập hai chiều Bi-IndyLSTM (IndyLSTM có thể xem là một phiên bảncảitiếncủaluậnándựatrêncơsởmạngIndyRNN[136]đượcpháttriểnnăm2018) với CRF ở vị trí lớp cuối cùng Mô hình được huấn luyện trên tập dữ liệu gán nhãn SemEval 2014 trên hai đơn miền Laptop và Restaurant để trích rút và phân loại tập đặc trưng trên các bìnhluận.

MÔ HÌNH TRÍCH RÚT KHÍA CẠNH VỚI TIẾP CẬN HỌC SÂUĐỀ XUẤT

Như đã giới thiệu trong Mục 1.5.2.2 ở Chương 1, RNN, một kỹ thuật học sâu được sử dụng cho dữ liệu tuần tự, có khả năng mô hình hoá những chuỗi khác nhau có chiều dài bất kỳ dựa trên quá trình lặp lại của một đơn vị hồi quy dọc theo các token trong chuỗi.

Cụ thể với bài toán trích rút khía cạnh trong câu bình luận trong Chương2, chúng ta có thể sử dụng RNN cho mô hình trích rút Tuy nhiên RNN lại bị giới hạn bởi các vấn đề bùng nổ và mất mát đạo hàm dẫn đến khả năng làm việc kém hiệu quả cho việchọcnhữngphụthuộcdài[116].Chínhvìlýdonày,luậnánđãđềxuấtxâydựngmô hình trích rút khía cạnh sử dụng lần lượt GRU và IndyLSTM để giải quyết vấn đề này Trongđó:

 Mô hình thứ nhất (mục 2.2.1), luận án áp dụng mạng GRU hai chiều kết hợp với CRF để trích rút, phân loại khíacạnh.

 Môhình thứhai(mục2.2.2),luậnánápdụng mạngIndyLSTMhaichiềukếthợp với CRF để trích rút, phân loại khíacạnh.

Giải thuật huấn luyện mô hình trích rút khía cạnh:

- Dữ liệu huấn luyện (các câu đã được gánnhãn)

- Số lượng epoch (số lần duyệt qua toàn bộ dữ liệu huấnluyện)

- Kích thước batch (số lượng câu trong mỗibatch)

- Mô hình đã được huấn luyện có thể sử dụng để dự đoán nhãn khía cạnh cho dữ liệumới Bước 1 Đưa dữ liệu vào mô hình, trong đó mỗi từ trong câu đầu vào được biểu diễn bằng một vector đặc trưng

Bước 2 Khởi tạo các tham số cho mô hình Bước

3 Huấn luyện mô hình for each epoch in [1, số lượng epoch] do for each batch in [1, kích thước batch] do

- Lấy một batch dữ liệu từ dữ liệu huấnluyện

- Lan truyền thuận (ForwardPropagation) o Đưadữliệutrongbatchvàomôhìnhhuấnluyệnvàthựchiệnquátrình lan truyền thuận để tính toán giá trị dự đoán của môhình.

- Tính giá trị hàm mất mát (LossFunction) o So sánh kết quả dự đoán của mô hình với nhãn thực tế trongbatch. o Tính giá trị hàm mất mát (ví dụ: cross-entropy loss) dựa trên sự sai khácnày.

- Lan truyền ngược(Backpropagation) o Thực hiện quá trình lan truyền ngược để tính toán đạo hàm của hàm mất mát đối với các tham số môhình. o Lưu trữ đạo hàm để cập nhật tham số môhình.

- Cập nhật tham số môhình o Thực hiện cập nhật tham số mô hình bằng thuật toán tối ưu hoá dựa trên đạo hàm tính được và tham số tối ưu hóa đãchọn. end for end for

Bước 4 Đánh giá hiệu suất của mô hình trên tập dữ liệu kiểm tra

- Sử dụng tập dữ liệu kiểm tra để đánh giá hiệu suất của môhình

Bước 5 Sau khi quá trình huấn luyện hoàn tất, sử dụng mô hình đã được huấn luyện để dự đoán nhãn cho các từ trong câu mới.

2.2.1 Môhình tích hợp BiGRU-CRF cho trích rút khíacạnh Để trích rút thuật ngữ khía cạnh trong phân tích quan điểm, luận án đề xuất áp dụng hướng tiếp cận học sâu sử dụng mô hình tích hợp BiGRU và CRF với word embedding[146]đạtđượcthôngquahuấnluyệnGloVe[65]trên7686bìnhluậncủatập dữ liệuSemEval 2014 Luận án đã chọn GRU cho mô hình trích rút khía cạnh đề xuất căn cứ trên một số tính năng vượt trội của cấu trúc mạngGRU:

BiGRU layer (forward GRU + backward

 Khả năng tính toán hiệu quả của GRU so với LSTM dựa vào cấu trúc mạng chỉ có hai cổng tương đối đơn giản so với cấu trúc gồm ba cổng của LSTM Điểm này giúp cho tốc độ xử lý của GRU nhanh hơn và khả năng hiệu chỉnh dễ dàng hơn.

 KhácvớiCNN,mộtkỹthuậthọcsâukhácgầnđâycũngđượcsửdụngchotácvụ tríchrútkhíacạnh vớikhảnăngtríchxuấtcụcbộ,GRUcóthểtríchxuấtcácmẫu ngữ nghĩa ở vị trí xa so với vị trí của từ đang xét mà không cần điều chỉnh tham số khi huấn luyện mô hình.

2.2.1.1 Quy trình trích rút khía cạnh sử dụngBiGRU-CRF

Mô hình đề xuất gồm 3 lớp: một lớp word embedding đầu tiên, một lớp BiGRU tiếptheogồmhaithànhphần:mộtGRUtiếnvàmộtGRUlùi,vàmộtlớpCRFcuốicùng thựchiệnchứcnăngtríchrút,phânloạikhíacạnhtrongtàiliệubìnhluận.Quytrìnhtrích rút khía cạnh được thể hiện ở Hình2.1.

Bước 1_Đầu vào: Dữ liệu sau khi được làm sạchđược đưa vào cho mô hình dưới dạng các câu đầu vào

Bước2_Nhúngtừ:Mỗitừtrongcâuđượcbiểudiễnbởi một vector trong lớp word embedding (GloVe) đại diện cho các mối quan hệ ngữ nghĩa và ngữ cảnh của từđó Bước 3_Trích rút đặc trưng: Vector đại diện cho từng từ được biểu diễn bởi GloVe sẽ là đầu vào cho lớp BiGRU tiếp theo.

BiGRUsẽtiếnhànhhọccấutrúccâu.MôhìnhBiGRU kết hợp cả GRU thuận chiều và GRU ngược chiều để họcđặctrưngtừcảhaiphíacủacâu,giúpmôhìnhhiểu rõ hơn về mối quan hệ giữa các từ trongcâu.

Hình 2.1.Quy trình trích rút khía cạnh của mô hình BiGRU-CRF

Bước 4_Phân loại khía cạnh: Lớp CRF ở vị trí cuối đóng vai trò là một bộ phân loại hỗ trợ xác định khía cạnh câu dựa trên xác suất của các trạng thái.

2.2.1.2 Cấu trúc mô hình BiGRU-CRF

Cấu trúc mô hình BiGRU-CRF được bố trí như Hình 2.2 trong đó mục đích của từng lớp mạng trong mô hình được thể hiện rõ như sau:

• Lớpwordembedding(GloVe):Mụcđíchcủalớpnàylàchuyểnđổicáctừ trong câu thành dạng vector để mô hình có thể hiểu được Lớp GloVe giúp ánh xạ mỗi từ trong câu sang một vector số có số chiều cho trước sao cho những từ gần nhau về nghĩa sẽ có khoảng cách nhỏ hơn trong không gianvector.

• Lớp BiGRU: Mục đích của lớp này là trích rút đặc trưng từ các từ trong câu bằng cách sử dụng một mạng neuron hồi quy (recurrent neural network - RNN) có cơ chế lan truyền ngược (back-propagation) hai chiều (bidirectional) để xử lý thông tin từ cả hai phía của câu Các đặc trưng này có thể liên quan đến các tính chất ngữ nghĩa củacâu,baogồmnhữngtừkhóaliênquanđếnkhíacạnh,cáctínhtừmiêutả,cácliêntừ và các từ nối. GRU là một kiến trúc mạng RNN cải tiến của LSTM (Long Short-Term Memory), được thiết kế để giải quyết vấn đề giảm gradient trong quá trình huấn luyện mạngRNN.LớpBiGRU giúpmôhìnhhọcđượcthôngtintươngquangiữacáctừtrong câu Ví dụ, lớp BiGRU có thể học được rằng các từ "good", "excellent", "great" thường đượcsửdụngđểmiêutảcáckhíacạnhtíchcực,trongkhicáctừ"bad","poor","terrible" thường được sử dụng để miêu tả các khía cạnh tiêu cực Nó cũng có thể học được rằng các liên từ "but" và

"although" có thể chỉ ra sự phản đối hoặc sự tương phản giữa các khía cạnh khác nhau trongcâu.

• LớpCRF:Lớpnàyđóngvaitròlàbộphânloạiđểxácđịnhcáctừlàaspect hay non- aspect trong câu Luận án kết hợp CRF với cơ chế IOB (Inside-Outside- Beginning) để gán nhãn cho từng từ trong câu, giúp mô hình xác định vị trí của khía cạnh một cách chính xáchơn.

KẾT QUẢTHỰCNGHIỆM

Kết quả thực nghiệm trên mô hình đề xuất cùng với đánh giá hiệu quả của mô hình sẽ được trình bày trong nội dung mục 2.3.2 Các kết quả thực nghiệm sẽ được so sánh lần lượt với kết quả của các mô hình đã được đánh giá cao được nghiên cứu gần đâyvàtrêncùngmộttậpdữliệuthựcnghiệmđểđánhgiáhiệuquảđạtđượccủamôhình đề xuất khi áp dụng hướng tiếp cận học sâu cho bài toán trích rút khía cạnh trong khai phá quanđiểm.

2.3.1 Tập dữ liệu và công cụ sử dụng trong thựcnghiệm

LuậnánsửdụngtậpdữliệuSemEval2014 1 (Bảng2.1)chothựcnghiệmđểhuấn luyện và đánh giá mô hình đề xuất Đây là tập dữ liệu chuẩn thường được sử dụng cho bài toán khai phá quan điểm trên hai lĩnh vực/miền khác nhau là Laptop và Restaurant Tập SemEval 2014 có tổng cộng 7686 bìnhluậngồm 6086 bình luận thuộc tập huấn luyệnvà1600bìnhluậnthuộctậpkiểmtratrênhaimiềnLaptopvàRestaurant.Mỗibình luậnsẽbaogồmmộtcâuchứathôngtinvềsảnphẩmLaptophoặcRestaurantvà một

1 http://alt.qcri.org/semeval2014/task4/

65 trong ba loại nhãn tương ứng với đánh giá tích cực (positive), tiêu cực (negative) hoặc trung lập (neutral).

Bảng 2.1.Tập dữ liệu SemEval 2014

Mô hình BiGRU-CRF và Bi-IndyLSTM-CRF đề xuất của luận án sử dụng Tensorflow phiên bản 1.10.1 cho phép triển khai tính toán trên GPU NVIDIA Tesla K80 2 Tesla K80 được xây dựng để mang lại hiệu suất vượt trội trên các ứng dụng máy học và học sâu gần đây với một loạt các tính năng như thiết kế dual-GPU và Dynamic GPUBoost.Vìvậy,đâylàmộtnềntảnghoàntoànphùhợpvớimôhìnhđềxuấtcủaluận án.

2.3.2 Kết quả thực nghiệm và đánh giá hiệu quả trích rút khíacạnh

Luận án tiến hành thực nghiệm mô hình trên miền Laptop và Restaurant của tập dữ liệu SemEval 2014 Mô hình được đánh giá hiệu suất thông qua độ đo𝐹1 Trongmô hình, luận án sử dụng GloVe với vector đặc trưng 300 chiều cho BiGRU và Bi- IndyLSTM,optimizer𝑎𝑑𝑎𝑚vớilearningrate0.001,𝑑𝑟𝑜𝑝𝑜𝑢𝑡 0.5và𝑏𝑎𝑡𝑐ℎ𝑠𝑖𝑧𝑒là32 Số lượng các epoch được thiết đặt là 120 cho BiGRU-CRF vàBi-IndyLSTM-CRF.

Bảng 2.2.So sánh độ đo F1 trên mô hình BiGRU-CRF và Bi-IndyLSTM-CRF với các mô hình hiện có

2 https://www.nvidia.com/en-us/data-center/tesla-k80/

F1-score của các mô hình hiện có so với mô hình BiGRU-CRF và Bi-

SemEval 2014 ABSAB-LSTM &CRF winners

Bi-IndyLSTM &CRF BiGRU &CRF

Kết quả thực nghiệm từ Bảng 2.2 và Hình 2.5 cho thấy sự khác nhau xét về độ chính xác của bốn mô hình: hai mô hình đã được đánh giá cao hiện có so sánh với hai mô hình đề xuất của luận án Cả bốn mô hình đều thực nghiệm trên hai miền Laptop và Restaurant của cùng tập dữ liệu SemEval 2014.

 Với mô hình BiGRU &CRF:

 Trong miền Laptop: F1 cao hơn 3,95% so với mô hình SemEval 2014 ABSA winners và 0,5% so với mô hình B-LSTM &CRF

 Trong miền Restaurant: F1 cao hơn xấp xỉ 1% so với mô hình SemEval

2014 ABSA winners và 1% so với mô hình B-LSTM &CRF

 Với mô hình Bi-IndyLSTM &CRF:

 Trong miền Laptop: F1 cao hơn 5,45% so với mô hình SemEval 2014 ABSA winners và 2% so với mô hình B-LSTM &CRF

 TrongmiềnRestaurant:F1caohơnxấpxỉ1,09%sovớimôhìnhSemEval 2014 ABSA winners và 1,1% so với mô hình B-LSTM &CRF

Hình 2.5.Biểu đồ so sánh độ chính xác F1 của hai mô hình đề xuất với các mô hình đã được đánh giá cao trước đây

Thông qua kết quả độ đo F1 của hai mô hình đề xuất thể hiện trong Bảng 2.2 và biểu đồ Hình 2.5, có thể thấy rõ mô hình Bi-IndyLSTM-CRF đạt hiệu suất cao hơn mô hìnhBiGRU-CRFtrêncảhaimiềnLaptopvàRestaurant.Chínhvìlýdonày,luậnánđã chọn Bi-IndyLSTM-CRF làm mô hình đại diện để thực hiện tác vụ trích rút khía cạnh trong khai phá quanđiểm.

K ẾT LUẬN C HƯƠNG 2

Chương 2 của luận án tìm hiểu, nghiên cứu các tiếp cận trích rút khía cạnh hiện có. Trên cơ sở đó, luận án đề xuất các mô hình mới thực hiện trích rút khía cạnh của quan điểm trong khai phá quan điểm dựa trên tiếp cận học sâu Đây là một hướng tiếp cận hỗ trợ khai phá dữ liệu lớn với cấu hình mạnh trên nền tảng đámmây.Với hướng tiếp cận này, mô hình đề xuất bước đầu đã cải thiện được tốc độ xử lý và độ chính xác so với các mô hình hiện có Cả hai mô hình đề xuất trong Chương 2 đều sử dụngGloVe cho word embedding với vectơ mã hoá 300 chiều cho mỗi từ trong câu quan điểm để đưadữliệuvàohuấnluyệntrênmôhình.Cùngvớiđó,môhìnhđãtậndụngcácbiếnthể của mạng RNN được tích hợp hai chiều nhằm tận dụng thông tin của token trước vàsau của mỗi từ để hiểu rõ hơn về ngữ cảnh. Lớp CRF được gắn thêm ở vị trí phân lớp cuối cùngnhằmtăngkhảnăngnhậndạngmẫulàkhíacạnhđượcgánnhãntrongdữliệuchuỗi, giúp tăng tính hiệu quả cho mô hình đề xuất, đáp ứng tốt khả năng trích rút chính xác khía cạnh trong dữ liệu bình luận. Hiệu suất của mô hình đề xuất được thể hiện qua độ đo F1 đánh giá tính chính xác của mô hình. Triển khai các mô hình đề xuất và thực nghiệm trên hai đơn miền Restaurant và Laptop của tập dữ liệu SemEval 2014 để đánh giá, so sánh kết quả với các mô hình đã được đánh giá cao trướcđây.

Mộtsố nghiêncứucủaChương2đãđượccôngbốtạiTạpchíKhoahọcvàCông nghệ Đại học Đà Nẵng năm 2018, Hội nghị Quốc tế về Công nghệ Máy tính và Truyền thông năm 2019 (The

2019 IEEE-RIVF International Conference on Computing and Communication Technologies), Hội nghị Quốc tế về Tính toán Thông minh: Lý thuyết và Ứng dụng năm 2018 (The 7th

International Conference on FICTA 2018) và sau đó đượcintrongsáchFrontiersinIntelligentComputing:TheoryandApplications,Volume 2, tháng 1 năm2020.

PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ VỚIHƯỚNG TIẾP CẬNHỌCSÂU

KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐATÁCVỤ

Khaipháquanđiểmmứckhíacạnhliênquanđếnviệcxácđịnhvàtríchrútnhững khía cạnh của sản phẩm từ dữ liệu nguồn và xác định quan điểm bày tỏ trên từng khía cạnhđó.Môhìnhtổnghợpvàkhaipháquanđiểmdựatrênkhíacạnhcungcấpmộtcông thứchoànchỉnhchovấnđềkhaipháquanđiểm.Môhìnhnàyxácđịnhnhữngmẫuthông tin chìa khoá nên được khai phá và mô tả một quá trình tổng hợp quan điểm có cấu trúc được tổng hợp từ những văn bản không có cấutrúc.

Hệ thống khai phá quan điểm mức khía cạnh tập trung vào các tác vụ cụ thể như tríchrútthựcthể;tríchrútkhíacạnhcủathựcthể;tríchrúttừhoặccụmtừthểhiệnquan điểmcủachủthểbìnhluậntừtàiliệuquanđiểm;vàxácđịnhhướngquanđiểmcủatừ hoặc cụm từ được trích rút từ đó xác định quan điểm trên mỗi khía cạnh trong tài liệu quan điểm.

Mộthệthốngkhaipháquanđiểmmứckhíacạnhđatácvụsẽtiếnhành thựchiện ítnhấtlàhaihoặcnhiềucác tácvụnêutrên mộtcáchđồng thờinhằmđápứngđượctiêu chí tự động phân loại, xác định chính xác quan điểm được bày tỏ tương ứng với từ đích quan điểm thuộc nhóm khía cạnh nào của thực thể trong bìnhluận.

Trong Chương 3, luận án sử dụng các kỹ thuật học sâu cơ bản CNN, BiGRU và BiLSTM cho mô hình khai phá quan điểm mức khía cạnh đa tác vụ đề xuất Mô hìnhđề xuất có khả năng tận dụng được ưu thế của mạng neural tích chập với mạng neural hồi quycócơchếkiểmsoáthaichiều.Đặcđiểmcủamạngneuraltíchchậplàkhảnăngtrích rút đặc trưng cục bộ nổi bật từ câu đầu vào để tạo ra một đại diện ngữ nghĩa tiềm ẩn thông tin của câu Trong khi đó, mạng neural hồi quy hai chiều cho phép học được các biểu diễn ở vị trí xa tại các bước thời gian trước và sau so với bước thời gian đang xét.Trêncơsởcácưuđiểmnày,môhìnhđềxuấtcóthểđượccảithiệnvềhiệusuấtdựatrên ưu thế hiểu rõ ngữ cảnh và học được chính xác những đặc trưng tiêu biểu trong câu đầu vào.

M Ô HÌNH KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ VỚI TIẾP CẬN HỌC SÂUĐỀXUẤT

Trong phạm vi Chương 3, luận án tập trung đề xuất mô hình khai phá quan điểm mức khía cạnh đa tác vụ với hai tiến trình: (i) trích rút và phân loại đồng thời khía cạnh và quan điểm thuộc vào nhóm tích cực, tiêu cực hay trung lập, (ii) trích rút và phân loại đồng thời từ mục tiêu, khía cạnh, thực thể và quan điểm thuộc vào nhóm tích cực, tiêu cực hay trung lập Mô hình này sử dụng hướng tiếp cận học sâu trên cơ sở một số kỹ thuậtcụthểnhưCNN,BiLSTMvàBiGRUđãđượcnêutrongmục1.5.2.củaChương

1 Cáckỹthuậthọcsâunàytừngchứngtỏđượckhảnăngvượttrộitrongxửlýngônngữ tự nhiên, đặc biệt là với xử lý dữ liệu lớn thông qua các nghiên cứu hiện có Dựa trên cáckỹthuậtnày,luậnánđãcảitiếnvàđồngthờitíchhợpcác mạngCNN 2lớpvà3lớp sâu với các mạng hai chiều BiGRU và BiLSTM trên các mô hình khai phá quan điểm mứckhíacạnhđatácvụđềxuất.Mụcđíchlàtậndụngđượckhảnăngtríchrútđặctrưng cụcbộkếthợpnhớdữliệutừcảhaichiềutrêncâuđầuvàonhằmtăngtínhchínhxác cho các mô hình Song song với đó, cũng nhằm mục đích hỗ trợ mô hình đạt hiệu suất cao, luận án kết hợp lựa chọn công cụ nhúng từ phù hợp tích hợp với lớp nhãn POS để mã hoá dữ liệu đầu vào thành các vector đặc trưng Trong đó, mỗi vector chứa đầy đủ các đặc trưng về hình thái từ, cấu trúc, ngữ nghĩa và đặc điểm từ loại thể hiện vị trí, vai trò của từ trong ngữ cảnh văn phạm của câu đầu vào Mô hình đề xuất của luận án đã được thiết kế, xây dựng và lựa chọn tham số thích hợp đảm bảo tăng tính chính xác của môhìnhtrêncáctậpdữliệuchuẩnđãtừngđượcsửdụngtrongcácnghiêncứutrướcđây để trực tiếp so sánh, đánh giá hiệu suất của môhình.

Với hướng tiếp cận này, bước đầu luận án đã xây dựng được các mô hình phục vụ khai phá quan điểm đa tác vụ sử dụng kỹ thuật học sâu Trong đó:

 Mô hình thứ nhất (nằm trong nghiên cứu của Hội nghị khoa học Quốc gia CITA lần thứ 10 (The 10th Conference on Information Technology and ItsApplication, CITA2021))thựchiệntríchrút,phânloạikhíacạnhvàquanđiểmthểhiệntrênmỗikhía cạnh được tríchrút.

 Môhìnhthứhaivàthứba(nằmtrongnghiêncứucủaHộinghịkhoahọcQuốc tế ICFNDS lần thứ 4 (The 4th International Conference on Future Networks and DistributedSystems,ICFNDS2020)thựchiệntríchrút,phânloạitừmụctiêu,khíacạnh, thực thể và quan điểm thể hiện trên mỗi khía cạnh của thực thể được tríchrút.

Trong mô hình đề xuất thứ nhất, luận án tích hợp một mạng CNN 2 lớp sâu với mạng BiGRU_ một biến thể của mạng neural hồi quy RNN đã được sử dụng trong mô hìnhtríchrútkhíacạnhởChương2.MôhìnhđượcthựcnghiệmtrêntậpdữliệuSemEval 2014 với hai miền Laptop và Restaurant để trích rút, phân loại khía cạnh và quan điểm một cách đồng thời.

Vớimôhìnhđềxuấtthứ hai, luậnántíchhợpmạngCNN3lớpsâuvớilớp IOB2 đểgánnhãnchocáctừnhằmxácđịnhmộttừcólàtừmụctiêuhaykhông.Môhìnhđược huấn luyện trên tập dữ liệu gán nhãn SemEval 2016 trên miền Restaurant để trích rút từ mục tiêu trên các bìnhluận.

Với mô hình đề xuất thứ ba, luận án xây dựng một mạng BiLSTM_cũng là một biếnthểcủamạngneuralhồiquyRNNvàđượctíchhợptrênđỉnhcủamạngCNN3lớp tươngtựmôhìnhthứhaiđểphânloạicáctácvụcònlại:khíacạnh,thựcthểvà quan điểm trong mô hình khai phá quan điểm mức khía cạnh đa tác vụ Mô hình cũng được huấn luyện trên tập dữ liệu gán nhãn SemEval 2016 trên miền Restaurant.

Trongcảbamôhìnhđềxuấtnêutrên,bướcđầuluậnáncócảitiếntrongkỹthuật word embedding để đưa dữ liệu vào huấn luyện trên mô hình, thêm vào đó là việc lựa chọn:

(i) IOB2 thực hiện việc gán nhãn để hoàn thành tác vụ trích rút các thuậtngữ có phải là từ mục tiêu hay không trong mô hình thứhai;

(ii) sử dụng cơ chế hai chiều cho GRU và LSTM thành BiGRU và BiLSTM trong mô hình thứ nhất và thứ ba để tận dụng thông tin của token trướcvà sau của mỗi từ nhằm giúp hiểu rõ và dự đoán chính xác ngữ cảnh từ hai phía trong câu đầu vào để tiến hành trích rút các đặc trưng cho mỗi token trongcâu;

(iii) tiếp theo là việc tích hợp BiGRU cũng như BiLSTM trên đỉnh của CNN kết hợp lớp kết nối đầy đủ với hàm softmax ở vị trí cuối cùng trong mô hìnhđểhoànthànhtácvụphânloạicácthuậtngữlàkhíacạnh,thựcthểvà quanđiểm.

Tất cả các lựa chọn này của luận án cho mỗi mô hình khai phá quan điểm mức khíacạnhđềxuấtnhằmgiúptăngtínhhiệuquảchomôhình,đápứngtốtkhảnăngtrích rút và phân loại chính xác tác vụ cần xác định trong bài toán thực thi đa tácvụ.

Kết quả thực nghiệm cho thấy mô hình khai phá quan điểmmức khía cạnh đa tác vụ đề xuất của luận án bước đầu đã đạt được độ chính xác đáng kể, tốt hơn các mô hình đã từng được đánh giá cao trước đây trên cùng tập dữ liệu chuẩn Các mô hình khai phá quan điểm đa tác vụ sẽ được trình bày trong phần 3.2.1, 3.2.2 và3.2.3.

3.2.1 Môhình CNN-BiGRU cho trích rút khía cạnh và quanđiểm Đểtríchrútkhíacạnhvàquanđiểmthểhiệntrênkhíacạnhđómộtcáchđồngthời trong mô hình khai phá quan điểm mức khía cạnh, luận án đề xuất áp dụng hướng tiếp cậnhọcsâu sửdụng môhìnhtíchhợpCNN2lớpvàBiGRU vớiwordembedding[146]đạt được thông qua huấn luyệnGloVe[65]trên các bình luận của tập dữ liệu SemEval 2014 với hai miền Laptop vàRestaurant Căn cứ trên một số khả năng vượt trội củacấu trúc mạng GRU đã được trình bày trong mục 1.5.2.5 của Chương 1, luận án đã lựa chọn mạng này cho mô hình khai phá quan điểm mức khía cạnh đề xuất.

Giải thuật huấn luyện mô hình:

- Dữ liệu huấn luyện (bao gồm các câu đã được gán nhãn khía cạnh và quan điểm)

- Số lượng epoch (số lần duyệt qua toàn bộ dữ liệu huấnluyện)

- Kích thước batch (số lượng câu trong mỗibatch)

- Môhìnhđãđượchuấnluyệncóthểsửdụngđểdựđoánnhãnkhíacạnhvàquan điểm cho các dữ liệumới

Bước 1 Chuẩn hoá và chuyển đổi dữ liệu đầu vào thành các vector đặc trưng trước khi đưa vào mô hình

Bước2.Khởitạocácthamsốmôhìnhnhưsốlượngbộlọc(filter),kíchthướckernel,số lượngđơnvịGRU,độdàylớpDense,learningrate,sốlượngepoch,kíchthướcbatch… Bước 3 Định nghĩa các lớp của mô hình bao gồm: lớp CNN, lớp BiGRU, lớp Dense Trong đó nhiệm vụ của mỗi lớp nhưsau:

- Lớp CNN sẽ học các tính năng trừu tượng cục bộ của câu thông qua việc áp dụng các bộ lọc tích chập trên các vector nhúng từ trongcâu.

- Áp dụng hàm kích hoạt sau mỗi lớp tíchchập

- Sử dụng các đơn vị GRU đối xứng để học các mối quan hệ giữa các từ trong câu ở cả hai hướng (từ trái sang phải và từ phải sangtrái).

K ẾT LUẬN C HƯƠNG 3

Chương 3 của luận án tìm hiểu, nghiên cứu hệ thống khai phá quan điểm mức khía cạnh với các tiếp cận trích rút từ mục tiêu, khía cạnh, thực thể và quan điểm một cách riêng lẻ trong từng mô hình hiện có Dựa trên cơ sở đó, luận án tập trung đề xuất mô hình mới tích hợp trích rút, phân loại đa tác vụ trong khai phá quan điểm mức khía cạnh dựa trên tiếp cận học sâu Mục đích là tối ưu hoá được thời gian thiết kế; phát huy được khả năng tinh gọn mô hình bằng cách sử dụng mô hình dùng chung thay cho từng mô hình riêng lẻ cho mỗi tác vụ; cải thiện tốc độ xử lý và độ chính xác so với các mô hình trước đây Các mô hình đề xuất gồm CNN-BiGRU, CNN-IOB2 và MABSA tập trung triển khai: (i) các tác vụ trích rút, phân loại đồng thời khía cạnh và hướng quan điểm thể hiện trên khía cạnh; hoặc (ii) trích rút, phân loại đồng thời từ mục tiêu, khía cạnh, thực thể và hướng quan điểm thể hiện trên khía cạnh của thực thể trong tài liệu bình luận Luận án áp dụng hướng tiếp cận học sâu với nhóm các kỹ thuật học sâuđược thiếtkếtíchhợpvớinhautrêncácmôhìnhđềxuấtđểtậndụngthếmạnhbổtrợchonhau của các kỹ thuật này vào trong một mô hình hoàn thiện nhằm mục đích tăng hiệu suất thực thi của mô hình Cụ thể hiệu suất của các mô hình đề xuất được thể hiện qua nhóm cácđộđoPrecision,Recall,F1vàAccuracychophépđánhgiátínhchínhxáccủamô hình.TriểnkhaicácmôhìnhđềxuấtvàthựcnghiệmtrênhaimiềnRestaurantvàLaptop củatậpdữliệuSemEval2014vàSemEval2016 đểđánhgiá,sosánhkếtquảvớicácmô hình hiện có đã từng được đánh giá cao trướcđây.

Một số nghiên cứu của Chương 3 được công bố trong Hội nghị Quốc tế lần thứ 4 năm 2020 (The 4th International Conference on Future Networks and Distributed Systems, ICFNDS 2020), Hội nghị khoa học Quốc gia lần thứ

10 năm 2021 về Công nghệ Thông tin và Ứng dụng trong các lĩnh vực (The 10th Conference on Information Technology and Its Application,CITA2021).

PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ, ĐAMIỀN VỚI HƯỚNG TIẾP CẬNHỌCSÂU

KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNHĐAMIỀN

Như đã trình bày trong các phần trên việc xây dựng hệ thống tổng hợp và khai pháquanđiểmmộtcáchtựđộnggiúpngườisửdụngcóthểdễdàngxácđịnhđượchướng quan điểm cụ thể trên lĩnh vực họ quan tâm là một nhu cầu tất yếu và cần thiết Để làm được công việc này, một hệ thống khai phá quan điểm nói chung và cụ thể hơn là một hệ thống khai phá quan điểm mức khía cạnh cần thực hiện được các tác vụ chính: trích rútkhíacạnhvàphânloạiđượcquanđiểmthểhiệntrênkhíacạnhđượctríchrút.Đâycó thể xem như những tác vụ quan trọng nhất trong một hệ thống khai phá quan điểm mức khíacạnhcụthểnhằmmụcđíchxácđịnhđúngđốitượngvàquanđiểmthểhiệntrênmỗi đối tượng đó giúp chuyên biệt được thái độ và quan điểm của người muốn bày tỏ quan điểm cá nhân trên mỗi khía cạnh cụ thể của sản phẩm mà họ đã trải nghiệm cho người cần tìm kiếm thông tin hay khách hàng quan tâm Thêm vào đó, khi thực nghiệm mô hìnhtrênmộttậpdữliệuchuẩnbấtkỳ,thườngthìdữliệusẽđượcphânchiathànhnhiều miềnvàchúngtasẽtiếnhànhhuấnluyệnmôhìnhlầnlượttrêndữliệucủacácmiềnđó Vấn đề thường gặp là mỗi mô hình chỉ có thể đạt độ chính xác cao trên một trong các miềncủatậpdữliệuđó.Lýdocóthểlàdữliệutrêntừngmiềnriênglẻtrongmộttậpdữ liệucụthểthườngđượcbốtríkhôngđồngđều,cóthểcótrườnghợpdữliệutrênmộtvài miền khá ít, và nếu sử dụng hướng tiếp cận máy học nói chung và các kỹ thuật học sâu nóiriêngđểthựcnghiệmtrêncácmiềndữliệunàythìđộchínhxáccủamôhìnhsẽgiảm đi rất nhiều do không đủ dữ liệu để huấnluyện.

Giải pháp cho bài toán cải thiện độ chính xác là xây dựng nhiều mô hình thực nghiệmtrênnhiềumiềndữliệukhácnhaucủamộttậpdữliệusaochomỗimôhìnhđảm bảo đạt được độ chính xác tương đối cao trênmộtmiền xác định trong tập dữ liệu đó Tuy nhiên giải pháp này sẽ phát sinh lãng phí tài nguyên khi hàng loạt mô hình được triển khai trên nhiều miền dữ liệu khácnhau.

Trong phạm vi nghiên cứu của luận án, chúng tôi đề xuất một tiếp cận khác: xây dựng chỉ một mô hình dùng chung để thực nghiệm trên tập dữ liệu đa miền mà trongđó các miền dữ liệu được trộn lẫn với nhau một cách ngẫu nhiên Mục đích của trộn miền ở đây là hỗ trợ khả năng có thể làm giàu dữ liệu mà vẫn không gây xung đột giữa các miền đồng thời khẳng định tính hữu dụng và tiện ích của mô hình dùng chung đề xuất. Giảiphápnàychophépmôhìnhđềxuấtđượcthựcnghiệmtrênmộttậpdữliệuđadạng miền và đủ lớn để đảm bảo tính chính xác theo đúng yêu cầu của học sâu Bên cạnh đó, việc sử dụng duy nhất một mô hình cho tất cả các miền trong tập dữ liệu vẫn đảm bảo tiết kiệm tài nguyên và tăng tính thuận tiện cho môhình.

Một mô hình phân tích quan điểm mức khía cạnh thực hiện các tác vụ: trích rút khía cạnh, phân loại thực thể, xác định quan điểm thể hiện trên khía cạnh của thực thể được trích rút và được thực nghiệm trên một tập dữ liệu đa miền được xem như mộtmô hình khai phá quan điểm mức khía cạnh đa tác vụ, đamiền.

M Ô HÌNH KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ ĐA MIỀN ĐỀ XUẤT

TrongChươngnày,luậnánsửdụngbốnkỹthuậthọcsâucơbảnCNN,BiLSTM, BiIndyLSTM và Attention Với sự tích hợp của hai mạng CNN và BiLSTM đã được sử dụngtươngđốihiệuquảtrongmôhìnhChương3,luậnántiếptụcápdụngchomôhình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền đầu tiên trong Chương 4 Bên cạnh đó, ba kỹ thuật CNN, BiIndyLSTM và Attention đã được tích hợp trong mô hình thứhaicủaChương4.MụcđíchcủaviệcsửdụngthêmcơchếAttentionlàđểtăngcường khả năng tập trung chú ý vào các từ đóng vai trò chìa khoá, hỗ trợ hiểu rõ ngữ cảnh của mô hình, nhằm giúp mô hình phân loại được chính xác quan điểm dựa trên mối quan hệ giữa khía cạnh và ngữ cảnh của câu bình luận Ưu điểm của các mô hình đề xuất được xây dựng trên cơ sở tích hợp các kỹ thuật họcsâunêu trên là sự kết hợpgiữa:

 Khả năng trích rút đặc trưng cục bộ tại bước thời gian đangxét

 Khảnănghọcđượccácbiểudiễnởvịtríxatạicácbướcthờigiantrướcvà sau so với bước thời gian đangxét

 Khả năng ghi nhớ chú ý trên những thuật ngữ quan trọng đóng vai trò cốt lõi trong việc nắm bắt mối liên hệ tương quan giữa từ mục tiêu của khía cạnh với ngữ cảnh câu đầuvào.

Sự kết hợp này giúp các mô hình đề xuất có thể hiểu rõ ngữ cảnh và học được chính xác hơn những đặc trưng tiêu biểu trong câu đầu vào, hỗ trợ tốt cho bộ phân loại, từ đó tăng tính chính xác cho mô hình.

4.2.1 Môhình khai phá quan điểm mức khía cạnh đa miềnCNN-BiLSTM

Luận án tập trung đề xuất áp dụng hướng tiếp cận học sâu cho mô hình khai phá quan điểm mức khía cạnh đa miền sử dụng cơ chế tích hợp: (i) mạng CNN hỗ trợ khả năng trích rút tốt các đặc trưng trong tài liệu quan điểm; (ii) mạng BiLSTM hỗ trợ khả năng học các phụ thuộc dài từ cả hai phía của từ đang xét.

Bên cạnh đó, luận án đề xuất sử dụng tập dữ liệu đa miền Laptop_Restaurant cho thực nghiệm dựa trên tiếp cận đa miền đã đề cập ở trên trong mục 4.1.

Cụ thể, mô hình khai phá quan điểm mức khía cạnh đa miền đề xuất được huấn luyện trên tập dữ liệu gán nhãn thực hiện đa tác vụ gồm (i) trích rút khía cạnh, xác định miền và phân loại quan điểm thể hiện trên khía cạnh một cách đồng thời trên các bình luận của tập dữ liệu đa miền Laptop_Restaurant Bên cạnh đó mô hình còn được huấn luyện trên tập dữ liệu đơn miền Restaurant nhằm so sánh với các nghiên cứu trước đây cũng thực nghiệm trên miền này để có cơ sở đánh giá được hiệu suất của mô hình.

Giải thuật huấn luyện môhình:

- Dữ liệu huấn luyện gồm các câu đã được gán nhãn khía cạnh (aspect), miền (domain), và quan điểm(sentiment).

- Các siêu tham số của mô hình như số lượng bộ lọc trong lớp CNN, kích thước kernel,kíchthướclớpLSTM,sốlượnglớpmạngneuralẩn,hệsốdropout,sốlượngnhãn cho các lớp phân loại (aspect, domain, sentiment), số lượng neural trong lớp Dense, learning rate, số lượng epoch, batch size, hàm kíchhoạt…

- Mô hình khai phá quan điểm đã được huấnluyện.

Bước 1 Tiền xử lý dữ liệu đầu vào

- Chuẩnhóavàchuyểnđổidữliệuđầuvàothànhcácvectorđặctrưngsửdụngkỹ thuật nhúng từGloVe.

Bước 2 Khởi tạo các trọng số và siêu tham số của mô hình bao gồm: số lượng bộ lọc tronglớpCNN,kíchthướckernel,kíchthướclớpLSTM,sốlượnglớpmạngneuralẩn, hệsốdropout,sốlượngnhãnchocáclớpphânloại(aspect,domain,sentiment),sốlượng neural trong lớp Dense, learning rate, số lượng epoch, batch size, hàm kích hoạt… Bước 3 Xây dựng mô hình khai phá quan điểm mức khía cạnh đa miềnCNN-BiLSTM:

-Sử dụng lớp Conv1D với các bộ lọc có kích thước khác nhau để trích rút đặc trưng của các từ trong câu đầu vào.

- Đưa thông tin kết hợp vào lớp Dense để phân loại các nhãn aspect, domain và sentiment.

- Áp dụng hàm Softmax để tính xác suất cho các nhãn phânloại.

Bước 4 Huấn luyện mô hình: for each epoch in [1 to số lượng epoch] do for each batch in [1 to kích thước batch] do

- Lấy một batch dữ liệu từ dữ liệu huấnluyện

- Lan truyềnthuận o Đưadữliệutrongbatchvàomôhìnhhuấnluyệnvàthựchiệnquátrình lan truyền thuận để tính toán đầu ra dự đoán của mô hình.

- Tính giá trị hàm mấtmát o So sánh kết quả dự đoán của mô hình với nhãn thực tế trongbatch. o Tính giá trị hàm mất mát dựa trên sự sai khácnày.

- Lan truyềnngược o Thực hiện quá trình lan truyền ngược để tính toán đạo hàm của hàm mất mát đối với các tham số môhình. o Lưu trữ đạo hàm để cập nhật tham số môhình.

- Cập nhật tham số môhình o Thực hiện cập nhật tham số mô hình bằng thuật toán tối ưu hoá dựa trên đạo hàm tính được và tham số tối ưu hóa đãchọn. end for end for

Bước 5 Đánh giá hiệu suất của mô hình trên tập dữ liệu kiểm tra.

Bước 6 Sau khi quá trình huấn luyện hoàn tất, sử dụng mô hình đã được huấn luyện để dự đoán, phân loại cho các mẫu dữ liệu mới được đưa vào Từ đầu ra dự đoán của mô hình, chọn nhãn aspect, domain, sentiment có xác suất cao nhất để dự đoán cho mẫu dữ liệu mới này.

4.2.1.1 Quy trình khai phá quan điểm mức khía cạnh đa miền sử dụng CNN-

Tươngtựmôhìnhkhaipháquanđiểmmứckhíacạnhđatácvụđãđượcgiớithiệu trong Chương 3, mô hình đề xuất trong Chương 4 cũng sử dụng cơ chế tích hợp nhiều lớpmạngneuralCNNvớimộtbiếnthểcủamạngRNNlàLSTMhaichiều.Nhúngtừsử dụng GloVe trên đơn miền Restaurant, và đa miền Laptop_Restaurant Quy trình thực nghiệm mô hình được tiến hành theo các bước trong Hình4.1

Bước 1_Đầu vào: Dữ liệu đã được làm sạch được đưa vào mô hình.

Bước 2_Nhúng từ: Ở lớp đầu tiên, các từ trong câu đầu vào được biểu diễn dưới dạng vectorsố,sửdụngkỹthuậtwordembeddingGloVe.Việcbiểudiễncáctừnhưvậygiúp cho mô hình hiểu được ý nghĩa của chúng một cách dễ dàng và có thể xử lý được cáctừ tương tự vớinhau.

Bước 3_Gán nhãn từ loại: Lớp POS tag nhận đầu vào là cácvectorđạidiệnchotừngtừđượcbiểudiễnbởiGloVe và trả về các nhãn phân loại loại từ của chúng Nhãn này chophépmôhìnhbiếtđượcvaitròcủatừtrongcâu,giúp việc phân tích cú pháp và xử lý ngôn ngữ được chínhxác hơn.

Tiêu đề	Khai Phá Quan Điểm Với Kỹ Thuật Học Sâu
Tác giả	Trần Uyên Trang
Người hướng dẫn	TS. Hoàng Thị Thanh Hà, TS. Đặng Hoài Phương
Trường học	Đại học Đà Nẵng
Chuyên ngành	Khoa học máy tính
Thể loại	Luận Án Tiến Sĩ
Năm xuất bản	2023
Thành phố	Đà Nẵng

Định dạng
Số trang	171
Dung lượng	1,43 MB