Tóm tắt: Khai phá quan điểm với kỹ thuật học sâu

Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN UYÊN TRANG KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU Ngành : KHOA HỌC MÁY TÍNH Mã số : 9480101 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - 2023 Cơng trình hồn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: TS Hoàng Thị Thanh Hà TS Đặng Hoài Phương Phản biện 1: ……………………………………………… Phản biện 2: ……………………………………………… Phản biện 3: ……………………………………………… Luận án bảo vệ trước Hội đồng chấm luận án cấp Trường : Trường Đại học Bách khoa Vào hồi … … ngày … tháng … năm 2023 Có thể tìm hiểu luận án tại: - Thư viện quốc gia Việt Nam - Trung tâm Học liệu & Truyền thông, Đại học Bách Khoa 3 PHẦN MỞ ĐẦU Tính cấp thiết luận án Khai phá quan điểm lĩnh vực nghiên cứu trích rút phân loại quan điểm từ bình luận giúp theo dõi tâm trạng cộng đồng liên quan đến lĩnh vực đời sống xã hội Khai phá quan điểm cung cấp hiểu biết hữu ích thúc đẩy định, chiến lược mục tiêu kinh doanh hiệu nhằm hỗ trợ doanh nghiệp đề giải pháp kinh doanh chủ động Chính nhu cầu khai thác lực thăm dò hiểu quan điểm cách tự động ngày quan tâm nghiên cứu Hiện có hai hướng tiếp cận để khai phá quan điểm: dựa từ vựng dựa máy học Đề tài “Khai phá quan điểm với kỹ thuật học sâu” thực khuôn khổ luận án tiến sĩ chuyên ngành khoa học máy tính tận dụng khả học xác liệu lớn sẵn có với tốc độ học nhanh học sâu_một nhánh máy học với mong muốn đóng góp phần vào lĩnh vực khai phá, phân tích quan điểm Đối với hướng tiếp cận máy học thực phương pháp học giám sát học không giám sát để tiến hành phân loại quan điểm Trong học giám sát, toán phân loại định, phân loại tuyến tính sử dụng Tuy nhiên kỹ thuật thường không hiệu số vấn đề khó nhận biết cấu trúc ngôn ngữ viết Các hướng tiếp cận máy học truyền thống để khai phá quan điểm dựa đặc trưng thiết kế, nhiên khó xử lý, điều chỉnh đặc trưng để trích rút thuộc tính đề cập Mục tiêu, đối tượng phạm vi nghiên cứu luận án 2.1 Mục tiêu nghiên cứu Mục tiêu chung vận dụng kỹ thuật học sâu để đề xuất tinh chỉnh mơ hình khai phá quan điểm mức khía cạnh nhằm cải tiến độ xác, nâng cao hiệu suất, tăng tính tiện ích mơ hình Các mục tiêu cụ thể gồm: - Đề xuất mơ hình trích rút khía cạnh khai phá quan điểm sử dụng hướng tiếp cận học sâu; - Đề xuất mô hình khai phá quan điểm mức khía cạnh đa tác vụ sử dụng hướng tiếp cận học sâu; - Đề xuất mơ hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền với hướng tiếp cận học sâu; - Xây dựng tập liệu đa miền dùng cho thực nghiệm mơ hình khai phá quan điểm đề xuất 2.2 Đối tượng nghiên cứu - Khía cạnh, quan điểm, khai phá phân tích quan điểm mức khía cạnh - Các kỹ thuật học sâu áp dụng cho xử lý ngôn ngữ tự nhiên - Các mô hình trích rút khía cạnh khai phá quan điểm mức khía cạnh sử dụng kỹ thuật học sâu 2.3 Phạm vi nghiên cứu - Tập trung vào khai phá quan điểm - Tìm hiểu giải thuật học sâu áp dụng cho khai phá phân tích quan điểm Các đóng góp luận án - Xây dựng mơ hình trích rút khía cạnh thực thể khai phá quan điểm dựa hướng tiếp cận học sâu với cải tiến hiệu suất mơ hình - Xây dựng hệ thống khai phá quan điểm mức khía cạnh đa tác vụ nhằm dự đốn quan điểm người dùng Hệ thống thực đồng thời tác vụ: trích rút từ mục tiêu, khía cạnh, thực thể xác định quan điểm thể khía cạnh thực thể bình luận miền xác định - Xây dựng tập liệu bình luận đa miền dùng cho thực nghiệm - Xây dựng hệ thống khai phá quan điểm mức khía cạnh đa tác vụ đa miền nhằm dự đoán quan điểm người dùng Hệ thống thực đồng thời tác vụ: trích rút khía cạnh, phân loại miền xác định quan điểm thể khía cạnh bình luận thuộc tập liệu đa miền Phương pháp nghiên cứu Phương pháp tài liệu Phương pháp thực nghiệm Bố cục luận án Luận án tổ chức thành ba phần: Phần mở đầu; Phần nội dung kết nghiên cứu, thực nghiệm; Phần kết luận hướng phát triển Phần mở đầu giới thiệu tính cấp thiết, mục tiêu, đối tượng, phạm vi đóng góp luận án Phần nội dung kết nghiên cứu xây dựng thành bốn chương: Chương Tổng quan khai phá quan điểm kỹ thuật học sâu Chương Trích rút khía cạnh khai phá quan điểm với hướng tiếp cận học sâu Chương Khai phá quan điểm mức khía cạnh đa tác vụ với hướng tiếp cận học sâu Chương Khai phá quan điểm mức khía cạnh đa tác vụ đa miền với hướng tiếp cận học sâu Phần kết luận hướng phát triển đúc kết lại đóng góp luận án hướng nghiên cứu để phát triển luận án 6 CHƯƠNG 1-TỔNG QUAN VỀ KHAI PHÁ QUAN ĐIỂM VÀ KỸ THUẬT HỌC SÂU 1.1 Khai phá quan điểm Quan điểm thể thái độ, xúc cảm chủ thể bày tỏ quan điểm sản phẩm, dịch vụ hay nhân tố cụ thể Khai phá quan điểm lĩnh vực trích rút, phân loại quan điểm người dùng bình luận cách tự động Khai phá quan điểm phân chia thành mức khác Khai phá quan điểm mức tài liệu Toàn văn phân loại vào lớp quan điểm tích cực, tiêu cực trung lập tuỳ thuộc vào độ phân cực thông tin chủ quan thể tài liệu Khai phá quan điểm mức câu Khai phá quan điểm mức câu thực phạm vi cụ thể chi tiết hơn: phân loại quan điểm thể câu bình luận tồn văn vào ba lớp tích cực, tiêu cực trung lập Khai phá quan điểm mức khía cạnh Luận án tập trung vào khai phá quan điểm mức khía cạnh Đây cấp độ chi tiết ba cấp độ khai phá quan điểm nhằm giúp hệ thống xác định quan điểm cụ thể người dùng thể trực tiếp khía cạnh tài liệu bình luận đề cập 1.2 Các hướng nghiên cứu khai phá quan điểm - Hướng tiếp cận dựa ngữ liệu_chủ yếu sử dụng nhóm độ đo với mơ hình khác cho khai phá quan điểm - Hướng tiếp cận dựa máy học_sử dụng kỹ thuật phân loại để phân loại văn bản, xác định quan điểm dựa tập liệu huấn luyện kiểm tra 7 1.3 Một số hạn chế tiếp cận khai phá quan điểm Đối với hướng tiếp cận ngữ liệu: Đòi hỏi kho ngữ liệu từ điển phải đảm bảo đủ lượng từ quan điểm để so khớp với từ văn cần xác định quan điểm Bên cạnh đó, độ phân cực quan điểm từ phụ thuộc lớn vào miền ngữ cảnh Mặt khác, nghiên cứu dựa hướng tiếp cận ngữ liệu sử dụng độ đo để xác định mối liên quan thường thực nghiệm liệu tương đối nhỏ, dẫn đến độ xác đạt mơ hình chưa thực thuyết phục Đối với hướng tiếp cận máy học: Các kỹ thuật máy học cho thấy hiệu suất tốt hẳn so với phương pháp dựa ngữ liệu Giới hạn lớn phương pháp máy học đòi hỏi tập liệu huấn luyện phải đủ lớn để đảm bảo hệ thống hoạt động tốt đạt hiệu suất tối ưu Tuy nhiên ưu thực trạng liệu lớn ln có sẵn, mà việc áp dụng hướng tiếp cận máy học cho khai phá quan điểm hoàn toàn phù hợp nhằm cải thiện hiệu suất, tăng độ xác tốc độ xử lý mơ hình 1.4 Học sâu nhóm kỹ thuật học sâu sử dụng mơ hình khai phá quan điểm đề xuất Học sâu Học sâu bao gồm lớp kỹ thuật kiến trúc máy học với khả sử dụng nhiều lớp trạng thái xử lý thông tin khơng tuyến tính Học sâu có thành cơng quan trọng số ứng dụng trí tuệ nhân tạo thời gian gần đưa kết với độ xác cao học nguồn liệu khổng lồ tận dụng lực xử lý mạnh máy tính 8 Các kỹ thuật học sâu phổ biến dùng xử lý ngôn ngữ tự nhiên khai phá quan điểm 1.4.2.1 Mạng neural tích chập CNN 1.4.2.2 Mạng neural hồi quy RNN 1.4.2.3 Mạng nhớ ngắn-dài LSTM 1.4.2.4 Mạng đơn vị hồi quy có cổng GRU 1.4.2.5 Mạng nhớ ngắn-dài hai chiều BiLSTM 1.4.2.6 Mạng nhớ ngắn-dài hai chiều độc lập BiIndyLSTM 1.4.2.7 Cơ chế Attention 1.5 Đề xuất nghiên cứu: Khai phá quan điểm với kỹ thuật học sâu Xuất phát từ tìm hiểu hướng nghiên cứu có thuận lợi với hạn chế hai hướng tiếp cận cho khai phá quan điểm phân tích trên, thấy hướng tiếp cận máy học mà cụ thể hướng tiếp cận học sâu thể khả vượt trội hiệu suất Chính lý đề xuất hướng nghiên cứu cho luận án : Khai phá quan điểm với kỹ thuật học sâu 1.6 Kết luận chương Chương luận án tìm hiểu về: khai phá, phân tích quan điểm hướng tiếp cận toán khai phá quan điểm; học sâu kỹ thuật học sâu hỗ trợ xử lý ngôn ngữ tự nhiên phân tích quan điểm từ xác định hướng tiếp cận cho hệ thống khai phá quan điểm mức khía cạnh đề xuất 9 CHƯƠNG 2-TRÍCH RÚT KHÍA CẠNH TRONG KHAI PHÁ QUAN ĐIỂM VỚI HƯỚNG TIẾP CẬN HỌC SÂU 2.1 Trích rút khía cạnh với hướng tiếp cận học sâu Trong chương luận án đề xuất sử dụng hướng tiếp cận học sâu cho trích rút khía cạnh với hai mơ hình BiGRU-CRF BiIndyLSTM-CRF 2.2 Mơ hình trích rút khía cạnh với tiếp cận học sâu đề xuất Luận án áp dụng mạng GRU hai chiều kết hợp với CRF mơ hình thứ (mục 2.2.1) mạng LSTM hai chiều kết hợp với CRF mơ hình thứ hai (mục 2.2.2) để trích rút, phân loại khía cạnh 2.2.1 Mơ hình tích hợp BiGRU-CRF cho trích rút khía cạnh Chúng tơi chọn GRU số tính vượt trội: Khả tính tốn hiệu GRU so với LSTM với cấu trúc có hai cổng tương đối đơn giản so với cấu trúc ba cổng LSTM Điểm giúp cho tốc độ xử lý nhanh khả hiệu chỉnh dễ dàng Bên cạnh đó, GRU trích xuất mẫu ngữ nghĩa vị trí xa so với vị trí từ xét mà không cần điều chỉnh tham số huấn luyện mơ hình Hình 2.1 Cấu trúc mơ hình BiGRU-CRF 10 2.2.2 Mơ hình tích hợp Bi-IndyLSTM-CRF cho trích rút khía cạnh Nhằm mục đích nghiên cứu, tìm hiểu để xác định kỹ thuật học sâu tối ưu trích rút khía cạnh, chúng tơi chọn sử dụng mạng IndyLSTM cho mơ hình thứ hai Dựa thuận lợi IndyLSTM so với RNN, LSTM GRU xây dựng mơ hình có kiến trúc phát triển lên nhiều lớp theo chiều sâu, luận án đề xuất mơ hình Bi-IndyLSTM-CRF Hình 2.2 Cấu trúc mơ hình Bi-IndyLSTM-CRF 2.3 2.3.1 Kết thực nghiệm Tập liệu sử dụng thực nghiệm Luận án sử dụng tập liệu SemEval 2014 với hai miền Laptop Restaurant cho thực nghiệm 11 2.3.2 Kết thực nghiệm đánh giá hiệu trích rút khía cạnh F1-score mơ hình có so với mơ hình BiGRU-CRF BiIndyLSTM-CRF đề xuất 90.00% 85.00% 84.01% 78.50% 78% 80.00% 75.00% 85% 84% 85.10% 80% 74.55% 70.00% 65.00% SemEval 2014 ABSA winners B-LSTM &CRF Laptop BiGRU &CRF Bi-IndyLSTM &CRF Restaurant Hình 2.3 Biểu đồ so sánh độ xác hai mơ hình đề xuất với mơ hình trước 2.4 Kết luận Chương Chương luận án tìm hiểu, nghiên cứu tiếp cận trích rút khía cạnh có, sở đề xuất mơ hình thực trích rút khía cạnh quan điểm khai phá quan điểm dựa tiếp cận học sâu Kết thực nghiệm cho thấy mơ hình trích rút khía cạnh đề xuất luận án đạt độ xác tương đối cao so với mơ hình trước tập liệu chuẩn đơn miền 12 CHƯƠNG 3-KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ VỚI HƯỚNG TIẾP CẬN HỌC SÂU 3.1 Khai phá quan điểm mức khía cạnh đa tác vụ Một hệ thống khai phá quan điểm mức khía cạnh đa tác vụ tiến hành thực hai nhiều tác vụ khai phá quan điểm (trích rút từ mục tiêu, khía cạnh, thực thể, phân loại quan điểm) cách đồng thời nhằm đáp ứng tiêu chí tự động phân loại, xác định xác quan điểm bày tỏ tương ứng với khía cạnh thực thể bình luận Trong Chương 3, luận án sử dụng kỹ thuật học sâu CNN, BiGRU BiLSTM cho mơ hình khai phá quan điểm mức khía cạnh đa tác vụ đề xuất 3.2 Mơ hình khai phá quan điểm mức khía cạnh đa tác vụ sử dụng hướng tiếp cận học sâu 3.2.1 Mơ hình CNN-BiGRU đề xuất cho trích rút khía cạnh quan điểm Mơ hình CNN-BiGRU thực nghiệm tập liệu SemEval 2014 với hai miền Laptop Restaurant để trích rút, phân loại khía cạnh quan điểm cách đồng thời Hình 3.4 Cấu trúc mơ hình CNN-BiGRU 13 3.2.2 Mơ hình CNN-IOB2 đề xuất cho trích rút từ mục tiêu Mơ hình CNN-IOB2 sử dụng lớp IOB2 để gán nhãn cho từ nhằm xác định từ có từ mục tiêu hay khơng Mơ hình huấn luyện tập liệu gán nhãn SemEval 2016 miền Restaurant để trích rút từ mục tiêu bình luận Hình 3.5 Cấu trúc mơ hình CNN-IOB2 3.2.3 Mơ hình MABSA cho trích rút phân loại ba tác vụ tiếp theo: khía cạnh, thực thể quan điểm Hình 3.6 Cấu trúc mơ hình khai phá quan điểm mức khía cạnh đa tác vụ MABSA 14 Mơ hình MABSA gồm BiLSTM tích hợp đỉnh CNN để phân loại: khía cạnh, thực thể quan điểm Mơ hình huấn luyện tập liệu gán nhãn SemEval 2016 miền Restaurant 3.3 Kết thực nghiệm mơ hình 3.3.1 Tập liệu sử dụng thực nghiệm Luận án sử dụng tập liệu SemEval 2014 2016 với đơn miền Laptop Restaurant cho thực nghiệm 3.3.2 Kết thực nghiệm, đánh giá hiệu khai phá quan điểm đa tác vụ 3.3.2.1 Kết thực nghiệm đánh giá hiệu suất mô hình CNNBiGRU Trích rút khía cạnh Laptop Restaurant với độ đo F1 100 80 60 40 20 SemEval 2014 ABSA winners Our previous BiGRU_CRF Laptop Our CNN_BiGRU Restaurant Hình 3.7 So sánh độ xác tác vụ trích rút khía cạnh xét độ đo F1 mơ hình có so với mơ hình CNNBiGRU đề xuất 15 Phân loại quan điểm mô hình đề xuất mơ hình có miền Laptop Restaurant với độ đo Accuracy 120 100 80 60 40 20 SemEval 2014 ABSA winners Laptop Our CNN_BiGRU Restaurant Hình 3.8 So sánh độ xác tác vụ phân loại hướng quan điểm xét độ đo Accuracy mơ hình có so với mơ hình CNN-BiGRU đề xuất 3.3.2.2 Kết thực nghiệm đánh giá hiệu suất mơ hình CNNIOB2 So sánh hiệu suất mơ hình đề xuất so với mơ hình có miền Restaurant với hai độ đo F1 Accuracy 120 100 80 60 40 20 NLANGP(U) CRF AUEB MIN Opinion target extraction F1_score DE-CNN THA&STN BiDTreeCRF Our CNN-IOB2 model Opinion target extraction Accuracy_score Hình 3.9 Biểu đồ so sánh độ xác mơ hình đề xuất với mơ hình có xét độ đo F1 Accuracy 16 3.3.2.3 Kết thực nghiệm đánh giá hiệu suất mơ hình đa tác vụ MABSA Đánh giá mơ hình MABSA Accuracy_score F1_score Recall_score Precision_score 88 90 92 Sentiment Polarity classification 94 96 98 100 Aspect classification Category classification Hình 3.10 Biểu đồ biểu diễn độ đo Precision, Recall, F1 Accuracy mơ hình MABSA đề xuất 3.4 Kết luận Chương Chương luận án nghiên cứu hệ thống khai phá quan điểm mức khía cạnh với tiếp cận trích rút khía cạnh, thực thể quan điểm cách riêng lẻ mơ hình có Dựa sở đó, luận án tập trung đề xuất mơ hình thực trích rút, phân loại đa tác vụ khai phá quan điểm mức khía cạnh dựa tiếp cận học sâu nhằm tiết kiệm thời gian thiết kế mơ hình riêng lẻ cho tác vụ, cải thiện tốc độ xử lý độ xác so với mơ hình trước Các mơ hình đề xuất tập trung triển khai: (i) tác vụ trích rút, phân loại đồng thời khía cạnh hướng quan điểm thể khía cạnh; (ii) trích rút, phân loại đồng thời từ đích quan điểm, khía cạnh, thực thể hướng quan điểm thể khía cạnh thực thể tài liệu bình luận 17 CHƯƠNG 4-KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ ĐA MIỀN VỚI HƯỚNG TIẾP CẬN HỌC SÂU 4.1 Khai phá quan điểm mức khía cạnh đa miền Việc huấn luyện mơ hình tập liệu gồm nhiều miền phát sinh vấn đề liên quan đến hiệu suất mơ hình ứng với miền Điều dẫn đến phát sinh lãng phí tài nguyên phải xây dựng hàng loạt mơ hình khác triển khai miền liệu khác nhằm tăng hiệu suất mô hình Chương đề xuất tiếp cận khác: xây dựng mơ hình dùng chung thực nghiệm tập liệu đa miền 4.2 Mơ hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền Luận án áp dụng hướng tiếp cận học sâu cho mơ hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền thực nghiệm tập liệu đa miền Laptop_Restaurant Laptop_Restaurant_Hotel 4.2.1 Mơ hình khai phá quan điểm mức khía cạnh đa miền CNN-BiLSTM Hình 4.11 Cấu trúc mơ hình khai phá quan điểm mức khía cạnh đa miền 18 Mơ hình sử dụng chế tích hợp: (i) mạng CNN hỗ trợ khả trích rút tốt đặc trưng tài liệu quan điểm; (ii) mạng BiLSTM hỗ trợ khả học phụ thuộc dài từ hai phía từ xét 4.2.2 Mơ hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền CNN-BiIndyLSTM-Attention Mơ hình CNN-BiIndyLSTM-Attention xây dựng sở nhóm kỹ thuật học sâu bổ trợ cho việc học liệu chuỗi: (i) mạng CNN dùng để trích rút đặc trưng cục mức cao chuỗi đầu vào; (ii) mạng BiIndyLSTM hỗ trợ khả học phụ thuộc dài cách độc lập từ hai phía từ xét; (iii) kết hợp với chế Attention để bắt từ quan trọng hỗ trợ làm rõ mối liên quan khía cạnh ngữ cảnh nhằm tăng hiệu suất phân loại cho mô hình BiIndyLSTM layer Hình 4.2 Cấu trúc mơ hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền 4.3 Kết thực nghiệm 4.3.1 Tập liệu sử dụng thực nghiệm Luận án sử dụng tập liệu SemEval 2016 với đơn miền Laptop Restaurant hai tập liệu đa miền Laptop_Restaurant Laptop_Restaurant_Hotel xây dựng 19 sở trộn miền với cách ngẫu nhiên dùng cho thực nghiệm 4.3.2 Kết thực nghiệm đánh giá hiệu khai phá quan điểm đơn miền Trích rút khía cạnh với độ đo Precision, Recall F1 mơ hình đề xuất so sánh với mơ hình có miền Restaurant 100 80 60 40 20 NLANGP AUEB MIN Precision THA & STN Recall BiDTree-CRF Our Proposed model F1 Hình 4.3 Biểu đồ so sánh độ xác thực thi tác vụ trích rút khía cạnh mơ hình đề xuất với mơ hình có miền Restaurant 4.3.3 Kết thực nghiệm đánh giá hiệu khai phá quan điểm đa miền Bảng 4.1 Kết thực nghiệm mơ hình đề xuất đa miền Laptop_Restaurant xét độ đo Precision, Recall, F1 Accuracy Mơ hình Đa miền Laptop_Restaurant CNNBiLSTM đề xuất Precision Recall F1 Accuracy Phân loại miền 99.3 99.3 99.3 99.3 20 Trích rút khía cạnh 83.2 74.6 78.6 78.5 Phân loại quan điểm 93.4 92.6 93.2 93 Bảng 4.4 Kết thực nghiệm mơ hình đa tác vụ đề xuất đa miền Laptop_Restaurant_Hotel xét độ đo Precision, Recall, F1 Accuracy Mơ hình Đa miền Laptop_Restaurant_Hotel CNNBiIndyLSTMAttention đề Precision Recall xuất F1 Accuracy Phân loại miền 99.5 99.5 99.4 99.4 Trích rút thực thể 88.5 80.2 85.6 86.2 Trích rút khía cạnh 86.2 78.8 82.3 83.5 Phân loại quan điểm 94.6 93.2 94.3 94.1 4.4 Kết luận Chương Trong Chương 4, luận án tập trung đề xuất mô hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền Mơ hình đa tác vụ đề xuất thực nghiệm tập liệu đa miền dựa tiếp cận học sâu nhằm: (i) hỗ trợ khả làm giàu liệu; (ii) tiết kiệm tài nguyên tăng tính tiện ích sử dụng mơ hình cho liệu thuộc tất miền khác tập liệu; (iii) cải thiện tốc độ xử lý độ xác so với mơ hình trước 21 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Các nghiên cứu khai phá quan điểm phát triển mạnh, thu hút nhiều nguồn lực tham gia, kết mang vô to lớn, ứng dụng rộng khắp Do đa dạng lĩnh vực ứng dụng, khác nhu cầu người dùng phát triển công nghệ, việc đề xuất cải tiến mơ hình khai phá quan điểm ln hướng nghiên cứu khai phá quan điểm Nhiều kỹ thuật, phương pháp thuộc hướng tiếp cận khác sử dụng để xây dựng mô hình Trong đó, đa phần nghiên cứu gần dựa hướng tiếp cận máy học mà cụ thể học sâu chủ yếu thực tác vụ trích rút, khai phá quan điểm cách riêng lẻ tập liệu đơn miền Luận án “Khai phá quan điểm với kỹ thuật học sâu” tập trung vào việc đề xuất thử nghiệm giải pháp nhằm cải thiện hiệu suất, tăng tính tiện ích khai phá quan điểm qua việc sử dụng mơ hình trích rút, phân loại đa tác vụ tập liệu đơn miền đa miền Luận án đạt số kết tóm tắt sau: - Xác định tầm quan trọng khía cạnh hay đặc trưng thực thể, từ đề xuất mơ hình trích rút khía cạnh khai phá quan điểm sử dụng hướng tiếp cận học sâu Với hai mơ hình BiGRU_CRF BiIndyLSTM_CRF, luận án thực tác vụ trích rút khía cạnh với hiệu suất cao hẳn mơ hình trích rút khía cạnh trước đơn miền Laptop Restaurant tập liệu SemEval 2014 - Đề xuất khả thực trích rút, phân loại tác vụ quan trọng khai phá quan điểm cách đồng thời; mơ hình khai phá quan điểm mức khía cạnh với khả thực đa tác vụ sử dụng hướng tiếp cận học sâu Mơ hình đề xuất cải thiện tính xác kết khai phá quan điểm đồng thời song song thực đa tác vụ với hiệu suất cao vượt trội đơn miền Laptop Restaurant tập liệu SemEval 2014 SemEval 2016 22 - Đề xuất thực nghiệm mơ hình khai phá quan điểm mức khía cạnh đa tác vụ tập liệu đa miền dựa tiếp cận học sâu Mơ hình đa tác vụ, đa miền đề xuất triển khai thực nghiệm đơn miền đa miền Mục đích hướng tới luận án nhằm tiết kiệm thời gian thiết kế mơ hình riêng lẻ cho tác vụ khai phá quan điểm đồng thời hỗ trợ khả làm giàu liệu, tăng tính tiện ích tiết kiệm tài ngun với mơ hình thực nghiệm đơn miền Restaurant đa miền Laptop_Restaurant tập liệu SemEval 2016 mà đảm bảo cải thiện tính xác mơ hình khai phá quan điểm - Xây dựng tập liệu đa miền sở trộn ngẫu nhiên bình luận từ miền Restaurant Laptop tập liệu chuẩn SemEval 2016 Tập liệu dùng cho thực nghiệm để đánh giá mô hình khai phá quan điểm mức khía cạnh đa miền nêu Hướng phát triển - Hoàn thiện tập liệu đa miền mở rộng gồm bình luận thuộc nhiều miền khác sở phát triển tập liệu đa miền Laptop_Restaurant Laptop_Restaurant_Hotel xây dựng luận án - Đánh giá mơ hình khai phá quan điểm đề xuất tập liệu đa miền mở rộng để có tranh tổng thể hiệu mơ hình đề xuất thấy rõ ảnh hưởng liệu huấn luyện lên kết khai phá quan điểm - Phát triển tập liệu đa miền mở rộng thành tập liệu đa miền, đa ngơn ngữ gồm bình luận từ nhiều miền, nhiều ngôn ngữ khác công bố tập liệu dùng làm liệu thực nghiệm cho mơ hình khai phá quan điểm - Xây dựng mơ hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền, đa ngơn ngữ sở mơ hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền đề xuất luận án nhằm hướng tới khả trích rút, phân tích đa tác vụ khai phá quan điểm với mơ hình khai phá quan điểm cho câu bình luận khơng phụ thuộc miền không phụ thuộc ngôn ngữ 23 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC ĐÃ CƠNG BỐ [1] Trần Un Trang, Hồng Thị Thanh Hà, Huỳnh Xn Hiệp, “Dự đốn hướng ngữ nghĩa cụm từ khai phá quan điểm với độ đo thơng tin tương hỗ”, Tạp chí Khoa học Công nghệ - Đại học Đà Nẵng, Số 3(124).2018, trang 108-112, 2018, ISSN 18591531 [2] Trang Uyen Tran, Ha Thanh Thi Hoang, Hiep Xuan Huynh, “Aspect Extraction with Bidirectional GRU and CRF”, The 2019 IEEE-RIVF International Conference on Computing and Communication Technologies (RIVF), pp 60-64, Vietnam, March 20-22, 2019, ISBN 978-604-84-3998-9 DOI:10.1109/RIVF.2019.8713663 [3] Trang Uyen Tran, Ha Thanh Thi Hoang, Hiep Xuan Huynh, “Bidirectional Independently Long Short-Term Memory and Conditional Random Field integrated model for Aspect Extraction in Sentiment Analysis”, Part of the Advances in Intelligent Systems and Computing book series (AISC,volume 1014), Frontiers in Intelligent Systems and Computing 1014, No 1014, pp 78-88, Springer 2020.DOI: https://doi.org/10.1007/978-981-13-9920-6_14 [4] Trang Uyen Tran, Ha Thanh Thi Hoang, Phuong Hoai Dang, Michel Riveill, “Multitask Aspect_Based Sentiment Analysis with Integrated Bidirectional LSTM & CNN Model”, ICFNDS’20: The 4th International Conference on Future Networks and Distributed Systems (ICFNDS), Article No 49, pp 1-7, St Petersburg, Russia, November 26-27, 2020, ACM ISBN 978-1-4503-8886-3 DOI:https://doi.org/10.1145/3440749.3442656 [5] Trang Uyen Tran, Ha Thanh Thi Hoang, “Deep Learning in Aspect-Based Sentiment Analysis”, The 10th Conference on 24 Information Technology and Its Applications (CITA), Danang, Vietnam, 2021 [6] Trang Uyen Tran, Ha Thanh Thi Hoang, Phuong Hoai Dang, Michel Riveill, “Multidomain Supervised Aspect_based Sentiment Analysis using CNN_Bidirectional LSTM model”, The 2021 RIVF International Conference on Computing and Communication Technologies (RIVF), Vietnam, 2021, ISBN 9781-6654-0435-8/21/$31.00 ©2021 IEEE DOI:https://doi.org/10.1109/RIVF51545.2021.9642146 [7] Trang Uyen Tran, Ha Thanh Thi Hoang, Phuong Hoai Dang, Michel Riveill, “Toward a multitask Aspect_based Sentiment Analysis model using deep learning”, IAES International Journal of Artificial Intelligence (IJ-AI), volume 11, issue 2, June 22nd 2022, ISSN 2252-8938 DOI:http://doi.org/10.11591/ijai.v11.i2.pp516-524 [8] Trang Uyen Tran, Ha Thanh Thi Hoang, Phuong Hoai Dang, Michel Riveill, “Aspect_based Sentiment Analysis with Deep Learning: A Multidomain and Multitask Approach”, Intelligence of Things: Technologies and Applications – The First International Conference on Intelligence of Things (ICIT), book chapter, vol 148 of the Lecture Notes on Data Engineering and Communications Technologies series, Springer April 22nd 2022, DOI: https://doi.org/10.1007/978-3-031-15063-0_12