Bài giảng Khai phá quan điểm và khai phá phương tiện xã hội: Chương 5 - PGS.TS. Hà Quang Thụy

Bài giảng Khai phá quan điểm và khai phá phương tiện xã hội: Chương 5 - Xây dựng kho ngữ liệu quan điểm và tổng hợp quan điểm giới thiệu tới các bạn về tiếp cận kho ngữ liệu; tổng hợp quan điểm; tổng hợp tương phản; tổng hợp truyền thống và một số nội dung khác.

BÀI GIẢNG KHAI PHÁ QUAN ĐIỂM VÀ KHAI PHÁ PHƯƠNG TIỆN XÃ HỘI CHƯƠNG XÂY DỰNG KHO NGỮ LIỆU QUAN ĐIỂM VÀ TỔNG HỢP QUAN ĐIỂM PGS TS HÀ QUANG THỤY HÀ NỘI 09-2013 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI Nội dung Giới thiệu tiếp cận kho ngữ liệu Tiếp cận dựa từ điển Tiếp cận dựa ngữ liệu Sự kiện mong muốn không mong muốn Giới thiệu tổng hợp quan điểm Tổng hợp quan điểm theo khía cạnh Cải tiến tổng hợp quan điểm theo khía cạnh Tổng hợp tương phản Tổng hợp truyền thống Tiếp cận từ vựng quan điểm  Đặt vấn đề  Từ quan điểm: từ đánh giá, từ phân cực, từ mang quan điểm     Từ quan điểm đơn, cụm từ quan điểm, thành ngữ: Từ vựng quan điểm Vai trò từ quan điểm    Từ quan điểm tích cực: trạng thái, chất lượng mong muốn Từ QĐ tiêu cực: trạng thái, chất lượng không mong muốn Phương pháp dựa từ vựng: Phân lớp quan điểm, phân lớp quan điểm câu khai phá quan điểm mức khía cạnh Phương pháp học máy: Cần từ loại, có phân biệt từ quan điểm Phân loại xây dựng     Kiểu từ quan điểm tiếng Anh: sở so sánh So sánh: so sánh cực trị Tốt hơn, tồi hơn, tốt nhất, tồi nhất… so sánh nhiều thực thể Xây dựng : thủ công, dựa từ vựng, dựa kho ngữ liệu Thủ công: kiếm tra cuối cùng, kết hợp tiếp cận tự động Tiếp cận dựa từ điển  Đặt vấn đề   Hầu hết từ điển liệt kê từ đồng nghĩa/trái nghĩa Phương pháp chung    Sử dụng vài từ hạt giống (seed) “mồi” Loang (Boostraping) dựa cấu trúc đồng nghĩa/trái nghĩa từ điển Nội dung  Phương pháp chung       (1) Thu thập tay tập nhỏ hạt giống từ quan điểm (tích cực, tiêu cực) (2) Sử dụng từ điển loang theo cấu trúc đồng nghĩa, trái nghĩa thêm vào danh sách hạt giống (3) Lặp khơng tìm thấy từ (4) Kiểm tra thủ công làm danh sách (5) Đưa độ đo cho từ quan điểm phát Rất nhiều tiếp cận phức tạp đề xuất:   Xác định định hướng quan điểm khoảng cách Wordnet Tập hạt giống: tích cực, tiêu cực &trung lập Trung lập chặn loang Trọng số +1, -1, điều chỉnh trình loang Tiếp cận dựa theo ngữ liệu miền  Giới thiệu chung       Cũng sử dụng tập liệu hạt giống Ngữ liệu miền thay cho từ điển Ngữ liệu miền: tập văn miền ứng dụng Gắn với miền ứng dụng Từ vựng có tính “cục bộ” Phương pháp      Tương tự dựa từ điển Hạt giống: tích cực, tiêu cực Cấu trúc đồng nghĩa, trái nghĩa  đoạn câu danh sách từ có chứa từ hạt giống Độ giàu có ngữ liệu Rất nhiều phương pháp đề xuất: hoạt động công phu Phương pháp dựa theo ngữ liệu miền Sự kiện [không] mong muốn  Giới thiệu  Nhắc lại quy tắc quan điểm 21 P ::= sự_kiện_mong_muốn 22 N ::= sự_kiện_không_mong_muốn “Sau hai tuần hai người nằm đệm, núi xuất giữa” "Trong vòng tháng, thung lũng hình thành nệm."  Zhang, Lei and Bing Liu (2011) Identifying noun product features that imply opinions HLT’2011 (ACL-2011): 571-580  Quan sát   Bản thân khía cạnh thơng thường “Âm thanh”, “Màn hình”, “Giá cả”… khơng tích cực/tiêu cực” Cần dẫn tích cực/tiêu cực: "chất lượng âm tốt“, "chất lượng âm xấu“ Sự kiện (không) mong muốn theo hướng tích cực (tiêu cực) Ví dụ, "Trong vịng tháng, thung lũng hình thành nệm“ có biến dạng "Trong vòng tháng, thung lũng xấu hình thành nệm“ song khơng thể biến dạng "Trong vịng tháng, thung lũng tốt hình thành nệm“ Hai bước trình  Bước 1: Đoán nhận ứng viên   xác định bối cảnh quan điểm xung quanh danh từ khía cạnh Một khía cạnh xuất bối cảnh quan điểm tiêu cực (tích cực) thường xuyên so với bối cảnh quan điểm tích cực (tiêu cực)  cực tiêu cực (tích cực) Tạo danh sách khía cạnh ứng viên quan điểm tích cực danh sách khía cạnh ứng viên quan điểm tiêu cực Bước 2: Tỉa      “một danh từ khía cạnh thay trực tiếp từ quan điểm tích cực tiêu cực, khó trở thành từ khía cạnh quan điểm” Hai quan hệ phụ thuộc trực tiếp Kiểu 1: OO-mô tảF: O phụ thuộc F thơng qua O-mơ tả: “Chiêc TV có chất lượng ảnh tốt” Kiểu 2: OO-mô tảHF-mô tảF: O F phụ thuộc vào H thông qua O-mô tả F-mơ tả "lị xo nệm xấu“ O: từ quan điểm, O-Dep/ F-Dep: mối quan hệ phụ thuộc F: từ khía cạnh H: từ Với VD1: “chất lượng ảnh” ~ đốn nhận “tốt” VD2: “lị xo” ~ “xấu” (H: “là”) Giới thiệu tổng hợp quan điểm  Tổng hợp quan điểm       Tính chất chủ qua  khơng nên từ người, cần quan điểm từ nhiều người  tổng hợp quan điểm Bộ quan điểm (ei, aij, sijkl, hk, tl) tổng hợp theo Tổng hợp quan điểm theo khía cạnh (đặc trưng) Microsoft Bing Google Product Search Tổng hợp theo cấu trúc hay theo tóm tắt Tổng hợp quan điểm: tóm tắt đa văn        Tóm tăt đa văn đặc biệt  tóm tắt văn truyền thống Tóm tắt đơn văn truyền thống: chọn, chọn-tỉa-ghép Tóm tắt đa văn truyền thống: tìm khác biệt bỏ trùng lặp Tổng hợp quan điểm ~ định nghĩa khái niệm Có cấu trúc Có định lượng Tổng hợp quan điểm theo khía cạnh  Đặc trưng    Có hai đặc trưng chính:  “Bản chất của quan điểm” mục tiêu quan điểm (thực thể khía cạnh) quan điểm khía cạnh  “Định lượng” : cung cấp số lượng hay % số ý kiến đánh giá tích cực/tiêu cực Định lượng quan trọng Có tính cấu trúc Ví dụ tổng hợp quan điểm  Thống kê  Xem trang sau 10 Tổng hợp quan điểm  Ví dụ Máy ảnh số 1: Khía cạnh: CHUNG Tích cực: 105 Phủ định: 12 Khía cạnh: Chất lượng hình ảnh Tích cực: 95 Phủ định: 10 Khía cạnh: Tuổi thọ pin Tích cực: 50 Phủ định: 11 Cải tiến tổng hợp QĐ theo khía cạnh  Đặt vấn đề   Tồn nhiều cải tiến tinh Kết hợp với tóm tắt đa văn bản: chọn câu sinh câu Carenini, Giuseppe, Raymond Ng, and Adam Pauls Multi-document summarization of evaluative text EACL-2006 12 Tóm tắt tương phản  Tóm tắt tương phản       Cặp ý kiến quan điểm tương pháo "chất lượng âm iPhone thực tốt” " chất lượng âm iPhone tệ hại “ Paul, Michael J., ChengXiang Zhai, and Roxana Girju (2010) Summarizing Contrastive Viewpoints in Opinionated Text EMNLP-2010 Cặp hai câu quan điểm (x, y) gọi cặp câu tương phản x câu y nói khía cạnh, định hướng quan điểm đối ngược K câu lựa chọn đại diện cho tích cực tiêu cực 13 Tổng hợp truyền thống  Tóm tắt truyền thống  Trích xuất câu để làm văn ngắn  Wang, Dong and Yang Liu (2011) A pilot study of opinion summarization in conversations ACL-2011 Tính hạng câu      sim (s, D): độ đo tương tự lời nói DA với lời nói người D REL (s, topic): sentiment (s): quan điểm lời nói s length(s): độ dài lời nói s: 14 ... lượng không mong muốn Phương pháp dựa từ vựng: Phân lớp quan điểm, phân lớp quan điểm câu khai phá quan điểm mức khía cạnh Phương pháp học máy: Cần từ loại, có phân biệt từ quan điểm Phân loại xây... điểm: từ đánh giá, từ phân cực, từ mang quan điểm     Từ quan điểm đơn, cụm từ quan điểm, thành ngữ: Từ vựng quan điểm Vai trò từ quan điểm    Từ quan điểm tích cực: trạng thái, chất lượng... tổng hợp quan điểm Tổng hợp quan điểm theo khía cạnh Cải tiến tổng hợp quan điểm theo khía cạnh Tổng hợp tương phản Tổng hợp truyền thống Tiếp cận từ vựng quan điểm  Đặt vấn đề  Từ quan điểm: