ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP TRƯỜNG NGHIÊN CỨU RÚT TRÍCH THÔNG TIN DỰA TRÊN CƠ SỞ PHÂN TÍCH CẢM XÚC

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA KỸ THUẬT CÔNG NGHỆ BÁO CÁO KHOA HỌC TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CƠNG NGHỆ CẤP TRƯỜNG NGHIÊN CỨU RÚT TRÍCH THƠNG TIN DỰA TRÊN CƠ SỞ PHÂN TÍCH CẢM XÚC Mã số: Chủ nhiệm đề tài: ThS.Nguyễn Tấn Lộc Bình Dương, 08/01/2018 TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA KỸ THUẬT CÔNG NGHỆ BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CƠNG NGHỆ CẤP TRƯỜNG NGHIÊN CỨU RÚT TRÍCH THƠNG TIN TRÊN CƠ SỞ PHÂN TÍCH CẢM XÚC Mã số: Xác nhận đơn vị chủ trì đề tài (chữ ký, họ tên) Chủ nhiệm đề tài (chữ ký, họ tên) Bình Dương, 08/01/2018 Danh sách thành viên Chủ nhiệm: ThS.Nguyễn Tấn Lộc Email: locnt@tdmu.edu.vn ĐTDD: 0914290456 Đơn vị chủ trì: Khoa Kỹ thuật Cơng nghệ Địa chỉ: 06 Trần văn Ơn, P.Phú Hòa, tp.Thủ Dầu Một, Bình Dương Mục lục Danh mục hình Danh mục bảng Danh mục chữ viết tắt Thông tin kết nghiên cứu Chương Mở đầu Chương 1: Tổng quan phân tích cảm xúc 1.1 Phân tích cảm xúc gì? 1.2 Mục tiêu nghiên cứu 10 1.3 Các mức độ phân tích cảm xúc 11 1.4 Các vấn đề thách thức khó khăn 13 Chương : Lược sử nghiên cứu 15 2.1 Các phương pháp phân tích cảm xúc 15 2.2 Các Phương pháp rút trích thơng tin 19 2.2.1 Rút trích cụm từ 20 2.2.2 Rút trích dựa nhận dạng thực thể 20 2.3 Các phương pháp phân loại cảm xúc dựa máy học 21 2.3.1 Học có giám sát (Supervised Learning) 21 2.3.2 Học không giám sát 22 Chương 3: Xây dựng mơ hình phân tích cảm xúc 24 3.1 Kiến trúc hệ thống 24 3.2 Thu thập liệu 25 3.3 Tiền xử lý liệu 25 3.4 Phương pháp phân tích văn 26 3.4.1 Mơ hình N-gram 27 3.4.2 Phương pháp thống kê TF-IDF 28 3.4.3 Xây dựng mơ hình huấn luyện với hồi quy logistic 29 3.4.4 Phương pháp đánh giá hiệu suất phân loại cảm xúc 30 3.4.5 Tối ưu tham số cho mơ hình 31 3.5 Rút trích thơng tin 32 Chương 4: Đánh giá thực nghiệm 34 4.1 Kết thực nghiệm phân loại cảm xúc 34 4.2 Kết thực nghiệm rút trích thơng tin 35 Kết luận 37 Tài liệu tham khảo 38 Phụ lục 40 Danh mục hình Hình Các trạng thái cảm xúc Hình Mơ hình tính tốn trọng số từ, cụm từ 10 Hình Các vấn đề thách thức 13 Hình Các hướng tiếp cận phân tích cảm xúc 15 Hình Kiến trúc hệ thống 24 Hình Thống kê nhà hàng quốc gia 25 Hình Mơ hình hồi quy logistic 30 Hình Đánh giá mơ hỉnh huấn luyện kiểm thử liệu 34 Hình Phân phối từ có tần suất cao ẩm thực Việt Nam 35 Hình 10.Các từ ảnh hưởng mạnh ẩm thực Việt 36 Hình 11.Phân phối từ có tần suất cao ẩm thực Nhật 36 Hình 12.Các từ ảnh hưởng mạnh ẩm thực Nhật 36 Hình 13.Các từ khóa có tần suất cao ẩm thực Pháp 40 Hình 14.Các từ khóa có tần suất cao ẩm thực Trung Quốc 41 Hình 15.Các từ khóa có tần suất cao ẩm thực Ấn độ 42 Danh mục bảng Bảng 1.So sánh hướng tiếp cận phân tích cảm xúc 18 Bảng 2.Tài liệu văn 26 Bảng Ma trận tần số từ, cụm từ document term word 26 Bảng 4.Ma trân đánh giá hệ thống phân loại 30 Bảng Các bình luận tích cực cho doanh nghiệp 32 Bảng 6.Các bình luận cảm xúc tích cực cho doanh nghiệp Việt Nam 33 Bảng 7.Nhóm bình luận cảm xúc tiêu cực cho doanh nghiệp Việt Nam 33 Bảng Ma trân đánh giá phân loại cảm xúc 34 Bảng Nhóm 10 từ quan trọng cảm xúc rút từ kết phân tích 35 Bảng 10.Nhóm bình luận tích cực ẩm thực Pháp 40 Bảng 11.Nhóm bình luận tích cực ẩm thực Trung Quốc 41 Bảng 12.Nhóm bình luận tích cực ẩm thực Ấn độ 42 Danh mục chữ viết tắt TF: term frequency IDF: inverse document frequency TF.IDF: term frequency inverse document frequency DTM: document term matrix Logistic: hồi quy logistic P(A): Xác xuất kiện A NER: Named Entity Recognition SoA: Sentiment analysis – Phân tích cảm xúc TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT Đơn vị: Khoa Kỹ thuật Cơng nghệ THƠNG TIN KẾT QUẢ NGHIÊN CỨU Thơng tin chung: - Tên đề tài: Nghiên cứu rút trích thơng tin sở phân tích cảm xúc - Mã số: - Chủ nhiệm: Ths.Nguyễn Tấn Lộc - Đơn vị chủ trì: Khoa Kỹ thuật Cơng nghệ - Thời gian thực hiện: 11/2016-11/2017 Mục tiêu: - Nghiên cứu tổng quát lĩnh vực phân tích cảm xúc ứng dụng lĩnh vực đời sống thực nghiện phân tích cảm xúc với mơ hình học máy - Trích xuất nhóm cụm từ quan trọng để hỗ trợ định dựa sở cảm xúc công chúng vấn đề cần quan tâm Tính sáng tạo: - Đề xuất xây dựng mơ hình học máy tự động phân loại cảm xúc dựa vào nội dung bình luận phi cấu trúc nhằm tăng tốc hiểu biết liệu - Tiếp cận phương pháp rút trích thơng tin nhằm trích xuất nhóm bình luận tích cực, tiêu cực nắm bắt quan điểm, cảm xúc dựa kết phân loại cảm xúc nhằm định chiến lược kinh doanh phù hợp cho doanh nghiệp Kết nghiên cứu: - Kết thực nghiệm liệu với mơ hình logistic cho độ xác 90%, recall=89.8%, precision=96.9% hệ số tối ưu chuẩn hóa cho mơ hình C=0.2154 - Trích xuất cụm tử quan trọng cho doanh nghiệp nhà hàng Việt Nam, Trung Quốc, Nhật Bản… - Trích xuất doanh nghiệp nhà hàng bình luận tốt tiêu cực Sản phẩm: báo khoa học Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: Ứng dụng kết nghiên cứu để phát triển mơ hình phân tích liệu nắm bắt quan điểm, cảm xúc cho trang website Việt Nam: Tripadvisor, Lazada… Ngày Đơn vị chủ trì (chữ ký, họ tên) tháng 11 năm 2017 Chủ nhiệm đề tài (chữ ký, họ tên) XÁC NHẬN CỦA CƠ QUAN Với công thức này, ta xây dựng mơ hình ngơn ngữ dựa việc thống kê cụm có n+1 từ Mơ hình ngơn ngữ gọi mơ hình ngơn ngữ Ngram Một cụm N-gram dãy gồm n phần tử liên tiếp dãy phần tử cho trước 3.4.2 Phương pháp thống kê TF-IDF Phương pháp cịn gọi mơ hình túi từ (bag-of-words), sử dụng mơ hình trọng số TF.IDF (term frequency inverse document frequence) TF.IDF trọng số từ văn thu qua thống kê thể mức độ quan trọng từ văn bản, mà thân văn xét nằm tập hợp văn TF-term frequency : dùng để ước lượng tần xuất xuất từ văn Tuy nhiên với văn có độ dài khác nhau, số lần xuất từ nhiều Vì số lần xuất từ chia độ dài văn (tổng số từ văn đó) TF(t, d) = ( số lần từ t xuất văn d) / (tổng số từ văn d) 28 IDF- Inverse Document Frequency: ước tính mức độ ảnh hưởng từ Khi tính tần số xuất tf từ coi quan trọng Tuy nhiên có số từ thường được sử dụng nhiều không quan trọng để thể ý nghĩa đoạn văn , ví dụ : • Từ nối: và, nhưng, nhiên, thế, vậy, … • Giới từ: ở, trong, trên, … • Từ định: ấy, đó, nhỉ, … Vì vậy, IDF tìm cách co lại trọng số tương ứng với từ khóa xuất nhiều văn IDF(t,D)=log(N/|D(t)|) (3.4) Với N tổng số tài liệu văn bản, D(w): số văn chứa từ t Trọng số từ (TF.IDF) tích tần suất từ khóa TF nghịch đảo số văn chứa từ khóa xác định cơng thức: TF.IDF = f(t).log(N/|D(t)|) (3.5) Trong f(t) hàm tính tần số cụm từ t 3.4.3 Xây dựng mơ hình huấn luyện với hồi quy logistic Mơ hình hồi qui logistic tổng quát với k yếu tố nguy x1,x2,…xk mơ tả phương trình sau 𝑓(𝑧) = 𝑒𝑧 1+ 𝑒 −𝑧 (3.6) Trong đó, z định nghĩa sau: z= 𝜷𝟎 + 𝜷𝟏 𝒙𝟏 + 𝜷𝟐 𝒙𝟐 + 𝜷𝟑 𝒙𝟑 + ⋯ + 𝜷𝒌 𝒙𝒌 z=𝜷𝑻 𝑿 𝛽0 : hệ số chặn (intercept) Giá trị z tất biến độc lập 29 β1, β2, …βk: hệ số hồi qui cho từ x1, x2,…, xk Hệ số hồi qui cho biết hướng mức độ ảnh hưởng yếu tố đến xác suất Nếu hệ số hồ qui dương yếu tố nguy làm tăng xác suất xảy kiện ngược lại Đồ thị hồi qui logistic có trục hồnh giá trị z trục tung giá trị f(z) tương ứng xác suất xảy kiện) z nhận giá trị âm dương f(z) nhận giá trị khoảng p(y=1|x, 𝛽)=f(𝛽𝑇 x)=f(z) p(y= -1|x, 𝛽)=1-f(𝛽𝑇 x)=1-f(z) Hình Mơ hình hồi quy logistic 3.4.4 Phương pháp đánh giá hiệu suất phân loại cảm xúc Để đánh giá chất lượng hệ thống, báo sử dụng hai độ đo: độ xác (precision) độ bao phủ (recall) 02 độ đo tính tốn theo cơng thức sau: 𝑡𝑟𝑢𝑒 𝑝𝑜𝑠 𝑡𝑟𝑢𝑒 𝑛𝑒𝑔 Giá trị thực tế 𝑝𝑟𝑒𝑑 𝑝𝑜𝑠 a b 𝑝𝑟𝑒𝑑 𝑛𝑒𝑔 c d Bảng Ma trân đánh giá hệ thống phân loại 30 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑟𝑒𝑐𝑎𝑙𝑙 = 𝑎 (3.7) 𝑎+𝑏 𝑎 (3.8) 𝑎+ 𝑐 Trong đó: a: số lượng bình luận có nhãn tích cực phân loại tích cực b: số lượng bình luận có nhãn tích cực phân loại tiêu cực c: số lượng bình luận có nhãn tiêu cực phân loại tích cực d: số lượng bình luận có nhãn tiêu cực phân loại tiêu cực 3.4.5 Tối ưu tham số cho mơ hình Hàm Loss function gọi hàm mát Chúng ta mong muốn sai số nhỏ nhất, đồng nghĩa với việc tìm vector hệ số 𝜷 cho giá trị hàm mát nhỏ tốt giảm thiểu vấn đề overfitting 𝜷∗ =𝒂𝒓𝒈𝒎𝒊𝒏 𝑳(𝜷) (3.9) 𝜷 𝒎 𝟏 𝑱(𝜷) = − [∑ 𝒚(𝒊) 𝒍𝒐𝒈 𝒉(𝒙(𝒊) ) + (𝟏 − 𝒚(𝒊) ) 𝒍𝒐𝒈(𝟏 − 𝒉(𝒙(𝒊) ))] 𝒎 𝒊=𝟏 (𝒊) J(𝜷)= − 𝒎𝟏 [∑𝒎 𝒊=𝟏 𝒚 𝒍𝒐𝒈( 𝟏 𝑻 𝟏+𝒆−𝜷 𝒙 ) + (𝟏 − 𝒚(𝒊) ) 𝒍𝒐𝒈(𝟏 − 𝟏 𝑻 𝟏+𝒆−𝜷 𝒙 )] Vấn đề chọn tối ưu tham số lamda để tối thiểu hàm loss function với L2 Norm 𝒑 𝟐 𝒎𝒊𝒏 ∑𝒎 (3.10) 𝒊=𝟏 𝑱(𝜷) + 𝝀 ∑𝟏 𝜷 𝜷 ∈ 𝑹𝒏 Trong trình thực nghiệm, đánh giá hiệu suất với giá trị C=[0.01,100] với C=1/ 𝝀, C nhận giá trị lớn mức độ chuẩn hóa thấp (overfitting), ngược lại C có giá trị nhỏ độ chuẩn hóa cao chọn giá trị tối ưu cho mô hình hồi quy logistic C=0.2154 31 3.5 Rút trích thông tin Dựa vào kết phân loại cảm xúc mơ hình logistic, chúng tơi xếp hạng bình luận trích xuất bình luận nằm nhóm 20 đầu 20 bình luận nhóm có thứ hạng thấp Sau thực phân tích đánh giá mức độ ảnh hưởng từ cho loại ẩm thực quốc gia kết phân tích ẩm thực quốc gia phản ánh thực tiễn : Món ăn phổ biến Việt Nam phở, Nhật Bản với ẩm thực sushi tươi sống, số ăn Thái có hương vị cay, nhà hàng Ý tiếng với bánh pizza - Trong phần thực nghiệm này, chúng tơi rút trích thơng tin hữu ích bình luận nằm nhóm đầu 10 bình luận tốt nhất, nhóm 10 bình luận hàng đầu theo quốc gia: Bảng 5.Các bình luận tích cực cho doanh nghiệp 32 Bảng Các bình luận cảm xúc tích cực cho doanh nghiệp Việt Nam - Nhóm 10 bình luận cảm xúc tiêu cực cho nhà hàng Việt Nam, liệu phản ánh hợp lý với xếp hạng đến Bảng 7.Nhóm bình luận cảm xúc tiêu cực cho doanh nghiệp Việt Nam 33 Chương 4: Thực nghiệm 4.1 Kết thực nghiệm phân loại cảm xúc Kết phân loại cảm xúc tích cực tiêu cực ảnh hưởng mạnh đến kết rút trích thơng tin Nếu kết phân loại xác, truy vấn rút trích thơng tin có độ xác cao Kết thực nghiệm liệu với mơ hình logistic cho kết với độ xác cao accuracy=90%, recall=89.8%, precision=96.9% hệ số chuẩn hóa cho mơ hình tối ưu với hệ số chuẩn hóa C=0.2154 Hình Đánh giá mô hỉnh huấn luyện kiểm thử liệu 𝑡í𝑐ℎ 𝑐ự𝑐 𝑡𝑖ê𝑢 𝑐ự𝑐 tích cực 3276 356 tiêu cực 1262 11171 Bảng 8.Ma trân đánh giá phân loại cảm xúc Trích xuất xác cảm xúc giúp doanh nghiệp định hình xu hướng phát triển, đồng thời nắm bắt quan điểm cảm xúc khách hàng ăn, chất lượng dịch vụ khách hàng 34 4.2 Kết thực nghiệm rút trích thơng tin Nhóm 10 từ cảm xúc mạnh tích cực tiêu cực Tích cực - hệ số Tiêu cực-hệ số excellent: 1.14614924052 delicious: 1.1119727885 amazing: 1.03514286548 awesome: 0.872256805683 perfect: 0.838463244404 great: 0.806499315192 best: 0.744851346902 fantastic: 0.734042587596 love: 0.731300119008 reasonable: 0.72016372024 worst: -1.13781905968 horrible: -1.0873361229 terrible: -1.04677190115 mediocre: -1.04432799702 bland: -0.874645601756 awful: -0.836073920222 tasteless: -0.821659220617 rude: -0.820886331069 disgusting: -0.805035172104 overpriced: -0.803561081306 Bảng Nhóm 10 từ cảm xúc rút từ kết phân tích - Nhóm 20 từ phổ biến trích từ bình luận hàng đầu thể cảm xúc tích Các từ có tần số xuất cao phù hợp với thực tế Món ăn phổ biến Việt Nam phở phối suất cao ẩm Hình Phân từ có tần thực Việt Nam 35 Hình 10.Các - từ ảnh hưởng mạnh ẩm thực Việt Kết phân loại rút trích cảm xúc xác cho nhà hàng Nhật bản, ăn phổ biến Sushi tươi sống Hình 11.Phân phối từ có tần suất cao ẩm thực Nhật Hình 12.Các từ ảnh hưởng mạnh ẩm thực Nhật 36 KẾT LUẬN Trong nghiên cứu này, Tôi thực khảo sát so sánh hướng tiếp cận phân loại cảm xúc dựa vào thuật toán học máy, từ điển ontology đánh giá kỹ thuật rút trích thơng tin dựa sở phân loại cảm xúc Trên tảng lý thuyết đó, Tơi tiến hành xây dựng mơ hình thực nghiệm với phương pháp hồi quy logistic để phân loại cảm xúc sau tiến hành rút trích thơng tin Và thử nghiệm thuật tốn rút trích thơng tin có cảm xúc cho câu truy vấn Cụ thể đề tài đạt số cột mốc quan sau - Nghiên cứu tổng quan phân tích cảm xúc ứng dụng thực tế sống - Nghiên cứu phương pháp rút trích thơng tin phương pháp phân tích cảm xúc - Xây dựng mơ hình thử nghiệm rút trích thơng tin theo câu truy vấn từ liệu - Đánh giá thử nghiệm liệu thuật toán hồi quy logistic lựa chọn tham số tối ưu để nâng cao độ xác thuật tốn Thời gian tới đề tài tiếp tục phát triển : - Xây dựng nhiều mô hình phân loại cảm xúc với nhiều thuật tốn mở rộng hướng tiếp cận ngữ nghĩa ontology, phương pháp từ điển, học máy từ so sánh kết thực nghiệm để so sánh đánh giá ưu khuyết phương pháp cho trường hợp cụ thể - Xây dựng mơ hình rút trích thơng tin sở phân tích cảm xúc trang tiếng việt dịch vụ du lịch tripadvisor, Lazada 37 Tài liệu tham khảo [1] B Agarwal and N Mittal, “Optimal feature selection for sentiment analysis,” in Proceedings of the 14th International Conference on Intelligent Text Processing and Computational Linguistics (CICLing 13), vol 7817, pp 13–24, 2013 [2] A Basant, M Namita, B Pooja, Sonal Garg “Sentiment Analysis Using Common-Sense and Context Information” Hindawi Publishing Corporation Computational Intelligence and Neuroscience (2015) [3] RuiXia, FengXu, JianfeiYu,” Polarity shift detection, elimination and ensemble: A three stage model for document-level sentiment analysis” Information Processing and Management 52 (2016) 36– 45 [4] Y Ainur, Y Yisong, C Claire “Multi-level structured models for documentlevel sentiment classification”.Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, MIT, Massachusetts, Association for Computational Linguistics, USA (2010), pp 1046-1056 [5] F Noura, C Elie, A.A Rawad, H Hazem “Sentence-level and document-level sentiment mining for arabic texts”.Proceeding IEEE International Conference on Data Mining Workshops (2010) [6] Hao chen Zhou and Fei Song.(2015) “Aspect-level sentiment analysis based on a generalized probabilistic topic and syntax model” Proceedings of the TwentyEighth International Florida Artificial Intelligence Research Society Conference, Association for the Advancement of Artificial Intelligence (2015) [7] Ariyasriwatana, W., Buente, W., Oshiro, M., & Streveler, D (2014) Categorizing health-related cues to action: using Yelp reviews of restaurants in Hawaii New Review of Hypermedia and Multimedia, 20(4), 317-340 [8] Hicks, A., Comp, S., Horovitz, J., Hovarter, M., Miki, M., & Bevan, J L (2012) Why people use Yelp com: An exploration of uses and gratifications Computers in Human Behavior, 28(6), 2274-2279 38 [9] Huang, J., Rogers, S., & Joo, E (2014) “Improving restaurants by extracting subtopics from yelp reviews” iConference 2014 (Social Media Expo) [10] Ruhui Shen, Jialiang Shen, Yuhong Li & Haohan Wang (2016), ” Predicting usefulness of Yelp reviews with localized linear regression models”, 2016 7th IEEE International Conference on Software Engineering and Service Science (ICSESS) [11] Solov'ev A N., Antonova A Ju., Pazel'skaia A G., (2012), Using sentiment-analysis for text information extraction I-Teco (Moscow) [12] Wanxiang Che, Yanyan Zhao, Honglei Guo, Zhong Su, and Ting Liu,” Sentence Compression for spect-Based Sentiment Analysis” IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, VOL 23, NO 12, DECEMBER 2015 [13] P.D Turney,(2000), “Learning algorithms for keyphrase extraction” Information Retrieval vol 2, no 4, pp 303 - 336 [14] I.H Witten, G.W Paynter, E Frank, C Gutwin and C.G Nevill- Manning.(1999) “KEA: Practical automatic Keyphrase Extraction.” The proceedings of Digital Libraries '99: The Fourth ACM Conference on Digital Libraries, pp 254-255 [15] Huong Nguyen Thi Xuan, Anh Cuong Le ; Le Minh Nguyen, (2012) ”Linguistic Features for Subjectivity classification“ Asian Language Processing (IALP), 2012 International Conference 39 Phụ lục I Kết phân tích liệu quốc gia Ẩm thực Pháp Bảng 10.Nhóm Hình 13.Các bình luận tích cực ẩm thực Pháp từ khóa có tần suất cao ẩm thực Pháp 40 Ẩm thực Trung Quốc Bảng 11.Nhóm Hình 14.Các bình luận tích cực ẩm thực Trung Quốc từ khóa có tần suất cao ẩm thực Trung Quốc 41 Ẩm thực Ấn độ Bảng 12.Nhóm Hình 15.Các bình luận tích cực ẩm thực Ấn độ từ khóa có tần suất cao ẩm thực Ấn độ 42 ... 36 Hình 13.Các từ khóa có tần suất cao ẩm thực Pháp 40 Hình 14.Các từ khóa có tần suất cao ẩm thực Trung Quốc 41 Hình 15.Các từ khóa có tần suất cao ẩm thực Ấn độ 42 Danh mục... 34 Hình Phân phối từ có tần suất cao ẩm thực Việt Nam 35 Hình 10.Các từ ảnh hưởng mạnh ẩm thực Việt 36 Hình 11.Phân phối từ có tần suất cao ẩm thực Nhật 36 Hình 12.Các từ... RuiXia, Dịch chuyển Các quy tắc FengXu et phân cực cảm PSDEE al (2016) xúc phương pháp Bộ Độ liệu xác Movie Reivew 87.1% Hạn chế Độ xác chưa cao thống kê V.K Dịch chuyển Từ điển cảm SWN(AC Khó mở