Nghiên cứu rút trích thông tin dựa trên cơ sở phân tích cảm xúc

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA KỸ THUẬT CÔNG NGHỆ BÁO CÁO KHOA HỌC TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CƠNG NGHỆ CẤP TRƯỜNG •• NGHIÊN CỨU RÚT TRÍCH THƠNG TIN DỰA TRÊN CƠ SỞ PHÂN TÍCH CẢM XÚC Mã số: Chủ nhiệm đề tài: ThS.Nguyễn Tấn Lộc Bình Dương, 08/01/2018 TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA KỸ THUẬT CÔNG NGHỆ BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CƠNG NGHỆ CẤP TRƯỜNG •• NGHIÊN CỨU RÚT TRÍCH THƠNG TIN TRÊN CƠ SỞ PHÂN TÍCH CẢM XÚC Mã số: Xác nhận đơn vị chủ trì đề tài (chữ ký, họ tên) •• Chủ nhiệm đề tài (chữ ký, họ tên) Bình Dương, 08/01/2018 Danh sách thành viên Chủ nhiệm: ThS.Nguyễn Tấn Lộc Email: locnt@tdmu.edu.vn ĐTDD: 0914290456 Đơn vị chủ trì: Khoa Kỹ thuật Cơng nghệ Địa chỉ: 06 Trần văn Ơn, P.Phú Hịa, tp.Thủ Dầu Một, Bình Dương Mục lục Danh mục hình Danh mục bảng Danh mục chữ viết tắt TF: term frequency IDF: inverse document frequency TF.IDF: term frequency inverse document frequency DTM: document term matrix Logistic: hồi quy logistic P(A): Xác xuất kiện A NER: Named Entity Recognition SoA: Sentiment analysis - Phân tích cảm xúc TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT Đơn vị: Khoa Kỹ thuật Cơng nghệ THƠNG TIN KẾT QUẢ NGHIÊN CỨU Thơng tin chung: - Tên đề tài: Nghiên cứu rút trích thơng tin sở phân tích cảm xúc - Mã số: - Chủ nhiệm: Ths.Nguyễn Tấn Lộc - Đơn vị chủ trì: Khoa Kỹ thuật Cơng nghệ - Thời gian thực hiện: 11/2016-11/2017 Mục tiêu: - Nghiên cứu tổng quát lĩnh vực phân tích cảm xúc ứng dụng lĩnh vực đời sống thực nghiện phân tích cảm xúc với mơ hình học máy - Trích xuất nhóm cụm từ quan trọng để hỗ trợ định dựa sở cảm xúc công chúng vấn đề cần quan tâm Tính sáng tạo: - Đề xuất xây dựng mơ hình học máy tự động phân loại cảm xúc dựa vào nội dung bình luận phi cấu trúc nhằm tăng tốc hiểu biết liệu - Tiếp cận phương pháp rút trích thơng tin nhằm trích xuất nhóm bình luận tích cực, tiêu cực nắm bắt quan điểm, cảm xúc dựa kết phân loại cảm xúc nhằm định chiến lược kinh doanh phù hợp cho doanh nghiệp Kết nghiên cứu: - Kết thực nghiệm liệu với mơ hình logistic cho độ xác 90%, recall=89.8%, precision=96.9% hệ số tối ưu chuẩn hóa cho mơ hình C=0.2154 - Trích xuất cụm tử quan trọng cho doanh nghiệp nhà hàng Việt Nam, Trung Quốc, Nhật Bản - Trích xuất doanh nghiệp nhà hàng bình luận tốt tiêu cực Sản phẩm: báo khoa học Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: Ứng dụng kết nghiên cứu để phát triển mơ hình phân tích liệu nắm bắt quan điểm, cảm xúc cho trang website Việt Nam: Tripadvisor, Lazada Ngày tháng 11 năm 2017 Chủ nhiệm đề tài Đơn vị chủ trì hữ ký, họ tên) (chữ ký, họ tên) XÁC NHẬN CỦA CƠ QUAN Mở đầu Tính cấp thiết - Ngơn ngữ người phức tạp Vì vậy, diễn giải ngơn ngữ cho máy tính hiểu phân tích ngữ pháp, vùng miền ứng dụng hay ngữ cảnh, tiếng lóng lỗi q trình khó khăn - Nghiên cứu phân tích cảm xúc khơng tác động quan trọng lĩnh vực xử lý ngơn ngữ tự nhiên, mà cịn tác động sâu sắc khoa học quản lý, khoa học trị, kinh tế khoa học xã hội tất lĩnh vực bị ảnh hưởng ý kiến chủ thể Mục tiêu Nghiên cứu phân loại cảm xúc rút trích thơng tin hữu ích nắm bắt quan điểm, nâng ao hiểu biết cho doanh nghiệp nhà hàng Yelp từ hỗ trợ định Cách tiếp cận - Thu thập liệu từ trang website Yelp - Xử lý lưu trữ vào kho liệu - Xây dựng mơ hình dựa thuật tốn học máy đánh giá hiệu suất - Thu thập báo khoa học thuộc lĩnh vực nghiên cứu Phương pháp nghiên cứu - Thu thập tài liệu tác giả trong, ngồi nước có liên quan đến đề tài - Nghiên cứu phát triển lý thuyết phục vụ đề tài - Nghiên cứu thực nghiệm đánh giá kết dựa vào phương pháp thống kê Đối tượng phạm vi nghiên cứu - Trích xuất nội dung phi cấu trúc trang web lưu trữ kho liệu tập trung - Các từ điển cảm xúc - Tài liệu văn bản, câu, từ, cụm từ tiếng Anh TF-term frequency : dùng để ước lượng tần xuất xuất từ văn Tuy nhiên với văn có độ dài khác nhau, số lần xuất từ nhiều Vì số lần xuất từ chia độ dài văn (tổng số từ văn đó) TF(t, d) = (số lần từ t xuất văn d) / (tổng số từ văn d) IDF- Inverse Document Frequency: ước tính mức độ ảnh hưởng từ Khi tính tần số xuất tf từ coi quan trọng Tuy nhiên có số từ thường được sử dụng nhiều không quan trọng để thể ý nghĩa đoạn văn , ví dụ : • Từ nối: và, nhưng, nhiên, thế, vậy, • Giới từ: ở, trong, trên, • Từ định: ấy, đó, nhỉ, Vì vậy, IDF tìm cách co lại trọng số tương ứng với từ khóa xuất nhiều văn IDF(t,D)=log(N/|D(t)|) (3.4) Với N tổng số tài liệu văn bản, D(w): số văn chứa từ t Trọng số từ (TF.IDF) tích tần suất từ khóa TF nghịch đảo số văn chứa từ khóa xác định công thức: TF.IDF = f(t).log(N/|D(t)|) (3.5) Trong f(t) hàm tính tần số cụm từ t 3.4.3 Xây dựng mơ hình huấn luyện với hồi quy logistic Mơ hình hồi qui logistic tổng qt với k yếu tố nguy x1,x2,.xk mô tả phương trình sau (z) ỉ = ■■ (3.6) Trong đó, z định nghĩa sau: z= + z= /? : hệ số chặn (intercept) Giá trị z tất biến độc lập 0 Pl, p2, pk: hệ số hồi qui cho từ x1, x2, , xk Hệ số hồi qui cho biết hướng mức độ ảnh hưởng yếu tố đến xác suất Nếu hệ số hồ qui dương yếu tố nguy làm tăng xác suất xảy kiện ngược lại Đồ thị hồi qui logistic có trục hồnh giá trị z trục tung giá trị f(z) tương ứng xác suất xảy kiện) z nhận giá trị âm dương f(z) nhận giá trị khoảng p(y=1|x, )=f(3^x)=f(z) p(y= -1|x 3)=1-f(3 x)l-l(z) 1- n5 ũ -4 -2 ũ Hình Mơ hình hồi quy logistic 3.4.4 Phương pháp đánh giá hiệu suất phân loại cảm xúc Để đánh giá chất lượng hệ thống, báo sử dụng hai độ đo: độ xác (precision) độ bao phủ (recall) 02 độ đo tính tốn theo cơng thức sau: true pos Giá trị thực tế Bảng Ma true neg pred.pos a b pred.neg c d trân đánh giá hệ thống phân loại precision = (3.7) a+b recall = -?— (3.8) a+ c Trong đó: a: số lượng bình luận có nhãn tích cực phân loại tích cực b: số lượng bình luận có nhãn tích cực phân loại tiêu cực c: số lượng bình luận có nhãn tiêu cực phân loại tích cực d: số lượng bình luận có nhãn tiêu cực phân loại tiêu cực 3.4.5 Tối ưu tham số cho mơ hình Hàm Loss function gọi hàm mát Chúng ta mong muốn sai số nhỏ nhất, đồng nghĩa với việc tìm vector hệ số p cho giá trị hàm mát nhỏ tốt giảm thiểu vấn đề overfitting (T=ar gminp L(F) (3.9 ) rm J(P) = —— y(i) lo gh(x(r>) + (1 — y(i)) lo g(1 — à(x(i))) m Li=i —^rr) 'ữUy® log( ^r) + (1 — y(i)) log (1 — 1+e — Px 1+e -/ỉ'xyJ Vấn đề chọn tối ưu tham số lamda để tối thiểu hàm loss function với L2 Norm minpERn ỵm 1J(P) + ẢỵVp2 (3.10) Trong trình thực nghiệm, đánh giá hiệu suất với giá trị C=[0.01,100] với C=1/ , C nhận giá trị lớn mức độ chuẩn hóa thấp (overfitting), ngược lại C có giá trị nhỏ độ chuẩn hóa cao chọn giá trị tối ưu cho mơ hình hồi quy logistic C=0.2154 3.5 Rút trích thơng tin Dựa vào kết phân loại cảm xúc mơ hình logistic, chúng tơi xếp hạng bình luận trích xuất bình luận nằm nhóm 20 đầu 20 bình luận nhóm có thứ hạng thấp Sau thực phân tích đánh giá mức độ ảnh hưởng từ cho loại ẩm thực quốc gia kết phân tích ẩm thực quốc gia phản ánh thực tiễn : Món ăn phổ biến Việt Nam phở, Nhật Bản với ẩm thực sushi tươi sống, số ăn Thái có hương vị cay, nhà hàng Ý tiếng với bánh pizza - Trong phần thực nghiệm này, chúng tơi rút trích thơng tin hữu ích bình luận nằm nhóm đầu 10 bình luận tốt nhất, nhóm 10 bình luận hàng đầu theo quốc gia: name sta rs textclean categor ies American Kai This is a belated review for a meal that took Cain's Saloon Great beer list always changing it up Follows Clive Garden Italian Restaurant In the last few years Ive tried my best to lik Italian Clive Garden Italian Restaurant I dont know what is happening to Olive Garden Italian NYPD Pizza My favorite lunch spot in the area Im from NJ Italian Sunup Brewing Nice cozy neighborhood brewery Friendly staff Murphy's Pub Well its an institution here at the u of I You Randy's Restaurant & Ice Cream I go here when i am working and want to get aw American (New) American (New) American (New) Filibertos Mexican Food After hearing a few individuals talk about Fil Mexican Hiro Sushi This IS as good as it gets for sushi in Arizon Japanese Bảng 5.Các bình luận tích cực cho doanh nghiệp (New) American (New) name sta rs textclean categorie s Loving Hut We love this place Th is is gonna be a long rev Vietnamese Loving Hut Yu mm m mm mm Best vegetarian restaurant in Phoen Vietnamese Tram's Kitchen It might be a holeinthewall but its a pretty n Vietnamese Saigon Pho & Seafood Fast service delicious food and excellent pric Vietnamese Tea Light Cafe Im giving Tea Light Cafe an extra star well de Vietnamese Tea Light Cafe Ive been driving by Tea Lite for awhile but ne Vietnamese Savor Flavor Asia This is a great little spot casual and quick a Vietnamese Pho Minh Best place for in the city have tried th Vietnamese Saigon Pho & Seafood Saigon is by far my favorite stop come h Vietnamese Cyclo Vietnamese Cuisine We really like this place love the owners Vietnamese Bảng Các bình luận cảm xúc tích cực cho doanh nghiệp Việt Nam - Nhóm 10 bình luận cảm xúc tiêu cực cho nhà hàng Việt Nam, liệu phản ánh hợp lý với xếp hạng đến name star s Phu Thanh textclean categorie s Being a huge fan of Vietnamese food and how he Vietnamese Saigon Pho & Seafood Dontgoto this restaurant The employees are Vietnamese Tea Light Cafe First and foremost this fastfood Vietnam rest Vietnamese Pho Minh Maybe I went on a bad day but the food was pre Vietnamese My Ngoc Restaurant Theres a reason why this place has no reviews Vietnamese Saigon Pho & Seafood Very VERY disappointed in the service This was Vietnamese Cyclo Vietnamese Cuisine I really dont understand what the fuss is abou Vietnamese Loving Hut Absolutely terrible and slow service They are Vietnamese Saigon Pho & Seafood We always eat here when we crave Saigon Pho To Vietnamese Saigon Pho & Seafood We had dinner and had the worst experience we Vietnamese Bảng 7.Nhóm bình luận cảm xúc tiêu cực cho doanh nghiệp Việt Nam Chương 4: Thực nghiệm 4.1 Kết thực nghiệm phân loại cảm xúc Kết phân loại cảm xúc tích cực tiêu cực ảnh hưởng mạnh đến kết rút trích thơng tin Nếu kết phân loại xác, truy vấn rút trích thơng tin có độ xác cao Kết thực nghiệm liệu với mơ hình logistic cho kết với độ xác cao accuracy=90%, recall=89.8%, precision=96.9% hệ số chuẩn hóa cho mơ hình tối ưu với hệ số chuẩn hóa C=0.2154 Hình Đánh giá mô hỉnh huấn luyện kiểm thử liệu tỉch cực Bảng 8.Ma trân đánh tiêu cực tích cực 3276 356 tiêu cực 1262 11171 giá phân loại cảm xúc Trích xuất xác cảm xúc giúp doanh nghiệp định hình xu hướng phát triển, đồng thời nắm bắt quan điểm cảm xúc khách hàng ăn, chất lượng dịch vụ khách hàng 4.2 Kết thực nghiệm rút trích thơng tin Nhóm 10 từ cảm xúc mạnh tích cực tiêu cực r rrir ■ ■ /K Tích cực - hệ số excellent: 1.14614924052 delicious: 1.1119727885 amazing: 1.03514286548 awesome: 0.872256805683 perfect: 0.838463244404 great: 0.806499315192 best: 0.744851346902 fantastic: 0.734042587596 love: 0.731300119008 reasonable: 0.72016372024 Bảng Nhóm r rri* * ■ /K Tiêu cực-hệ số worst: -1.13781905968 horrible: -1.0873361229 terrible: -1.04677190115 mediocre: -1.04432799702 bland: -0.874645601756 awful: -0.836073920222 tasteless: -0.821659220617 rude: -0.820886331069 disgusting: -0.805035172104 overpriced: -0.803561081306 10 từ cảm xúc rút từ kết phân tích - Nhóm 20 từ phổ biến trích từ bình luận hàng đầu thể cảm xúc tích Các từ có tần số xuất cao phù hợp với thực tế Món ăn phổ biến Việt Nam phở Phân phối suất cao ẩm Hình từ có tần thực Việt Nam Hình 10.Các từ ảnh hưởng mạnh ẩm thực Việt - Kết phân loại rút trích cảm xúc xác cho nhà hàng Nhật bản, ăn phổ biến Sushi tươi sống Hình 11.Phân phối từ có tần suất cao ẩm thực Nhật Hình 12.Các từ ảnh hưởng mạnh ẩm thực Nhật KẾT LUẬN Trong nghiên cứu này, Tôi thực khảo sát so sánh hướng tiếp cận phân loại cảm xúc dựa vào thuật toán học máy, từ điển ontology đánh giá kỹ thuật rút trích thơng tin dựa sở phân loại cảm xúc Trên tảng lý thuyết đó, Tơi tiến hành xây dựng mơ hình thực nghiệm với phương pháp hồi quy logistic để phân loại cảm xúc sau tiến hành rút trích thơng tin Và thử nghiệm thuật tốn rút trích thơng tin có cảm xúc cho câu truy vấn Cụ thể đề tài đạt số cột mốc quan sau - Nghiên cứu tổng quan phân tích cảm xúc ứng dụng thực tế sống - Nghiên cứu phương pháp rút trích thơng tin phương pháp phân tích cảm xúc - Xây dựng mơ hình thử nghiệm rút trích thơng tin theo câu truy vấn từ liệu - Đánh giá thử nghiệm liệu thuật toán hồi quy logistic lựa chọn tham số tối ưu để nâng cao độ xác thuật toán Thời gian tới đề tài tiếp tục phát triển : - Xây dựng nhiều mơ hình phân loại cảm xúc với nhiều thuật toán mở rộng hướng tiếp cận ngữ nghĩa ontology, phương pháp từ điển, học máy từ so sánh kết thực nghiệm để so sánh đánh giá ưu khuyết phương pháp cho trường hợp cụ thể - Xây dựng mơ hình rút trích thơng tin sở phân tích cảm xúc trang tiếng việt dịch vụ du lịch tripadvisor, Lazada Tài liệu tham khảo [1] B Agarwal and N Mittal, “Optimal feature selection for sentiment analysis,” in Proceedings of the 14th International Conference on Intelligent Text Processing and Computational Linguistics (CICLing 13), vol 7817, pp 13-24, 2013 [2] A Basant, M Namita, B Pooja, Sonal Garg “Sentiment Analysis Using Common-Sense and Context Information” Hindawi Publishing Corporation Computational Intelligence and Neuroscience (2015) [3] RuiXia, FengXu, JianfeiYu,” Polarity shift detection, elimination and ensemble: A three stage model for document-level sentiment analysis” Information Processing and Management 52 (2016) 36- 45 [4] Y Ainur, Y Yisong, C Claire “Multi-level structured models for documentlevel sentiment classification”.Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, MIT, Massachusetts, Association for Computational Linguistics, USA (2010), pp 1046-1056 [5] F Noura, C Elie, A.A Rawad, H Hazem “Sentence-level and document-level sentiment mining for arabic texts”.Proceeding IEEE International Conference on Data Mining Workshops (2010) [6] Hao chen Zhou and Fei Song.(2015) “Aspect-level sentiment analysis based on a generalized probabilistic topic and syntax model” Proceedings of the TwentyEighth International Florida Artificial Intelligence Research Society Conference, Association for the Advancement of Artificial Intelligence (2015) [7] Ariyasriwatana, W., Buente, W., Oshiro, M., & Streveler, D (2014) Categorizing health-related cues to action: using Yelp reviews of restaurants in Hawaii New Review of Hypermedia and Multimedia, 20(4), 317-340 [8] Hicks, A., Comp, S., Horovitz, J., Hovarter, M., Miki, M., & Bevan, J L (2012) Why people use Yelp com: An exploration of uses and gratifications Computers in Human Behavior, 28(6), 2274-2279 [9] Huang, J., Rogers, S., & Joo, E (2014) “Improving restaurants by extracting subtopics from yelp reviews” iConference 2014 (Social Media Expo) [10] Ruhui Shen, Jialiang Shen, Yuhong Li & Haohan Wang (2016), ” Predicting usefulness of Yelp reviews with localized linear regression models”, 2016 7th IEEE International Conference on Software Engineering and Service Science (ICSESS) [11] Solov'ev A N., Antonova A Ju., Pazel'skaia A G., (2012), Using sentiment-analysis for text information extraction I-Teco (Moscow) [12] Wanxiang Che, Yanyan Zhao, Honglei Guo, Zhong Su, and Ting Liu,” Sentence Compression for spect-Based Sentiment Analysis” IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, VOL 23, NO 12, DECEMBER 2015 [13] P.D Turney,(2000), “Learning algorithms for keyphrase extraction” Information Retrieval vol 2, no 4, pp 303 - 336 [14] I.H Witten, G.W Paynter, E Frank, C Gutwin and C.G Nevill- Manning (1999) “KEA: Practical automatic Keyphrase Extraction.” The proceedings of Digital Libraries '99: The Fourth ACM Conference on Digital Libraries, pp 254255 [15] Huong Nguyen Thi Xuan, Anh Cuong Le ; Le Minh Nguyen, (2012) ”Linguistic Features for Subjectivity classification“ Asian Language Processing (IALP), 2012 International Conference Phụ lục I Kết phân tích liệu quốc gia Ẩm thực Pháp name Vincent's On Camelback sta rs Zinc Bistro 5 Coup Des Tartes The Melting Pot Au Petit Four Au Petit Four Coup Des Tartes McNinch House Restaurant Coup Des Tartes Coup Des Tartes The Melting Pot Sophie's French Bistro Coup Des Tartes Bảng 10.Nhóm Hình 13.Các textclean We came here on a Saturday during Restaurant w Four letters LOVE We went to Coup Des Tartes Oh My Freaking God i love this placei have nev OK Sweet Pea and love US some Coup and its n love the melting pot Everything from the dri This place is tucked away on a side street rig Bonjour 000 la la yummeee If you like fresh ma First and Foremost GO THERE NOW Can give it Soits been at least two years since Ive been t What a great gem possibly one of the few resta Im a little confused about some of the complai This was hands down one of the best dining exp We had a very nice overall experience at Sophi bình luận tích cực ẩm thực Pháp từ khóa có tần suất cao ẩm thực Pháp categor ies French sentim ent French French French French French French French French French French French French die V7iIK Ẩm thực Trung Quốc na me sta rs textclean categor ies sentim ent Chinese P.F Chang's My husband and are frequent diners at PF Cha Lao Ching Hing Chinese food has become so Americanized that i Chinese P.F Chang's What a PERFECT experience to make up for the p Chinese Gourmet House Of Hong Kong Gourmet House of Hong Kong changed ownership a Chinese Imperial Garden Chinese C-Fu Gourmet Chinese Wan Fu Chinese Sichuan House Chinese Restaurant My grandmother sister and all decided to eat am one of those people who loathe buffets a Delicious Chinese food in a great though sonnet Chinese 1 live downtown LOVE Chinese food Living know Its a chain but am definitely a fan totally love this place It reminds me of the Im pretty sure this is the only place in Chand Chinese Chinese Fu Lai Chinese Restaurant P.F Chang'S Dragon Palace C-Fu Gourmet Bảng 11.Nhóm Hình 14.Các Came here for a friends wedding reception mark bình luận tích cực ẩm thực Trung Quốc từ khóa có tần suất cao ẩm thực Trung Quốc Chinese Chinese Ẩm thực Ấn độ name sta rs Indian Delhi Palace Indian Delhi Palace Indian Maharaja Palace Royal Taj Indian Delhi Palace Indian Delhi Palace Royal Taj Star of India Taste of India Indian Delhi Palace India Gate Maharani Indian Cuisine Royal Taj Taste of India Flavors of India Bombay Grille Bảng 12.Nhóm Hình 15.Các textcle an In my mind there are two types of Indian resta Went to Phoenix today visiting our son One of absolutely love this restaurant Do yourself love Royal Taj stumbled on it last year af After all the issues weve had finding food SUS Im not biased when say humble little joint b There once was a Nader that craved delicious f Star of India was first recommended to me fiv dont have a ton of experience with Indian cu This is my favorite Indian restaurant in the p Im still on a buffet binge and Indian food sou Maharani is a pretty solid 3stars in my book\r This is handsdown our favorite Indian restaura Delicious intensely flavored food Ive had a va One of the best Indian buffets in the valley\r restaurant is great and i love their caterin bình luận tích cực ẩm thực Ấn độ từ khóa có tần suất cao ẩm thực Ấn độ categori es sentim ent Indian Indian Indian Indian Indian Indian Indian Indian Indian Indian Indian Indian Indian Indian Indian Indian ... analysis - Phân tích cảm xúc TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT Đơn vị: Khoa Kỹ thuật Cơng nghệ THƠNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: - Tên đề tài: Nghiên cứu rút trích thơng tin sở phân tích cảm xúc. .. nghiệm rút trích thơng tin _ *? A Chương 1: Tổng quan phân tích cảm xúc 1.1 Phân tích cảm xúc gì? Phân tích cảm xúc ứng dụng nhiều ngành để trích xuất tri thức, cảm xúc quan điểm khách hàng Rút trích. .. Hỗ trợ định dựa sở phân tích quan điểm, cảm xúc cơng chúng vấn đề cần quan tâm 1.3 Các mức độ phân tích cảm xúc Phân tích cảm xúc lĩnh vực nghiên cứu xử lý ngôn ngữ tự nhiện nghiên cứu mức độ: