ỨNG DỤNG VÀ ĐÁNH GIÁ HIỆU QUẢ GIẢI PHÁP PHÂN TÍCH CẢM XÚC VĂN BẢN TIẾNG VIỆT TRONG THƯƠNG MẠI ĐIỆN TỬ

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐÀO LÊ TRINH ỨNG DỤNG VÀ ĐÁNH GIÁ HIỆU QUẢ GIẢI PHÁP PHÂN TÍCH CẢM XÚC VĂN BẢN TIẾNG VIỆT TRONG THƯƠNG MẠI ĐIỆN TỬ Chuyên ngành: HỆ THỐNG THÔNG TIN QUẢN LÝ Mã SỐ: 60340405 LUẬN VĂN THẠC SĨ TP.HỒ CHÍ MINH, tháng năm 2019 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA -ĐHQG -HCM Cán hướng dẫn khoa học : PGS TS PHẠM TRẦN vũ Cán chấm nhận xét : PGS.TS HUỲNH TRUNG HIẾU Cán chấm nhận xét : TS NGUYỄN AN KHƯƠNG Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 03 tháng 07 năm 2019 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS TRẦN VĂN HOÀI TS LÊ LAM SƠN PGS.TS HUỲNH TRUNG HIẾU TS NGUYỄN AN KHƯƠNG PGS.TS NGUYỄN THANH BÌNH Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỊNG TRƯỞNG KHOA ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT TRƯỜNG ĐẠI HỌC BÁCH NAM Độc lập - Tự - Hạnh phúc KHOA NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên : Đào Lê Trinh MSHV : 1570549 Ngày tháng năm sinh : 24/12/1989 Nơi sinh : Bình Định Chun ngành : Hệ thống thơng tin quản lý Mã số : 60340405 I TÊN ĐỀ TÀI: ỨNG DỤNG VÀ ĐÁNH GIÁ HIỆU QUẢ GIẢI PHÁP PHÂN TÍCH CẢM XÚC VĂN BẢN TIẾNG VIỆT TRONG THƯƠNG MẠI ĐIỆN TỬ II NHIỆM VỤ VÀ NỘI DUNG : - Nghiên cứu giải pháp phân tích cảm xúc văn tiếng Việt - Xây dựng ứng dụng đánh giá sản phẩm phương pháp phân tích cảm xúc văn tiếng Việt - Đánh giá hiệu giải pháp III NGÀY GIAO NHIỆM VỤ : IV NGÀY HOÀN THÀNH NHIỆM vụ : V CÁN Bộ HƯỚNG DẪN : PGS TS PHẠM TRẦN vũ CÁN Bộ HƯỚNG DẪN (Họ tên chữ ký) Tp HCM, ngày tháng năm 20 CHỦ NHIỆM Bộ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA (Họ tên chữ ký) 11 LỜI CÁM ƠN Trong suốt trình theo học chưcmg trình đào tạo Thạc sĩ trường Đại học Bách Khoa TP.HCM, xin chân thành cảm cm dạy tận tình q Thầy Cơ giảng dạy trường bạn, anh chị tơi gắn bó buổi học, buổi thảo luận kỳ thi Đặc biệt, xin dành tình cảm sâu sắc lòng biết cm chân thành đến Thầy PGS TS Phạm Trần Vũ, người dành nhiều thời gian để giúp đỡ tôi, cung cấp phưomg pháp, kiến thức cần thiết cho suốt trình thực luận văn Thạc sĩ Tơi xin chân thành gửi lời cảm om đến anh Lê An Pha anh Đặng Văn Thìn giúp đỡ nhiều với kiến thức cần thiết học thuật cho nghiên cứu Tôi xin chân thành cảm om đến bạn bè, đồng nghiệp, anh chị giúp tơi hồn thành khảo sát thu thập liệu thực tế cho luận văn Chân thành cảm om! Người thực luận văn Đào Lê Trinh 111 TÓM TẮT LUẬN VĂN • Các doanh nghiệp cần phải chăm lắng nghe khách hàng mong muốn cảm thấy nào, họ từ bỏ bạn để đến với đối thủ cạnh tranh bạn cách nhanh chóng Phân tích cảm xúc (Sentiment Analysis) giống giải pháp để đảm bảo doanh nghiệp thực lắng nghe khách hàng nghĩ, muốn cần Hầu hết chuyên gia tiếp thị nghĩ phưcmg tiện truyền thông mạng xã hội có tác động sâu sắc đến doanh nghiệp họ Có nghĩa doanh nghiệp tồn mơi trường có tính cạnh tranh cao với mạng xã hội để thu hút ý khách hàng tiềm doanh nghiệp Và giải pháp phân tích cảm xúc tối ưu giúp doanh nghiệp có bước tiến xa horn Vói nhu cầu đó, việc phân tích cảm xúc năm gần ngày đóng vai trò quan trọng việc khai thác lượng liệu cảm nhận người dùng khổng lồ, cung cấp nhìn cụ thể trạng cộng đồng khách hàng doanh nghiệp Tiếp phát triển cơng nghệ để xử lý, phân tích cảm xúc người dùng phát triển ứng dụng vào thực tế Tuy nhiên, thị trường Việt Nam nay, việc ứng dụng công nghệ để khai thác liệu cảm nhận khách hàng mẻ Do đó, nghiên cứu tiếp cận việc đề xuất xây dựng ứng dụng đánh giá sản phẩm cách chi tiết sử dụng cơng nghệ phân tích cảm xúc văn tiếng Việt với mức cảm xúc Đồng thời đề cập cụ thể đến khía cạnh sản phẩm Sau đó, thơng qua thực nghiệm, nghiên cứu đánh giá hiệu ứng dụng người dùng phưorng pháp thống kê IV ABSTRACT Businesses need to be attentive to what their customers want and feel, because they can give up on you to reach your competitors with a single click Sentiment Analysis is like a business rescue solution to ensure that businesses are really listening to what customers think, want and need Most marketers think that social media has a profound impact on their business That means businesses are living in a highly competitive environment with social networking to attract the attention of potential customers And an accurate sentiment analysis solution can help businesses win In recent years, emotional has increasingly played an important role in mining the huge user experience data, providing a detailed view of the status of the customer community Followed by the development of technologies for processing and sentiment analyzing and applications to reality However, in the current market in Vietnam, the application of these technologies to exploit customer data is still relatively new Therefore, this study approached the proposition and developed a detailed appraisal application using text-based analytical technology in Vietnamese with five levels of emotion Also mention each aspect of the product Then, through experimentation, the study will evaluate the effectiveness of the application to users by means of statistical methods V LỜI CAM ĐOAN Tôi tên Đào Lê Trinh, học viên cao học ngành Hệ thống thông tin quản lý, Đại học Bách Khoa TPHCM, xin cam đoan kết nghiên cứu luận văn thật, hướng dẫn tận tâm PGS TS Phạm Trần Vũ Người thực luận văn Đào Lê Trinh MUC LUC • • NHIỆM yụ LUẬN VĂN THẠC sĩ ii LỜI CẢM ƠN iii TÓM TẮT LUẬN VĂN iv ABSTRACT V LỜI CAM ĐOAN vi MỤC LỤC vii DANH MỤC VIẾT TẮT X DANH MỤC HÌNH VÀ BẢNG X CHƯƠNG 1: GIỚI THIỆU 1.1 Tính cấp thiết đề tài 1.2 Mục tiêu nghiên cứu 1.3 Đối tượng phạm vi nghiên cứu 1.4 Ý nghĩa khoa học thực tiễn đề tài 1.5 Cấu trúc luận văn CHƯƠNG 2: TỔNG QUAN 2.1 Phân tích cảm xúc 2.2 Phân tích cảm xúc dựa theo khía cạnh 2.3 Các cơng trình nghiên cứu nước 2.4 Các cơng trình nghiên cứu nước 2.5 Những vấn đề tồn hướng giải CHƯƠNG 3: Cơ SỞ LÝ THUYẾT 3.1 Học máy - Học sâu (Machine Learning - Deep Learning) 3.1.1 Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) 3.1.2 Long Short Term Memory (LSTM) .10 3.2 Cơ sở lý thuyết đánh giá hiệu giải pháp 3.2.1 vii Mơ hình đánh giá hành vi chấp nhận sử dụng khách hàng 1 4.1.1 Mục tiêu xây dựng ứng dụng 14 4.1.2 Giai đoạn - Xây dựng mơ hình học sâu 15 4.1.3 Giai đoạn - Ket nối mơ hình “học sâu” vào ứng dụng 15 4.1.4 Giai đoạn - Đánh giá hiệu ứng dụng 15 4.2 Hệ thống phân tích cảm xúc dựa khía cạnh vói liệu tiếng Việt 15 4.2.1 Mơ tả tốn 15 4.2.2 Phương pháp tiếp cận toán 16 4.2.3 Dữ liệu 17 4.2.4 Mơ hình hệ thống 17 4.3 Thiết kế ứng dụng 19 4.3.1 Kiến trúc tổng quát 19 4.3.2 Use case 21 4.4 Phương pháp đánh giá hiệu giải pháp thực tiễn 22 4.4.1 Phương pháp chuyên gia 22 4.4.1.1 Quy trình nghiên cứu 22 4.4.1.2 Bảng câu hỏi 23 4.4.2 Phương pháp đánh giá hành vi chấp nhận sử dụng khách hàng .25 4.4.2.1 Quy trình nghiên cứu 25 4.4.2.2 Thiết kế bảng câu hỏi lựa chọn thang đo 26 4.4.2.3 Phưong pháp phân tích liệu 28 4.4.2.4 Thảo luận kết 30 CHƯƠNG 5: KẾT QUẢ NGHIÊN cứu 31 5.1 Xây dựng mơ hình học sâu .31 5.1.1 Mơ hình 31 5.1.2 Độ đo 31 5.1.3 Kết 32 5.2 ứng dụng 32 5.2.1 Trang Review 32 5.2.2 Trang Admin 34 viii 5.3 Đánh giá hiệu ứng dụng 34 5.3.1 Khảo sát ý kiến chuyên gia 35 5.3.1 Đánh giá chấp nhận sử dụng khách hàng 36 5.2.2.1 Thống kê mô tả 36 5.2.2.2 Đánh giá độ tin cậy thang đo 38 5.2.2.3 Phân tích nhân tố khám phá EFA 40 5.2.2.4 Phân tích tng quan p earson hồi quy 41 5.2.2.5 Thảo luận kết 45 CHƯƠNG 6: KẾT LUẬN 47 6.1 Kết đạt 47 6.2 Tồn hạn chế 47 6.3 Hướng nghiên cứu 48 TÀI LIỆU THAM KHẢO 49 PHỤ LỤC 52 PHỤ LỤC ĐÁNH GIÁ MƠ HÌNH HỌC SÂU 52 PHỤ LỤC GÁN NHÃN DỮ LIỆU 53 PHỤ LỤC Kết khảo sát chuyên gia 57 IX ANOVA® Model Sum of Squares df Regression 11,127 Residual 44,535 Total Mean Square F 16,990 0b 5,564 136 0,327 55,663 Sig 138 a Dependent Variable: DD b Predictors: (Constant), QD, HI Coefficients® Model Unstandardized Standardized Coefficients Coefficients B (Constant) 1,248 Collinearity t Sig Std Error Beta Tolerance VIF 0,328 HI 0,174 0,084 QD 0,356 0,080 a Dependent Variable: DD Statistics 3,808 0,169 0,362 2,085 0,039 0,894 4,468 0,894 1,119 1,119 Kết chạy hồi quy - Nhân tố QD, HI có quan hệ chiều có ý nghĩa thống kê với DD - Độ lớn beta cho biết mức độ ảnh hưởng nhiều biến độc lập đến biến phụ thuộc: QD > HI VIF Mô hình 4: Phân tích tưcmg quan hồi quy quan hệ “Dự định sử dụng” “Hành vi sử dụng” • Phân tích tương quan Pearson QD -> DD Correlations HV Pearson Correlation DD 0,236* * 0,005 139 0,236* * 0,005 139 139 HV Sig (2-tailed) N Pearson Correlation DD Sig (2-tailed) N 44 139 ** Correlation is significant at the 0,01 level (2-tailed) Ket chạy tưcmg quan: biến DD có tương quan có ý nghĩa thống kê với biến HV • Phân tích hồi quy ANOVAa Model Sum of Squares Regression df Mean Square 65,468 137 Total Sig 3,872 8,102 0,005b 3,872 Residual F 0,478 69,340 138 a Dependent Variable: HV b Predictors: (Constant), DD Coefficients® Model Unstandardized Coefficients B Std Error Standardized Coefficients t Sig Collinearity Statistics Beta Tolerance VIF (Constant) 2,552 0,287 8,901 DD 0,264 0,093 2,846 0,005 0,236 a Dependent Variable: HV Kết chạy hồi quy 1,000 1,000 Nhân tố DD có quan hệ chiều có ý nghĩa thống kê với HV 5.2.2.5 Thảo luận kết Nghiên cứu cho thấy “tính dễ sử dụng cảm nhận” có ảnh hưởng tích cực đến “tính hữu ích cảm nhận” Ket khắng định lại mối quan hệ mơ hình chấp nhận cơng nghệ Davis(1989) Ket phân tích cho thấy “quan điểm sử dụng” khách hàng chịu ảnh hưởng lớn “tính hữu ích cảm nhận” tác động nhỏ “tính dễ sử dụng cảm nhận” Nghiên cứu ghi nhận rằng, “dự định sử dụng” khách hàng chịu ảnh hưởng lớn từ “quản điếm sử dụng khách hàng” chịu tác động nhỏ từ “tính hữu ích sử dụng” khách hàng Cuối cùng, “hành vi sử dụng” khách hàng có quan hệ chiều “dự định sử dụng” khách hàng Tuy nhiên, kết phân tích cho thấy rằng, ảnh 45 hưởng “dự định sử dụng” lên “hành vi sử dụng” chưa cao Chưa với lý thuyết kỳ vọng đặt 46 CHƯƠNG 6: KẾT LUẬN Kết đạt 6.1 Mục tiêu nghiên cứu nhằm đề xuất giải pháp công nghệ phù hợp vói trạng Việt Nam, ứng dụng giải pháp cơng nghệ vào thực tế Sau đó, tiếp tục đánh giá sơ tính hiệu giải pháp thực tiễn Mặc dù công nghệ xử lý ngơn ngữ tự nhiên nói chung phân tích cảm xúc nói riêng nghiên cứu ứng dụng giới Ở Việt Nam, vấn đề khai thác liệu văn nói chung phân tích cảm xúc nói riêng gặp khó khăn định Tuy nhiên, nghiên cứu đạt số kết sau: - Đề xuất kỹ thuật Deep Learning, sử dụng mạng nơ-ron LSTM (Long/Short Term Memory), để giải tốn phân tích cảm xúc dựa khía cạnh văn Tiếng Việt - Thiết kế hệ thống ứng dụng “Đánh giá sản phẩm theo khía cạnh” dựa việc khai thác liệu cảm nhận văn khách hàng - Cuối cùng, nghiên cứu đánh giá hiệu việc ứng dụng giải pháp thực tế Thông qua việc đánh giá “Hành vi chấp nhận sử dụng” khách hàng tiềm năng, đề xuất mục tiêu cần tâm trình phát triển ứng dụng Bên cạnh đó, việc thu thập ý kiến chuyên gia giúp nghiên cứu có nhìn tổng quan thị trường thời điểm tại, ứng dụng Deep Learning vào việc xử lý liệu cảm nhận khách hàng hoàn toàn phù họp với xu hướng 6.2 Tồn hạn chế Một là, ngơn ngữ tiếng Việt đặc biệt gây khó khăn việc xử lý huấn luyện mơ hình Dẩn đến độ xác ứng dụng chưa cao cần cải thiện độ xác ứng dụng để mang lại tin cậy khách hàng Hai là, việc thu thập liệu ý kiến đánh giá khách hàng gặp nhiều khó khăn, liệu đòi hỏi phải đề cập đến khía cạnh định Ba là, việc thu thập liệu đánh giá hiệu khách hàng chưa đủ nhiều đề nghiên cứu áp dụng phương pháp thống kê tốt Bốn là, ứng dụng chưa triển khai vào thực tế Việc đánh giá ứng dụng thực tế mang lại hiệu tốt 47 6.3 Hưởng nghiên cứu Từ kết nghiên cứu đạt được, đề xuất hướng nghiên cứu đề tài sau: - Cải thiện độ xác ứng dụng cách: tiếp tục thu thập liệu đủ lớn cải thiện việc xử lý ngôn ngữ tiếng Việt - Áp dụng mơ hĩnh đánh giá tốt để phân tích hiệu ứng dụng thực tế 48 TÀI LIỆU THAM KHẢO [1] Chen, z., Mukherjee, A., Liu, B., Hsu, M., Castellanos, M., & Ghosh, R (2013, October) Discovering coherent topics using general knowledge In Proceedings of the 22nd ACM international conference on Information & Knowledge Management (pp 209-218) ACM [2] Ding, X., Liu, B., & Yu, p s (2008, February) A holistic lexicon-based approach to opinion mining In Proceedings of the 2008 international conference on web search and data mining (pp 231-240) ACM [3] Duyen, N T., Bach, N X., & Phuong, T M (2014, October) An empirical study on sentiment analysis for Vietnamese In 2014 International Conference on Advanced Technologies for Communications (ATC 2014) (pp 309-314) IEEE [4] Đào, T K (2015) Nghiên cứu xu hướng chấp nhận sử dụng dịch vụ internet 3G Hà Nội sử dụng mơ hình cẩu trúc tuyển tính (Doctoral dissertation, Viện Kinh tế Quản lý-Trường Đại học Bách khoa Hà Nội) [5] Hair & ctg (1998), Multivariate Data Analysis, Prentice-Halllnternational, 111 [6] Htay, s s., & Lynn, K T (2013) Extracting product features and opinion words using pattern knowledge in customer reviews The Scientific World Journal, 2013 [7] Hu, M., & Liu, B (2004, August) Mining and summarizing customer reviews In Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining (pp 168-177) ACM [8] Le, H s., Van Le, T., & Pham, T V (2015, November) Aspect analysis for opinion mining of Vietnamese text In 2015 international conference on advanced computing and applications (ACOMP) (pp 118-123) IEEE [9] Liu, B (2010) Sentiment Analysis and Subjectivity Handbook of natural language processing, 2(2010), 627-666 [10] Liu, J., & Zhang, Y (2017, April) Attention modeling for targeted sentiment In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers (pp 572-577) [11] Mai, L., & Le, B (2018, March) Aspect-Based Sentiment Analysis of Vietnamese Texts with Deep Learning In Asian Conference on Intelligent Information and Database Systems (pp 149-158) Springer, Cham 49 [12] Nguyen, H N., Van Le, T., Le, H s., & Pham, T V (2014, December) Domain specific sentiment dictionary for opinion mining of Vietnamese text In International Workshop on Multi-disciplinary Trends in Artificial Intelligence (pp 136-148) Springer, Cham [13] Nyaung, D E., & Thein, T L L (2015) Feature-based summarizing and ranking from customer reviews World Acad Sci Eng Technol Int J Comput Electr Autom Control Inf Eng, 9(3), 734-739 [14] Rill, s., Adolph, s., Drescher, J., Reinel, D., Scheldt, J., Schiitz, o., & Korfiatis, N (2012) A phrase-based opinion list for the German language In KONVENS (pp 305-313) [15] Saeidi, M., Bouchard, G., Liakata, M., & Riedel, s (2016) Sentihood: Targeted aspect based sentiment analysis dataset for urban neighbourhoods arXivpreprint arXiv:1610.03771 [16] Surendran, p (2012) Technology acceptance model: A survey of literature International Journal of Business and Social Research, 2(4), 175-178 [17] Tang, D., Qin, B., Feng, X., & Liu, T (2015) Effective LSTMs for targetdependent sentiment classification arXiv preprint arXiv: 1512.01100 [18] Tran, T K., & Phan, T T (2017) Mining opinion targets and opinion words from online reviews International Journal of Information Technology, 9(3), 239-249 [19] Trinh, s., Nguyen, L., Vo, M., & Do, p (2016) Lexicon-based sentiment analysis of Facebook comments in Vietnamese language In Recent developments in intelligent information and database systems (pp 263-276) Springer, Cham [20] Trinh, s., Nguyen, L., & Vo, M (2017, May) Combining Lexicon-Based and Learning-Based Methods for Sentiment Analysis for Product Reviews in Vietnamese Language In International Conference on Computer and Information Science (pp 57-75) Springer, Cham [21] Vo, D T., & Zhang, Y (2015, June) Target-dependent twitter sentiment classification with rich automatic features In Twenty-Fourth International Joint Conference on Artificial Intelligence [22] Vu, T T„ Pham, H T„ Luu, c T„ & Ha, Q T (2011) A feature-based opinion mining model on product reviews in Vietnamese In Semantic Methods for Knowledge Management and Communication (pp 23-33) Springer, Berlin, Heidelberg 50 [23] Wang, Y., Huang, M., & Zhao, L (2016) Attention-based LSTM for aspect- level sentiment classification In Proceedings of the 2016 conference on empirical methods in natural language processing (pp 606-615) [24] Yang, M., Tu, w., Wang, J., Xu, F., & Chen, X (2017, February) Attention based LSTM for target dependent sentiment classification In Thirty-First AAAI Conference on Artificial Intelligence 51 PHỤ LỤC PHỤ LỤC l.ĐÁNH GIÁ MƠ HÌNH HỌC SÂU asp#l asp#2 asp#3 asp#4 asp#5 asp#6 asp#7 Gold count 759 1368 579 768 304 958 ANSWER count 765 226 183 1373 570 770 276 962 725 157 1319 449 743 Aspect Correct ANSWER Precision Recall 926 186 0,9477 0,8579 0,9607 0,7877 0,9649 0,6739 0,9626 FI score 0,9552 0,6947 0,9642 0,7755 0,9674 0,6118 0,9666 0,9514 0,7677 0,9624 0,7815 0,9662 0,6414 0,9646 Over All ANSWER p 0,9196 R 0,9079 FI - s 0,9137 Aspect,value Correct ANSWER Precision 92 972 335 548 93 656 601 0,7856 0,5027 0,7079 0,5877 0,7117 0,3370 0,6819 Recall 0,7918 0,4071 0,7105 0,5786 0,7135 0,3059 0,6848 FI score 0,7887 0,4499 0,7092 0,5831 0,7126 0,3207 0,6833 Over All ANSWER p 0,6730 R 52 0,6644 FI - s 0,6687 PHỤ LỤC GÁN NHÃN DỮ LIỆU Nhãn aspect: • LOCATION: Các ý kiến nói vị trí nhà hàng - liên quan đến vị trí, địa chỉ, xung quanh nhà hàng nhu vị trí nhà hàng có thuận tiện khơng o Vị trí nhà hàng nằm trung tâm, nằm gần nhà hàng Năm lửa, nhà hàng năm ngã tu • PRICES: giá tất thứ liên quan đến nhà hàng nhu ăn, đồ uống, giá chi phí dịch vụ, giá thuế, phí ship, giá cách cụ thể trực tiếp (29k, 59k, 200 ngàn) gián tiếp (rẻ, đắt) nhà hàng thức ăn, nuớc uống, nhà hàng o Giá nguời 100k, 200k Gà nuớng/120k • SERVICE: Các ý kiến tập trung nói dịch vụ khách hàng, nhà bếp, quầy tính tiền phuơng diện nhanh chóng chất luợng dịch vụ nhà hàng nói chung, dịch vụ giao hàng, chuyển hàng, thái độ nhân viên, bảo vệ, chủ qn, lao cơng o Ví dụ: Nhân viên phục vụ khơng thân thiện, khơng nhiệt tình QUALITY: đề cập đến chất luợng nhà hàng nói chung ăn, đồ uống bao gồm huơng vị, độ ngon, độ tuơi, độ giòn ,độ sệt, độ mềm, độ xốp, chất luợng tổng quan đồ ăn/nuớc uống nói chung nói riêng Note: Neu câu nói mà không đề cập đến gĩ thi đuợc gán nhãn o Ví dụ : Thức ăn ngon, đồ uống ngon AMBIENCE: view, quang cảnh tầm nhìn, khơng gian/khơng khí nhà hàng, liên quan đến giải trí, bên có thống, dễ chịu khơng? Cách trang trí, bày trí nhà hàng, phong cách, kiểu nhà hàng Ví dụ: Nhà hàng trang trí đẹp, khơng gian ấm cúng • STYLE_OPTIONS: Liên quan đến cách trình bày, kích cỡ phần ăn, tùy chọn thục phẩm / thục đơn (menu) sụ đa dạng, phong phú thục phấm (ví dụ: ăn lạ, sáng tạo, ăn chay) • MISCELLANEOUS: Nói vấn đề khác nhà hàng nhu mã giảm giá, bàn ghế, đèn, bát đũa, chén dĩa, cách xếp bàn ghế, quạt, dụng cụ nhà hàng (quạt, máy lạnh, điều hòa), cách gói đồ ăn, giao hàng nhà hàng, đồ dùng gói đồ ăn, (Neu đoạn có nói ý nghĩa: nhà hàng đuợc gán nhãn này) 53 Nhãn polarity: • Neu nhãn vừa khen vừa chê gán nhãn neutral • Neu vừa khen bĩnh thường (neutral) vừa khen positive thi gán positive (Ví dụ: thịt gà ăn bĩnh thường, có lẩu ăn ngon ) => positive • Neu nhãn có khen chê thi hạ bật mức độ cao xuống • very negative (1*): trạng thái tiêu cực chê thấp mức từ tệ đến tệ o LOCATION: khó tim, nằm hẻm, nằm đường chiều, khó thấy, khơng tiện, hẻm o PRICE: giá tệ, giá chát, tệ, giá cao, giá đắt, giá tin nổi, giá chua, chát chát, giá đắt đỏ, giá không phù hợp với chất lượng o SERVICE: khơng thân thiện, khơng nhiệt tĩnh, lên lâu, không tâm tiếp khách , o QUALITY: đồ ăn dỡ tệ, không ngon, chất lượng kém, ăn không nổi, nuốt không trôi, thức ăn không phù hợp với số tiền bỏ ra, chả ngon gĩ, chất lượng ngày xuống, không ngon trước, o AMBIENCE: không gian chật, hẹp, ồn ào, decor nhìn chán, khơng gian không đẹp, không ấm cúng, o STYLE_OPTIONS: đồ ăn/thực đcm ít, cách trình bày ăn q chán, q, phần ăn q ít, khơng đủ no o MISCELLANEOUS: bàn ghế bẩn, bàn ghế, thiếu quạt, thiếu khăn giấy, mã giảm giá khơng có, chê thể ngữ liệu • negative (2*): mức độ chê mức chấp nhận (thường kèm với từ khác như: khá, cũng, hơi, lắm) o LOCATION: khó tìm, khó thấy, khơng dễ tìm o PRICE: giá cao, giá tệ, giá đắt, giá không rẻ lắm, giá không rẻ, giá nhỉnh o SERVICE: nhân viên thụ động, không nhiệt tĩnh lắm, không niềm nở lắm, phục vụ không tốt lắm, phục vụ không chu đáo o QUALITY: đồ ăn dỡ, không ngon cho lắm, tệ, 54 o AMBIENCE: không gian chật, hẹp, ồn ào, decor nhìn khơng đẹp nhìn khơng ấm cho lắm, khơng thích cách trang trí quán cho lắm, cũ cũ cổ cổ o STYLE_OPTIONS: đồ ăn/thực đơn món, cách trình bày ăn chán, q, phần ăn ít, khơng đủ no cho lắm, ăn không đuợc no o MISCELLANEOUS: đồ dùng dơ, bàn ghế dơ, wifi không đuợc mạnh cho • neutral (3*): khơng khen khơng chê, thứ bĩnh thuờng,khơng có đặc biệt (vừa khen vừa chê aspect thi gán nhãn neutral) o LOCATION: bĩnh thuờng, đối diện, nằm quận mấy, (không nói chê hay khen gĩ cả) o PRICE: giá bĩnh thuờng, giá khơng đắt khơng rẻ, có ghi giá nhung không ghi đắt hay rẻ (mỗi ng 100k, thịt bò 50k/phần), , giá đuợc, Giá vừa phải, giá ổn, giá tạm ổn , giá k đắt, cao nhung chấp nhận đuợc , cao nhung phù hợp với chất luợng, giá max tí nhung phù họp với chất luợng giá max tí nhung phù họp với chất luợng, Nói chung mắc nhung ngon nên hg sao, giá vừa khơng đắt lắm, gía tuơng đối ổn, đắt, không mắc, rẻ o SERVICE: nhân viên bĩnh thuờng, nhân viên nhiệt tình nhung khơng chu đáo cho o QUALITY: đồ ăn bĩnh thuờng, không ngon nhung không dỡ, khơng có gi đặc sắc, chua thật họp vị o AMBIENCE: nhìn bĩnh thuờng, khơng có đặc biệt cho lắm, Không gian ổn, đuợc o STYLE_OPTIONS: thục đơn bĩnh thuờng , khơng có gia đặc biệt o MISCELLANEOUS: bĩnh thuờng, có nhắc đến nhung khơng đề cập đến khen chê • positive (4*): trạng thái khen mức bĩnh thuờng tý, nằm mức chấp nhận đuợc o LOCATION: vị trí dễ tìm, dễ thấy, gần chỗ 55 o PRICE: giá rẻ, giá không cao cho lắm, giá rẻ, giá ok, giá tốt, ổn, giá ok, giá vừa phải, Giá tiền vừa phải, Giá so chất lượng thi đáng đồng tiền bát gạo o SERVICE: nhân viên phục vụ ổn, phục vụ chấp nhận thôi, o QUALITY: thức ăn ngon, lẩu ngon, đồ ăn ngon, đồ uống ngon, ngon, đồ ăn ổn o AMBIENCE: không gian, decor: ấm cúng, nhẹ nhàng, đẹp (ở mức độ khá, chấp nhận được), o STYLE_OPTIONS: đồ ăn, thực đơn ăn vừa đủ, vừa ăn, trình bày ăn đẹp, có nhiều lựa chọn, o MISCELLANEOUS: bàn ghế sẽ, nhà hàng sẽ, ngoại hĩnh nhân viên xinh, ông chủ, cách gói giao hàng nhà hàng cẩn thận, có máy lạnh, có wifi, có chỗ giữ xe • very_positive (5*): Chỉ mức độ từ tốt đến tốt o LOCATION: gần nhà,ngay trung tâm thành phố, ngã tư, vị trí dễ tim, vị trí dễ tim, dễ thấy vơ , vị trí thuận tiện , vị trí đắc địa, V V o PRICE: giá rẻ, giá rẻ, giá tốt, phù siêu rẻ, giá hợp lý, giá phù hợp với chất lượng, giá ổn, giá cực tốt, giá phải chăng, giá vỉa hè, giá thi bĩnh dân, ăn họp túi tiền, Giá xứng đáng đồng tiền bát gạo o SERVICE: nhân viên phục vụ nhiệt tĩnh, chu đáo, ân cần, chuyên nghiệp, nhân viên siêu dễ thương, nhiệt tình vơ cùng, minh thích nhân viên phục vụ, Phục vụ tốt o QUALITY: ngon, tuyệt vời, đậm đà,, thức ăn ngon, lau ngon tuyệt vời, đồ ăn ngon không cưỡng lại đồ uống ngon, vừa miệng, thức ăn tươi, đồ ăn tươi ngon, đồ ăn sẽ, nóng hối o STYLE_OPTIONS: đồ ăn, phần ăn nhiều, đa dạng, phong phú, thực đơn nhiều, đa dạng, phong phú cách trĩnh bày ăn đẹp, bắt mắt, có nhiều lựa chọn o AMBIENCE: khơng gian, decorate, decor, mức độ tốt đến tốt, ví dụ nhà hàng đẹp, khơng gian thống mát, thoải mái, lịch sự, o MISCELLANEOUS: bàn ghế sẽ, cách gói đồ ăn chuyên nghiệp gọn gàng, nhà hàng có máy lạnh mát mẻ, wifi mạnh, 56 PHỤ LỤC Kết khảo sát chuyên gia Câu hỏi 1: Xử lý ngôn ngữ tự nhiên ứng dụng để xử lý đánh giá khách hàng doanh nghiệp Theo Anh/Chị, lĩnh vực ứng dụng rộng rãi? STT Câu trả lời 10 11 12 13 14 57 PHẰN LÝ LỊCH TRÍCH NGANG Họ tên khai sinh: ĐÀO LÊ TRINH Sinh ngày: 24 tháng 12 năm 1989 Nơi sinh: Bình Định Nơi nay: 22 Lê Hữu Kiều, Phuờng Bình Trung Tây, Quận 2, TP Hồ Chí Minh Nghề nghiệp thân nay: Kỹ su Cơng Nghệ Thơng Tin Q TRÌNH ĐÀO TẠO Truờng Đại Học Bách Khoa Thành Phố Hồ Chí Minh (Năm 2007-2014) Truông Đại Học Bách Khoa TP Hồ Chí Minh - Cao học Hệ Thống Thơng Tin Quản Lý (Năm 2015-2019) Q TRÌNH CƠNG TÁC + T4/2014 - 2015: Công Ty TNHHISV Việt Nam + T4/2015 - T6/2019: Học cao học Đại Học Bách Khoa + T8/2019 - Nay: Công Ty DatVietVAC ... VÀ ĐÁNH GIÁ HIỆU QUẢ GIẢI PHÁP PHÂN TÍCH CẢM XÚC VĂN BẢN TIẾNG VIỆT TRONG THƯƠNG MẠI ĐIỆN TỬ II NHIỆM VỤ VÀ NỘI DUNG : - Nghiên cứu giải pháp phân tích cảm xúc văn tiếng Việt - Xây dựng ứng dụng. .. kiến khách hàng tiếng Việt > Triển khai ứng dụng giải pháp vào việc đánh giá cảm xúc khía cạnh văn tiếng Việt > Đánh giá hiệu giải pháp phân tích cảm xúc thực tiễn 1.3 Đối tượng phạm vi nghiên... sở lý thuyết đánh giá hiệu giải pháp Nghiên cứu đánh giá hiệu giải pháp dựa mục tiêu kỳ vọng đề Với mong đợi rằng, ứng dụng giải pháp mang lại tiện ích cho người sử dụng, việc đánh giá hài lòng