Hệ thống hỗ trợ đánh giá và khuyến nghị dịch vụ du lịch dựa trên khai thác ý kiến khách hàng trực tuyến

Bài viết này nghiên cứu đề xuất mô hình kiến trúc hệ thống cùng với các giải pháp hỗ trợ đánh giá và khuyến nghị dịch vụ du lịch dựa trên phương pháp khai thác ý kiến. Nghiên cứu này tiếp cận theo phương pháp khai phá dữ liệu theo chuẩn công nghiệp (CRISP-DM). Dữ liệu thực nghiệm nghiên cứu là những bình luận của du khách về các khách sạn tại các tỉnh và thành phố lớn tại Việt Nam, được thu thập tự động trên trang web Agoda. Mời các bạn cùng tham khảo!

Tạp chí Khoa học Cơng nghệ, Số 46, 2020 HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 1,2 THÁI KIM PHỤNG 1, NGUYỄN AN TẾ 2, TRẦN THỊ THU HÀ3 Khoa Công nghệ thông tin kinh doanh, Trường Đại học Kinh tế TP Hồ Chí Minh, Viện Cơng nghệ thơng tin Kinh tế số, Trường Đại học Kinh tế Quốc dân; phungthk@ueh.edu.vn, tena@ueh.edu.vn, thuha.tim@gmail.com Tóm tắt: Nghiên cứu tiến hành nhằm đề xuất mơ hình kiến trúc hệ thống với giải pháp hỗ trợ đánh giá khuyến nghị dịch vụ du lịch dựa phương pháp khai thác ý kiến Nghiên cứu tiếp cận theo phương pháp khai phá liệu theo chuẩn công nghiệp (CRISP-DM) Dữ liệu thực nghiệm nghiên cứu bình luận du khách khách sạn tỉnh thành phố lớn Việt Nam, thu thập tự động trang web Agoda Trên sở kết thực nghiệm, nghiên cứu đưa số khuyến nghị để triển khai hệ thống thực tiễn ngành du lịch Nghiên cứu có giá trị tham chiếu cho nhà nghiên cứu không lĩnh vực du lịch mà lĩnh vực kinh doanh quản lý Từ khóa: Khai thác ý kiến, Đánh giá khuyến nghị dịch vụ du lịch, Hệ thống hỗ trợ định A SUPPORT SYSTEM FOR TOURISM SERVICES ASSESSMENT AND RECOMMENDATION BASED ON OPINION MINING ONLINE CUSTOMER REVIEWS Abstract: This research was conducted to propose the a architecture model with solutions to support tourism services assessment and recommendations based on the opinion mining methods This research approach is based on an industry standard data mining method (CRISP-DM) Data for the research are reviews of tourist about hotels in major provinces and cities in Vietnam, which automatically collected on Agoda Based on empirical results, the research has some recommendations to be able to implement this system in the tourism industry This research is valuable as a reference for researchers not only in the field of tourism but also in the fields of business and management Keywords: Opinion mining, Tourism service assessment and recommendation, Decision support system GIỚI THIỆU Ngày nay, tiến công nghệ làm thay đổi cách thức truyền thông giúp cho khách hàng dễ dàng truy cập thông tin trao đổi ý kiến sản phẩm dịch vụ quy mô lớn thời gian thực Sự đời mạng xã hội website đánh giá trực tuyến cho phép khách hàng có hội đưa ý kiến thơng qua bình luận sản phẩm, dịch vụ [35] Với bùng nổ liệu lớn (big data) công nghệ Internet kết nối vạn vật - IoTs (Internet of Things), ý kiến đánh giá trực tuyến khách hàng cần thu thập, khai thác tổng hợp cách tự động hệ thống máy tính, cho phép nhà kinh doanh dễ dàng theo dõi hành vi mua sắm, phát sở thích đánh giá hài lịng khách hàng chất lượng sản phẩm, dịch vụ Đồng thời, khách hàng cần thông tin tổng hợp ý kiến đánh giá cộng đồng để có định mua sắm Chính thế, khai thác ý kiến (opinion mining) cách tự động trở thành tiêu điểm nhiều nghiên cứu lĩnh vực: nghiên cứu thị trường (market research), kinh doanh điện tử (e-business), thăm dị sách (political polls) [34] Du lịch ngành công nghiệp phát triển động đóng vai trị quan trọng quốc gia khu vực giới [26] Theo báo cáo nghiên cứu hàng năm Hội đồng du lịch lữ hành giới (World Tourism and Travel Council – WTTC), ngành du lịch ngành đóng góp cho GDP giới tăng trưởng sáu năm liên tiếp năm 2015 tăng lên 9.8% GDP giới (7.2 nghìn tỷ USD) [19] Sự phát triển Internet cung cấp nhiều phương thức để kinh doanh dịch vụ du lịch quảng bá sản phẩm điểm đến cho du khách Tại Việt Nam, xu hướng ứng dụng Công nghệ thông tin ngành du lịch bắt đầu phát triển mạnh mẽ với xuất công ty kinh doanh dịch vụ du lịch trực tuyến, ứng dụng đặt tour tảng di động nhiều website, diễn đàn, cổng thơng © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh 176 HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN tin xã hội, v.v nhằm trao đổi, chia sẻ điểm đến du lịch thu hút lượng lớn du khách nước tham gia (Chudu24.vn, TripAdvisor.com.vn, Agoda.com, Booking.com, ) Tuy vậy, việc đánh giá chất lượng dịch vụ du lịch thực cách thức truyền thống Những phương pháp giám sát hài lòng khách hàng cách liên tục, khơng có khả theo dõi xu hướng chất lượng dịch vụ dài hạn [30] Khi chuẩn bị định liên quan đến việc đánh giá chất lượng dịch vụ, liệu cần phải thể thu thập, phân tích đề xuất phương án để sẵn sàng cho người định Để đảm bảo tất nhiệm vụ này, hệ thống hỗ trợ định (Decision support system - DSS) cần thiết để xử lý phân loại liệu, sử dụng mơ hình phù hợp để phân tích, chuẩn bị kết để cung cấp cho nhà quản lý định [28] Chính vậy, mục tiêu nghiên cứu đề xuất mơ hình kiến trúc hệ thống với giải pháp hỗ trợ đánh giá khuyến nghị dịch vụ du lịch (trong tập trung vào dịch vụ khách sạn) dựa phương pháp khai thác ý kiến khách hàng trực tuyến CƠ SỞ LÝ THUYẾT 2.1 Các mơ hình đánh giá chất lượng dịch vụ du lịch Hiện nay, lĩnh vực du lịch, có nhiều mơ hình đánh giá chất lượng dịch vụ sử dụng rộng rãi như: Mơ hình hiệu suất – tầm quan trọng (IPA) [21], Mơ hình đánh giá chất lượng kỹ thuật, chức hình ảnh Gronroos [11], Mơ hình khoảng cách chất lượng dịch vụ (giữa mức độ kỳ vọng - mức độ cảm nhận) SERVQUAL Parasuraman cộng vào năm 1988 [5, 6], Mơ hình mức độ cảm nhận SERVPERF [22], biến thể mơ hình SERVQUAL, Mơ hình RATER [41], phát triển mơ hình SERVQUAL Tuy nhiên, việc đo lường mức độ cảm nhận khách hàng để đánh giá cải tiến chất lượng dịch vụ du lịch thường thực cách thức truyền thống như: vấn trực tiếp, vấn qua điện thoại, thảo luận nhóm, khảo sát qua thư, khảo sát trực tuyến (ISO10004:2010) Theo [30], trở ngại chung phương pháp nhiều công việc tiến hành thủ công như: chuẩn bị câu hỏi, tạo sở liệu cho người trả lời, gửi bảng câu hỏi, thu thập kết quả, vấn cá nhân, chuẩn bị báo cáo, Tất thủ tục khiến cho đợt khảo sát đánh giá chất lượng dịch vụ trở nên tốn Sự cảm nhận khách hàng thể hình thức số hài lòng trừu tượng làm cho khó hiểu, khó so sánh giải thích kết Các phương pháp phân tích liệu thu thập thông qua thủ tục ISO10004:2010 khuyến cáo cho phép phát phụ thuộc tuyến tính Việc phân tích liệu bị giới hạn khoảng thời gian định không đưa nhìn sâu sắc xu hướng vận động hài lòng từ khách hàng Điều ảnh hưởng đến tốc độ định quản lý Bên cạnh đó, phương pháp khơng thể giám sát hài lòng khách hàng cách liên tục, khơng có khả theo dõi xu hướng hài lòng khách hàng dài hạn [30] Ngày nay, tiến lĩnh vực điện toán giới làm thay đổi cách thức truyền thông, đặc biệt bối cảnh tác động cách mạng Công nghiệp lần thứ 4, người sử dụng công nghệ dễ dàng truy cập thông tin trao đổi ý kiến hài lòng dịch vụ quy mô lớn thời gian thực Để khắc phục phương pháp đánh giá dịch vụ theo kiểu truyền thống, hệ thống hỗ trợ định cần thiết để xử lý phân loại liệu, sử dụng mơ hình phù hợp để phân tích, chuẩn bị kết để cung cấp cho nhà quản lý định [28] 2.2 Phương pháp khai thác ý kiến Khai thác ý kiến lĩnh vực nghiên cứu nhằm phân tích, đánh giá nhận định người đối tượng như: sản phẩm, dịch vụ, tổ chức, cá nhân, kiện, chủ đề thuộc tính chúng [8, 9] Một quy trình khai thác ý kiến thường gồm ba bước chính: (1) Thu thập ý kiến (Opinion Retrieval), (2) Phân loại ý kiến (Opinion Classification) (3) Tổng hợp ý kiến (Opinion Summarization) [4, 7] Trong đó, phân loại ý kiến xem bước quan trọng nhằm mục đích phân lớp ý kiến theo quan điểm: tích cực (positive), tiêu cực (negative) trung lập (neutral) Phân loại ý kiến kỹ thuật khai thác liệu dạng văn (Text Mining) lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing) Có hai cách tiếp cận phổ biến phân loại ý kiến: dựa vào phương pháp máy học (Machine learning), dựa vào từ vựng (Lexicon based) [1, 34, 37, 45] Ngoài ra, để gia tăng hiệu suất việc phân loại ý kiến, nghiên cứu dùng phương pháp lai kết hợp hai phương pháp © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 177 Cây định (Decision Tree) Phân loại tuyến tính (Linear Classifiers) Phương pháp máy học (Machine Learning Approach) Khai thác ý kiến (Opinion Mining) Phương pháp từ vựng (Lexicon-based Approach) Học có giám sát (Supervised learning) Phân loại dựa luật (Rule-based Classifiers) Học không giám sát (Unsupervised learning) Dựa từ điển (Dictionary-based) Support Vector Machines (SVM) Neural Network (NN) Naive Bayes (NB) Phân loại theo xác suất (Probabilistic Classifiers) Bayesian Network (BN) Thống kê (Statistical) Maximum Entropy (ME) Dựa Corpus (Corpus-based) Ngữ nghĩa (Semantic) Hình 1: Tổng hợp phương pháp phân loại ý kiến nghiên cứu [45] 2.3 Các hệ thống hỗ trợ định du lịch Có nhiều nghiên cứu nhiều cách tiếp cận khác việc hỗ trợ định lĩnh vực du lịch [38] Các nghiên cứu [14, 47] thảo luận việc sử dụng hệ thống DSS việc hỗ trợ khách du lịch đưa định lựa chọn điểm đến phù hợp với nhu cầu ngân sách Một số nghiên cứu khác tập trung vào việc sử dụng hệ thống DSS để hỗ trợ bên liên quan ngành du lịch hỗ trợ nhà hoạch định du lịch [23], nhà quản lý tổ chức quản lý điểm đến du lịch [32], nhà dự báo nhu cầu du lịch [12], cuối nhà tiếp thị du lịch [18, 25], để đưa định phù hợp Một hướng tiếp cận khác nghiên cứu hệ thống hỗ trợ khách hàng việc định, hay gọi hệ thống khuyến nghị (Recommender Systems) Hệ thống xem đối thủ cạnh tranh với đại lý du lịch cung cấp cho du khách gợi ý để tạo thuận lợi cho trình định họ Điển hình hệ thống Triplehop’s TripMatcher, VacationCoach’s Me-Print, DieToRecs [17] [3] Tiếp cận theo hướng công nghệ, số nghiên cứu sử dụng kỹ thuật nhà kho liệu (Data Warehouse) công cụ để hỗ trợ trình định doanh nghiệp thuộc lĩnh vực du lịch [2, 27, 38, 46] Ngồi ra, số nghiên cứu tích hợp công nghệ GIS (Geographic Information System) Internet vào hệ thống hỗ trợ định du lịch nhằm tối ưu hóa quy trình lập kế hoạch thu lợi ích từ khả tiếp cận xác, trực quan hóa, xử lý liệu khả chia sẻ dựa vị trí địa lý [24, 36, 39] 2.4 Các hệ thống khai thác ý kiến du lịch Lĩnh vực du lịch có nghiên cứu khai thác ý kiến, kể đến nghiên cứu [33] đề xuất hệ thống tổng hợp ý kiến đánh giá cho dịch vụ địa điểm (nhà hàng, khách sạn, điểm đến, ) phương pháp lai phương pháp máy học phương pháp từ vựng Cụ thể, nhóm tác giả tập trung vào mơ hình tóm tắt dựa khía cạnh, việc tóm lược xây dựng cách khai thác khía cạnh liên quan đến dịch vụ, tổng hợp ý kiến cho khía cạnh lựa chọn văn liên quan đến khía cạnh Tiếp đến, [31] sử dụng kỹ thuật máy học có giám sát để phân loại ý kiến khách du lịch điểm đến du lịch Mỹ Châu Âu [41] sử dụng kỹ thuật Naïve Bayes (NB) Self-Organizing Maps (SOM) việc phân loại trực quan hóa ý kiến mạng xã hội Twitter du khách điểm đến du lịch Thái Lan [49] có nghiên cứu xây dựng hệ thống OpinionSeer cách kết hợp phương pháp thống kê dựa ngôn ngữ kỹ thuật trực quan hóa liệu để phân tích phản hồi du khách khách sạn Hồng Kông [44] xây dựng hệ thống BESAHOT, cách thu thập liệu từ trang web dựa phương pháp phân tích thống kê ký tự (n-grams) để phân loại ý kiến đánh giá du khách dịch vụ khách sạn [15] trực quan hóa kết phân tích ý kiến đánh giá Google Maps, cung cấp khả cho người dùng dễ dàng phát khách sạn khu vực tốt để chọn Tác giả sử dụng phương pháp máy học Naïve Bayes từ điển SentiWordNet chuẩn [42] sử dụng kỹ thuật phân tích cảm xúc để khai thác 70.103 đánh giá đăng địa điểm trực © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh 178 HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN tuyến khác từ năm 1999-2011 cho 86 khách sạn Washington Khai thác ý kiến thực phương pháp Naive Bayes kết hợp với mơ hình kinh tế lượng giúp họ phân rã đánh giá người dùng thành chiều để đo lường chất lượng dịch vụ khách sạn kết phân tích cho thấy mức độ xác cao việc thu thập đo lường chất lượng dịch vụ so với nghiên cứu khai thác văn trước [16] phát triển khung kiến trúc chung cho công cụ khai thác ý kiến dựa khía cạnh, sau tạo mẫu thử nghiệm phân tích ý kiến từ TripAdvisor bối cảnh ngành du lịch Los Lagos (Chi Lê) Nhóm tác giả sử dụng phương pháp khai thác ý kiến theo khía cạnh [8] dựa việc thống kê theo quy tắc ngôn ngữ tự nhiên áp dụng cho lĩnh vực du lịch Kết cho thấy phương pháp có độ xác cao hiệu hẳn Tiếp đến, [10] đề xuất hệ thống tự động thu thập tổng hợp ý kiến đánh giá khách sạn du khách trang web du lịch TripAdvisor Tác giả tận dụng từ điển SentiWordNet kết hợp với phương pháp máy học không giám sát (unsupervised learning) việc phân loại ý kiến đánh giá [26] xây dựng hệ thống phân loại ý kiến du khách TripAdvisor, phương pháp máy học kết hợp với thuật toán logic mờ Kết nghiên cứu cho thấy phương pháp khai thác ý kiến nhóm tác giả có độ xác cao phương pháp truyền thống [48] có nghiên cứu khai thác ý kiến phương pháp LDA (latent dirichlet allocation) Bộ liệu thu thập TripAdvisor bao gồm 266.544 đánh giá trực tuyến cho 25.670 khách sạn 16 quốc gia Kết nghiên cứu xác định 19 khía cạnh dịch vụ khách sạn quan trọng [20] đề xuất hệ thống tự động khai thác ý kiến du khách khách sạn trang booking.com Nhóm tác giả sử dụng phương pháp lai kết hợp LDA Naïve Bayes Kết nghiên cứu đánh giá đáng khích lệ hệ thống nhanh, mở rộng hầu hết xác việc phân tích đánh giá khách hàng [13] có nghiên cứu tiến hành phân tích ý kiến đánh giá người Nhật điểm tham quan Trung Quốc cách sử dụng phương pháp thống kê tập luật, kết hợp phương pháp trích chọn đặc trưng TFIDF Kết nghiên cứu cung cấp hướng dẫn sử dụng thực tế việc phân tích ý kiến đánh giá du lịch Nhật Bản tạo điều kiện cải thiện dịch vụ điểm đến du lịch Trong nước bắt đầu có nghiên cứu sử dụng phương pháp khai thác ý kiến Điển hình nghiên cứu [29], tiến hành thực nghiệm việc phân loại ý kiến kỹ thuật máy học: Naive Bayes, Support Vector Machines (SVM) Maximum Entropy (ME), minh họa liệu ý kiến bình luận khách sạn Việt Nam Kế đến, [40] có nghiên cứu so sánh thuật tốn phân loại ý kiến tiếng Việt, thực nghiệm dựa liệu ý kiến khách sạn Việt Nam Kết hai nghiên cứu cho thấy phương pháp SVM tốt 2.5 Nhận dạng khoảng trống nghiên cứu Từ kết lược khảo cơng trình nghiên cứu, số khoảng trống nghiên cứu nhận dạng làm sở để đề xuất mơ hình nghiên cứu tổng qt:  Hướng nghiên cứu hệ thống hỗ trợ định lĩnh vực du lịch cộng đồng nhà nghiên cứu quan tâm nhiều, đa dạng hình thức tiếp cận, cơng nghệ lẫn ứng dụng để hỗ trợ giải nhiều vấn đề liên quan đến du lịch Tuy nhiên, gần chưa có nghiên cứu nước đề cập đến ứng dụng hỗ trợ đánh giá dịch vụ du lịch Bên cạnh đó, có nghiên cứu hệ thống hỗ trợ định tiếp cận dựa phương pháp khai thác ý kiến  Phần lớn nghiên cứu khai thác ý kiến du lịch thường tiếp cận quan điểm kỹ thuật tập trung xây dựng áp dụng thuật toán xử lý ngôn ngữ tự nhiên vào việc phân loại tổng hợp ý kiến du khách, nghiên cứu tiếp cận theo hướng hành vi để hỗ trợ đối tượng người dùng việc định Do đó, khai thác ý kiến ứng dụng phân tích thái độ, sở thích, hành vi, q trình định chọn dịch vụ đánh giá chất lượng dịch vụ du lịch dựa liệu lớn hướng nghiên cứu cần mở rộng cho cộng đồng nhà khoa học Việt Nam  Trong lĩnh vực du lịch, có chứng thực nghiệm cho thấy có nghiên cứu thực khai thác ý kiến ngôn ngữ tiếng Việt Phải khai thác ý kiến ngôn ngữ tiếng Việt thách thức cộng đồng nhà nghiên cứu Việt Nam?  Bối cảnh nghiên cứu Việt Nam gần chưa có nghiên cứu tồn diện hệ thống hỗ trợ đánh giá khuyến nghị dịch vụ du lịch dựa mạnh phương pháp khai thác ý © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 179 kiến khách hàng trực tuyến Đây khoảng trống lớn mà mục tiêu nghiên cứu hướng đến nghiên cứu xây dựng hệ thống 2.6 Mơ hình nghiên cứu đề xuất Xuất phát từ sở lý thuyết, cơng trình nghiên cứu liên quan khoảng trống nghiên cứu nhận dạng, mơ hình nghiên cứu tổng quát đề xuất hình sau: Giao diện người dùng Ra định Phân tích, đánh giá, lựa chọn Kết phân tích Tổng hợp phân tích ý kiến Phân hệ thu thập Thu thập thơng tin Kỹ thuật phân tích Thu thập ý kiến Xác định nguồn liệu Xác định vấn đề Phương pháp khai thác ý kiến Phân hệ phân tích Đánh giá khuyến nghị dịch vụ Công cụ thu thập Dữ liệu bình luận trang mạng Quá trình định Mơ hình hệ thống đề xuất Hình 2: Mơ hình nghiên cứu tổng qt PHƯƠNG PHÁP NGHIÊN CỨU Nghiên cứu tiến hành theo phương pháp khai thác liệu theo chuẩn công nghiệp CRISP-DM (Cross Industry Standard Process for Data Mining) Quy trình gồm bước: (1) Thu thập liệu Tiền xử lý liệu, (2) Huấn luyện mơ hình dự báo phân loại ý kiến, (3) Xếp hạng dịch vụ dựa tổng hợp ý kiến, (4) Huấn luyện áp dụng mơ hình khuyến nghị dịch vụ Mơi trường thực nghiệm nghiên cứu cài đặt ngôn ngữ lập trình Python với hỗ trợ cơng cụ tách từ Python Vietnamese Toolkit (dành cho ngôn ngữ tiếng Việt) thư viện có sẵn © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh 180 HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN Dữ liệu từ website du lịch Thu thập tiền xử lý liệu Dữ liệu phân loại Dữ liệu chưa phân loại Huấn luyện mơ hình dự báo phân loại ý kiến Xếp hạng dịch vụ dựa tổng hợp ý kiến Khuyến nghị dịch vụ có thứ hạng tốt Khách hàng Sắp xếp theo thứ hạng dịch vụ Dịch vụ Khách hàng Tương tự nhu cầu Đánh giá Huấn luyện áp dụng mơ hình khuyến nghị Khách hàng cũ Nhu cầu Dữ liệu tổng hợp Hình 3: Mơ hình hệ thống hỗ trợ đánh giá khuyến nghị dịch vụ du lịch 3.1 Thu thập tiền xử lý liệu Nghiên cứu tiến hành thu thập liệu chương trình tự động, liệu lấy từ trang web Agoda.com Đây phương pháp thu thập nội dung tự động từ trang HTML tài nguyên Internet chương trình mã lệnh đặc biệt Với đối tượng phạm nghiên cứu hướng đến ngôn ngữ tiếng Việt, liệu sử dụng bình luận khách hàng tiếng Việt Tiếp đến, nghiên cứu tiến hành tiền xử lý liệu cách loại bỏ liệu khuyết, bình luận khơng chứa đựng thông tin cần thiết để tiến hành bước xử lý 3.2 Huấn luyện mơ hình dự báo phân loại ý kiến Đây giai đoạn quan trọng nghiên cứu khai thác ý kiến, nhằm mục đích xác định bình luận khách hàng “tích cực” hay “tiêu cực” Nghiên cứu ứng dụng số thuật toán phân loại thuộc nhóm máy học giám sát (Supervised Machine Learning) cho tốt dựa kết tổng hợp từ nghiên cứu trước có liên quan đến đề tài để tìm mơ hình phù hợp tập liệu bình luận phân loại, từ tiến hành dự báo cho liệu bình luận chưa phân loại liệu bình luận phát sinh mà khơng cần phải huấn luyện lại Nghiên cứu tiến hành huấn luyện © 2020 Trường Đại học Công nghiệp Thành phố Hồ Chí Minh HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 181 thuật toán, bao gồm: Naïve Bayes (NB), Support Vector Machines (SVM), Logistic regression (LR), Neural Network (NN), DecisionTree (DT), RandomForest (RF) Nghiên cứu dùng cách đánh giá phổ biến dựa số tính tốn ma trận sai lầm (Confusion Matrix) Thơng thường, hiệu mơ hình phân loại ý kiến đánh giá dựa số: Accuracy, Precision, Recal, F1 Trong đó: 𝑇𝑁+𝑇𝑃  𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑁+𝑇𝑃+𝐹𝑃+𝐹𝑁   𝑇𝑃 𝑇𝑃+𝐹𝑃 𝑇𝑃 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃+𝐹𝑁 ×𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ×𝑅𝑒𝑐𝑎𝑙𝑙 𝐹1 = 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ×𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =  3.3 Xếp hạng dịch vụ dựa tổng hợp ý kiến Sau thực phân loại ý kiến phương pháp máy học xem tốt bước huấn luyện đánh giá mơ hình, kết có tập liệu bình luận thể quan điểm khách sạn Việc tổng hợp xếp hạng dịch vụ du lịch theo quan điểm du khách dựa vào cơng thức đơn giản sau: 𝑇𝑃 − 𝑇𝑁 𝐻𝑖 = 𝑖𝑇𝑅 𝑖 (1) 𝑖 Trong đó:  Hi: điểm xếp hạng dịch vụ thứ i, với i = 1,2,…,m (trong m tổng số dịch vụ)  TPi: số bình luận đánh giá “tích cực” dịch vụ thứ i  TNi: số bình tuận đánh giá “tiêu cực” dịch vụ thứ i  TRi: tổng số bình luận nhận dịch vụ thứ i Ngồi ra, ta chuẩn hóa theo thang đo khác tùy thuộc vào mục đích so sánh, đánh giá dịch vụ: (𝐻𝑖 −𝑀𝑖𝑛{𝐻1 ,𝐻2 ,…,𝐻𝑛 })×(𝑏−𝑎) R′𝑖 = 𝑎 + (2) 𝑀𝑎𝑥{𝐻1 ,𝐻2 ,…,𝐻𝑛 }−𝑀𝑖𝑛{𝐻1 ,𝐻2 ,…,𝐻𝑛 } Trong đó:  R’i: điểm xếp hạng dịch vụ thứ i chuẩn hóa  a b cận cận thang đo (ví dụ đưa thang đo đến điểm, lúc a = 1, b = 5) 3.4 Huấn luyện áp dụng mô hình khuyến nghị dịch vụ Mục đích giải pháp khuyến nghị cho khách hàng cụ thể (kể người có chưa có hệ thống) định chọn dịch vụ phù hợp  Trường hợp khách hàng hồn tồn, khơng cung cấp thơng tin nhu cầu sở thích du lịch, hệ thống dựa kết xếp hạng dịch vụ xác định công thức (2) để khuyến nghị cho khách hàng  Trường hợp khách hàng mới, có cung cấp thơng tin nhu cầu sở thích du lịch, hệ thống tìm khách hàng cũ (có liệu) tương tự với khách hàng hành, dựa kết mơ hình khuyến nghị đề xuất danh sách dịch dự đoán khách hàng yêu thích (được gán nhãn “tích cực”) Sau đó, hệ thống kết hợp thêm kết xếp hạng dịch vụ xác định công thức (2) để khuyến nghị cho khách hàng Dựa liệu thực tế thu thập kết tính tốn giai đoạn trên, nghiên áp dụng mơ hình khuyến nghị dựa lọc cộng tác (collaborative filtering) Nghiên cứu tiến hành huấn luyện dự đốn thuật tốn để tìm giải pháp tốt nhất, thuật toán bao gồm: Normal Distribution, KNearest Neighbors, Co-Clustering Matrix Factorization Phương pháp huấn luyện K-Fold (K=5) sử dụng bước Thuật toán dự đốn tốt có sai số RMSE (Root Mean Squared Error) thời gian xử lý thấp Thuật toán dùng để xây dựng chức khuyến nghị cho khách hàng lựa chọn dịch vụ Sai số RMSE tính cơng thức sau: ′ 𝑅𝑀𝑆𝐸 = |𝑅̂| ∑𝑟′ ∈𝑅̂(𝑟𝑢𝑖 − 𝑟𝑢𝑖 ) (3) 𝑢𝑖 Trong đó:  𝑅̂ tập liệu dùng để kiểm thử (dữ liệu test) © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 182   r’ui giá trị dự đoán khách hàng u đánh giá cho dịch vụ i rui giá trị đánh giá khách hàng u dịch vụ i KẾT QUẢ NGHIÊN CỨU 4.1 Kết thu thập tiền xử lý liệu Kết thu thập liệu 39.976 bình luận từ năm 2012 đến năm 2019, bao gồm tiếng Anh tiếng Việt Sau lọc bỏ bình luận tiếng Anh, giữ lại bình luận Tiếng Việt, liệu lại để tiến hành thực nghiệm 14.559 bình luận 521 khách sạn 40 tỉnh thành nước, phân bố bảng sau: Bảng 1: Kết thu thập tiền xử lý liệu STT 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 Tỉnh/Thành phố Buôn Ma Thuột Bình Dương Bạc Liêu Bắc Giang Bến Tre Châu Đốc Cà Mau Cần Thơ Hà Nội Hà Tĩnh Hòa Bình Hạ Long Hải Phịng Hồ Chí Minh Kon Tum Long Xuyên Lạng Sơn Mỹ Tho (Tiền Giang) Nam Ðịnh Nha Trang Ninh Bình Phan Rang - Tháp Chàm (Ninh Thuận) Phan Thiết Phú Thọ Pleiku (Gia Lai) Quy Nhơn (Bình Định) Quảng Ngãi Rạch Giá (Kiên Giang) Sầm Sơn (Thanh Hóa) Tam Kỳ (Quảng Nam) Thái Ngun Tuy Hịa (Phú Yên) Tây Ninh Vinh Vĩnh Phúc Vũng Tàu Đà Lạt Đà Nẵng Số khách sạn 13 2 24 43 21 16 38 3 10 38 19 41 17 11 2 12 37 41 38 © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh Số lượt bình luận 338 15 24 26 70 186 39 819 685 51 26 548 152 1094 20 22 28 26 66 1326 263 92 1659 15 133 362 71 67 255 37 12 311 21 231 44 1606 1665 1756 Trung bình 26,0 7,5 12,0 13,0 23,3 23,3 19,5 34,1 15,9 10,2 8,7 26,1 9,5 28,8 10,0 7,3 9,3 8,7 6,6 34,9 13,8 23,0 40,5 7,5 22,2 21,3 10,1 16,8 23,2 18,5 6,0 25,9 7,0 25,7 14,7 43,4 40,6 46,2 HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 39 40 Đông Hà (Quảng Trị) Đồng Hới (Quảng Bình) 19 521 Tổng cộng 36 362 14.559 183 12,0 19,1 27,9 4.2 Kết huấn luyện mơ hình dự báo phân loại ý kiến Để thực việc huấn luyện mơ hình máy học cần phải chuẩn bị tập liệu gán nhãn (hay phân loại) đủ lớn để đưa vào làm tập liệu huấn luyện Thông thường nghiên cứu ứng dụng phương pháp máy học, tập liệu xây dựng thủ công Tuy nhiên nghiên cứu này, sau xem xét ngẫu nhiên nội dung tập liệu bình luận thu thập dựa vào kết điểm đánh giá (trường rating tập liệu), nghiên cứu nhận thấy bình luận có điểm đánh giá nhỏ 7,0 mang ý nghĩa tiêu cực (negative) ngược lại bình luận có điểm đánh giá lớn 7,0 mang ý nghĩa tích cực (positive) Do tập liệu huấn luyện xác định có 14.559 bình luận, có 4.506 bình luận tiêu cực (được gán nhãn 0) 10.053 bình luận tích cực (được gán nhãn 1) Nghiên cứu tiến hành huấn luyện thuật tốn, bao gồm: Nạve Bayes (NB), Support Vector Machines (SVM), Logistic regression (LR), Neural Network (NN), DecisionTree (DT), RandomForest (RF) Bảng 2: Kết huấn luyện thuật toán phân loại ý kiến STT Tên phương pháp Naïve Bayes (NB) Support Vector Machines (SVM) Logistic Regression (LR) Neural Network (NN) DecisionTree (DT) RandomForest (RF) Accuracy 0,48 0,78 0,79 0,79 0,71 0,68 Precision 0,66 0,78 0,79 0,79 0,71 0,47 Recall 0,49 0,78 0,79 0,79 0,71 0,68 F1 0,48 0,78 0,78 0,77 0,71 0,55 Time (giây) 2,87 0,86 0,74 133,50 46,37 0,88 Kết huấn luyện cho thấy mơ hình LR, SVM NN có độ xác cao (lần lượt 0,79; 0,78 0,79) Nghĩa mơ hình tương đối phù hợp với tập liệu huấn luyện Tuy nhiên, xét thêm yếu tố thời gian huấn huyện nên chọn mơ hình LR SVM tốt Do đó, ứng dụng dùng mơ hình công cụ để phân loại ý kiến cho liệu bình luận chưa phân loại liệu bình luận phát sinh mà khơng cần phải huấn luyện lại Kết nghiên cứu giúp xác định phương pháp công cụ phân loại ý kiến phù hợp Đây được xem bước quan trọng quy trình khai thác ý kiến, làm tảng cho việc ứng dụng khai thác ý kiến nhiều lĩnh vực Hình 4: Kết huấn luyện mơ hình phân loại ý kiến © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh 184 HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 4.3 Kết xếp hạng dịch vụ Sau thực phân loại ý kiến phương pháp máy học xem tốt bước huấn luyện đánh giá mơ hình, kết có tập liệu bình luận thể quan điểm dịch vụ khách sạn Việc xếp hạng khách sạn theo quan điểm du khách thực công thức (1) (2) Nghiên cứu sử dụng thang điểm từ đến thực làm tròn điểm số Kết cho thấy khách sạn đánh giá điểm chiếm số lượng cao (209 khách sạn) khách sạn đánh giá điểm chiếm số lượng thấp (12 khách sạn) Hình 5: Kết xếp hạng khách sạn 4.4 Kết huấn luyện áp dụng mơ hình khuyến nghị dịch vụ Nghiên cứu tiến hành huấn luyện dự đốn thuật tốn để tìm giải pháp khuyến nghị tốt nhất, thuật toán xác định phần thiết kế giải pháp, bao gồm: Normal Distribution, K-Nearest Neighbors, Co-Clustering Matrix Factorization Bảng 3: Kết huấn luyện mơ hình khuyến nghị STT Tên thuật toán Normal Distribution K-Nearest Neighbors Co-Clustering Matrix Factorization Thời gian trung bình (giây) 0,094 0,474 0,653 1,721 RMSE trung bình 0,5712 0,4408 0,4560 0,4373 1.721 1.8 1.6 1.4 1.2 0.8 0.6 0.653 0.5712 0.4408 0.474 0.456 0.4373 0.4 0.2 0.094 Normal Distribution K-Nearest Neighbors RMSE trung bình Co-Clustering Matrix Factorization Thời gian trung bình (giây) Hình 6: Kết huấn luyện mơ hình khuyến nghị © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 185 Kết cho thấy phương pháp Matrix Factorization có sai số thấp 0,4373; phương pháp K-Nearest Neighbors có sai số 0,4408; thứ ba Co-Clustering với sai số 0,456 cuối Normal Distribution có sai số cao 0,5712 Do chênh lệch thời gian xử lý phương pháp không đáng kể nên nghiên cứu định chọn phương pháp Matrix Factorization làm giải pháp để xây dựng chức khuyến nghị dịch vụ 4.5 Thảo luận kết nghiên cứu Từ kết nghiên cứu, tác giả đưa số khuyến nghị để triển khai hệ thống thực tiễn ngành du lịch  Về phạm vi triển khai hệ thống: Với đặc tính hệ thống dựa nguồn liệu thứ cấp có sẵn, nên đề xuất cho doanh nghiệp có thể: (1) xây dựng triển khai hệ thống theo dạng tích hợp vào hệ thống quản trị quan hệ khách hàng (CRM) để đánh giá chất lượng dịch vụ doanh nghiệp đó; (2) xây dựng triển khai hệ thống độc lập, khai thác nguồn liệu mạng để đánh giá chất lượng dịch vụ nhiều doanh nghiệp khác ngành du lịch  Về công nghệ lưu trữ xử lý liệu: Khả hỗ trợ cho nhà quản trị định đánh giá cải tiến chất lượng dịch vụ có xác nhanh chóng phụ thuộc nhiều vào độ lớn liệu lực xử lý hệ thống máy tính Do đó, triển khai thực tế, doanh nghiệp cần tính đến ứng dụng công nghệ lưu trữ liệu lớn (Big data), bên cạnh xem xét khả trang bị hệ thống tính tốn hiệu suất cao (High Performance Computing) Tuy nhiên, vấn đề cần phải đánh giá tính khả thi dự án, chi phí đầu tư hạ tầng cơng nghệ thơng tin lợi ích kỳ vọng mà hệ thống mang lại  Về quy trình vận hành hệ thống: Đây dạng hệ thống hỗ trợ định, việc sử dụng kết phân tích từ hệ thống thường mang tính định kỳ, tùy thuộc vào nhu cầu đánh giá chất lượng dịch vụ tần suất định cải tiến chất lượng dịch vụ nhà quản trị Do đó, chức thu thập liệu, tiền xử lý liệu, huấn luyện lại mơ hình phân loại ý kiến khuyến nghị dịch vụ nên thực cách định kỳ Bên cạnh tùy thuộc vào tốc độ tăng trưởng biến động nguồn liệu bình luận khách hàng trang mạng tảng xã hội  Về người sử dụng hệ thống: Ngồi đối tượng sử dụng hệ thống nhà quản trị doanh nghiệp khách hàng, chức thu thập liệu, tiền xử lý liệu, huấn luyện, đánh giá lựa chọn mơ hình phân loại ý kiến khuyến nghị dịch vụ nên thực chuyên gia tri thức, đặc biệt là chuyên gia khoa học liệu (Data scientists) KẾT LUẬN Nghiên cứu đề xuất mơ hình kiến trúc hệ thống với giải pháp hỗ trợ đánh giá khuyến nghị dịch vụ du lịch dựa phương pháp khai thác ý kiến khách hàng trực tuyến Kết thực nghiệm giải pháp cung cấp tảng giúp cho công ty kinh doanh dịch vụ du lịch, nhà quản trị có sở để so sánh, đánh giá dịch vụ du lịch Đồng thời khuyến nghị, khuyến nghị cho khách hàng lựa chọn dịch vụ du lịch phù hợp Tuy nhiên, nghiên cứu cịn nhiều hạn chế, cải tiến tốt nghiên cứu Thứ nhất, hạn chế đối tượng phạm vi nghiên cứu: Nghiên cứu thu thập liệu bình luận khách hàng khách sạn trang web Agoda Nghiên cứu mở rộng thu thập nhận xét sản phẩm dịch vụ khác website thương mại điện tử trang mạng xã hội Thứ hai, hạn chế liệu nghiên cứu: Về thu thập liệu, phạm vi đề tài giới hạn thu thập liệu từ trang web du lịch Agoda Nghiên cứu mở rộng thu thập thêm nhận xét dịch vụ khách sạn trang Booking, Tripadvisor, mạng xã hội Tuy nhiên, nghiên cứu gặp thách thức lớn việc hợp đồng nguồn liệu khác Thứ ba, hạn chế phương pháp nghiên cứu: Nghiên cứu phân loại ý kiến khách hàng theo thang đo hai mức: tích cực (positive) tiêu cực (negative) Hướng nghiên cứu sử dụng thang đo nhiều mức (ví dụ theo thang đo Likert mức) Bên cạnh đó, kỹ thuật phân loại ý kiến, nghiên cứu sử dụng phương pháp máy học có giám sát, kết hợp lai với phương pháp từ vựng dựa ngữ nghĩa cho kết tốt Tuy nhiên, chưa có nhiều cơng cụ hỗ trợ xử lý tiếng Việt tốt © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh 186 HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN ngôn ngữ tiếng Anh Điều mở nhiều hội cho cộng đồng nhà nghiên cứu nước Cuối cùng, hạn chế cách đánh giá kết nghiên cứu: Kết nghiên cứu dừng lại việc đánh giá giải pháp xử lý liệu, nghiên cứu cần thêm thời gian để hoàn chỉnh hệ thống, sau triển khai lấy ý kiến người dùng để đánh giá kiểm nghiệm hệ thống vận hành thực tế TÀI LIỆU THAM KHẢO [1] A Dhokrat, S Khillare, and C N Mahender, Review on techniques and tools used for opinion mining, International Journal of Computer Applications Technology and Research, 2015, vol 6, no 4, pp 419-424 [2] A Hendawi, and H El-Shishny, Data Warehouse Prototype for the Tourism Industry: A Case Study from Egypt, in International Conference on Informatics and Systems, 2008 [3] A Hinze, and S Junmanee, Advanced recommendation models for mobile tourist information, in OTM Confederated International Conferences “On the Move to Meaningful Internet Systems”, 2006, pp 643-660 [4] A Kumar, S Abirami, Aspect-based opinion ranking framework for product reviews using a Spearman's rank correlation coefficient method, Information Sciences, 2018, vol 460, pp 23-41 [5] A Parasuraman, V A Zeithaml, and L L Berry, A conceptual model of service quality and its implications for future research, The Journal of Marketing, 1985, pp 41-50 [6] A Parasuraman, V A Zeithaml, and L L Berry, SERVQUAL: A multi-item scale for measuring customer perceptions of service quality, Journal of Retailing, 1988, vol 1, no 64, pp 12-40 [7] A S A Ali, Opinion Mining Techniques, International Journal of Innovative Science, Engineering and Technology-IJISET, 2015, vol 6, no 2, pp 752-755 [8] B Liu, Sentiment analysis and opinion mining, Synthesis Lectures on Human Language Technologies, 2012, vol 1, no 5, pp 1-167 [9] B Pang, and L Lee, Opinion mining and sentiment analysis, Foundations and trends in information retrieval, 2008, vol 2, no 2, pp 1-135 [10] C Bucur, Using Opinion Mining Techniques in Tourism, Procedia Economics and Finance, 2015, vol 23, pp 1666-1673 [11] C Gronroos, A service quality model and its marketing implications, European Journal of Marketing, 1984, vol 4, no 18, pp 36-44 [12] C Petropoulos, A Patelis, K Metaxiotis, K Nikolopoulos, and V Assimakopoulos, SFTIS: A decision support system for tourism demand analysis and forecasting, Journal of Computer Information Systems, 2003, vol 1, no 44, pp 21-32 [13] C Yu, X Zhu, B Feng, L Cai, and L An, Sentiment Analysis of Japanese Tourism Online Reviews, Journal of Data and Information Science, 2019, vol 1, no 4, pp 89-113 © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 187 [14] Đ Bunja, B K Miočić, and P Nekić, Possibilities for implementation of the decision support system in the Croatian tourism industry, in 30th International Convention MIPRO 2008-CONFERENCE ON BUSINESS INTELLIGENCE SYSTEMS, 2007 [15] E Bjørkelund, T H Burnett, and K Nørvåg, A study of opinion mining and visualization of hotel reviews, in Proceedings of the 14th International Conference on Information Integration and Webbased Applications & Services, 2012, pp 229-238 [16] E Marrese-Taylor, J D Velásquez, and F Bravo-Marquez, A novel deterministic approach for aspect-based opinion mining in tourism products reviews, Expert Systems with Applications, 2014, vol 17, no 4, pp 7764-7775 [17] F Ricci, Travel recommender systems, IEEE Intelligent Systems, 2002, vol 6, no 17, pp 55-57 [18] G Stalidis, D Karapistolis, and A Vafeiadis, Marketing decision support using Artificial Intelligence and Knowledge Modeling: application to tourist destination management, International Conference on Strategic Innovative Marketing, 2014 [19] I N Wahab, Role of information technology in tourism industry: Impact and growth, International Journal of Innovative Research in Computer and Communication Engineering, 2017, vol 2, no 5, pp 260-263 [20] I Perikos, K Kovas, F Grivokostopoulou, and L Hatzilygeroudis, A System for Aspect-based Opinion Mining of Hotel Reviews, in WEBIST , 2017, pp 388-394 [21] J A Martilla, and J C James, Importance-performance analysis, Journal of marketing, 1997, vol 41, no 1, pp 77-79 [22] J J Cronin, and S A Taylor, Measuring service quality: a reexamination and extension, Journal of marketing, 1992, vol 56, no 3, pp 55-68 [23] J P Bousset, D Skuras, J Těšitel, J B Marsat, A Petrou, E Fiallo-Pantziou, and M Bartoš, A decision support system for integrated tourism development: Rethinking tourism policies and management strategies’, Tourism Geographies, 2007, vol 4, no 9, pp 387-404 [24] J Wang, and C Li, Design and implementation of tourist WebGIS based on J2EE, In 22nd International Cartographic Conference, 2005 [25] K W Wöber, Information supply in tourism management by marketing decision support systems, Tourism Management, 2003, vol 3, no 24, pp 241-255 [26] M Afzaal, M Usman, A C M Fong, S Fong, and Y Zhuang, Fuzzy Aspect Based Opinion Classification System for Mining Tourist Reviews, Advances in Fuzzy Systems, 2016 [27] M Danubianu, T Socaciu, and A Barila, Some aspects of data warehousing in tourism industry, The USV Annals of Economics and Public Administration, 2009, vol 9, no 1, pp 290-296 © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 188 [28] N Becser, Z Zoltay-Paprika, A Decision Support Model for Improving Service Quality, SQI-DSS: A New Approach, Budapest University of Economics and Public Administration, Department of Business Economics, 2003 [29] N T Duyen, N X Bach, and T M Phuong, An empirical study on sentiment analysis for Vietnamese, in Advanced Technologies for Communications (ATC), 2014 International Conference, 2014, pp 309-314 [30] N Yussupova, G Kovács, M Boyko, and D Bogdanova, Models and Methods for Quality Management Based on Artificial Intelligence Applications, Acta Polytechnica Hungarica, 2016 [31] Q Ye, Z Zhang, and R Law, Sentiment classification of online reviews to travel destinations by supervised machine learning approaches, Expert Systems with Applications, 2009, vol 3, no 36, pp 6527-6535 [32] R Baggio and L Caporarello, Decision support systems in a tourism destination: literature survey and model building, in U: Proceedings itAIS-2nd Conference of the Italian chapter of AIS, 2005 [33] S Blair-Goldensohn, K Hannan, R McDonald, T Neylon, G A Reis, and J Reynar, Building a sentiment summarizer for local service reviews, in WWW workshop on NLP in the information explosion era, 2008, pp 339-348 [34] S K Yadav, Sentiment analysis and classification: A survey, International Journal of Advance Research in Computer Science and Management Studies, 2015 [35] S M Mudambi, and D Schuff, What makes a helpful review? A study of customer reviews on Amazon com, MIS quarterly, 2010, vol 1, no 34, pp 185-200 [36] S P Singh, J Sharma, and P Singh, A web-based tourist decision support system for Agra City, International Journal of Instrumentation, Control & Automation (IJICA), 2011, vol 1, no 1, pp 5154 [37] S Sun, C Luo, and J Chen, A review of natural language processing techniques for opinion mining systems, Information Fusion, 2017, vol 36, pp 10-25 [38] T Abdul-Aziz, I Moawad, and W M Abu-Alam, Decision Support System Utilizing Data Warehouse Technique for the Tourism Sector in Egypt, in The 7th International Conference on Information Technology, 2015 [39] T Masron, N Ismail, and A Marzuki, The conceptual design and application of web-based tourism decision support systems, Theoretical and Empirical Researches in Urban Management, 2016, vol 2, no 11, pp 64-75 [40] T S Bang, C Haruechaiyasak, and V Sornlertlamvanich, Vietnamese sentiment analysis based on term feature selection approach, in Proceedings of The Tenth International Conference on Knowledge, Information and Creativity Support Systems, 2015, pp 12-14 © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 189 [41] V A Zeithaml, A Parasuraman, and L L Berry, Delivering quality service: Balancing customer perceptions and expectations, 1990 [42] W B Claster, M Cooper, and P Sallis, Thailand-Tourism and conflict: Modeling sentiment from Twitter tweets using naïve Bayes and unsupervised artificial neural nets, in Computational Intelligence, Modelling and Simulation (CIMSiM), 2010 Second International Conference, 2010, pp 89-94 [43] W Duan, Q Cao, Y Yu, and S Levy, Mining online user-generated content: using sentiment analysis technique to study hotel service quality, in System Sciences (HICSS), 2013 46th Hawaii International Conference, 2013, pp 3119-3128 [44] W Kasper, M Vela, Sentiment analysis for hotel reviews, in Computational linguistics-applications conference, 2011, pp 45-52 [45] W Medhat, A Hassan, and H Korashy, Sentiment analysis algorithms and applications: A survey, Ain Shams Engineering Journal, 2014, vol 4, no 4, pp 1093-1113 [46] X Qiao, L Zhang, N Li, and W Zhu, Constructing a data warehouse based decision support platform for China tourism industry, in Information and Communication Technologies in Tourism 2014, 2014, pp 883-893 [47] Y Asafe, A Bolaji, A Enaholo, and O Olubukola, Web-based expert decision support system for tourism destination management in Nigeria, International Journal of Advanced Research in Artificial Intelligence, 2013, vol 4, no 2, pp 59-63 [48] Y Guo, S J Barnes, and Q Jia, Mining meaning from online ratings and reviews: Tourist satisfaction analysis using latent dirichlet allocation, Tourism Management, 2017, vol 59, pp 467-483 [49] Y Wu, F Wei, S Liu, N Au, W Cui, H Zhou, and H Qu, OpinionSeer: interactive visualization of hotel customer feedback, IEEE transactions on visualization and computer graphics, 2010, vol 6, no 16, pp 1109-1118 Ngày nhận bài: 04/07/2020 Ngày chấp nhận đăng: 17/06/2020 © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh ... HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN 182   r’ui giá trị dự đoán khách hàng u đánh giá cho dịch vụ i rui giá trị đánh giá khách. .. thống hỗ trợ đánh giá khuyến nghị dịch vụ du lịch dựa mạnh phương pháp khai thác ý © 2020 Trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH...176 HỆ THỐNG HỖ TRỢ ĐÁNH GIÁ VÀ KHUYẾN NGHỊ DỊCH VỤ DU LỊCH DỰA TRÊN KHAI THÁC Ý KIẾN KHÁCH HÀNG TRỰC TUYẾN tin xã hội, v.v nhằm trao đổi, chia sẻ điểm đến du lịch thu hút lượng lớn du khách