1 toan van luan an

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN TẤN HOÀNG HỆ TƯ VẤN DỰA TRÊN TRƯỜNG HÀM Ý THỐNG KÊ LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - Năm 2022 ii ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN TẤN HOÀNG HỆ TƯ VẤN DỰA TRÊN TRƯỜNG HÀM Ý THỐNG KÊ Chuyên ngành: Khoa học máy tính Mã số: 9480101 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: PGS.TS Huỳnh Xuân Hiệp TS Huỳnh Hữu Hưng Đà Nẵng - Năm 2022 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu tơi thực hiện, hướng dẫn PGS.TS Huỳnh Xuân Hiệp TS Huỳnh Hữu Hưng Tôi cam đoan kết nghiên cứu trình bày luận án trung thực khơng chép từ cơng trình nghiên cứu khác Một số kết nghiên cứu thành tập thể đồng tác giả đồng ý cho sử dụng luận án Mọi trích dẫn luận án có ghi nguồn gốc xuất xứ rõ ràng đầy đủ Tác giả Nguyễn Tấn Hồng LỜI CẢM ƠN Để hồn thành luận án này, trước tiên tơi xin bày tỏ lịng biết ơn chân thành đến PGS.TS Huỳnh Xuân Hiệp TS Huỳnh Hữu Hưng tận tình hướng dẫn, truyền đạt kiến thức kinh nghiệm quý báu cho suốt trình học tập nghiên cứu khoa học Trong thời gian thực chương trình nghiên cứu sinh trường Đại học Bách khoa Đà Nẵng, đào tạo nhận nhiều điều kiện thuận lợi hỗ trợ kịp thời từ Phịng Đào tạo Khoa Cơng nghệ thơng tin mà không ghi nhận nơi Bên cạnh đó, tơi cảm ơn Ban lãnh đạo Sở Thơng tin Truyền thông tỉnh Đồng Tháp hỗ trợ tạo điều kiện tốt công việc thời gian để tơi tập trung nghiên cứu Ngồi ra, tơi xin chân thành cảm ơn nhà khoa học dành thời gian công sức đọc đưa góp ý vơ hữu ích để luận án hồn chỉnh Cuối cùng, xin gửi lời cảm ơn sâu sắc đến gia đình, bạn nghiên cứu sinh đồng nghiệp bên cạnh, giúp đỡ động viên suốt thời gian học tập, nghiên cứu hoàn thành luận án Đà Nẵng, ngày 09 tháng năm 2022 NCS Nguyễn Tấn Hoàng i MỤC LỤC LỜI CAM ĐOAN I LỜI CẢM ƠN II MỤC LỤC I DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT V DANH MỤC BẢNG VII DANH MỤC HÌNH VIII MỞ ĐẦU 1 CHƯƠNG TỔNG QUAN VỀ TRƯỜNG HÀM Ý VÀ HỆ TƯ VẤN 1.1 Phân tích hàm ý thống kê 1.1.1 Các độ đo hàm ý thống kê 14 1.1.1.1 Chỉ số hàm ý 15 1.1.1.2 Cường độ hàm ý 15 1.1.2 Trường hàm ý 19 1.1.2.1 Biến thiên số hàm ý 19 1.1.2.2 Trường hàm ý 20 1.1.2.3 Mặt đẳng trị hàm ý 21 1.2 Hệ tư vấn 22 1.2.1 Các thành phần hệ tư vấn 23 1.2.2 Đánh giá 24 1.2.2.1 Tổ chức liệu đánh giá mơ hình hệ tư vấn 24 1.2.2.2 Đánh giá hiệu mơ hình hệ tư vấn 27 1.2.3 Phân loại 30 1.2.3.1 Hệ tư vấn dựa lọc nội dung 31 1.2.3.2 Hệ tư vấn dựa lọc cộng tác 34 1.2.3.3 Hệ tư vấn lai ghép 42 1.2.3.4 Các hệ tư vấn khác 44 ii 1.2.4 Các lĩnh vực ứng dụng hệ tư vấn 47 1.2.4.1 Quản lý hành nhà nước (e-government) 47 1.2.4.2 Thương mại điện tử (e-commercial) 48 1.2.4.3 Thư viện điện tử (e-library) 48 1.2.4.4 Học tập trực tuyến (e-learning) 49 1.2.4.5 Du lịch trực tuyến (e-tourism) 49 1.2.4.6 Quản lý tài nguyên (e-resource) 49 1.2.5 Một số vấn đề hệ tư vấn 50 1.2.5.1 Dữ liệu thưa (Sparsity Problem) 50 1.2.5.2 Thiếu liệu ban đầu (Cold Start) 50 1.2.5.3 Khả mở rộng (Scalability) 51 1.2.5.4 Quá chuyên môn (Over Specialization Problem) 51 1.2.5.5 Xu hướng thiên lệch theo phổ biến (Popularity bias) 51 1.2.5.6 Độ đo đối xứng (Symmetric measure problem) 52 1.2.6 Một số vấn đề hệ tư vấn dựa mơ hình khai thác luật 53 1.2.7 Một số vấn đề hệ tư vấn dựa phân tích hàm ý thống kê 55 1.3 Đề xuất nghiên cứu 60 1.4 Kết luận chương 61 CHƯƠNG MƠ HÌNH HỆ TƯ VẤN DỰA TRÊN TRƯỜNG HÀM Ý .62 2.1 Mơ hình tư vấn lọc cộng tác dựa biến thiên hàm ý 63 2.1.1 Phân tích vấn đề hệ tư vấn dựa mơ hình khai thác luật kết hợp 63 2.1.2 Độ biến thiên hàm ý thống kê ngưỡng biến thiên hàm ý 67 2.1.2.1 Độ đo biến thiên hàm ý thống kê 68 2.1.2.2 Ngưỡng biến thiên số hàm ý 69 2.1.2.3 Ngưỡng biến thiên cường độ hàm ý 71 2.1.3 Luật kết hợp khung khai thác luật 74 2.1.3.1 Luật kết hợp 74 2.1.3.2 Mơ hình hố luật kết hợp khung khai thác luật kết hợp 74 2.1.4 Mơ hình tư vấn đánh giá mơ hình 92 2.1.4.1 Mơ hình 92 2.1.4.2 Đánh giá mơ hình 96 iii 2.1.4.3 Chọn mơ hình tốt 103 2.1.4.4 Tối ưu hoá thơng số mơ hình 105 2.2 Mơ hình tư vấn dựa trường hàm ý thống kê 105 2.2.1 Các vấn đề hệ tư vấn dựa biến thiên hàm ý thống kê 105 2.2.2 Luật hàm ý khung khai thác luật hàm ý 106 2.2.2.1 Mơ hình hố luật hàm ý 107 2.2.2.2 Mơ hình hố khung khai thác luật hàm ý 109 2.2.2.3 Thủ tục tư vấn thuật toán sử dụng 113 2.2.3 Mơ hình 114 2.2.4 Đánh giá mơ hình 115 2.3 Kết luận chương 122 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 124 3.1 Dữ liệu thực nghiệm 125 3.1.1 Tập liệu Movielens phân bố liệu 125 3.1.2 Tập liệu MSWeb phân bố liệu 128 3.2 Công cụ thực nghiệm 131 3.3 Thực nghiệm 132 3.3.1 Thực nghiệm mô hình tư vấn lọc cộng tác dựa biến thiên hàm ý 132 3.3.1.1 Mơ hình tư vấn lọc cộng tác dựa biến thiên hàm ý theo người dùng 133 3.3.1.2 Mơ hình tư vấn lọc cộng tác dựa biến thiên hàm ý theo mục 138 3.3.2 Thực nghiệm mơ hình tư vấn dựa trường hàm ý thống kê 144 3.3.2.1 Thực nghiệm liệu phân hoạch theo số giao dịch tập liệu 145 3.3.2.2 Thực nghiệm liệu phân hoạch theo mục đánh giá giao dịch 151 3.4 Kết luận chương 158 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .160 Kết luận 160 Hướng phát triển 161 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CƠNG BỐ .163 TÀI LIỆU THAM KHẢO 165 PHỤ LỤC I Phụ lục 1: Chứng minh độ đo hàm ý thống kê không đối xứng i iv Phụ lục 2: Chứng minh tương đương công thức số hàm ý trường hợp liệu nhị phân iii Phụ lục 3: Các Phân phối xác suất quan trọng có liên quan luận án iv v DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT Thuật ngữ Cường độ hàm ý Biến thiên cường độ hàm ý Chỉ số hàm ý Biến thiên số hàm ý Tiếng Anh Implication/Implicative intensity Propension intensity Viết tắt IInt Implication intensity variation Implication/Implicative index Propesion index IInd Implication index variation Độ đo hấp dẫn chủ quan Subjective interestingness measure Độ đo hấp dẫn khách quan Objective interestingness measure Độ lợi tích lũy giảm dần Normalized discounted cumulative gain nDCG Độ đo Sai số tuyệt đối trung bình Mean Absolute Error MAE Độ đo sai số bình phương trung bình Mean Square Error MSE Độ đo bậc hai sai số bình phương trung bình Root Mean Square Error RMSE Hệ tư vấn Recommender/Recommendation systems RS Hệ tư vấn dựa luật kết hợp Association rule based recommender system ARRS Hệ tư vấn dựa nội dung Content-based recommender system CBRS Hệ tư vấn dựa tri thức Knowledge-based recommender system KBRS Hệ tư vấn lai ghép Hybrid recommender system HRS Hệ tư vấn dựa trường hàm ý thống kê Statistic implication field based recommender system IFSRS Mặt đẳng trị Equipotential plane/surface EP/ES vi Mơ hình tư vấn lọc cộng tác dựa biến thiên hàm ý Implication variation based model Mơ hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê người dùng User implicative rating based model Mục/Mục liệu Item Phân tích hàm ý thống kê Statistical implicative analysis Phản ví dụ Counter-example Sai số bình phương trung bình Root of mean squared error RMSE Sai số tuyệt đối trung bình Mean absolute error MAE Trường hàm ý thống kê Statistical implication field SIF UIR SIA 177 [110] Sylvie Guillaume, Guillet F., Philipp J (1998): Contribution of the integration of intensity of implication into the algorithm proposed by Agrawal, EMCSR'98, Vienna, vol 2, pp 805-810 [111]Timur Osadchiy, Ivan Poliakov, Patrick Olivier, Maisie Rowland, Emma Foster (2018), Recommender system based on pairwise association rules, ExpertSystems with Applications 115 535–542 https://doi.org/10.1016/j.eswa.2018.07.077 [112] Tzung Pei Hong, Chang Sheng Kuo, Sheng Chai Chi, (2001) Trade-off between computation time and number of rules for fuzzy mining from quantitative data, International journal of Uncertainty, Fuzziness and Knowledge-Based Systems Vol.9, No.5, pp.587-604 [113] Tzung-Pei Hong, Chun-Hao Chen, Yeong-Chyi Lee, and Yu-Lung Wu (2008), Genetic-Fuzzy Data Mining with Divide-and-Conquer Strategy, IEEE Transactions on evolutionary computation, Vol 12 No.2, April 2008 [114] Wan Shiou Yang, San Yih Hwang (2013), “iTravel: a recommender system in mobile peer-to-peer environment”, Journal of Systems and Software, 86, pp 1220 [115]Yeong, et al, 2005 Mining changes in customer buying behavior for collaborative recommendations Expert Syst Appl 28, (February 2005), 359369.DOI=10.1016/j.eswa.2004.10.015 http://dx.doi.org/10.1016/j.eswa.2004.10.015 [116] Yibo Chen, chanle Wu, Ming Xie and Xiaojun Guo, (2011), “Solving the Sparsity Problem in Recommender Systems Using Association Retrieval”, Journal of Computers, Vol 6, No [117]Yonatan Aumann Yehuda Lindell (1999) "A Statistical Theory for Quantitative Association Rules." Proceedings of the Fifth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ISBN: 158113-143-7 doi>10.1145/312129.312243 pp.261 -270 178 [118] Yung-Ming Li, Chia-Ling Chou, Lien-Fa Lin (2015) A social recommender mechanism for location-based group commerce Information Sciences, 274(2014), pp.125–142 [119]Zhou and T Luo, (2010) “A Novel Approach to Solve the Sparsity Problem in Collaborative Filtering.” In: International conference on networking, sensing and control, pp.165-170 [120]Zhi-Lin Zhao Chang-Dong Wang, Jian-Huang Lai, (2016), “AUI&GIV Recommendation with asymmetric user influence and global importance value “ Public Library of Science ONE, https://doi.org/10.1371/journal.pone.0147944 [121] Ziwon Hyung, Kibeom Lee, and Kyogu Lee, (2014), “Music recommendation using text analysis on song requests to radio stations, ExpertSystems with Applications “, An International Journal Volume 41 Issue 5, pp 2608-2618 i PHỤ LỤC Phụ lục 1: Chứng minh độ đo hàm ý thống kê không đối xứng Xét trường hợp 𝑛𝑏 ≥ 𝑛𝑎 Trước tiên, xét quan hệ 𝑞(𝑎, 𝑏̅) với 𝑞(𝑏, 𝑎̅) Gọi 𝜆1 = 𝑛𝑎 𝑛𝑏 ഥ 𝜆1 − 𝜆2 = 𝑛 𝜆2 = 𝑛𝑎 𝑛𝑏 ഥ −𝑛𝑏 𝑛𝑎 ഥ 𝑛 𝑛𝑏 𝑛𝑎 ഥ 𝑛 = 𝑛𝑎 (𝑛−𝑛𝑏 )−𝑛𝑏 (𝑛−𝑛𝑎 ) 𝑛 = 𝑛𝑛𝑎 −𝑛𝑎 𝑛𝑏 −𝑛𝑛𝑏 +𝑛𝑎 𝑛𝑏 𝑛 ⟹ 𝜆1 ≤ 𝜆2 (1) Vì 𝑛𝑎𝑏̅ =𝑛𝑎 − 𝑛𝑎𝑏 𝑛𝑏𝑎̅ =𝑛𝑏 − 𝑛𝑎𝑏 nên 𝑛𝑎𝑏̅ − 𝑛𝑏𝑎̅ = 𝑛𝑎 − 𝑛𝑎𝑏 − (𝑛𝑏 − 𝑛𝑎𝑏 ) = 𝑛𝑎 − 𝑛𝑏 ≤ ⟹ 𝑛𝑎𝑏̅ < 𝑛𝑏𝑎̅ (2) Xét mối quan hệ 𝑞(𝑎, 𝑏̅) 𝑎𝑛𝑑 𝑞 (𝑏, 𝑎̅), ta có : 𝑞 (𝑎, 𝑏) − 𝑞 (𝑏, 𝑎) = Thay 𝑛𝑎 𝑛𝑏 ഥ 𝑛 = 𝜆1 𝑛𝑎 𝑛𝑏̅ 𝑛 𝑛 𝑛𝑏𝑎̅ − 𝑏 𝑎̅ 𝑛 − 𝑛 𝑛 𝑛 𝑛 𝑛 √ 𝑎 𝑏̅ √ 𝑏 𝑎̅ 𝑛 𝑛 𝑛𝑎𝑏̅ − 𝑛𝑏 𝑛𝑎 ഥ = 𝜆2 , ta : 𝑛 𝑞(𝑎, 𝑏̅) − 𝑞(𝑏, 𝑎̅) = ( 𝑛𝑎𝑏 ഥ √𝜆1 𝑛𝑎𝑏̅ − 𝜆1 √𝜆1 − √𝜆1 ) –( 𝑛𝑎𝑏̅ √𝜆1 − 𝑛𝑏𝑎̅ √𝜆2 𝑛𝑏𝑎 ഥ √𝜆2 − 𝑛𝑏𝑎̅ − 𝜆2 √𝜆2 − √𝜆2 )= − √𝜆1 + √𝜆2 Vì ≤ 𝜆1 ≤ 𝜆2 ⟹ −√𝜆1 + √𝜆2 ≥ , từ (2), ta 𝑞(𝑎, 𝑏̅) − 𝑞 (𝑏, 𝑎̅) ≥ 𝑛𝑎𝑏̅ √𝜆1 ⟹ 𝑞(𝑎, 𝑏̅) ≥ 𝑞 (𝑏, 𝑎̅) (3) − 𝑛𝑏𝑎̅ √𝜆2 ≥ 𝑛𝑎𝑏̅ √𝜆1 − 𝑛𝑎𝑏̅ √𝜆2 ≥0 = = 𝑛𝑎 − 𝑛𝑏 ≤ ii Tiếp theo, xét mối quan hệ 𝜑(𝑎, 𝑏) 𝑣ớ𝑖 𝜑(𝑏, 𝑎) 𝜑(𝑎, 𝑏) − 𝜑(𝑏, 𝑎) = ∞ √2𝜋 𝑡2 𝑒 − 𝑑𝑡 ∫ − 𝑞(𝑎,𝑏̅) ∞ √2𝜋 𝑡2 ∫ 𝑒 − 𝑑𝑡 𝑞(𝑏,𝑎̅) Vì (3), nên 𝜑(𝑎, 𝑏) − 𝜑(𝑏, 𝑎) = ∞ ∫ √2𝜋 ( 𝜑(𝑎, 𝑏) − 𝜑(𝑏, 𝑎) = − 𝑞(𝑎,𝑏̅) 𝑡2 𝑒 − 𝑑𝑡 −( ∫ 𝑞(𝑎,𝑏̅) 𝑞(𝑎,𝑏̅) 𝑡2 𝑒 − 𝑑𝑡 ∞ + 𝑡2 ∫ 𝑒 − 𝑑𝑡) 𝑞(𝑎,𝑏̅) 𝑞(𝑏,𝑎̅) 𝑡2 𝑒 − 𝑑𝑡 ≤ ∫ 2𝜋 𝑞(𝑏,𝑎̅) (4) √ Từ (3) (4) ta được: 𝑞(𝑎, 𝑏̅) ≥ 𝑞 (𝑏, 𝑎̅) 𝜑(𝑎, 𝑏) ≤ 𝜑(𝑏, 𝑎) (5) Trường hợp 𝑛𝑏 < 𝑛𝑎 , chứng minh hoàn toàn tương tự ta 𝑞(𝑎, 𝑏̅) < 𝑞(𝑏, 𝑎̅) 𝑎𝑛𝑑 𝜑(𝑎, 𝑏) Mối tương quan phân phối Poisson phân phối Chuẩn Tương tự phân phối nhị thức, số phần tử 𝑛 mẫu tăng lên phân phối Poisson tương đương với phân phối chuẩn Phân phối chuẩn tương đương có: 𝜇=𝜆 𝜎2 = 𝜆 Cụ thể, Ta ứng dụng tương đương 𝜆 > Cũng tương tự trường hợp phân phối nhị thức trên, mối tương đương phân phối Poisson với phân phối chuẩn giúp việc tính xác suất Poisson thuận lợi thay tính theo cơng thức (𝑖𝑖)