Hệ tư vấn dựa trên trường hàm ý thống kê

Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.Hệ tư vấn dựa trên trường hàm ý thống kê.

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN TẤN HOÀNG HỆ TƯ VẤN DỰA TRÊN TRƯỜNG HÀM Ý THỐNG KÊ LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - Năm 2022 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN TẤN HOÀNG HỆ TƯ VẤN DỰA TRÊN TRƯỜNG HÀM Ý THỐNG KÊ Chuyên ngành: Khoa học máy tính Mã số: 9480101 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: PGS.TS Huỳnh Xuân Hiệp TS Huỳnh Hữu Hưng Đà Nẵng - Năm 2022 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu tơi thực hiện, hướng dẫn PGS.TS Huỳnh Xuân Hiệp TS Huỳnh Hữu Hưng Tôi cam đoan kết nghiên cứu trình bày luận án trung thực khơng chép từ cơng trình nghiên cứu khác Một số kết nghiên cứu thành tập thể đồng tác giả đồng ý cho sử dụng luận án Mọi trích dẫn luận án có ghi nguồn gốc xuất xứ rõ ràng đầy đủ Tác giả Nguyễn Tấn Hồng LỜI CẢM ƠN Để hồn thành luận án này, trước tiên tơi xin bày tỏ lịng biết ơn chân thành đến PGS.TS Huỳnh Xuân Hiệp TS Huỳnh Hữu Hưng tận tình hướng dẫn, truyền đạt kiến thức kinh nghiệm quý báu cho suốt trình học tập nghiên cứu khoa học Trong thời gian thực chương trình nghiên cứu sinh trường Đại học Bách khoa Đà Nẵng, đào tạo nhận nhiều điều kiện thuận lợi hỗ trợ kịp thời từ Phòng Đào tạo Khoa Công nghệ thông tin mà khơng thể khơng ghi nhận nơi Bên cạnh đó, cảm ơn Ban lãnh đạo Sở Thông tin Truyền thông tỉnh Đồng Tháp hỗ trợ tạo điều kiện tốt công việc thời gian để tơi tập trung nghiên cứu Ngồi ra, tơi xin chân thành cảm ơn nhà khoa học dành thời gian công sức đọc đưa góp ý vơ hữu ích để luận án hoàn chỉnh Cuối cùng, xin gửi lời cảm ơn sâu sắc đến gia đình, bạn nghiên cứu sinh đồng nghiệp bên cạnh, giúp đỡ động viên suốt thời gian học tập, nghiên cứu hoàn thành luận án Đà Nẵng, ngày 09 tháng năm 2022 NCS Nguyễn Tấn Hoàng i MỤC LỤC LỜI CAM ĐOAN I LỜI CẢM ƠN II MỤC LỤC I DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT V DANH MỤC BẢNG VII DANH MỤC HÌNH VIII MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ TRƯỜNG HÀM Ý VÀ HỆ TƯ VẤN 2.1 Phân tích hàm ý thống kê 2.1.1 Các độ đo hàm ý thống kê 14 2.1.1.1 Chỉ số hàm ý 15 2.1.1.2 Cường độ hàm ý 15 2.1.2 Trường hàm ý .19 2.1.2.1 Biến thiên số hàm ý 19 2.1.2.2 Trường hàm ý 20 2.1.2.3 Mặt đẳng trị hàm ý 21 2.2 Hệ tư vấn 22 2.2.1 Các thành phần hệ tư vấn 23 2.2.2 Đánh giá 24 2.2.2.1 Tổ chức liệu đánh giá mơ hình hệ tư vấn 24 2.2.2.2 Đánh giá hiệu mơ hình hệ tư vấn 27 2.2.3 Phân loại .30 2.2.3.1 Hệ tư vấn dựa lọc nội dung 31 2.2.3.2 Hệ tư vấn dựa lọc cộng tác 34 2.2.3.3 Hệ tư vấn lai ghép 42 2.2.3.4 Các hệ tư vấn khác 44 ii 2.2.4 Các lĩnh vực ứng dụng hệ tư vấn 47 2.2.4.1 Quản lý hành nhà nước (e-government) 47 2.2.4.2 Thương mại điện tử (e-commercial) .48 2.2.4.3 Thư viện điện tử (e-library) 48 2.2.4.4 Học tập trực tuyến (e-learning) .49 2.2.4.5 Du lịch trực tuyến (e-tourism) 49 2.2.4.6 Quản lý tài nguyên (e-resource) 49 2.2.5 Một số vấn đề hệ tư vấn 50 2.2.5.1 Dữ liệu thưa (Sparsity Problem) 50 2.2.5.2 Thiếu liệu ban đầu (Cold Start) 50 2.2.5.3 Khả mở rộng (Scalability) 51 2.2.5.4 Quá chuyên môn (Over Specialization Problem) 51 2.2.5.5 Xu hướng thiên lệch theo phổ biến (Popularity bias) 51 2.2.5.6 Độ đo đối xứng (Symmetric measure problem) 52 2.2.6 Một số vấn đề hệ tư vấn dựa mơ hình khai thác luật 53 2.2.7 Một số vấn đề hệ tư vấn dựa phân tích hàm ý thống kê 55 2.3 Đề xuất nghiên cứu .60 2.4 Kết luận chương 61 CHƯƠNG MƠ HÌNH HỆ TƯ VẤN DỰA TRÊN TRƯỜNG HÀM Ý 62 3.1 Mơ hình tư vấn lọc cộng tác dựa biến thiên hàm ý 63 3.1.1 Phân tích vấn đề hệ tư vấn dựa mơ hình khai thác luật kết hợp 63 3.1.2 Độ biến thiên hàm ý thống kê ngưỡng biến thiên hàm ý 67 3.1.2.1 Độ đo biến thiên hàm ý thống kê 68 3.1.2.2 Ngưỡng biến thiên số hàm ý 69 3.1.2.3 Ngưỡng biến thiên cường độ hàm ý 71 3.1.3 Luật kết hợp khung khai thác luật 74 3.1.3.1 Luật kết hợp 74 3.1.3.2 Mơ hình hoá luật kết hợp khung khai thác luật kết hợp 74 3.1.4 Mơ hình tư vấn đánh giá mơ hình 92 3.1.4.1 Mơ hình 92 3.1.4.2 Đánh giá mơ hình 96 iii 3.1.4.3 Chọn mơ hình tốt 103 3.1.4.4 Tối ưu hố thơng số mơ hình 105 3.2 Mơ hình tư vấn dựa trường hàm ý thống kê 105 3.2.1 Các vấn đề hệ tư vấn dựa biến thiên hàm ý thống kê 105 3.2.2 Luật hàm ý khung khai thác luật hàm ý 106 3.2.2.1 Mơ hình hố luật hàm ý 107 3.2.2.2 Mơ hình hố khung khai thác luật hàm ý 109 3.2.2.3 Thủ tục tư vấn thuật toán sử dụng 113 3.2.3 Mơ hình 114 3.2.4 Đánh giá mơ hình .115 3.3 Kết luận chương 122 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ .124 4.1 Dữ liệu thực nghiệm 125 4.1.1 Tập liệu Movielens phân bố liệu 125 4.1.2 Tập liệu MSWeb phân bố liệu 128 4.2 Cơng cụ thực nghiệm 131 4.3 Thực nghiệm 132 4.3.1 Thực nghiệm mơ hình tư vấn lọc cộng tác dựa biến thiên hàm ý .132 4.3.1.1 Mơ hình tư vấn lọc cộng tác dựa biến thiên hàm ý theo người dùng 133 4.3.1.2 Mơ hình tư vấn lọc cộng tác dựa biến thiên hàm ý theo mục 138 4.3.2 Thực nghiệm mơ hình tư vấn dựa trường hàm ý thống kê 144 4.3.2.1 Thực nghiệm liệu phân hoạch theo số giao dịch tập liệu 145 4.3.2.2 Thực nghiệm liệu phân hoạch theo mục đánh giá giao dịch 151 4.4 Kết luận chương 158 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 160 Kết luận .160 Hướng phát triển 161 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC Đà CƠNG BỐ .163 TÀI LIỆU THAM KHẢO 165 PHỤ LỤC I Phụ lục 1: Chứng minh độ đo hàm ý thống kê không đối xứng i iv Phụ lục 2: Chứng minh tương đương công thức số hàm ý trường hợp liệu nhị phân iii Phụ lục 3: Các Phân phối xác suất quan trọng có liên quan luận án iv DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT Thuật ngữ Cường độ hàm ý Biến thiên cường độ hàm ý Chỉ số hàm ý Biến thiên số hàm ý Tiếng Anh Implication/Implicative intensity Propension intensity Viết tắt IInt Implication intensity variation Implication/Implicative index Propesion index IInd Implication index variation Độ đo hấp dẫn chủ quan Subjective interestingness measure Độ đo hấp dẫn khách quan Objective interestingness measure Độ lợi tích lũy giảm dần Normalized discounted cumulative gain nDCG Độ đo Sai số tuyệt đối trung bình Mean Absolute Error MAE Độ đo sai số bình phương trung bình Mean Square Error MSE Độ đo bậc hai sai số bình phương trung bình Root Mean Square Error RMSE Hệ tư vấn Recommender/Recommendation systems RS Hệ tư vấn dựa luật kết hợp Association rule based recommender system ARRS Hệ tư vấn dựa nội dung Content-based recommender system CBRS Hệ tư vấn dựa tri thức Knowledge-based recommender system KBRS Hệ tư vấn lai ghép Hybrid recommender system HRS Hệ tư vấn dựa trường hàm ý thống kê Statistic implication field based recommender system IFSRS Mặt đẳng trị Equipotential plane/surface EP/ES Mơ hình tư vấn lọc cộng tác dựa biến thiên hàm ý Implication variation based model Mơ hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê người dùng User implicative rating based model Mục/Mục liệu Item Phân tích hàm ý thống kê Statistical implicative analysis Phản ví dụ Counter-example Sai số bình phương trung bình Root of mean squared error RMSE Sai số tuyệt đối trung bình Mean absolute error MAE Trường hàm ý thống kê Statistical implication field SIF UIR SIA i PHỤ LỤC Phụ lục 1: Chứng minh độ đo hàm ý thống kê không đối xứng Xét trường hợp �� ≥ �� Trước tiên, xét quan hệ �(�, �̅ ) với �(�, �̅ ) Gọi �1 �2 ����� = � �− � = �� ��� � ��� � (�−�� )−�� (�−�� ) �� � −� �� � ���− ��� � � −� � +�� ��� = = = �� � −�≤ = � � � ⟹ �1 ≤ �2(1) Vì ���̅ =�� − ��� ���̅ =�� − ��� nên ���̅ − ���� = �� − ��� − (�� − ���) = �� − �� ≤ ⟹ ���̅ < ���̅ (2) Xét mối quan hệ �(�, �̅ ) ��� � (�, �̅ ), ta có : � ̅ − � � �(�, �) − �(�, �) = � �� � − Thay = �� � � �� − �� ��̅ � �� � � � √ �� ��� �� �� = � √ � �� ��� , ta : � �(�, �̅ ) − �(�, �̅ ) = ( � ���� ���̅ − �1 √�1 − √� ) –( √� ���̅ ���� − ���̅ − �2 √�2 − √� )= √2 ���̅ − − √�1 + √�2 √�1 √�2 Vì ≤ �1 ≤ �2 ⟹ − √�1 + √�2 ≥ , từ (2), ta ���̅ �(�, �̅ ) − � (�, �̅ ) ≥ ⟹ � � (�, �(�, �̅ ) (3) − ���̅ √�2 �̅ ) ≥ √�1 = � ≥ ���̅ √� ii ���̅ − �2≥ √ Tiếp theo, xét mối quan hệ � (�, �) �ớ� �(�, �) ∞ ∞ ∫� �(�, �) − �(�, �) = √2� Vì (3), nên �� − √2� �(�,�̅ ) − ∫ �(�,�̅ ) �2 �� − ( ∫ � �(�,�̅ ) ( � �(�,�̅ ) ∫� �2 �� �(�,�̅ ) ∞ ( ) ( ) � � �, � − � �, � = √2 − � −2 �(�,�̅ ) � − 2 ∞ �� + ∫ � �2 − ��) �(�,�̅ ) �� ≤ �(�, �) − �(�, �) = (4) ∫ √2� �(�,�̅ ) − � Từ (3) (4) ta được: �(�, �̅ ) ≥ � (�, �̅ ) � (�, � ) ≤ � (�, � ) (5) Trường hợp �� < ��, chứng minh hoàn toàn tương tự ta �(�, �̅ ) < � (�, �̅ ) ��� � (�, �) Mối tương quan phân phối Poisson phân phối Chuẩn Tương tự phân phối nhị thức, số phần tử � mẫu tăng lên phân phối Poisson tương đương với phân phối chuẩn Phân phối chuẩn tương đương có: =� �2 = Cụ thể, Ta ứng dụng tương đương � > Cũng tương tự trường hợp phân phối nhị thức trên, mối tương đương phân phối Poisson với phân phối chuẩn giúp việc tính xác suất Poisson thuận lợi thay tính theo cơng thức (��) ... đo hàm ý thống kê, biến thiên hàm ý trường hàm ý Các nghiên cứu hệ tư vấn ứng dụng phân tích hàm ý thống kê vấn đề Hệ tư vấn - Tổng quan, đánh giá kỹ thuật xây dựng hệ tư vấn Các vấn đề hệ tư vấn, ... tư vấn dựa trường hàm ý thống kê 105 3.2.1 Các vấn đề hệ tư vấn dựa biến thiên hàm ý thống kê 105 3.2.2 Luật hàm ý khung khai thác luật hàm ý 106 3.2.2.1 Mơ hình hố luật hàm ý. .. nghiên cứu hệ tư vấn dựa trường hàm ý Bao gồm: - Tìm hiểu phương pháp phân tích liệu hàm ý thống kê, biến thiên hàm ý, mặt đẳng trị hàm ý trường hàm ý - Tìm hiểu phân tích hạn chế hệ tư vấn lọc