LUẬN án TIẾN sĩ kỹ THUẬT hệ tư vấn dựa TRÊN mức độ QUAN TRỌNG hàm ý THỐNG kê

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA PHAN PHƯƠNG LAN HỆ TƯ VẤN DỰA TRÊN MỨC ĐỘ QUAN TRỌNG HÀM Ý THỐNG KÊ LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - Năm 2019 PHAN PHƯƠNG LAN HỆ TƯ VẤN DỰA TRÊN MỨC ĐỘ QUAN TRỌNG HÀM Ý THỐNG KÊ Chuyên ngành: Khoa học máy tính Mã số: 9480101 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: PGS TS Huỳnh Xuân Hiệp TS Huỳnh Hữu Hưng Đà Nẵng - Năm 2019 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thực hiện, hướng dẫn PGS.TS Huỳnh Xuân Hiệp TS Huỳnh Hữu Hưng Tôi cam đoan kết nghiên cứu trình bày luận án trung thực không chép từ cơng trình nghiên cứu khác Một số kết nghiên cứu thành tập thể đồng tác giả đồng ý cho sử dụng luận án Mọi trích dẫn luận án có ghi nguồn gốc xuất xứ rõ ràng đầy đủ Tác giả NCS Phan Phương Lan LỜI CẢM ƠN Trước tiên, tơi xin bày tỏ lịng biết ơn sâu sắc gửi lời tri ân đến PGS TS Huỳnh Xuân Hiệp TS Huỳnh Hữu Hưng tận tình hướng dẫn, truyền đạt kiến thức kinh nghiệm nghiên cứu khoa học cho suốt trình học tập, nghiên cứu hồn thành luận án Tơi xin chân thành cảm ơn Phịng Đào tạo Khoa Công nghệ thông tin Trường Đại học Bách khoa tạo điều kiện thuận lợi cho thời gian làm nghiên cứu sinh Xin cảm ơn Ban Lãnh đạo trường Đại học Cần Thơ, Khoa Công nghệ thông tin Truyền thông, Bộ môn Công nghệ phần mềm hỗ trợ tạo điều kiện tốt để tơi tập trung nghiên cứu Tơi xin bày tỏ lịng biết ơn chân thành đến GS TS Régis Gras cung cấp cho tơi nhiều tài liệu lý thuyết phân tích hàm ý thống kê có góp ý sâu sắc cho nghiên cứu Xin chân thành cảm ơn nhà khoa học dành thời gian công sức đọc đưa góp ý quý báu để luận án hồn chỉnh Cuối cùng, tơi xin gửi lời cảm ơn sâu sắc đến gia đình bạn thân - người ln bên cạnh, giúp đỡ động viên suốt thời gian học tập, nghiên cứu hoàn thành luận án Đà Nẵng, ngày 09 tháng 11 năm 2019 NCS Phan Phương Lan i MỤC LỤC MỤC LỤC I DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT VI DANH MỤC BẢNG VIII DANH MỤC HÌNH IX MỞ ĐẦU CHƯƠNG TỔNG QUAN 1.1 Mức độ quan trọng hàm ý thống kê .7 1.1.1 Định nghĩa mức độ quan trọng hàm ý thống kê .7 1.1.2 Mức độ quan trọng hàm ý thống kê cho liệu nhị phân .8 1.1.2.1 Mối quan hệ hàm ý thống kê liệu nhị phân 1.1.2.2 Chỉ số hàm ý cường độ hàm ý 10 1.1.2.3 Cường độ hàm ý có entropy 12 1.1.2.4 Chỉ số gắn kết 13 1.1.2.5 Chỉ số đóng góp 13 1.1.2.6 Chỉ số tiêu biểu .14 1.1.3 Mức độ quan trọng hàm ý thống kê cho liệu phi nhị phân .14 1.1.3.1 Mối quan hệ hàm ý thống kê liệu phi nhị phân 15 1.1.3.2 Mức độ quan trọng hàm ý thống kê cho liệu phi nhị phân 15 1.2 Mức độ quan trọng xếp hạng hàm ý thống kê 17 1.3 Hệ tư vấn hướng nghiên cứu 18 1.3.1 Hệ tư vấn 18 1.3.2 Phân loại hệ tư vấn .21 1.3.2.1 Hệ tư vấn thuộc nhóm cá thể 22 1.3.2.2 Hệ tư vấn thuộc nhóm cộng tác/cộng đồng 22 1.3.2.3 Hệ tư vấn thuộc nhóm chuyên gia 23 1.3.2.4 Hệ tư vấn thuộc nhóm lai ghép .24 ii 1.3.2.5 Hệ tư vấn thuộc nhóm theo ngữ cảnh 25 1.3.3 Các hướng nghiên cứu hệ tư vấn .26 1.3.3.1 Nghiên cứu liệu 26 1.3.3.2 Nghiên cứu đề xuất cải tiến phương pháp tư vấn 27 1.3.3.3 Nghiên cứu đánh giá hệ tư vấn .29 1.4 Kỹ thuật tư vấn lọc cộng tác .29 1.4.1 Kỹ thuật lọc cộng tác dựa nhớ (láng giềng) .29 1.4.2 Kỹ thuật lọc cộng tác dựa mơ hình .30 1.4.2.1 Tư vấn lọc cộng tác dựa luật kết hợp .30 1.4.2.2 Mơ hình nhân tố tiềm ẩn .31 1.5 Đánh giá hiệu tư vấn .32 1.5.1 Phương pháp đánh giá chéo k tập 35 1.5.2 Tính xác gợi ý 36 1.5.3 Tính xác xếp hạng dự đoán 37 1.5.4 Tính xác gợi ý thứ tự 38 1.6 Phương pháp tư vấn theo mức độ quan trọng hàm ý thống kê .39 1.6.1 Tư vấn dựa phân tích hàm ý thống kê có 40 1.6.2 Tư vấn dựa mức độ quan trọng hàm ý thống kê 41 1.7 Kết luận chương 43 CHƯƠNG TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG HÀM Ý THỐNG KÊ TRÊN LUẬT KẾT HỢP 44 2.1 Mơ hình tư vấn theo mức độ quan trọng hàm ý thống kê luật SIR 44 2.1.1 Mơ hình tư vấn SIR 44 2.1.2 Mơ hình tư vấn SIR cải tiến 48 2.2 Hoạt động mơ hình tư vấn theo mức độ quan trọng hàm ý thống kê luật 49 2.2.1 Hoạt động mơ hình tư vấn SIR 49 2.2.2 Hoạt động mơ hình tư vấn SIR cải tiến 53 2.3 Đánh giá hiệu tư vấn mơ hình SIR 54 2.3.1 Dữ liệu thực nghiệm mơ hình SIR 54 2.3.2 Công cụ thực nghiệm mô hình SIR 56 iii 2.3.3 Hiệu tư vấn mơ hình SIR liệu nhị phân 57 2.3.3.1 Các giá trị tham số phù hợp 58 2.3.3.2 Thời gian xây dựng mơ hình tư vấn trước sau cải tiến 60 2.3.3.3 Tính xác gợi ý qua so sánh nội liệu nhị phân 62 2.3.3.4 Tính xác gợi ý qua so sánh ngoại liệu nhị phân .66 2.3.3.5 Mơ hình tư vấn SIR gợi ý đăng ký học phần 69 2.3.4 Hiệu tư vấn mơ hình SIR liệu phi nhị phân 69 2.3.4.1 Tính xác gợi ý qua so sánh nội liệu phi nhị phân 70 2.3.4.2 Tính xác gợi ý qua so sánh ngoại liệu phi nhị phân 73 2.4 Kết luận chương 75 CHƯƠNG TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG XẾP HẠNG HÀM Ý THỐNG KÊ TRÊN NGƯỜI DÙNG 77 3.1 Định nghĩa mức độ quan trọng xếp hạng hàm ý thống kê người dùng 78 3.2 Mơ hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê người dùng UIR .79 3.3 Hoạt động mơ hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê người dùng 81 3.4 Đánh giá hiệu tư vấn mơ hình UIR .85 3.4.1 Dữ liệu thực nghiệm mơ hình UIR 85 3.4.2 Công cụ thực nghiệm mơ hình UIR 86 3.4.3 Đánh giá mơ hình UIR qua tính xác gợi ý 86 3.4.3.1 Tính xác mơ hình UIR qua so sánh ngoại 87 3.4.3.2 Tính xác mơ hình UIR qua so sánh nội 92 3.4.4 Đánh giá mơ hình UIR qua tính xác xếp hạng dự đốn .95 3.4.4.1 Sai số mơ hình UIR qua so sánh ngoại 95 3.4.4.2 Sai số mơ hình UIR qua so sánh nội 98 3.4.5 Đánh giá mơ hình UIR qua tính xác gợi ý thứ tự 99 3.4.5.1 Độ lợi tích lũy giảm dần mơ hình UIR liệu nhị phân 100 3.4.5.2 Độ lợi tích lũy giảm dần mơ hình UIR liệu phi nhị phân 101 3.5 Kết luận chương .103 iv CHƯƠNG TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG XẾP HẠNG HÀM Ý THỐNG KÊ TRÊN MỤC 104 4.1 Định nghĩa mức độ quan trọng xếp hạng hàm ý thống kê mục liệu .105 4.2 Mơ hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê mục IIR 106 4.3 Hoạt động mơ hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê mục .109 4.4 Đánh giá hiệu tư vấn mơ hình IIR 111 4.4.1 Dữ liệu cơng cụ thực nghiệm mơ hình IIR .111 4.4.2 Thời gian xây dựng ma trận mục trực tiếp gián tiếp .112 4.4.3 Đánh giá mơ hình IIR qua tính xác gợi ý 113 4.4.3.1 Tính xác mơ hình IIR qua so sánh nội 114 4.4.3.2 Tính xác mơ hình IIR qua so sánh ngoại 116 4.4.3.3 Tính ổn định mơ hình IIR .118 4.4.4 Đánh giá mơ hình IIR qua tính xác xếp hạng dự đốn .121 4.4.4.1 Sai số mơ hình IIR qua so sánh nội 122 4.4.4.2 Sai số mơ hình IIR qua so sánh ngoại 126 4.4.5 Đánh giá mơ hình IIR qua tính xác gợi ý thứ tự 128 4.5 So sánh hiệu tư vấn mơ hình đề xuất 130 4.5.1 So sánh thời gian tư vấn .130 4.5.2 So sánh tính xác mơ hình 132 4.5.3 Đánh giá chung mơ hình đề xuất 136 4.6 Kết luận chương .138 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 139 Kết luận .139 Hướng phát triển 140 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC Đà CƠNG BỐ 141 TÀI LIỆU THAM KHẢO 143 PHỤ LỤC Phụ lục 1: Công cụ Interestingnesslab tập liệu DKHP Công cụ Interestingnesslab .1 Tập liệu DKHP Phụ lục 2: Giải thuật tư vấn theo mức độ quan trọng hàm ý thống kê luật kết hợp Sinh tập luật dựa ngưỡng hỗ trợ, ngưỡng tin cậy độ dài tối đa luật .4 Biểu diễn tập luật theo phân tích hàm ý thống kê Tính cường độ hàm ý, số gắn kết luật Lọc tập luật theo ngưỡng cường độ hàm ý số gắn kết .8 Phụ lục 3: Giải thuật tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê người dùng 10 Biểu diễn mối quan hệ hai người dùng theo phân tích hàm ý thống kê 10 Tính cường độ hàm ý hai người dùng 11 Tìm láng giềng gần người cần tư vấn .12 Xác định số tiêu biểu mục mối quan hệ hàm ý hai người dùng 12 Dự đoán xếp hạng người dùng cho mục liệu 14 Phụ lục 4: Giải thuật tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê mục liệu 15 Xây dựng ma trận mục liệu - gián tiếp 15 Xây dựng ma trận mục liệu - trực tiếp 16 Dự đoán xếp hạng người dùng cho mục liệu 17 Phụ lục 5: Giải thuật đánh giá hệ tư vấn 18 Phụ lục 6: Xác định giá trị tham số phù hợp mơ hình SIR, AR IBCF 21 Ngưỡng tin cậy hỗ trợ mơ hình SIR, AR 21 Độ dài tối đa luật mơ hình SIR, AR 22 Số láng giềng gần mơ hình IBCF .25 DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT Thuật ngữ Cường độ hàm ý Tiếng Anh Implication/Implicative intensity Propension intensity Cường độ hàm ý có entropy Entropic version of implicative intensity Chỉ số gắn kết Cohesion measure Chỉ số hàm ý Implication/Implicative index Propesion index Chỉ số tiêu biểu Typicality measure Chỉ số đóng góp Contribution measure Độ đo hấp dẫn khách quan Objective interestingness measure Độ lợi tích lũy giảm dần Normalized discounted cumulative gain Hệ tư vấn Viết tắt Recommender/Recommendation systems nDCG RS Mơ hình tư vấn theo mức độ quan trọng hàm ý thống kê luật Statistical implicative rules based model SIR Mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê mục Item implicative rating based model IIR Mơ hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê người dùng User implicative rating based model UIR Mục/Mục liệu Item Phân tích hàm ý thống kê Statistical implicative analysis Phản ví dụ Counter-example Sai số bình phương trung bình Root of mean squared error RMSE Sai số tuyệt đối trung bình Mean absolute error MAE SIA Rowmax=maxRow(dist[ui,]); Typic=1- Dist[ui,]/Rowmax; Typicality=bindRow(Typicality,Typic) } rowNames(Typicality)=rowNames(Neighbors); columnNames(Typicality)=columnNames(R); return(Typicality); Dự đoán xếp hạng người dùng cho mục liệu Mức độ quan trọng xếp hạng hàm ý thống kê UIR sử dụng để dự đoán xếp hạng người cần tư vấn �a cho mục liệu � ∈ � thực Giải thuật 3.6 Giải thuật 3.6: Dự đoán giá trị xếp hạng người dùng cho mục liệu predictRating Đầu vào: Vector Neighbors chứa knn láng giềng gần ua, ma trận xếp hạng có tên R vector Typicality chứa số tiêu biểu mục liệu � ∈ � mối quan hệ (�a, �j) �j knn láng giềng gần ua Đầu ra: vector có tên KnnUIR lưu giá trị xếp hạng ua cho mục liệu � ∈ � Các bước xử lý: /* Xác định giá trị xếp hạng KnnUIR ua cho mục liệu � ∈ � theo công thức Chương */ for each item iI KIR[ua,i]=sumColumn(Typicality[Neighbors,i]*R[Neighbors,i]); KnnUIR[ua,]=KIR[ua,]/maxRow(KIR[ua,]); return(KnnUIR); Phụ lục 4: Giải thuật tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê mục liệu Xây dựng ma trận mục liệu - gián tiếp Giải thuật 4.2 ������������ sử dụng để xây dựng ma trận mục liệu � Dữ liệu đầu vào giải thuật ma trận xếp hạng � số láng giềng gấn ��� Giải thuật thực bước xử lý: given=2 given=3 given=4 - Gán ngưỡng hỗ trợ � = 0, tin cậy � = độ dài tối đa luật � = - Sinh tập luật dựa ngưỡng hỗ trợ, tin cậy dùng giải thuật Apriori Ở đây, chúng tơi tìm luật có độ dài (có dạng �j → � với �j ∈ �, � ∈ �); - Biểu diễn tập luật theo phân tích hàm ý thống kê, theo luật biểu diễn bốn giá trị {�, �a, �b, �ab¯ }; thực tính giá trị cường độ hàm ý luật tập luật Giải thuật thực bước trình bày Phụ lục - Tạo ma trận � lưu giá trị cặp mục theo cơng thức (4.2) Trong đó, cường độ hàm ý độ tin cậy luật xác định bước - Lọc lại ma trận mục cho với mục liệu �, giữ lại ��� mục �j có mối quan hệ mạnh với � thông qua giá trị � Giải thuật 4.2 createMatrix: Tạo ma trận mục liệu lưu giá trị mối quan hệ ( ��, �) lọc lại ma trận theo knn láng giềng gần Đầu vào: ma trận xếp hạng �, số láng giềng gần knn Đầu ra: ma trận � chứa giá trị mối quan hệ (�j, �) createMatrix(ratingmatrix R; int knn) { /* Gán ngưỡng cần cho hoạt động sinh luật kết hợp */ float s=0; float c=0; int l=2; /* Sinh tập luật tính giá trị tin cậy luật */ Ruleset = createRules(R,s,c,l); /* Biểu diễn tập luật theo phân tích hàm ý thống kê tính cường độ hàm ý luật */ Ruleset = presentRules(Ruleset,R); for luật rk có dạng ij  i thuộc tập luật Ruleset { /* Lấy giá trị cường độ hàm ý lưu Ruleset */ IInt[ij,i] = getImplicativeIntensity(Ruleset,rk) /* Lấy giá trị tin cậy lưu Ruleset */ Conf[ij,i] = getConfidence(Ruleset,rk); /* Tính giá trị luật theo công thức (4.2) */ V[ij,i] = IInt[ij,i] * Conf[ij,i]; } /* Lọc lại ma trận V: với mục liệu, lấy knn láng giềng gần */ V = filteredMatrix(V,knn); return V; } Xây dựng ma trận mục liệu - trực tiếp Giải thuật 4.3 ������_�_������ sử dụng để xây dựng trực tiếp ma trận mục liệu � Dữ liệu đầu vào giải thuật ma trận xếp hạng � số láng giềng gần ��� Giải thuật 4.3 thực bước xử lý sau: Với cặp mục liệu �j, �, - Biểu diễn mối quan hệ (�j, �) theo bốn giá trị {�, �ij, �i, �ijı̅} - Tính giá trị tin cậy c(�j, �)=1-�ijı̅/�ij - Tính giá trị cường độ hàm ý ((�j, �) - Tính V[(�j, �] = ((�j, �)* c((�j, �) Ta bổ sung ngưỡng tin cậy � tham số đầu vào để lọc lại mối quan hệ có độ tin cậy ≥c Mặc nhiên, V[(�j, �] có giá trị - Lọc lại ma trận mục cho với mục liệu �, giữ lại knn mục �j có mối quan hệ mạnh (giá trị �) với � Giải thuật 4.3 create_M_Matrix: Tạo ma trận mục liệu lưu giá trị mối quan hệ ( ��, �) lọc lại ma trận theo knn láng giềng gần Đầu vào: ma trận xếp hạng �, ngưỡng tin cậy �, số láng giềng gần knn Đầu ra: ma trận � chứa giá trị mối quan hệ (�j, �) (�j → � với �j ∈ � � ∈ �) create_M_Matrix(ratingmatrix R; float c=0; int knn) { V = Khoitaomatran(0, m, m); for muc du lieu ijI for muc du lieu iI { card = Timbobanso(R); c[ij,i] = Tinhdotincay(card); if (c[ij,i] ≥ c) then { [ij,i] = Tinhcuongdohamy(card); V[ij,i] = [ij,i] * c[ij,i]; } } /* Lọc lại ma trận V: với mục liệu, lấy knn láng giềng gần */ V = filteredMatrix(V,knn); return V; } Dự đoán xếp hạng người dùng cho mục liệu Giải thuật 4.4 �������������� dự đoán xếp hạng người cần tư vấn �a cho mục liệu � ∈ � Đầu vào giải thuật vector � có kích thước � lưu xếp hạng người dùng �a cần tư vấn; ma trận � xác định giải thuật �������������� Đầu giải thuật vector ������ có kích thước � lưu xếp hạng dự đoán người dùng �a cho mục liệu � ∈ � Giải thuật 4.4 predictRatings: Dự đoán giá trị xếp hạng người dùng cho mục liệu Đầu vào: ma trận �, vector � chứa xếp hạng thực �a Đầu ra: vector có tên ������ lưu giá trị xếp hạng dự đoán ua cho mục liệu � ∈ � predictRatings(vector A; matrix IInt_Conf, ) { for mục i I { AIR1[ua,i] = sum(A[ij]*V[ij,i]) với ij I; AIR2[ua,i] = sum((A[ij]!=0)*V[ij,i]) với ij I; if (getDatatype(A)==”binary”) KnnIIR[ua, i] = AIR1[ua, i]/AIR2[ua, i]); } if (getDatatype(A)==”binary”) KnnIIR[ua, ] = AIR1[ua, ]/max(AIR1[ua, ]); return KnnIIR; } Phụ lục 5: Giải thuật đánh giá hệ tư vấn Giải thuật evaluateModels thực đánh giá hiệu tư vấn mơ hình theo nhóm độ đo tính xác gợi ý Dữ liệu đầu vào giải thuật ma trận xếp hạng, tên mơ hình tư vấn tham số cần có mơ hình để xây dựng hệ tư vấn, số tập � cần cho việc phân tách liệu phương pháp kfold, số xếp hạng biết trước người dùng tập truy vấn ����� vector lưu số mục cần gợi ý � Dữ liệu đầu tập tin định dạng ��� lưu giá trị độ đo đánh giá theo số mục mục gợi ý mơ hình có định dạng Bảng Phụ lục 5.1, biểu đồ vẽ đường cong ROC biểu đồ vẽ đường cong Precision – Recall Bảng Phụ lục 5.1: Định dạng tập tin lưu giá trị độ đo đánh giá hệ tư vấn theo số mục gợi ý Tên mơ hình: Số mục TP gợi ý FP FN TN Precision Recall TPR FPR F1 Accuracy Giải thuật evaluateModels: Đánh giá hệ tư vấn Đầu vào: ma trận xếp hạng có tên R, tên mơ hình tư vấn tham số cần thiết cho mơ hình để xây dựng hệ tư vấn, số tập k cần cho việc phân tách liệu, số mục biết trước given tập truy vấn vector n lưu số mục cần gợi ý Đầu ra: tập tin lưu giá trị độ đo đánh giá hệ tư vấn, biểu đồ vẽ đường cong ROC biểu đồ vẽ đường cong Precision - Recall Các bước xử lý: /* Phân tách liệu theo phương pháp k-fold */ sets=splitKFolds(R,k); /* Lập danh sách mơ hình tư vấn so sánh */ Modellist=createModelList(list(Modelname,Modelparams),…, list(Modelname,Modelparams)); /* Tính giá trị độ đo đánh giá cho mơ hình tư vấn danh sách Modellist */ for m=1 to length( Modellist) { /* Thực lần đánh giá k lần */ for r=1 to k { /* Lấy tập liệu huấn luyện, truy vấn đích*/ Trainset=getData(sets,r); Queryset=getData(sets,r); Targetset=getData(sets,r); /* Học mơ hình tư vấn */ Model=createModel (Trainset,getName(Modellist[m]), getParams(Modellist[m])); /* Thực gợi ý tính giá trị theo độ đo đánh giá */ for i=1 to length(n) { TopN=n[i]; /* Gợi danh sách TopN mục cho người dùng tập truy vấn Queryset */ Reclist=recommendTopItems(Model,Queryset,TopN); /* Tính giá trị theo độ đo đánh giá TN, FP, FN, TP, precision, recall, TPR, FPR, accuracy F1 */ Result=calculateValues(Reclist,Targetset); if (i=1) Resultlist=Result; else Resultlist=bindRow(Resultlist,Result); } /* Ghép kết lần thực thi vào cuối ma trận CMatrix */ if (r=1) Cmatrix=Resultlist; else Cmatrix=bindColumn(Cmatrix,Resultlist); } /* Tính giá trị trung bình k lần thực thi */ Mcmatrix=getAverage(Cmatrix); /* Ghép kết mơ hình lại với */ if (m=1) Evaluationmatrix=Mcmatrix; else Evaluationmatrix=bindRow(Evaluationmatrix,Mcmatrix); } /* Lưu giá trị vào tập tin Vẽ biểu đồ */ write.csv(Evaluationmatrix,”Evaluationmatrix.csv”); plot(FPR(Evaluationmatrix),TPR(Evaluationmatrix), xlab=”FPR”,ylab=”TPR”,title=”ROC Curve”); plot(Recall (Evaluationmatrix), Precision (Evaluationmatrix), xlab=”Recall”,ylab=”Precision”,title=”Recall- Precision Curve”); Để đánh giá hiệu tư vấn mơ hình theo nhóm độ đo tính xác xếp hạng dự đoán (RMSE, MAE, MSE) hay theo độ đo tính xác gợi ý thứ tự (nDCG), ta làm tương tự Phụ lục 6: Xác định giá trị tham số phù hợp mơ hình SIR, AR IBCF Ngưỡng tin cậy hỗ trợ mơ hình SIR, AR Với tập liệu MSWeb(875x135), Hình Phụ lục 6.1.a hiển thị đường cong ROC trung bình 30 lần chạy (times=30) phương pháp k tập (k=5) hệ tư vấn (s001c002 RS, s001c005 RS, s001c01 RS, s005c005 RS, s005c01 RS, s01c005 RS, s01c01 RS) Những hệ thống sử dụng mơ hình đề xuất có ngưỡng (hỗ trợ �, tin cậy �) (0,01, 0,02), (0,01, 0,05), (0,01, 0,1), (0,05, 0,05), (0,05, 0,1), (0,1, 0,05) (0,1, 0,1); số Vroot biết trước người dùng tập truy vấn (�����) 7; độ dài luật tối đa (�) 2; số Vroot cần gợi ý cho người dùng 1, 2, 4, 6, 8, 10 12 Hình Phụ lục 6.1.b hiển thị đường cong ROC hệ tư vấn với (times, given, l) thay đổi (8, 5, 7) Hình Phụ lục 6.2 hiển thị đường cong Precision - Recall hệ tư vấn với (times, given, l) thay đổi (30, 3, 4) Hình Phụ lục 6.1.a Hình Phụ lục 6.1.b cho thấy diện tích đường cong ROC ba hệ tư vấn s001002 RS, s001005 RS s001c0 RS lớn diện tích nằm đường cong ROC khác Hình Phụ lục 6.2 cho thấy độ xác độ bao phủ ba hệ tư vấn s001002 RS, s001005 RS s001c01 RS cao so với hệ tư vấn lại Khi thay đổi giá trị (times, given, l), ta nhận kết tương tự hình Bên cạnh đó, với ngưỡng hỗ trợ 0,01, kích thước tập luật kết hợp tạo ngưỡng tin cậy 0,02 0,05 lớn kích thước tập luật tạo ngưỡng tin cậy 0,1 Do đó, ngưỡng hỗ trợ tin cậy chọn cho tập liệu MSWeb(875x135) 0,01 0,1 tương ứng Với cách làm tương tự tập liệu MSWeb(875x135), ngưỡng hỗ trợ tin cậy chọn cho tập DKHP(1.130x57) 0,01 0,1 tương ứng Số Vroot gợi ý cho người dùng (b): (times, given, l) = (8, 5, 7) (a): (times, given, l) = (4, 6, 2) Hình Phụ lục 6.1: Đường cong ROC bẩy hệ tư vấn tập MSWeb(875x135) Số Vroot gợi ý cho người dùng (a): (times, given, l) = (2, 1, 4) (b): (times, given, l) = (6, 3, 5) Hình Phụ lục 6.2: Đường cong Precision - Recall bẩy hệ tư vấn tập MSWeb(875x135) Độ dài tối đa luật mô hình SIR, AR Với ngưỡng tin cậy hỗ trợ xác định cho tập DKHP(1.130x57), ta thay đổi độ dài tối đa luật để quan sát hiệu hệ tư vấn từ đề nghị ngưỡng độ dài luật phù hợp Bẩy hệ tư vấn mà độ dài tối đa luật thay đổi từ đến (Maxlength2 RS, Maxlength3 RS, Maxlength4 RS, Maxlength5 RS, Maxlength6 RS, Maxlength7 RS MaxRule Length8 RS) xây dựng Những hệ thống sử dụng mơ hình tư vấn dựa luật có ngưỡng hỗ trợ s=0,01 ngưỡng tin cậy c=0,1 Hình Phụ lục 6.3.a Hình Phụ lục 6.3.b hiển thị đường cong Precision - Recall trung bình lần đánh giá phương pháp k tập số học phần biết trước sinh viên cần tư vấn tương ứng Vì sinh viên đăng ký tối đa học phần nên số học phần cần gợi ý cho sinh viên (1, 2, 3, 4, 5) cho given=2 (1, 2) cho given=5 Hình Phụ lục 6.4.a Hình Phụ lục 6.4.b hiển thị đường cong ROC hệ tư vấn với (times, given) thay đổi (2, 2), (2, 4) Số học phần gợi ý cho sinh viên (a): (times, given) = (4, 3) (b): (times, given) = (4, 5) Hình Phụ lục 6.3: Đường cong Precision - Recall bẩy hệ tư vấn tập DKHP(1.130x57) Số học phần gợi ý cho sinh viên (a): (times, given) = (2, 2) (b): (times, given) = (2, 4) Hình Phụ lục 6.4: Đường cong ROC bẩy hệ tư vấn tập DKHP(1.130x57) Hình Phụ lục 6.3 cho thấy: Khi sinh viên cần tư vấn đăng ký học phần (given=3), độ xác độ bao phủ hệ tư vấn có độ dài tối đa luật từ đến cao so với hệ tư vấn Maxlength2 RS, Maxlength3 RS; given đạt giá trị cao (given=5), độ xác độ bao phủ hệ tư vấn có độ dài tối đa luật từ đến cao so với hệ tư vấn cịn lại Bên cạnh đó, Hình Phụ lục 6.4 cho thấy: given=2, đường cong ROC hệ tư vấn có độ dài tối đa luật từ đến trùng nằm đường cong ROC hệ tư vấn Maxlength2 RS; given=4, đường cong ROC hệ tư vấn có độ dài tối đa luật từ đến trùng nằm đường cong hai hệ tư vấn cịn lại Ngồi ra, độ dài tối đa luật tăng số luật sinh tăng, từ làm tăng thời gian đưa gợi ý Do đó, trường hợp ngưỡng độ dài tối đa luật chọn Với tập liệu MSWeb(875x135), ta thực theo cách làm DKHP(1.130x57) Kết quả, với ngưỡng hỗ trợ tin cậy chọn trên, độ dài tối đa luật cho tập liệu MSWeb(875x135) Số láng giềng gần mơ hình IBCF Trên tập liệu MSWeb(875x135), bảy hệ tư vấn xây dựng k20 IBCFRS, k40 IBCFRS, k60 IBCFRS, k80 IBCFRS, k100 IBCFRS, k120 IBCFRS k135 IBCFRS Các hệ thống sử dụng mô hình IBCF dùng độ đo Jaccard có giá trị � thay đổi 20, 40, 60, 80, 100, 120 135 tương ứng Tất hệ thống có: - Dãy số mục liệu (Vroot) cần gợi ý cho người dùng ����: đến 12 - Số xếp hạng biết trước người dùng tập truy vấn �����: đến Các hệ thống đánh giá ����� lần lần đánh giá sử dụng phương pháp đánh giá chéo k tập Hình Phụ lục 6.5.a Hình Phụ lục 6.5.b hiển thị đường cong Precision Recall đường cong ROC hệ tư vấn (times, given) (5, 4) (30, 2) tương ứng Các kết cho thấy: Đường cong ROC hệ tư vấn sử dụng k=135 nằm đường cong ROC hệ thống cịn lại; đồng thời giá trị xác giá trị bao phủ hệ tư vấn số mục cần gợi ý ���� cao so với hệ khác Số Vroot cần gợi ý cho người dùng (a): (times, given) = (5, 4) (b): (times, given) = (30, 2) Hình Phụ lục 6.5: Đường cong Precision - Recall ROC bẩy hệ tư vấn sử dụng mơ hình IBCF tập MSWeb(875x135) (times, given) (5, 4), (30, 2) Hình Phụ lục 6.6.a hiển thị biểu đồ giá trị �1 bẩy hệ thống số mục cần gợi ý recs=10 số xếp hạng biết trước given=3 theo nhiều lần đánh giá times=5, 15, 30 Hình Phụ lục 6.6.b hiển thị biểu đồ giá trị �1 trung bình tất ���� (từ đến 12) hệ thống số xếp hạng biết trước given=6 theo nhiều lần đánh giá times = 5, 15, 30 Các kết cho thấy giá trị điều hịa độ xác độ bao phủ (�1) hệ tư vấn sử dụng k=135 cao giá trị �1 hệ thống lại 0.460 Giá trị F1 recs=10, given=3 0.400 0.455 0.395 0.450 0.390 0.445 0.385 0.440 0.380 0.435 Giá trị F1 tất recs given=6 0.430 0.375 times=5 times=15 k135 IBCFRS k120 IBCFRS k100 IBCFRS k60 IBCFRS k40 IBCFRS k20 IBCFRS times=30 k80 IBCFRS times=5 times=15 k135 IBCFRS k120 IBCFRS k100 IBCFRS k60 IBCFRS k40 IBCFRS k20 IBCFRS times=30 k80 IBCFRS Hình Phụ lục 6.6: Biểu đồ giá trị F1 hệ tư vấn sử dụng mô hình IBCF tập MSWeb(875x135) cho recs cụ thể (a) tất recs (b) theo nhiều lần đánh giá Khi thay đổi giá trị ����� �����, ta nhận kết tương tự Cụ thể, hệ thống sử dụng k=135 có hiệu cao so với hệ thống so sánh Vậy, giá trị phù hợp tham số � cho ����� xét sử dụng tập liệu MSWeb(875x135) 135 Với tập DKHP(1.130x57), ta thực theo cách tương tự tập MSWeb(875x135) Kết quả, 57 giá trị phù hợp tham số � cho ����� xét ... �(�, �) 1.2 Mức độ quan trọng xếp hạng hàm ý thống kê Mức độ quan trọng xếp hạng hàm ý thống kê độ đo đề xuất luận án dựa số mức độ quan trọng hàm ý thống kê Mức độ xếp hạng hàm ý thống kê sử dụng... theo mức độ quan trọng hàm ý thống kê mà chúng trình bày chi tiết chương cịn lại 1.1 Mức độ quan trọng hàm ý thống kê 1.1.1 Định nghĩa mức độ quan trọng hàm ý thống kê Mức độ quan trọng hàm ý thống. .. để tư vấn theo mối quan hệ hấp dẫn khách quan khác Chương 1: Tổng quan Hệ tư vấn -Phân tích hàm ý thống kê -Kỹ thuật tư vấn Tư vấn dựa phân tích hàm ý thống kê -Các mức độ quan trọng hàm ý thống