NGHIÊN cứu VÀ xây DỰNG hệ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG (tt)

1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KIỀU XUÂN CHẤN NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VU GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG LUẬN VĂN THẠC SĨ Hà Nội 2017 CHƯƠNG TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 1.1 Giới thiệu chung Hệ thống khuyến nghị (Recommender System – RS) [2], hay gọi hệ thống tư vấn hệ thống lọc thơng tin nhằm dự đốn đánh giá sở thích, mối quan tâm, nhu cầu người dùng để đưa nhiều mục, sản phẩm, dịch vụ mà người dùng quan tâm với xác suất lớn Hình 1.1 Ví dụ hệ thống khuyến nghị Amazon Một mơ hình đơn giản hệ thống khuyến nghị bảng xếp hạng: hát có nhiều người nghe nhất, phim nhiều người xem nhất, sản phẩm có nhiều người mua … Hệ thống khơng có thơng tin người sử dụng, dự đốn mức đơn giản có nhiều người mua sản phẩm xác suất người dùng tư vấn mua sản phầm cao Ý tưởng hệ thống khuyến nghị xuất phát từ hành vi người mua hàng: người mua hàng thường hỏi bạn bè, chuyên gia, hay từ người bán hàng tư vấn cho sản phẩm họ có ý định mua Người hỏi tiến hành thu tập thông tin từ người mua bao gồm: nhu cầu sử dụng, đặc điểm sản phẩm, màu sắc chức yêu thích …, kết hợp với kiến thức hiểu biết sản phẩm để đưa đề xuất, lời khuyên sản phẩm phù hợp cho người mua Ở mức cao hơn, người hỏi liên hệ, liên tưởng người mua sản phẩm mà có đặc điểm tương đồng với người mua, từ họ dự đốn người mua có khả thích sản phẩm để đưa khuyến nghị cho người mua 1.2 Bài toán khuyến nghị Phát biểu toán: Input: + Cho tập người dùng U, mỡi người dùng ui thuộc U có đặc điểm I = {i1, i2,… ik} + Một tập sản phẩm, dịch vụ (gọi chung sản phẩm) P, mối sản phẩm pj có đặc điểm đặc trựng J = {j1, j2,… jx} + Một ma trận R= (rij) với i=1, N; j=1, M, thể mối quan hệ tập người dùng U tập sản phẩm P Trong rij đánh giá người dùng ui cho sản phẩm pj, N M số người dùng số sản phẩm Output: Danh sách sản phẩm pj thuộc P có độ phù hợp với người dung ui thuộc U Để giả toán cần xây dựng hàm F(ui,pi) để đo độ phù hợp sản phẩm pi người dùng ui, từ lấy danh sách sản phẩm/dịch vụ phù hợp (có khả người dùng chọn) cao + Lịch sử giao dịch người dùng ui : từ lịch sử giao dịch suy ngành/vấn đề/chủ đề mà ui quan tâm, sản phẩm có lĩnh vực có độ liên quan cao Ví dụ người mua áo giầy đá bóng dự đốn người u bóng đá, thích thể thao Từ suy người có khả sử dụng dịch vụ mua sản phẩm thể thao cao dịch vụ/sản phẩm khác 1.3 Các hướng tiếp cận Có hướng tiếp cấn để xây dựng tốn khuyến nghị Cách Dựa nội dung (Contentbased): Hệ thống dựa nội dung tập trung vào thuộc tính mặt hàng, tính tương tự sản phẩm xác định cách đo tương tự thuộc tính chúng Cách Lọc cộng tác (CollaborativeFiltering) tập trung vào mối quan hệ người sử dụng mặt hàng Tính tương tự mặt hàng xác định tương tự xếp hạng mặt hàng người dùng đánh giá hai mặt hàng Các hệ thống khuyến nghị ngày thường kết hợp hướng tiếp cận gọi hệ thống khuyến nghị lai (Hybrid) 1.4 Chức Cải thiện trải nghiệm người dùng: từ việc dự đoán đưa mặt hàng/dịch vụ với sở thích khách hàng làm tăng hài lòng khách hàng Tăng hiệu hoạt động tự động hóa: việc khuyến nghị sản phẩm truyền thống thường làm thủ công, hiệu không cao bị hạn chế hiệu Biến khách hàng tiềm thành khách hàng thật: mục đích tốn, hệ thống tư vấn sản phẩm tiềm mà khách hàng chưa nghĩ đến CHƯƠNG PHÂN TÍCH BÀI TOÁN DỊCH VU VAS 2.1 Tổng quan VAS Các dịch vụ giá trị gia tăng có tên Tiêng Anh Value Added Services (VAS) Các dịch vụ giá trị gia tăng thuật ngữ sử dụng để dịch vụ phụ trợ cho dịch vụ Thuật ngữ sử dụng rộng rãi sô ngành công nghiệp, đáng ý viễn thông Dịch vụ giá trị gia tăng thường giới thiệu đến khách hàng sau khách hàng mua dịch vụ [15] 2.2 Phân loại dịch vụ VAS 2.2.1 Các dịch vụ Là toàn dịch vụ dựa dịch vụ viễn thông thoại SMS Những dịch vụ VAS phụ thuộc hoàn toàn vào thoại SMS, loại hình dịch vụ làm thêm giá trị cho dịch vụ mà phụ thuộc 2.2.2 Các dịch vụ tiện ích Các dịch vụ tiện ích dịch vụ cung cấp thêm thông tin, nội dung cho người dùng qua thoại SMS 2.2.3 Các dịch vụ DATA Dịch vụ DATA di động dịch vụ cung cấp mạng truyền tải liệu số không giây thông qua mạng viễn thông, người dùng dịch vụ thuê bao di động nhà mạng Bản thân gói cước DATA coi loại hình dịch vụ VAS Viễn thông Tuy nhiên, dịch trở lên phổ biến, nên người ta coi dịch vụ Viễn thơng với Thoại SMS Các dịch vụ DATA Việt Nam giới chủ yếu 3G 4G 2.3 Đặc trưng bài toán khuyến nghị VAS Người dùng (user) tốn khuyến nghị dịch vụ VAS th bao di động Thông tin (profile) người dùng ảnh hướng tới việc sử dụng dịch vụ đặc trưng thông tin sau: + Loại thuê bao: trả trước, trả sau + Thơng tin nhân thân: Giới tính, độ tuổi + Gói cước thuê bao: Sim học sinh sinh viên, sim cho người dân tộc thiểu số, sim DCOM… + Tiêu dùng hàng tháng thuê bao: Tổng tiêu dùng, tiêu dùng dành riêng cho thoại, tiêu dùng dành riêng cho SMS, Data, VAS… + Thông tin địa điểm sử dụng dịch vụ: thành thị, nông thôn, vùng miền, hay tỉnh huyện cụ thể Kênh tiếp cận: + Tin nhắn SMS (Short Messaging Services) + IVRS (Interactive Voice Response Services) + WAP (Wireless Application Protocol) + USSD (Unstructured Supplementary Service Data) + STK – The SIM Application Toolkit CHƯƠNG MỘT SỐ KỸ THUẬT CHO HỆ THỚNG KHÚN NGHỊ 3.1 Lọc cợng tác dựa bợ nhớ Phương pháp lọc cộng tác dựa nhớ (Memory-base Collaborative Filtering) [1] [4] phương pháp sử dụng tồn liệu có người dùng sản phẩm/dịch vụ để tạo dự đoán Các hệ thống sử dụng phương pháp thường tìm tập người dùng (thường hay dược gọi láng giềng) – người mà có lịch sử sử dụng/đánh giá sản phẩm/dịch vụ, sau sử dụng nhiều thuật tốn khác để tính tốn dự đốn đánh giá sản phẩm Một kỹ thuật phổ biến sử dụng rộng rãi phương pháp lọc cộng tác dựa láng giềng gần (nearest – neighbor) Vì phương pháp sử dụng tồn liệu có để dự đốn trực tiếp nên tốn nhiều nhớ để lưu trữ, không hiệu hệ thống có liệu thưa thớt 3.1.1 Mợt số phương pháp tính đợ đo tương tự [4] Cho: - u, v người dùng toán khuyến nghị rup , rvp , rui , rvi đánh giá người dùng u v cho sản phẩm p, i 10 - Pu, Pv tập sản phẩm mà người dùng u v đánh giá, m tổng số sản phẩm chung u v - ru , rv - người dùng u v Iui , Ivi tập thuộc tính người dùng u v, i = 1,2,3…k trung bình tất đánh giá a) Khoảng cách Manhattan b) Khoảng cách m d Manhattan (u, v) = ∑ | rup − rvp | (3.1) p =1 Euclidean m ∑ (r d Euclidean (u, v) = p =1 up k ∑ (I ′ d Euclidean (u, v) = i =1 (3.2) − rvp ) ui (3.3) − I vi ) c) Hệ số tương quan Pearson [4] S Pearson (u , v) = ∑ i∈Pu ∩ Pv (rui − ru )( rvi − rv ) ∑i∈P ∩P (rui − ru )2 u v ∑ (3.4) i∈Pu ∩ Pv (rvi − rv ) 19 Hình 3.2 Ví dụ minh họa phương pháp thừa số hóa ma trận, x32 = (a,b,c)*(x,y,z) Vấn đề thách thức tính tốn để lập ánh xạ sản phẩm người dùng đến vector nhân tố qi , pu ∈ R Dựa vào cơng thức (3.10) ta dễ f dàng ước tính đánh giá người dùng cung cấp cho sản phẩm Quá trình phân tích ma trận xảy vấn đề tổn thất Giá trị tổn thất L tính dựa sản phẩm người dùng đánh giá, Giá trị trung bình hàm tổn thất nhỏ tính hiệu mơ hình đánh giá cao ngược lại: [8] L= ∑ ( u ,i )∈K (rui − qiT pu )λ(|| + ||qi ||2 + ||pu) (3.11) 20 Trong K tập người dùng – sản phẩm (u,i) mà ta biết đánh giá rui Hằng số λ số dương dùng để làm mịn sai số  Phương pháp sử dụng đặc trưng ưu tiên (Biased Matrix Factorization ) Một lợi ích cách tiếp cận thừa số hóa ma trận lọc cộng tác tính linh hoạt việc xử lý khía cạnh liệu khác yêu cầu ứng dụng cụ thể khác Công thức (3.10) cố gắng nắm bắt tương tác người dùng sản phẩm để tạo giá trị đánh giá khác Tuy nhiên, nhiều biến thể quan sát thấy giá trị xếp hạng hiệu ứng liên quan đến người dùng sản phẩm, gọi đặc trưng ưu tiên (biases intercepts), đặc trưng không phụ thuộc vào tương tác Ví dụ: số hệ thống lớn, số người dùng có xếp hạng cao người khác số sản phẩm có xu hướng xếp hạng cao so với sản phẩm khác Do đó, thấy số sản phẩm xem tốt (hoặc tồi tệ hơn) số sản phẩm khác Chính vậy, ta xác định thêm thành phần đặc trưng ưu tiên vào đặc trưng người dùng đặc trưng sản phẩm để mơ 21 hình hóa Mơ hình hóa xấp xỉ đặc trưng ưu tiên tính sau: bui = μ + bi + bu (3.12) Trong đó: + bui thành phần đặc trưng ưu tiên người dùng u sản phẩm i + µ đánh giá trung bình tổng thể + bu bi sai lệch tương ứng với giá trị trung bình người dùng u sản phẩm i Áp dụng vào công thức (3.10) ta có cơng thức tính ước lượng đánh giá sử dụng đặc trưng ưu tiên sau: r$ui = μ + bi + bu + qiT pu(3.13) Từ ta có hàm mát (3.10) trở thành: (3.14) p*q*b* ∑ ( u ,i )∈K (μ rui − − bi − bu − q)iT pu λ(|| + || pu ||2 + || pi +bu +) bi 22 3.4 Tiêu chuẩn đánh giá[4] 3.4.1 Mean absolute error (MAE) n MAE = ∑ | rui − r$ui | n u =1 (3.15) Trong đó: + rui đánh giá thực tế người dùng u cho sản phẩm i + r$ui đánh giá dự đoán người dùng u cho sản phẩm i (do hệ thống khuyến nghị đưa ra) + n tổng số dự đoán đánh giá 3.4.2 Root mean square error (RMSE) RMSE = (rui − r$ui ) ∑ n u ,i Trong đó: + rui đánh giá thực tế người dùng u cho sản phẩm i + r$ui đánh giá dự đoán người dùng u cho sản phẩm i (do hệ thống khuyến nghị đưa ra) + n tổng số dự đoán đánh giá (3.16) 23 3.4.3 Normalized Mean absolute error (NMAE) n NMAE = | rui − r$ui | ∑ n(rhigh − rlow ) u =1 Trong đó: + rui đánh giá thực tế người dùng u cho sản phẩm i + r$ui đánh giá dự đoán người dùng u cho sản phẩm i (do hệ thống khuyến nghị đưa ra) + n tổng số dự đoán đánh giá (3.17) 24 CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KNN phương pháp đơn giản chạy nhanh, tỏ hiệu liệu lớn có nhiều thơng tin Phương pháp MF có độ xác cao phù hợp với tập liệu thưa 4.1 Dữ liệu thực nghiệm Tập liệu sử dụng để thực nghiệm: gồm 123427 xếp hạng từ 7913 người dùng di động cho 1077 gói cước dịch vụ VAS Dữ liệu xây dựng mô từ tập thuê bao sử dụng dịch vụ VAS Viettel Do lí bảo mật thơng tin khách hàng nên người dùng dịch vụ mã hóa id người dùng dịch vụ, đặc trưng người dùng scale thay đổi  Dữ liệu thử nghiểm phương pháp KNN Trong phương pháp KNN, mỗi người dùng có nhiều thuộc tính trình bày mục 2.3 Nhưng phạm vi tiến hành thực nghiệp, chùng tơi sử dụng thuộc tính người dùng tổng tiêu dùng (tồng tiền cước) mà người dùng trả cho đầu mục Thoại, Nhắn tin, VAS Data để tính độ tương tự khách hàng Các doanh thu scale đoạn [0, 1] để bảo mật dễ tính tốn Mỡi người dùng biểu diễn dạng vector U(mobile, sms, vas, 25 data) Thuộc tính sản phẩm không sử dụng đến phạm vi thử nghiệm + Bảng 4.2 Dữ liệu thử nghiệm thuật toán KNN Total_mobile Total_sms Total_vas Total_data Service_id 0.0013 0.0096 0.0796 1255 0.0117 0.0619 1276 0.1602 0.018 0.0036 0.0619 57 0.0804 0.041 0.0041 0.292 130 0.0002 0.0099 0.0637 704 0.0895 0.0156 0 61  Dữ liệu thử nghiểm phương pháp MF Trong phương pháp MF, liệu sử dụng để thử nghiệm ma trận R sử dụng dịch vụ VAS thuê bao di động, rij = tức người dùng i sử dụng dịch vụ VAS j:  Bảng 4.3 Ma trận sử dụng dịch vụ VAS u1 p1 p2 p3 p4 … pm ? ? ? ? ? 26 u2 ? ? ? ? u3 ? ? ? ? … ? ? ? ? un 5 ? ? ? Bảng 4.4 Dữ liệu thử nghiệm thuật toán MF Ma_tb Ma_dv Rating 16213 63 234715 85 105976 83 228791 57 Tập liệu tạo với mục đích phục vụ cho việc nghiên cứu lọc cộng tác dự đốn đánh giá Dữ liệu trích lọc cho thuê bao sử dụng từ 12 dịch vụ trở lên mỡi dịch vụ có nhiều người dùng 4.2 Phương pháp thực nghiệm 4.2.1 Môi trường thực nghiệm - Cấu hình máy: Chip Intel(R) Core i3, Ram 2GB, 32-bit 27 - Công cụ hỗ trợ: thuật toán chạy Python 2.7, cmd Windows - Tập liệu sử dụng để thực nghiệm: gồm 123427 xếp hạng từ 7913 người dùng di động cho 1077 gói cước dịch vụ VAS Dữ liệu xây dựng mô từ tập thuê bao sử dụng dịch vụ VAS Viettel - Các phương pháp tham gia thực nghiệm: phương pháp KNN phương pháp MF - Tiêu chuẩn đánh giá: giá trị RMSE 4.2.2 Phương pháp tiến hành thực nghiệm Hai thuật toán KNN MF cài đặt ngôn ngữ Python, sử dụng thư viện đại số ma trận tuyến tính numpy, học máy sklearn để tính tốn Thuật tốn KNN: 1: Nạp liệu huấn luyện liệu kiểm tra vào mảng train_set test_set, chọn số K 2: for u in test_set Mảng neighbors getNeighbor(train_set, K) = // cơng thức Euclidean (3.3) để tính K láng giềng gần u 28 r$u = getRate(neighbors) // cơng thức (3.6) để tính ước lược đánh giá 3: Tính RMSE // theo cơng thức (3.16) để đánh giá kết Thuật toán MF: 1: Nạp liệu huấn luyện kiểm tra vào mảng train_set test_set, chọn số λ , K 2: Sử dụng thư viện pandas để ma trận hóa tập huấn luyện train_set 3: Sử dụng thư viện numpy để tách ma trận train_set thành ma tích hai ma trận người dùng U sản phẩm P 4: Sử dụng Gradient descent để giảm mát U P 5: for (u, i) in test_set r$ui = Uu x Pi // tính ước lược đánh giá u với i 6: Tính RMSE // theo cơng thức (3.16) để đánh giá kết Chúng sử dụng cách đánh giá CrossValidation Chia liệu làm tập, thực lần: lấy tập làm tập test, tập lại dùng để huấn luyện, sau lấy kết trung bình Thuật tốn KNN thực huấn 29 luyện tập knn_train_n.txt kiểm tra tập knn_test_n.txt tương ứng (n = 1, 2…6) Thuật toán MF thực huấn luyện tập mf_train_n.txt kiểm tra tập mf_test_n.txt tương ứng (n = 1, 2…6) Với mỗi phương pháp, thu hồi giá trị RMSE tương ứng Giá trị trung bình RMSEtb kết dùng để để dánh giá thuật toán 4.3 Kết thực nghiệm Sau tiến hành thực nghiệm, thu kết sau: Bảng 4.5 Kết RMSE ứng với liệu Phương pháp Bộ liệu Bộ liệu Bộ liệu Bộ liệu Bộ liệu Bộ liệu RMSEtb KNN 4.911679 4.914127 4.912884 4.914404 4.915279 4.911859 4.913372 MF 1.172562 1.144632 1.131938 1.165666 1.120762 1.141586 1.146191 STT 4.4 So sánh và đánh giá kết thực nghiệm Phương pháp KNN cho sai số RMSE lớn, điều cho thấy liệu tiêu dùng thuê bao (thoại, sms, vas, data) yếu tố có giá trị việc thuê bao đăng ký sử dụng dịch vụ VAS hay khơng 30 Phương pháp thừa số hoa ma trận cho kết tốt nhiều so với phương pháp KNN, kết nhỏ so với độ thưa thớt liệu Hình 4.1 Biểu đồ so sánh RMSE phương pháp KNN MF 31 KẾT LUẬN Kết đạt được: - Nghiên cứu hệ thống khuyến nghị, kỹ thuật, thuật toán sử dụng để xây dựng hệ thống khuyến nghị sản phẩm - Xây dựng đặc trưng toán khuyến nghị cho dịch vụ VAS ngành Viễn thông - Tìm hiểu áp dụng, thử nghiệm hai phương pháp học máy KNN MF vào toàn khuyến nghị dịch vụ VAS Hướng nghiên cứu luận văn: - Thử nghiệm nhiều đặc trưng toán khuyến nghị VAS thuật toán KNN kết tốt - Kết hợp lọc cộng tác với lọc nội dung, áp dụng thêm deep learning - Thử nghiệm tư vấn số dịch vụ VAS cụ thể để đánh giá kết thực tế 32 TÀI LIỆU THAM KHẢO [1] Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl, Item-Based Collaborative Filtering Recommendation Algorithms, University of Minnesota, Minneapolis, MN 55455 [2] Francesco Ricci, Lior Rokach, Bracha Shapira, Paul B Kantor, Recommender Systems Handbook, Springer, 2011 [3] Markus Freitag, Jan-Felix Schwarz, Matrix Factorization Techniques For Recommender Systems, University Potsdam, 2011 [4] Michael D.Ekstrand, John T Riedl, Joseph A Konstan, Collaborative Filtering Recommender Systems, University of Minnesota, 2011 [5] ZhaYefei, Trust and Recommender System, 2013 Địa chỉ: http://www.slideshare.net/zhayefei/trust-recsys [6] Zheng Wen, Recommendation System Based on Collaborative Filtering, 2008 [7] Jonathan L Herlcocker, Joseph A Konstan, Loren G Terveen, and John T Riedl, Evaluating Collaborative Filtering Recommender Systems, Oregon State University and University of Minnesota, 2004 [8] Yehuda Koren, Robert Bell and Chris Volinsky, Matrix factorization techniques for recommender system, IEEE Computer, 2009 [9] Shameem Ahamed Puthiya Parambath, Matrix Factorization Methods for Recommender Systems, Master's Thesis in Computing Science, 2013 33 [10] Shuai Zhang, Lina Yao, Aixin Sun, Deep Learning based Recommender System: A Survey and New Perspectives, University of New South Wales, Nanyang Technological University, 2017 [11] Guy Shani and Asela Gunawardana, Evaluating Recommendation Systems, 2011 [12] Kilian Q Weinberger, John Blitzer and Lawrence K Sau, Distance Metric Learning for Large Margin Nearest Neighbor Classification, Department of Computer and Information Science, University of Pennsylvania, 2006 [13] Tong Zhao, Julian McAuley, Irwin King, Improving Latent Factor Models via Personalized Feature Projection for One Class Recommendation, The Chinese University of Hong Kong, Department of Computer Science and Engineering, UC San Diego, La Jolla, CA, USA 2015 [14] Information Technology Professional Forum (ITPF), Prepare Regulatory Framework for Mobile Value Added Service (MVAS), Nepal Telecommunications Authority, 2016 [15] Digambar Jha, Consultation Paper on Licensing Provisions to Open Mobile Value Added Services in Nepal, Nepal Telecommunications Authority Kamaladi, Kathmandu Nepal, 2017 [16] Ths Nguyễn Văn Đát, Ths Nguyễn Thị Thu Hằng, Ks Lê Sỹ Đạt, Ks Lê Hải Châu, Tổng quan viễn thông, Học viện Công nghệ Bưu viễn thơng, 2007 [17] Amit K Mogal, Wireless Mobile Communication - A Study of 3G Technology, Department of Computer Science, CMCS College, Nashik-13, 2012.s ... TÍCH BÀI TOÁN DỊCH VU VAS 2.1 Tổng quan VAS Các dịch vụ giá trị gia tăng có tên Tiêng Anh Value Added Services (VAS) Các dịch vụ giá trị gia tăng thuật ngữ sử dụng để dịch vụ phụ trợ cho dịch...2 CHƯƠNG TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 1.1 Giới thiệu chung Hệ thống khuyến nghị (Recommender System – RS) [2], hay gọi hệ thống tư vấn hệ thống lọc thông tin nhằm dự đốn đánh giá... huấn luyện có kích thước nhỏ nhiều so với liệu ban đầu, không tốn không gian lưu trữ Tuy nhiên chi phí thời gian cho việc xây dựng mơ hình đánh giá lớn 3.3 Mơ hình nhân tố ẩn Mơ hình nhân tố ẩn