Nghiên cứu và xây dựng hệ thống khuyến nghị cho bài toán dịch vụ giá trị gia tăng trong ngành viễn thông

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KIỀU XUÂN CHẤN NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHI ̣CHO BÀ I TOÁN DICH VỤ GIÁ TRI ̣GIA TĂNG ̣ TRONG NGÀ NH VIỄN THÔNG LUẬN VĂN THẠC SĨ Hà Nội - 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KIỀU XUÂN CHẤN NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHI ̣ CHO BÀ I TOÁN DICH ̣ VỤ GIÁ TRI ̣ GIA TĂNG TRONG NGÀ NH VIỄN THƠNG Ngành: Cơng nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Văn Vinh TS Nguyễn Hoàng Quân Hà Nội - 2017 LỜI CAM ĐOAN Tôi xin cam đoan toàn nội dung luận văn “ Nghiên cứu và xây dựng ̣ thố ng khuyế n nghi ̣ cho bài toán di ̣ch vụ giá tri ̣ gia tăng ngành Viễn thông.” tìm hiểu, nghiên cứu, tham khảo tổng hợp từ nguồn tài liệu khác làm theo hướng dẫn người hướng dẫn khoa học Các nguồn tài liệu tham khảo, tổng hợp có nguồn gốc rõ ràng trích dẫn theo quy định Tơi xin chịu hoàn toàn trách nhiệm lời cam đoan Nếu có điều sai trái, tơi xin chịu hình thức kỷ luật theo quy định Hà Nội, tháng 11 năm 2017 Người cam đoan Kiều Xuân Chấn LỜI CẢM ƠN Trước hết em xin gửi lời cảm ơn chân thành đến thầy cô Khoa Công Nghệ Thông Tin - trường Đại học Công nghệ - Đại học Quốc gia Hà Nội nhiệt tình tâm huyết truyền đạt cho em kiến thức quý báu suốt thời gian học tập trường Em xin gửi lời cảm ơn sâu sắc đến TS Nguyễn Văn Vinh, TS Nguyễn Hồng Qn nhiệt tình, tận tâm định hướng, hướng dẫn cho em lời khun bổ ích để em hồn thành luận văn tốt nghiệp Cuối cùng, em xin cảm ơn gia đình, bạn bè ln động viên ủng hộ em suốt q trình học tập hồn thành luận văn Bài luận văn thực khoảng thời gian 06 tháng Bước đầu vào thực tế, tìm hiểu lĩnh vực Khai phá liệu Dịch vụ giá trị gia tăng, kiến thức em nhiều hạn chế nhiều bỡ ngỡ, nên khơng tránh khỏi thiếu sót Em mong nhận ý kiến đóng góp quý báu từ phía q thầy bạn để luận văn hoàn thiện Hà Nội, tháng 11 năm 2017 Học viên Kiều Xuân Chấn MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN LỜI NÓI ĐẦU CHƯƠNG TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 1.1 Giới thiệu chung 1.2 Bài toán khuyến nghị 10 1.3 Các hướng tiếp cận 11 1.4 Chức 14 CHƯƠNG PHÂN TÍCH BÀI TỐN DỊCH VỤ VAS 15 2.1 Tổng quan VAS 15 2.2 Phân loại dịch vụ VAS 16 2.2.1 Các dịch vụ 16 2.2.2 Các dịch vụ tiện ích 16 2.2.3 Các dịch vụ DATA 17 2.3 Đặc trưng toán khuyến nghị VAS 19 CHƯƠNG MỘT SỐ KỸ THUẬT CHO HỆ THỐNG KHUYẾN NGHỊ 22 3.1 Lọc cộng tác dựa nhớ 22 3.1.1 Một số phương pháp tính độ đo tương tự 23 3.1.2 Phương pháp K- láng giềng gần (KNN) 24 3.2 Lọc cộng tác dựa mô hình 27 3.3 Mơ hình nhân tố ẩn 27 3.3.1 Phương pháp thừa số hóa ma trận (Matrix factorization – MF) 28 3.4 Tiêu chuẩn đánh giá 32 3.4.1 Mean absolute error (MAE) 33 3.4.2 Root mean square error (RMSE) 33 3.4.3 Normalized Mean absolute error (NMAE) 34 CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 35 4.1 Dữ liệu thực nghiệm 35 4.2 Phương pháp thực nghiệm 38 4.2.1 Môi trường thực nghiệm 38 4.2.2 Phương pháp tiến hành thực nghiệm 38 4.3 Kết thực nghiệm 40 4.4 So sánh đánh giá kết thực nghiệm 40 KẾT LUẬN 41 TÀI LIỆU THAM KHẢO 42 BẢNG KÝ HIỆU CÁC CHỮ VIẾT TẮT STT Ký hiệu Diễn giải Tiếng Việt I Item Sản phẩm GD Gradient descent Giảm độ lệch KNN K-nearest neighbor K- láng giềng gần MF Matrix factorization Thừa số hóa ma trận MAE Mean absolute error Sai số tuyệt đối trung bình NMAE Normalized Mean absolute error Bình thường hóa sai số tuyệt đối trung bình R Rating Đánh giá RMSE Root mean square error RS Recommender System Hệ thống khuyến nghị 10 U User Người dùng 11 VAS Value-added service Dịch vụ giá trị gia tăng 12 SMS Short Messaging Services Dịch vụ tin nhắn ngắn 13 USSD Unstructured Supplementary Dịch vụ liệu bổ sung phi Service Data cấu trúc 14 SIM Subscriber Identity Module Mô dun nhận dạng người dùng 15 IVR Interactive Voice Response Phản hồi tương tác giọng nói 16 STK SIM Application Toolkit Bộ công cụ ứng dụng SIM 17 ID Identification Định danh Căn bậc hai sai số bình phương trung bình DANH MỤC CÁC BẢNG STT Tên bảng Trang Bảng 3.1 Ma trận đánh giá dày đặc 29 Bảng 3.2 Ma trận đánh giá thưa thớt 29 Bảng 4.1 Danh sách file liệu thử nghiệm 35 Bảng 4.2 Dữ liệu thử nghiệm thuật toán KNN 37 Bảng 4.3 Ma trận sử dụng dịch vụ VAS 37 Bảng 4.4 Dữ liệu thử nghiệm thuật toán MF 38 Bảng 4.5 Kết RMSE ứng với liệu 40 DANH MỤC CÁC HÌNH STT Tên hình Trang Hình 1.1 Ví dụ hệ thống khuyến nghị Amazon Hình 1.2 Ví dụ mơ hình kỹ thuật lọc dựa theo nội dung 12 Hình 2.1 Các dịch vụ VAS ngành Viễn thơng 15 Hình 2.2 Dịch vụ MCA Viettel 16 Hình 2.3 Ví dụ dịch vụ Bankplus Viettel 19 Hình 2.4 Một số thơng tin người dùng Viễn thơng 20 Hình 3.1 Ví dụ mơ hình nhân tố ẩn 28 Hình 3.2 Ví dụ minh họa phương pháp thừa số hóa ma trận 30 Hình 4.1 Biểu đồ so sánh RMSE phương pháp KNN MF 40 LỜI NÓI ĐẦU Tư vấn, khuyến nghị sản phẩm hỗ trợ khách hàng mua sắm, sử du ̣ng dich ̣ vu ̣ quan trọng ảnh hưởng trực tiếp tới doanh thu lợi nhuận doanh nghiệp Các ̣ thố ng khuyế n nghi ̣hiê ̣n đươ ̣c sử du ̣ng nhấ t nhiề u, đă ̣c biê ̣t thương ma ̣i điê ̣n tử (eBay, Amazon ) và ma ̣ng xã hô ̣i (Facebook, Instagram ) Dịch vụ giá trị gia tăng (viết tắt VAS, tiếng anh Value-added service) thuật ngữ phổ biến dùng lĩnh vực công nghiệp viễn thông, VAS biết đến dịch vụ gọi, fax Đối với điện thoại di động dịch vụ ngồi gọi (thoại) dịch vụ khác ví dụ SMS, nhạc chờ, dịch vụ Data GPRS hay 3g điều xem dịch vụ giá trị gia tăng Tâ ̣p khác h hàng sử du ̣ng viễn thông là tâ ̣p khách hàng lớn nhấ t ở Viê ̣t Nam hiê ̣n (hơn 100 triê ̣u thuê bao cả nhà ma ̣ng lớn Viettel, Vina, Mobiphone) Hiện dịch vụ VAS phát triển mạnh, doanh thu lớn, chiếm tỉ lệ lớn tổng doanh thu nhà mạng Riêng Viettel đã có khoảng 300 dich ̣ vu ̣ VAS, viê ̣c lựa cho ̣n dich ̣ vu ̣ phù phơ ̣p cho khách hàng trở nên cực kỳ quan trọng Hiện nay, phần lớn hệ thống khuyến nghị phát triển dựa vào lọc cộng tác dựa ba phương pháp chính: Lo ̣c dựa nô ̣i dung (Content-based filtering), Lọc dựa cộng tác (Collaborative Filtering) và kế t hơ ̣p cả phương pháp Lo ̣c dựa nô ̣i dung là phương pháp tư vấ n dich ̣ vu ̣ dựa nô ̣i dung của sản phầ m, lich ̣ sử sử du ̣ng dich ̣ vu ̣ của người dùng Lo ̣c dựa cô ̣ng tác là phương pháp tư vấ n dich ̣ vu ̣ cho người dùng dựa lịch sử, đánh giá về sản phẩ m/dich ̣ vu ̣ của người dùng khác có cùng đă ̣c điể m vớ i người dùng cầ n tư vấ n Vì luận văn này, chúng tơi nghiên cứu và ứng du ̣ng mô ̣t số phương pháp lo ̣c của cả phương pháp để áp du ̣ng cho bài toán dich ̣ vu ̣ VAS ngày Viễn thơng Nội dung luận văn bao gồm đề sau: Vấn đề 1: Tìm hiểu hệ thống khuyến nghị (Recommender System) Vấn đề 2: Tìm hiểu, phân tić h bài toán khuyế n nghi cho ̣ dich ̣ vu ̣ VAS Vấn đề 3: Phân tić h, tìm hiể u mô ̣t số phương pháp, kỹ thuâ ̣t sử du ̣ng để xây dựng ̣ thố ng khuyế n nghi cho ̣ bài toán dich ̣ vu ̣ VAS Vấn đề 4: Xây dựng hệ thống thử nghiệm demo chương trình Cụ thể vấn đề làm rõ chương 1, giới thiệu chung hệ thống khuyến nghị, cần thiết, hiệu đem lại mơ hình hệ thống khuyến nghị Chương giải vấn đề 2, giới thiệu dịch vụ VAS ngành Viễn thông, phân tích tốn Chương tìm hiểu số mơ hình, kỹ thuật áp dụng vào tốn VAS Và cuối cùng, phần thử nghiểm chương trình trình bày chương 29 Bảng 3.1 Ma trận đánh giá dày đặc p1 p2 p3 p4 … pm u1 … u2 5 … u3 4 … … … … … … … … un … Trong thực tế , tâ ̣p người dùng và tâ ̣p sản phẩ m rấ t lớn, số lươṇ g đánh giá sản phẩ m của mô ̣t người dúng rấ t nhỏ so với số sản phẩ m (có rấ t nhiều sản phẩ m không đươ ̣c người dùng đánh giá), đó ma trâ ̣n đánh giá thực tế có rấ t nhiề u giá tri ṛ ij =  Ta có ma trâ ̣n đánh giá thưa thớt: Bảng 3.2 Ma trận đánh giá thưa thớt p1 p2 p3 p4 … pm u1  …  u2   … u3  … … … … … … … … un  … Vì ma trâ ̣n đánh giá R thường rấ t lớn và thưa thớt, nên viê ̣c dự đoán giá tri ̣ của các phầ n tử rij =  gă ̣p nhiề u khó khăn Để giải vấn đề này, phương pháp thừa số hóa ma trận xem phương pháp hữu hiệu Nó sử dụng phổ biến hệ khuyến nghị có hiệu suất cao chất lượng khuyến nghị khả mở rộng 30  Phương pháp thừa số hóa ma trâ ̣n Phương pháp thừa số hóa ma trận thành cơng mơ hình nhân tố ẩn Nó cho phép kết hợp thơng tin có với thơng tin bổ sung Khi thông tin phản hồi rõ ràng khơng có sẵn, hệ thống tư vấn suy sở thích người dùng cách sử dụng thông tin phản hồi ngầm gián tiếp phản ánh ý kiến cách quan sát hành vi người dùng Phương pháp thừa số hóa ma trâ ̣n ánh xa ̣ người dùng và sản phẩ m vào mô ̣t không gian f chiề u Rf, sự tương tác giữa người dùng và sản phẩ m đươ ̣c mô hình hóa không gian này Khi đó, mỗi sản phẩ m i đươ ̣c liên kế t với mô ̣t vector sản phẩ m qi  R f , mỗ i người dùng u đươ ̣c liên kế t với mô ̣t vector người dùng pu  R f Đố i với mỗ i sản phẩ m i, các yế u tố qi đo mức đô ̣ tić h cực hay tiêu cực của sản phẩ m đó Đố i với mỗ i người dùng u nhấ t đinh, ̣ các yế u tố pu đo lường mức đô ̣ quan tâm của người dúng đó với các sản phẩ m về các yế u tố tić h cực hay tiêu cực tương ứng Tić h vector sản phẩ m và vector người dùng qiT pu mô phỏng mố i tương tác giữa người dùng u và sản phẩ m i Ta có ước tin ́ h đánh giá của u đố i với sản phẩ m I sau: [8] r ui  qiT pu (3.10) Hình 3.2 Ví dụ minh họa phương pháp thừa số hóa ma trận, x32 = (a,b,c)*(x,y,z) Vấn đề thách thức tính tốn để lập ánh xạ sản phẩm f người dùng đến vector nhân tố qi , pu  R Dựa vào công thức (3.10) ta có 31 thể dễ dàng ước tính đánh giá người dùng cung cấp cho sản phẩm Q trình phân tích ma trận xảy vấn đề tổn thất Giá trị tổn thất L tính dựa sản phẩm người dùng đánh giá, Giá trị trung bình hàm tổn thất nhỏ tính hiệu mơ hình đánh giá cao ngược lại: [8] L  ( u ,i )K (rui  qiT pu ) λ(|| qi ||2 || pu ||2 ) (3.11) Trong K tập người dùng – sản phẩm (u,i) mà ta biết đánh giá rui Hằng số λ số dương dùng để làm mịn sai số  Phương pháp sử dụng đặc trưng ưu tiên (Biased Matrix Factorization ) Một lợi ích cách tiếp cận thừa số hóa ma trận lọc cộng tác tính linh hoạt việc xử lý khía cạnh liệu khác yêu cầu ứng dụng cụ thể khác Công thức (3.10) cố gắng nắm bắt tương tác người dùng sản phẩm để tạo giá trị đánh giá khác Tuy nhiên, nhiều biến thể quan sát thấy giá trị xếp hạng hiệu ứng liên quan đến người dùng sản phẩm, gọi đặc trưng ưu tiên (biases intercepts), đặc trưng không phụ thuộc vào tương tác Ví dụ: số hệ thống lớn, số người dùng có xếp hạng cao người khác số sản phẩm có xu hướng xếp hạng cao so với sản phẩm khác Do đó, thấy số sản phẩm xem tốt (hoặc tồi tệ hơn) số sản phẩm khác Chính vậy, ta xác định thêm thành phần đặc trưng ưu tiên vào đặc trưng người dùng đặc trưng sản phẩm để mơ hình hóa Mơ hình hóa xấp xỉ đặc trưng ưu tiên tính sau: bui  μ  bi  bu (3.12) 32 Trong đó: + bui thành phần đặc trưng ưu tiên người dùng u sản phẩm i + µ đánh giá trung bình tổng thể + bu bi sai lệch tương ứng với giá trị trung bình người dùng u sản phẩm i Ví dụ, giả sử ước tính bậc cho người dùng đánh giá thuê bao X dịch vụ MCA, đánh giá trung bình tất dịch vụ VAS tiện ích 3,5 (  =3,5) MCA đánh giá tốt so với dịch vụ trung bình, có xu hướng đánh giá mức trung bình 0,2 Mặt khác, X người dùng đặc trưng, có xu hướng đánh giá thấp so với mức đánh giá trung bình 0,1 Như vậy, ước tính đánh giá cho dịch vụ MCA X 3,6 (3,5+0,2-0,1) Áp dụng vào công thức (3.10) ta có cơng thức tính ước lượng đánh giá sử dụng đặc trưng ưu tiên sau: r ui  μ  bi  bu  qiT pu (3.13) Từ ta có hàm mát (3.10) trở thành: p*q*b*  ( u ,i )K (rui  μ  bi  bu  qiT pu )  λ(|| pu ||2  || pi ||2 bu  bi ) (3.14) 3.4 Tiêu chuẩn đánh giá[4] Một giả thiết hệ thống khuyến nghị hệ thống cung cấp dự đốn xác ưa thích tin cậy người dùng với hệ thống nhiều Chính mà độ xác dự đốn trở thành tiêu chí việc đánh giá thuật tốn hệ thống khuyến nghị Có nhiều tiêu chuẩn đánh giá như: MAE, RMSE, CBD, AUC … Tuy nhiên phổ biến tiêu chuẩn MAE RMSE 33 3.4.1 Mean absolute error (MAE) Một phương pháp đơn giản để đo chất lượng khuyến nghị đo lường sai số tuyệt đối trung bình (MAE) , đơi cịn gọi độ lệch tuyệt đối Phương pháp đơn giản mang ý nghĩa khác biệt tuyệt đối dự đoán xếp hạng cho tất xếp hạng giữ lại người dùng tập kiểm tra, MAE tính sau: n MAE   | rui  r ui | n u 1 (3.15) Trong đó: + rui đánh giá thực tế người dùng u cho sản phẩm i + r ui đánh giá dự đoán người dùng u cho sản phẩm i (do hệ thống khuyến nghị đưa ra) + n tổ ng số dự đoán đánh giá 3.4.2 Root mean square error (RMSE) Sai số bình phương trung bình (RMSE) biện pháp liên quan có ảnh hưởng việc nhấn mạnh nhiều vào lỗi lớn Nó tính MAE, bình phương lỗi trước cô ̣ng tổ ng la ̣i: RMSE  (rui  r ui )2  n u ,i (3.16) Trong đó: + rui đánh giá thực tế người dùng u cho sản phẩm i + r ui đánh giá dự đoán người dùng u cho sản phẩm i (do hệ thống khuyến nghị đưa ra) + n tổ ng số dự đoán đánh giá 34 3.4.3 Normalized Mean absolute error (NMAE) MAE có tỷ lệ đánh giá ban đầu, ví du ̣ đánh giá thang biểu diễn số nguyên đoa ̣n [1,5], MAE 0,7 có nghĩa thuật tốn trung bình bị giảm 0,7 Điều hữu ích cho việc hiểu kết ngữ cảnh cụ thể, làm cho việc so sánh kết liệu khó khăn chúng có phạm vi đánh giá khác (sai số 0,7 có ý nghĩa xếp hạng [1,5] chúng [-10,10]) Do đó, Lỗi tuyệt đối trung bình bình thường hóa (Normalized Mean absolute error - NMAE) sử dụng để giải thiếu hụt NMAE chuẩn hóa lỗi cách phân chia theo phạm vi xếp hạng (rhigh rlow xếp hạng tối đa tối thiểu hệ thống), kết số khoảng [0,1] cho tất thang đánh giá: n NMAE  | rui  r ui |  n(rhigh  rlow ) u 1 (3.17) Trong đó: + rui đánh giá thực tế người dùng u cho sản phẩm i + r ui đánh giá dự đoán người dùng u cho sản phẩm i (do hệ thống khuyến nghị đưa ra) + n tổ ng số dự đoán đánh giá Kết NMAE khó giải thích quy mơ xếp hạng ban đầu sử du ̣ng để so sánh thang đánh giá khác Do chúng hữu ích việc đo lường kế t quả của các bô ̣ dữ liê ̣u có có đă ̣c trưng khác 35 CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ Mục tiêu chương thực giải pháp KNN giải pháp thừa số hóa ma trận tập liệu mơ th bao di động đăng ký dịch vụ VAS Các kết thu dùng để làm so sánh đánh giá hiệu hai thuật toán việc xây dựng hệ thống khuyến nghị sản phẩm dịch vụ VAS KNN phương pháp đơn giản chạy nhanh, tỏ hiệu liệu lớn có nhiều thơng tin Phương pháp MF có độ xác cao phù hợp với tập liệu thưa 4.1 Dữ liệu thực nghiệm Tập liệu sử dụng để thực nghiệm: gồm 123427 xếp hạng từ 7913 người dùng di động cho 1077 gói cước dịch vụ VAS Dữ liệu xây dựng mô từ tập thuê bao sử dụng dịch vụ VAS Viettel Do lí bảo mật thơng tin khách hàng nên người dùng dịch vụ mã hóa id người dùng dịch vụ, đặc trưng người dùng scale thay đổi Bảng 4.1 danh sách file liệu dùng để thử nghiệm thuật toán: Bảng 4.1 Danh sách file liệu thử nghiệm STT File train Số lượng ghi File test Số lượng ghi Ghi mf_train_1.txt 109999 mf_test_1.txt 10775 MF fold mf_train_2.txt 110775 mf_test_2.txt 9999 MF fold mf_train_3.txt 110775 mf_test_3.txt 9999 MF fold mf_train_4.txt 110775 mf_test_4.txt 9999 MF fold mf_train_5.txt 110775 mf_test_5.txt 9999 MF fold mf_train_6.txt 110775 mf_test_6.txt 9999 MF fold knn_train_1.txt 45000 knn_test_1.txt 4999 KNN fold knn_train_2.txt 44999 knn_test_2.txt 5000 KNN fold knn_train_3.txt 44999 knn_test_3.txt 5000 KNN fold 10 knn_train_4.txt 44999 knn_test_4.txt 5000 KNN fold 11 knn_train_5.txt 44999 knn_test_5.txt 5000 KNN fold 12 knn_train_6.txt 44999 knn_test_6.txt 5000 KNN fold 36  Dữ liệu thử nghiểm phương pháp KNN Trong phương pháp KNN, người dùng có nhiều thuộc tính trình bày mục 2.3 Nhưng phạm vi tiến hành thực nghiệp, chùng tơi sử dụng thuộc tính người dùng tổng tiêu dùng (tồng tiền cước) mà người dùng trả cho đầu mục Thoại, Nhắn tin, VAS Data để tính độ tương tự khách hàng Các doanh thu scale đoạn [0, 1] để bảo mật dễ tính tốn Mỗi người dùng biểu diễn dạng vector U(mobile, sms, vas, data) Thuộc tính sản phẩm khơng sử dụng đến phạm vi thử nghiệm + Các file liệu train từ knn_train_1.txt đến knn_train_6.txt test từ knn_test_1.txt đến knn_test_6.txt (thử nghiệm lần) Mỗi ghi file gồm trường: trường đầu thuộc tính người dùng, trường cuối mã dịch vụ mà người dùng sử dụng (quy ước khách hàng sử dụng dịch vụ mức đánh giá cho dịch vụ 5) + Tập thuộc tính người dùng I = { mobile, sms, vas, data } (4 trường đầu file liệu), lúc k=4 Ví dụ ta có người dùng u(0.2, 0.5, 0, 0.1) v(0.3, 0.2, 01, 0.5), khoảng cách u v tính theo công thức (3.3) sau:  d Euclidean (u, v)  k  (I i 1 ui  I vi )  (0.2  0.3)2  (0.5  0.2)  (0  0.1)  (0.1  0.5)2  0.519615 + Sau tính khoản cách người dùng, ta tìm K người dùng gần nhất, từ tính ước lược đánh giá người dùng theo cơng thức (3.6) (3.7) Cuối ta so sánh ước lượng đánh giá tính với đánh giá thực tế người dùng với dịch vụ 37 sử dụng (quy ước cho mã dịch vụ - trường số file knn_test_x.txt) Bảng 4.2 Dữ liệu thử nghiệm thuật toán KNN Total_mobile Total_sms Total_vas Total_data Service_id 0.0013 0.0096 0.0796 1255 0.0117 0.0619 1276 0.1602 0.018 0.0036 0.0619 57 0.0804 0.041 0.0041 0.292 130 0.0002 0.0099 0.0637 704 0.0895 0.0156 0 61  Dữ liệu thử nghiểm phương pháp MF Trong phương pháp MF, liệu sử dụng để thử nghiệm ma trận R sử dụng dịch vụ VAS thuê bao di động, rij = tức người dùng i sử dụng dịch vụ VAS j:  Bảng 4.3 Ma trận sử dụng dịch vụ VAS p1 p2 p3 p4 … pm u1 ? ? ? ? ? u2 ? ? ? ? u3 ? ? ? ? … ? ? ? ? un 5 ? ? ? + Các file liệu train (từ mf_train_1.txt đến mf_train_6.txt) test (từ mf_test_1.txt đến mf_test_6.txt) thuật toán MF Cấu trúc 38 file gồm trường mã thuê bao di động (khách hàng), mã dịch vụ mà thuê bao dùng (dịch vụ/sản phẩm), đánh giá thuê bao với dịch vụ mà họ dùng (vì khơng có liệu thuê bao rating dịch vụ họ dùng, nên quy ước thuê bao dùng dịch vụ đánh giá cho dịch vụ đó) Bảng 4.4 Dữ liệu thử nghiệm thuật toán MF Ma_tb Ma_dv Rating 16213 63 234715 85 105976 83 228791 57 Tập liệu tạo với mục đích phục vụ cho việc nghiên cứu lọc cộng tác dự đoán đánh giá Dữ liệu trích lọc cho thuê bao sử dụng từ 12 dịch vụ trở lên dịch vụ có nhiều người dùng 4.2 Phương pháp thực nghiệm 4.2.1 Môi trường thực nghiệm - Cấu hình máy: Chip Intel(R) Core i3, Ram 2GB, 32-bit - Cơng cụ hỗ trợ: thuật tốn chạy Python 2.7, cmd Windows - Tập liệu sử dụng để thực nghiệm: gồm 123427 xếp hạng từ 7913 người dùng di động cho 1077 gói cước dịch vụ VAS Dữ liệu xây dựng mô từ tập thuê bao sử dụng dịch vụ VAS Viettel - Các phương pháp tham gia thực nghiệm: phương pháp KNN phương pháp MF - Tiêu chuẩn đánh giá: giá trị RMSE 4.2.2 Phương pháp tiến hành thực nghiệm Hai thuật toán KNN MF cài đặt ngôn ngữ Python, sử dụng thư viện đại số ma trận tuyến tính numpy, học máy sklearn để tính tốn 39 Thuật tốn KNN: 1: Nạp liệu huấn luyện liệu kiểm tra vào mảng train_set test_set, chọn số K 2: for u in test_set Mảng neighbors = getNeighbor(train_set, K) // cơng thức Euclidean (3.3) để tính K láng giềng gần u r u = getRate(neighbors) // công thức (3.6) để tính ước lược đánh giá 3: Tính RMSE // theo công thức (3.16) để đánh giá kết Thuật toán MF: 1: Nạp liệu huấn luyện kiểm tra vào mảng train_set test_set, chọn số λ , K 2: Sử dụng thư viện pandas để ma trận hóa tập huấn luyện train_set 3: Sử dụng thư viện numpy để tách ma trận train_set thành ma tích hai ma trận người dùng U sản phẩm P 4: Sử dụng Gradient descent để giảm mát U P 5: for (u, i) in test_set r ui = Uu x Pi // tính ước lược đánh giá u với i 6: Tính RMSE // theo công thức (3.16) để đánh giá kết Chúng sử dụng cách đánh giá Cross-Validation Chia liệu làm tập, thực lần: lấy tập làm tập test, tập lại dùng để huấn luyện, sau lấy kết trung bình Thuật toán KNN thực huấn luyện tập knn_train_n.txt kiểm tra tập knn_test_n.txt tương ứng (n = 1, 2…6) Thuật toán MF thực huấn luyện tập mf_train_n.txt kiểm tra tập mf_test_n.txt tương ứng (n = 1, 2…6) Với phương pháp, thu hồi giá trị RMSE tương ứng Giá trị trung bình RMSE tb kết dùng để để dánh giá thuật toán 40 4.3 Kết thực nghiệm Sau tiến hành thực nghiệm, thu kết sau: Bảng 4.5 Kết RMSE ứng với liệu Phương pháp Bộ liệu Bộ liệu Bộ liệu Bộ liệu Bộ liệu Bộ liệu RMSEtb KNN 4.911679 4.914127 4.912884 4.914404 4.915279 4.911859 4.913372 MF 1.172562 1.144632 1.131938 1.165666 1.120762 1.141586 1.146191 STT 4.4 So sánh đánh giá kết thực nghiệm Phương pháp KNN cho sai số RMSE lớn, điều cho thấy liệu tiêu dùng thuê bao (thoại, sms, vas, data) yếu tố có giá trị việc thuê bao đăng ký sử dụng dịch vụ VAS hay khơng Phương pháp thừa số hoa ma trận cho kết tốt nhiều so với phương pháp KNN, kết nhỏ so với độ thưa thớt liệu Như phương pháp phù hợp với việc xây dựng hệ thống khuyến nghị dịch vụ VAS Hình 4.1 Biểu đồ so sánh RMSE phương pháp KNN MF 41 KẾT LUẬN Kết đạt được: - Nghiên cứu hệ thống khuyến nghị, kỹ thuật, thuật toán sử dụng để xây dựng hệ thống khuyến nghị sản phẩm - Xây dựng đặc trưng toán khuyến nghị cho dịch vụ VAS ngành Viễn thơng - Tìm hiểu áp dụng, thử nghiệm hai phương pháp học máy KNN MF vào toàn khuyến nghị dịch vụ VAS Hướng nghiên cứu luận văn: - Thử nghiệm nhiều đặc trưng toán khuyến nghị VAS thuật toán KNN kết tốt - Kết hợp lọc cộng tác với lọc nội dung, áp dụng thêm deep learning - Thử nghiệm tư vấn số dịch vụ VAS cụ thể để đánh giá kết thực tế 42 TÀI LIỆU THAM KHẢO [1] Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl, Item-Based Collaborative Filtering Recommendation Algorithms, University of Minnesota, Minneapolis, MN 55455 [2] Francesco Ricci, Lior Rokach, Bracha Shapira, Paul B Kantor, Recommender Systems Handbook, Springer, 2011 [3] Markus Freitag, Jan-Felix Schwarz, Matrix Factorization Techniques For Recommender Systems, University Potsdam, 2011 [4] Michael D.Ekstrand, John T Riedl, Joseph A Konstan, Collaborative Filtering Recommender Systems, University of Minnesota, 2011 [5] ZhaYefei, Trust and Recommender System, 2013 Địa chỉ: http://www.slideshare.net/zhayefei/trust-recsys [6] Zheng Wen, Recommendation System Based on Collaborative Filtering, 2008 [7] Jonathan L Herlcocker, Joseph A Konstan, Loren G Terveen, and John T Riedl, Evaluating Collaborative Filtering Recommender Systems, Oregon State University and University of Minnesota, 2004 [8] Yehuda Koren, Robert Bell and Chris Volinsky, Matrix factorization techniques for recommender system, IEEE Computer, 2009 [9] Shameem Ahamed Puthiya Parambath, Matrix Factorization Methods for Recommender Systems, Master's Thesis in Computing Science, 2013 [10] Shuai Zhang, Lina Yao, Aixin Sun, Deep Learning based Recommender System: A Survey and New Perspectives, University of New South Wales, Nanyang Technological University, 2017 [11] Guy Shani and Asela Gunawardana, Evaluating Recommendation Systems, 2011 [12] Kilian Q Weinberger, John Blitzer and Lawrence K Sau, Distance Metric Learning for Large Margin Nearest Neighbor Classification, Department of Computer and Information Science, University of Pennsylvania, 2006 [13] Tong Zhao, Julian McAuley, Irwin King, Improving Latent Factor Models via Personalized Feature Projection for One Class Recommendation, The Chinese 43 University of Hong Kong, Department of Computer Science and Engineering, UC San Diego, La Jolla, CA, USA 2015 [14] Information Technology Professional Forum (ITPF), Prepare Regulatory Framework for Mobile Value Added Service (MVAS), Nepal Telecommunications Authority, 2016 [15] Digambar Jha, Consultation Paper on Licensing Provisions to Open Mobile Value Added Services in Nepal, Nepal Telecommunications Authority Kamaladi, Kathmandu Nepal, 2017 [16] Ths Nguyễn Văn Đát, Ths Nguyễn Thị Thu Hằng, Ks Lê Sỹ Đạt, Ks Lê Hải Châu, Tổng quan viễn thơng, Học viện Cơng nghệ Bưu viễn thơng, 2007 [17] Amit K Mogal, Wireless Mobile Communication - A Study of 3G Technology, Department of Computer Science, CMCS College, Nashik-13, 2012