NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG (Luận văn thạc sĩ)

NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG (Luận văn thạc sĩ)NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG (Luận văn thạc sĩ)NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG (Luận văn thạc sĩ)NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG (Luận văn thạc sĩ)NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG (Luận văn thạc sĩ)NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG (Luận văn thạc sĩ)NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG (Luận văn thạc sĩ)NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀNH VIỄN THÔNG (Luận văn thạc sĩ)

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ KIỀU XUÂN CHẤN NGHI N C U V XÂ ỰNG HỆ TH NG KHU NGH CHO CH V GI TR GI T NG I TO N TRONG NG NH VI N THÔNG LUẬN V N THẠC SĨ Hà Nội - 2017 N ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ KIỀU XUÂN CHẤN NGHI N C U V XÂ CHO I TO N ỰNG HỆ TH NG KHU N NGH CH V GI TR GI T NG TRONG NG NH VI N THƠNG Ngành: Cơng nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG ẪN KHO HỌC: TS Nguyễn Văn Vinh TS Nguyễn Hoàng Quân Hà Nội - 2017 LỜI C M ĐO N Tôi xin cam đoan toàn nội dung luận văn “ n t n u nn o to n v tr n uv t n tron n n n t n ” tơi tìm hiểu, nghiên cứu, tham khảo tổng hợp từ nguồn tài liệu khác làm theo hƣớng dẫn ngƣời hƣớng dẫn khoa học Các nguồn tài liệu tham khảo, tổng hợp có nguồn gốc rõ ràng trích dẫn theo quy định Tơi xin chịu hồn tồn trách nhiệm lời cam đoan Nếu có điều sai trái, tơi xin chịu hình thức kỷ luật theo quy định Hà Nội, tháng 11 năm 2017 Ngƣời cam đoan Kiều Xuân Chấn LỜI CẢM ƠN Trƣớc hết em xin gửi lời cảm ơn chân thành đến thầy cô Khoa Công Nghệ Thông Tin - trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội nhiệt tình tâm huyết truyền đạt cho em kiến thức quý báu suốt thời gian học tập trƣờng Em xin gửi lời cảm ơn sâu sắc đến TS Nguyễn Văn Vinh, TS Nguyễn Hoàng Quân nhiệt tình, tận tâm định hƣớng, hƣớng dẫn cho em lời khuyên bổ ích để em hoàn thành luận văn tốt nghiệp Cuối cùng, em xin cảm ơn gia đình, bạn bè ln động viên ủng hộ em suốt trình học tập hoàn thành luận văn Bài luận văn đƣợc thực khoảng thời gian 06 tháng Bƣớc đầu vào thực tế, tìm hiểu lĩnh vực Khai phá liệu Dịch vụ giá trị gia tăng, kiến thức em nhiều hạn chế nhiều bỡ ngỡ, nên khơng tránh khỏi thiếu sót Em mong nhận đƣợc ý kiến đóng góp q báu từ phía q thầy bạn để luận văn đƣợc hoàn thiện Hà Nội, tháng 11 năm 2017 Học viên Kiều Xuân Chấn M CL C LỜI C M ĐO N LỜI CẢM ƠN LỜI NÓI ĐẦU CHƢƠNG TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 1.1 Giới thiệu chung 1.2 Bài toán khuyến nghị 10 1.3 Các hƣớng tiếp cận 11 1.4 Chức 14 CHƢƠNG PHÂN TÍCH BÀI TỐN DỊCH VỤ VAS 15 2.1 Tổng quan VAS 15 2.2 Phân loại dịch vụ VAS 16 2.2.1 Các dịch vụ 16 2.2.2 Các dịch vụ tiện ích 16 2.2.3 Các dịch vụ DATA 17 2.3 Đặc trƣng toán khuyến nghị VAS 19 CHƢƠNG MỘT SỐ KỸ THUẬT CHO HỆ THỐNG KHUYẾN NGHỊ 22 3.1 Lọc cộng tác dựa nhớ 22 3.1.1 Một số phƣơng pháp tính độ đo tƣơng tự 23 3.1.2 Phƣơng pháp K- láng giềng gần (KNN) 24 3.2 Lọc cộng tác dựa mơ hình 27 3.3 Mơ hình nhân tố ẩn 27 3.3.1 Phƣơng pháp thừa số hóa ma trận (Matrix factorization – MF) 28 3.4 Tiêu chuẩn đánh giá 32 3.4.1 Mean absolute error (MAE) 33 3.4.2 Root mean square error (RMSE) 33 3.4.3 Normalized Mean absolute error (NMAE) 34 CHƢƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 35 4.1 Dữ liệu thực nghiệm 35 4.2 Phƣơng pháp thực nghiệm 38 4.2.1 Môi trƣờng thực nghiệm 38 4.2.2 Phƣơng pháp tiến hành thực nghiệm 38 4.3 Kết thực nghiệm 40 4.4 So sánh đánh giá kết thực nghiệm 40 KẾT LUẬN 41 TÀI LIỆU THAM KHẢO 42 ẢNG KÝ HIỆU CÁC CHỮ VI T TẮT STT Ký hiệu iễn giải Tiếng Việt I Item Sản phẩm GD Gradient descent Giảm độ lệch KNN K-nearest neighbor K- láng giềng gần MF Matrix factorization Thừa số hóa ma trận MAE Mean absolute error Sai số tuyệt đối trung bình NMAE Normalized Mean absolute error Bình thƣờng hóa sai số tuyệt đối trung bình R Rating Đánh giá RMSE Root mean square error Căn bậc hai sai số bình phƣơng trung bình RS Recommender System Hệ thống khuyến nghị 10 U User Ngƣời dùng 11 VAS Value-added service Dịch vụ giá trị gia tăng 12 SMS Short Messaging Services Dịch vụ tin nhắn ngắn 13 USSD Unstructured Supplementary Dịch vụ liệu bổ sung phi Service Data cấu trúc 14 SIM Subscriber Identity Module Mô dun nhận dạng ngƣời dùng 15 IVR Interactive Voice Response Phản hồi tƣơng tác giọng nói 16 STK SIM Application Toolkit Bộ cơng cụ ứng dụng SIM 17 ID Identification Định danh NH M C C C ẢNG STT Tên bảng Trang Bảng 3.1 Ma trận đánh giá dày đặc 29 Bảng 3.2 Ma trận đánh giá thƣa thớt 29 Bảng 4.1 Danh sách file liệu thử nghiệm 35 Bảng 4.2 Dữ liệu thử nghiệm thuật toán KNN 37 Bảng 4.3 Ma trận sử dụng dịch vụ VAS 37 Bảng 4.4 Dữ liệu thử nghiệm thuật toán MF 38 Bảng 4.5 Kết RMSE ứng với liệu 40 NH M C C C HÌNH STT Tên hình Trang Hình 1.1 Ví dụ hệ thống khuyến nghị Amazon Hình 1.2 Ví dụ mơ hình kỹ thuật lọc dựa theo nội dung 12 Hình 2.1 Các dịch vụ VAS ngành Viễn thơng 15 Hình 2.2 Dịch vụ MCA Viettel 16 Hình 2.3 Ví dụ dịch vụ Bankplus Viettel 19 Hình 2.4 Một số thơng tin ngƣời dùng Viễn thơng 20 Hình 3.1 Ví dụ mơ hình nhân tố ẩn 28 Hình 3.2 Ví dụ minh họa phƣơng pháp thừa số hóa ma trận 30 Hình 4.1 Biểu đồ so sánh RMSE phƣơng pháp KNN MF 40 LỜI NÓI ĐẦU Tƣ vấn, khuyến nghị sản phẩm h trợ khách hàng mua sắm, sử dụng dịch vụ quan trọng ảnh hƣởng trực tiếp tới doanh thu lợi nhuận doanh nghiệp Các hệ thống khuyến nghị đƣợc sử dụng nhiều, đặc biệt thƣơng mại điện tử eBay, Amazon mạng xã hội Facebook, Instagram ) Dịch vụ giá trị gia tăng viết tắt VAS, tiếng anh Value-added service) thuật ngữ phổ biến dùng lĩnh vực công nghiệp viễn thông, VAS đƣợc biết đến dịch vụ ngồi gọi, fax Đối với điện thoại di động dịch vụ ngồi gọi thoại dịch vụ khác ví dụ SMS, nhạc chờ, dịch vụ Data nhƣ GPRS hay 3g điều đƣợc xem dịch vụ giá trị gia tăng Tập khách hàng sử dụng viễn thông tập khách hàng lớn Việt Nam 100 triệu thuê bao nhà mạng lớn Viettel, Vina, Mobiphone Hiện dịch vụ VAS phát triển mạnh, doanh thu lớn, chiếm t lệ lớn tổng doanh thu nhà mạng Riêng Viettel có khoảng 300 dịch vụ VAS, việc lựa chọn dịch vụ phù phợp cho khách hàng trở nên cực k quan trọng Hiện nay, phần lớn hệ thống khuyến nghị phát triển dựa vào lọc cộng tác dựa ba phƣơng pháp chính: Lọc dựa nội dung Content-based filtering , Lọc dựa cộng tác Collaborative Filtering kết hợp phƣơng pháp Lọc dựa nội dung phƣơng pháp tƣ vấn dịch vụ dựa nội dung sản phầm, lịch sử sử dụng dịch vụ ngƣời dùng Lọc dựa cộng tác phƣơng pháp tƣ vấn dịch vụ cho ngƣời dùng dựa lịch sử, đánh giá sản phẩm dịch vụ ngƣời dùng khác có đặc điểm với ngƣời dùng cần tƣ vấn Vì luận văn này, nghiên cứu ứng dụng số phƣơng pháp lọc phƣơng pháp để áp dụng cho tốn dịch vụ VAS ngày Viễn thơng Nội dung luận văn bao gồm đề sau: Vấn đề 1: Tìm hiểu hệ thống khuyến nghị Recommender System Vấn đề 2: Tìm hiểu, phân tích tốn khuyến nghị cho dịch vụ VAS Vấn đề 3: Phân tích, tìm hiểu số phƣơng pháp, kỹ thuật sử dụng để xây dựng hệ thống khuyến nghị cho toán dịch vụ VAS Vấn đề 4: Xây dựng hệ thống thử nghiệm demo chƣơng trình Cụ thể vấn đề đƣợc làm rõ chƣơng 1, giới thiệu chung hệ thống khuyến nghị, cần thiết, hiệu đem lại mơ hình hệ thống khuyến nghị Chƣơng giải vấn đề 2, giới thiệu dịch vụ VAS ngành Viễn thông, phân tích tốn Chƣơng tìm hiểu số mơ hình, kỹ thuật áp dụng vào tốn VAS Và cuối cùng, phần thử nghiểm chƣơng trình đƣợc trình bày chƣơng 29 Bảng 3.1 Ma trận đánh giá dày đặc p1 p2 p3 p4 … pm u1 … u2 5 … u3 4 … … … … … … … … … un Trong thực tế, tập ngƣời dùng tập sản phẩm lớn, số lƣợng đánh giá sản phẩm ngƣời dúng nhỏ so với số sản phẩm có nhiều sản phẩm khơng đƣợc ngƣời dùng đánh giá , ma trận đánh giá thực tế có nhiều giá trị rij =  Ta có ma trận đánh giá thƣa thớt: Bảng 3.2 Ma trận đánh giá thƣa thớt p1 p2 p3 p4 … pm u1  …  u2   … u3  … … … … … … … … un  … Vì ma trận đánh giá R thƣờng lớn thƣa thớt, nên việc dự đoán giá trị phần tử rij =  gặp nhiều khó khăn Để giải vấn đề này, phƣơng pháp thừa số hóa ma trận đƣợc xem phƣơng pháp hữu hiệu Nó đƣợc sử dụng phổ biến hệ khuyến nghị có hiệu suất cao chất lƣợng khuyến nghị khả mở rộng 30  Phƣơng pháp thừa số hóa ma trận Phƣơng pháp thừa số hóa ma trận thành cơng mơ hình nhân tố ẩn Nó cho phép kết hợp thơng tin có với thơng tin bổ sung Khi thơng tin phản hồi rõ ràng khơng có sẵn, hệ thống tƣ vấn suy sở thích ngƣời dùng cách sử dụng thông tin phản hồi ngầm gián tiếp phản ánh ý kiến cách quan sát hành vi ngƣời dùng Phƣơng pháp thừa số hóa ma trận ánh xạ ngƣời dùng sản phẩm vào không gian f chiều Rf, tƣơng tác ngƣời dùng sản phẩm đƣợc mơ hình hóa khơng gian Khi đó, m i sản phẩm i đƣợc liên kết với vector sản phẩm qi  R f , m i ngƣời dùng u đƣợc liên kết với vector ngƣời dùng pu  R f Đối với m i sản phẩm i, yếu tố qi đo mức độ tích cực hay tiêu cực sản phẩm Đối với m i ngƣời dùng u định, yếu tố pu đo lƣờng mức độ quan tâm ngƣời dúng với sản phẩm yếu tố tích cực hay tiêu cực tƣơng ứng Tích vector sản phẩm vector ngƣời dùng qiT pu mô mối tƣơng tác ngƣời dùng u sản phẩm i Ta có ƣớc tính đánh giá u sản phẩm I nhƣ sau: [8] r ui  qiT pu (3.10) Hình 3.2 Ví dụ minh họa phƣơng pháp thừa số hóa ma trận, x32 = (a,b,c)*(x,y,z) Vấn đề thách thức tính toán để lập ánh xạ sản phẩm f ngƣời dùng đến vector nhân tố qi , pu  R Dựa vào công thức (3.10) ta có 31 thể dễ dàng ƣớc tính đánh giá ngƣời dùng cung cấp cho bất k sản phẩm Q trình phân tích ma trận xảy vấn đề tổn thất Giá trị tổn thất L đƣợc tính dựa sản phẩm đƣợc ngƣời dùng đánh giá, Giá trị trung bình hàm tổn thất nhỏ tính hiệu mơ hình đƣợc đánh giá cao ngƣợc lại: [8] L  ( u ,i )K (rui  qiT pu )2 λ(|| qi ||2 || pu ||2 ) (3.11) Trong K tập ngƣời dùng – sản phẩm (u,i) mà ta biết đánh giá rui Hằng số λ số dƣơng dùng để làm mịn sai số  Phƣơng pháp sử dụng đặc trƣng ƣu tiên (Biased Matrix Factorization ) Một lợi ích cách tiếp cận thừa số hóa ma trận lọc cộng tác tính linh hoạt việc xử lý khía cạnh liệu khác yêu cầu ứng dụng cụ thể khác Công thức 3.10) cố gắng nắm bắt tƣơng tác ngƣời dùng sản phẩm để tạo giá trị đánh giá khác Tuy nhiên, nhiều biến thể đƣợc quan sát thấy giá trị xếp hạng hiệu ứng liên quan đến ngƣời dùng sản phẩm, đƣợc gọi đặc trƣng ƣu tiên (biases intercepts), đặc trƣng không phụ thuộc vào tƣơng tác Ví dụ: số hệ thống lớn, số ngƣời dùng có xếp hạng cao ngƣời khác số sản phẩm có xu hƣớng đƣợc xếp hạng cao so với sản phẩm khác Do đó, thấy số sản phẩm đƣợc xem tốt tồi tệ số sản phẩm khác Chính vậy, ta xác định thêm thành phần đặc trƣng ƣu tiên vào đặc trƣng ngƣời dùng đặc trƣng sản phẩm để mơ hình hóa Mơ hình hóa xấp x đặc trƣng ƣu tiên đƣợc tính nhƣ sau: bui  μ  bi  bu (3.12) 32 Trong đó: + bui thành phần đặc trƣng ƣu tiên ngƣời dùng u sản phẩm i + µ đánh giá trung bình tổng thể + bu bi lần lƣợt sai lệch tƣơng ứng với giá trị trung bình ngƣời dùng u sản phẩm i Ví dụ, giả sử ƣớc tính bậc cho ngƣời dùng đánh giá thuê bao X dịch vụ MCA, đánh giá trung bình tất dịch vụ VAS tiện ích 3,5 (  =3,5) MCA đƣợc đánh giá tốt so với dịch vụ trung bình, có xu hƣớng đƣợc đánh giá mức trung bình 0,2 Mặt khác, X ngƣời dùng đặc trƣng, có xu hƣớng đánh giá thấp so với mức đánh giá trung bình 0,1 Nhƣ vậy, ƣớc tính đánh giá cho dịch vụ MCA X 3,6 (3,5+0,2-0,1) Áp dụng vào cơng thức (3.10) ta có cơng thức tính ƣớc lƣợng đánh giá sử dụng đặc trƣng ƣu tiên nhƣ sau: r ui  μ  bi  bu  qiT pu (3.13) Từ ta có hàm mát 3.10 trở thành: p*q*b*  ( u ,i )K (rui  μ  bi  bu  qiT pu )2  λ(|| pu ||2  || pi ||2 bu  bi ) (3.14) 3.4 Tiêu chuẩn đánh giá[4] Một giả thiết hệ thống khuyến nghị hệ thống cung cấp dự đốn xác ƣa thích tin cậy ngƣời dùng với hệ thống nhiều Chính mà độ xác dự đoán trở thành tiêu chí việc đánh giá thuật tốn hệ thống khuyến nghị Có nhiều tiêu chuẩn đánh giá nhƣ: MAE, RMSE, CBD, AUC … Tuy nhiên phổ biến tiêu chuẩn MAE RMSE 33 3.4.1 Mean absolute error (MAE) Một phƣơng pháp đơn giản để đo chất lƣợng khuyến nghị đo lƣờng sai số tuyệt đối trung bình MAE , đơi đƣợc gọi độ lệch tuyệt đối Phƣơng pháp ch đơn giản mang ý nghĩa khác biệt tuyệt đối m i dự đoán xếp hạng cho tất xếp hạng đƣợc giữ lại ngƣời dùng tập kiểm tra, MAE đƣợc tính nhƣ sau: n MAE   | rui  r ui | n u 1 (3.15) Trong đó: + rui đánh giá thực tế ngƣời dùng u cho sản phẩm i + r ui đánh giá dự đoán ngƣời dùng u cho sản phẩm i (do hệ thống khuyến nghị đƣa + n tổng số dự đoán đánh giá 3.4.2 Root mean square error (RMSE) Sai số bình phƣơng trung bình RMSE biện pháp liên quan có ảnh hƣởng việc nhấn mạnh nhiều vào l i lớn Nó đƣợc tính nhƣ MAE, nhƣng bình phƣơng l i trƣớc cộng tổng lại: RMSE  (rui  r ui )2  n u ,i (3.16) Trong đó: + rui đánh giá thực tế ngƣời dùng u cho sản phẩm i + r ui đánh giá dự đoán ngƣời dùng u cho sản phẩm i (do hệ thống khuyến nghị đƣa + n tổng số dự đoán đánh giá 34 3.4.3 Normalized Mean absolute error (NMAE) MAE có tỷ lệ đánh giá ban đầu, ví dụ đánh giá thang đƣợc biểu diễn số nguyên đoạn [1,5 , MAE 0,7 có nghĩa thuật tốn trung bình bị giảm 0,7 Điều hữu ích cho việc hiểu kết ngữ cảnh cụ thể, nhƣng làm cho việc so sánh kết liệu khó khăn chúng có phạm vi đánh giá khác sai số 0,7 có ý nghĩa xếp hạng [1,5 chúng [-10,10 Do đó, L i tuyệt đối trung bình đƣợc bình thƣờng hóa Normalized Mean absolute error - NMAE) đƣợc sử dụng để giải thiếu hụt NMAE chuẩn hóa l i cách phân chia theo phạm vi xếp hạng rhigh rlow xếp hạng tối đa tối thiểu hệ thống , kết số khoảng [0,1 cho tất thang đánh giá: n NMAE  | rui  r ui |  n(rhigh  rlow ) u 1 (3.17) Trong đó: + rui đánh giá thực tế ngƣời dùng u cho sản phẩm i + r ui đánh giá dự đoán ngƣời dùng u cho sản phẩm i (do hệ thống khuyến nghị đƣa + n tổng số dự đoán đánh giá Kết NMAE khó giải thích quy mơ xếp hạng ban đầu nhƣng sử dụng để so sánh đƣợc thang đánh giá khác Do chúng hữu ích việc đo lƣờng kết liệu có có đặc trƣng khác 35 CHƢƠNG 4: THỰC NGHIỆM V Đ NH GI Mục tiêu chƣơng thực giải pháp KNN giải pháp thừa số hóa ma trận tập liệu mô thuê bao di động đăng ký dịch vụ VAS Các kết thu đƣợc dùng để làm so sánh đánh giá hiệu hai thuật toán việc xây dựng hệ thống khuyến nghị sản phẩm dịch vụ VAS KNN phƣơng pháp đơn giản chạy nhanh, tỏ hiệu liệu lớn có nhiều thơng tin Phƣơng pháp MF có độ xác cao phù hợp với tập liệu thƣa 4.1 ữ liệu thực nghiệm Tập liệu sử dụng để thực nghiệm: gồm 123427 xếp hạng từ 7913 ngƣời dùng di động cho 1077 gói cƣớc dịch vụ VAS Dữ liệu đƣợc xây dựng mô từ tập thuê bao sử dụng dịch vụ VAS Viettel Do lí bảo mật thông tin khách hàng nên ngƣời dùng dịch vụ đƣợc mã hóa id ngƣời dùng dịch vụ, đặc trƣng ngƣời dùng đƣợc scale thay đổi Bảng 4.1 danh sách file liệu dùng để thử nghiệm thuật toán: Bảng 4.1 Danh sách file liệu thử nghiệm STT File train Số lƣợng ghi File test Số lƣợng ghi Ghi mf_train_1.txt 109999 mf_test_1.txt 10775 MF fold mf_train_2.txt 110775 mf_test_2.txt 9999 MF fold mf_train_3.txt 110775 mf_test_3.txt 9999 MF fold mf_train_4.txt 110775 mf_test_4.txt 9999 MF fold mf_train_5.txt 110775 mf_test_5.txt 9999 MF fold mf_train_6.txt 110775 mf_test_6.txt 9999 MF fold knn_train_1.txt 45000 knn_test_1.txt 4999 KNN fold knn_train_2.txt 44999 knn_test_2.txt 5000 KNN fold knn_train_3.txt 44999 knn_test_3.txt 5000 KNN fold 10 knn_train_4.txt 44999 knn_test_4.txt 5000 KNN fold 11 knn_train_5.txt 44999 knn_test_5.txt 5000 KNN fold 12 knn_train_6.txt 44999 knn_test_6.txt 5000 KNN fold 36  ữ liệu thử nghiểm phƣơng pháp KNN Trong phƣơng pháp KNN, m i ngƣời dùng có nhiều thuộc tính nhƣ trình bày mục 2.3 Nhƣng phạm vi tiến hành thực nghiệp, chùng ch sử dụng thuộc tính ngƣời dùng tổng tiêu dùng tồng tiền cƣớc mà ngƣời dùng trả cho đầu mục T oạ , ắn t n, VAS Data để tính độ tƣơng tự khách hàng Các doanh thu đƣợc scale đoạn [0, để bảo mật dễ tính tốn M i ngƣời dùng đƣợc biểu diễn dƣới dạng vector U(mobile, sms, vas, data) Thuộc tính sản phẩm khơng đƣợc sử dụng đến phạm vi thử nghiệm + Các file liệu train từ knn_train_1.txt đến knn_train_6.txt test từ knn_test_1.txt đến knn_test_6.txt thử nghiệm lần M i ghi file gồm trƣờng: trƣờng đầu thuộc tính ngƣời dùng, trƣờng cuối mã dịch vụ mà ngƣời dùng sử dụng quy ƣớc khách hàng sử dụng dịch vụ mức đánh giá cho dịch vụ + Tập thuộc tính ngƣời dùng I = { mobile, sms, vas, data } trƣờng đầu file liệu , lúc k=4 Ví dụ ta có ngƣời dùng u(0.2, 0.5, 0, 0.1) v(0.3, 0.2, 01, 0.5), khoảng cách u v tính theo cơng thức 3.3 nhƣ sau:  d Euclidean (u, v)  k  (I i 1 ui  I vi )  (0.2  0.3)  (0.5  0.2)  (0  0.1)  (0.1  0.5)2  0.519615 + Sau tính đƣợc khoản cách ngƣời dùng, ta tìm K ngƣời dùng gần nhất, từ tính ƣớc lƣợc đánh giá ngƣời dùng theo công thức 3.6 3.7 Cuối ta so sánh ƣớc lƣợng đánh giá tính đƣợc với đánh giá thực tế ngƣời dùng với dịch vụ 37 sử dụng quy ƣớc cho mã dịch vụ - trƣờng số file knn_test_x.txt) Bảng 4.2 Dữ liệu thử nghiệm thuật toán KNN  Total_mobile Total_sms Total_vas Total_data Service_id 0.0013 0.0096 0.0796 1255 0.0117 0.0619 1276 0.1602 0.018 0.0036 0.0619 57 0.0804 0.041 0.0041 0.292 130 0.0002 0.0099 0.0637 704 0.0895 0.0156 0 61 ữ liệu thử nghiểm phƣơng pháp MF Trong phƣơng pháp MF, liệu sử dụng để thử nghiệm ma trận R sử dụng dịch vụ VAS thuê bao di động, rij = tức ngƣời dùng i sử dụng dịch vụ VAS j:  Bảng 4.3 Ma trận sử dụng dịch vụ VAS p1 p2 p3 p4 … pm u1 ? ? ? ? ? u2 ? ? ? ? u3 ? ? ? ? … ? ? ? ? un 5 ? ? ? + Các file liệu train từ mf_train_1.txt đến mf_train_6.txt) test từ mf_test_1.txt đến mf_test_6.txt thuật toán MF Cấu trúc 38 file gồm trƣờng mã t u o độn (khách hàng), mã v mà thuê bao dùng dịch vụ sản phẩm , đ n thuê bao với dịch vụ mà họ dùng khơng có liệu th bao rating dịch vụ họ dùng, nên quy ƣớc thuê bao dùng dịch vụ đánh giá cho dịch vụ Bảng 4.4 Dữ liệu thử nghiệm thuật tốn MF Ma_tb Ma_dv Rating 16213 63 234715 85 105976 83 228791 57 Tập liệu đƣợc tạo với mục đích phục vụ cho việc nghiên cứu lọc cộng tác dự đoán đánh giá Dữ liệu đƣợc trích lọc cho thuê bao sử dụng từ 12 dịch vụ trở lên m i dịch vụ có nhiều ngƣời dùng 4.2 Phƣơng pháp thực nghiệm 4.2.1 Mơi trƣờng thực nghiệm - Cấu hình máy: Chip Intel R Core i3, Ram 2GB, 32-bit - Cơng cụ h trợ: thuật tốn đƣợc chạy Python 2.7, cmd Windows - Tập liệu sử dụng để thực nghiệm: gồm 123427 xếp hạng từ 7913 ngƣời dùng di động cho 1077 gói cƣớc dịch vụ VAS Dữ liệu đƣợc xây dựng mô từ tập thuê bao sử dụng dịch vụ VAS Viettel - Các phƣơng pháp tham gia thực nghiệm: phƣơng pháp KNN phƣơng pháp MF - Tiêu chuẩn đánh giá: giá trị RMSE 4.2.2 Phƣơng pháp tiến hành thực nghiệm Hai thuật toán KNN MF đƣợc cài đặt ngôn ngữ Python, sử dụng thƣ viện đại số ma trận tuyến tính numpy, học máy sklearn để tính tốn 39 Thuật tốn KNN: 1: Nạp liệu huấn luyện liệu kiểm tra vào mảng train_set test_set, chọn số K 2: for u in test_set Mảng neighbors = getNeighbor(train_set, K) // cơng thức Euclidean (3.3) để tính K láng giềng gần u r u = getRate(neighbors) // công thức (3.6) để tính ước lược đánh giá 3: Tính RMSE // theo công thức (3.16) để đánh giá kết Thuật toán MF: 1: Nạp liệu huấn luyện kiểm tra vào mảng train_set test_set, chọn số λ , K 2: Sử dụng thư viện pandas để ma trận hóa tập huấn luyện train_set 3: Sử dụng thư viện numpy để tách ma trận train_set thành ma tích hai ma trận người dùng U sản phẩm P 4: Sử dụng Gradient descent để giảm mát U P 5: for (u, i) in test_set r ui = Uu x Pi // tính ước lược đánh giá u với i 6: Tính RMSE // theo công thức (3.16) để đánh giá kết Chúng sử dụng cách đánh giá Cross-Validation Chia liệu làm tập, thực lần: lấy tập làm tập test, tập lại dùng để huấn luyện, sau lấy kết trung bình Thuật toán KNN thực huấn luyện tập knn_train_n.txt kiểm tra tập knn_test_n.txt tƣơng ứng n = 1, 2…6 Thuật toán MF thực huấn luyện tập mf_train_n.txt kiểm tra tập mf_test_n.txt tƣơng ứng n = 1, 2…6 Với m i phƣơng pháp, thu hồi đƣợc giá trị RMSE tƣơng ứng Giá trị trung bình RMSE tb kết đƣợc dùng để để dánh giá thuật toán 40 4.3 Kết thực nghiệm Sau tiến hành thực nghiệm, thu đƣợc kết nhƣ sau: Bảng 4.5 Kết RMSE ứng với liệu Phƣơng pháp Bộ liệu Bộ liệu Bộ liệu Bộ liệu Bộ liệu Bộ liệu RMSEtb KNN 4.911679 4.914127 4.912884 4.914404 4.915279 4.911859 4.913372 MF 1.172562 1.144632 1.131938 1.165666 1.120762 1.141586 1.146191 STT 4.4 So sánh đánh giá kết thực nghiệm Phƣơng pháp KNN cho sai số RMSE lớn, điều cho thấy liệu tiêu dùng thuê bao thoại, sms, vas, data khơng phải yếu tố có giá trị việc thuê bao đăng ký sử dụng dịch vụ VAS hay không Phƣơng pháp thừa số hoa ma trận cho kết tốt nhiều so với phƣơng pháp KNN, kết nhỏ so với độ thƣa thớt liệu Nhƣ phƣơng pháp phù hợp với việc xây dựng hệ thống khuyến nghị dịch vụ VAS Hình 4.1 Biểu đồ so sánh RMSE phƣơng pháp KNN MF 41 K T LUẬN Kết đạt đƣợc: - Nghiên cứu hệ thống khuyến nghị, kỹ thuật, thuật toán đƣợc sử dụng để xây dựng hệ thống khuyến nghị sản phẩm - Xây dựng đặc trƣng toán khuyến nghị cho dịch vụ VAS ngành Viễn thông - Tìm hiểu áp dụng, thử nghiệm hai phƣơng pháp học máy KNN MF vào toàn khuyến nghị dịch vụ VAS Hƣớng nghiên cứu luận văn: - Thử nghiệm nhiều đặc trƣng toán khuyến nghị VAS thuật toán KNN kết tốt - Kết hợp lọc cộng tác với lọc nội dung, áp dụng thêm deep learning - Thử nghiệm tƣ vấn số dịch vụ VAS cụ thể để đánh giá kết thực tế 42 T I LIỆU TH M KHẢO [1] Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl, Item-Based Collaborative Filtering Recommendation Algorithms, University of Minnesota, Minneapolis, MN 55455 [2] Francesco Ricci, Lior Rokach, Bracha Shapira, Paul B Kantor, Recommender Systems Handbook, Springer, 2011 [3] Markus Freitag, Jan-Felix Schwarz, Matrix Factorization Techniques For Recommender Systems, University Potsdam, 2011 [4] Michael D.Ekstrand, John T Riedl, Joseph A Konstan, Collaborative Filtering Recommender Systems, University of Minnesota, 2011 [5] ZhaYefei, Trust and Recommender System, 2013 Địa ch : http://www.slideshare.net/zhayefei/trust-recsys [6] Zheng Wen, Recommendation System Based on Collaborative Filtering, 2008 [7] Jonathan L Herlcocker, Joseph A Konstan, Loren G Terveen, and John T Riedl, Evaluating Collaborative Filtering Recommender Systems, Oregon State University and University of Minnesota, 2004 [8] Yehuda Koren, Robert Bell and Chris Volinsky, Matrix factorization techniques for recommender system, IEEE Computer, 2009 [9] Shameem Ahamed Puthiya Parambath, Matrix Factorization Methods for Recommender Systems, Master's Thesis in Computing Science, 2013 [10] Shuai Zhang, Lina Yao, Aixin Sun, Deep Learning based Recommender System: A Survey and New Perspectives, University of New South Wales, Nanyang Technological University, 2017 [11] Guy Shani and Asela Gunawardana, Evaluating Recommendation Systems, 2011 [12] Kilian Q Weinberger, John Blitzer and Lawrence K Sau, Distance Metric Learning for Large Margin Nearest Neighbor Classification, Department of Computer and Information Science, University of Pennsylvania, 2006 [13] Tong Zhao, Julian McAuley, Irwin King, Improving Latent Factor Models via Personalized Feature Projection for One Class Recommendation, The Chinese 43 University of Hong Kong, Department of Computer Science and Engineering, UC San Diego, La Jolla, CA, USA 2015 [14] Information Technology Professional Forum (ITPF), Prepare Regulatory Framework for Mobile Value Added Service (MVAS), Nepal Telecommunications Authority, 2016 [15] Digambar Jha, Consultation Paper on Licensing Provisions to Open Mobile Value Added Services in Nepal, Nepal Telecommunications Authority Kamaladi, Kathmandu Nepal, 2017 [16] Ths Nguyễn Văn Đát, Ths Nguyễn Thị Thu Hằng, Ks Lê Sỹ Đạt, Ks Lê Hải Châu, Tổn qu n v n t n , Học viện Cơng nghệ Bƣu viễn thơng, 2007 [17] Amit K Mogal, Wireless Mobile Communication - A Study of 3G Technology, Department of Computer Science, CMCS College, Nashik-13, 2012 ... trị gia tăng thƣờng dịch vụ phụ thuộc vào Trong sơ trƣờng hợp, dịch vụ giá trị gia tăng đƣợc cung cáp cho khách hàng mà khơng có phí phát sinh Trong số trƣờng hợp khác, dịch vụ giá trị gia tăng. .. suốt q trình học tập hồn thành luận văn Bài luận văn đƣợc thực khoảng thời gian 06 tháng Bƣớc đầu vào thực tế, tìm hiểu lĩnh vực Khai phá liệu Dịch vụ giá trị gia tăng, kiến thức em nhiều hạn chế... Tổng quan V S Các dịch vụ giá trị gia tăng có tên Tiêng Anh Value Added Services VAS Các dịch vụ giá trị gia tăng thuật ngữ đƣợc sử dụng để ch dịch vụ phụ trợ cho dịch vụ Thuật ngữ đƣợc sử dụng