Luận văn thạc sĩ VNU UET nghiên cứu và xây dựng hệ thống khuyến nghị cho bài toán dịch vụ giá trị gia tăng trong ngành viễn thông luận văn ths máy tính 604801

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ KIỀU XUÂN CHẤN NGHIÊN CƢ́U VÀ XÂY DƢ̣NG HỆ THỐNG KHUYẾN NGHỊ CHO BÀI TOÁN DỊCH VỤ GIÁ TRỊ GIA TĂNG TRONG NGÀ NH VIỄN THÔNG LUẬN VĂN THẠC SĨ Hà Nội - 2017 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ KIỀU XUÂN CHẤN NGHIÊN CƢ́U VÀ XÂY DƢ̣NG HỆ THỐNG KHUYẾN NGHI ̣ CHO BÀ I TOÁN DICH VỤ GIÁ TRI ̣ GIA TĂNG TRONG ̣ NGÀNH VIỄN THƠNG Ngành: Cơng nghệ thơng tin Chun ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN KHOA HỌC: TS Nguyễn Văn Vinh TS Nguyễn Hoàng Quân Hà Nội - 2017 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CAM ĐOAN Tơi xin cam đoan tồn nội dung luận văn “ Nghiên cứu và xây dựng ̣ thố ng khuyế n nghi ̣ cho bài toán di ̣ch vụ giá tri ̣ gia tăng ngành Viễn thông.” tơi tìm hiểu, nghiên cứu, tham khảo tổng hợp từ nguồn tài liệu khác làm theo hƣớng dẫn ngƣời hƣớng dẫn khoa học Các nguồn tài liệu tham khảo, tổng hợp có nguồn gốc rõ ràng trích dẫn theo quy định Tơi xin chịu hồn tồn trách nhiệm lời cam đoan Nếu có điều sai trái, tơi xin chịu hình thức kỷ luật theo quy định Hà Nội, tháng 11 năm 2017 Ngƣời cam đoan Kiều Xuân Chấn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CẢM ƠN Trƣớc hết em xin gửi lời cảm ơn chân thành đến thầy cô Khoa Công Nghệ Thông Tin - trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội nhiệt tình tâm huyết truyền đạt cho em kiến thức quý báu suốt thời gian học tập trƣờng Em xin gửi lời cảm ơn sâu sắc đến TS Nguyễn Văn Vinh, TS Nguyễn Hoàng Quân nhiệt tình, tận tâm định hƣớng, hƣớng dẫn cho em lời khun bổ ích để em hồn thành luận văn tốt nghiệp Cuối cùng, em xin cảm ơn gia đình, bạn bè ln động viên ủng hộ em suốt q trình học tập hồn thành luận văn Bài luận văn đƣợc thực khoảng thời gian 06 tháng Bƣớc đầu vào thực tế, tìm hiểu lĩnh vực Khai phá liệu Dịch vụ giá trị gia tăng, kiến thức em nhiều hạn chế nhiều bỡ ngỡ, nên khơng tránh khỏi thiếu sót Em mong nhận đƣợc ý kiến đóng góp quý báu từ phía q thầy bạn để luận văn đƣợc hoàn thiện Hà Nội, tháng 11 năm 2017 Học viên Kiều Xuân Chấn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN LỜI NÓI ĐẦU CHƢƠNG TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 1.1 Giới thiệu chung 1.2 Bài toán khuyến nghị 10 1.3 Các hƣớng tiếp cận 11 1.4 Chức 14 CHƢƠNG PHÂN TÍCH BÀI TỐN DỊCH VỤ VAS 15 2.1 Tổng quan VAS 15 2.2 Phân loại dịch vụ VAS 16 2.2.1 Các dịch vụ 16 2.2.2 Các dịch vụ tiện ích 16 2.2.3 Các dịch vụ DATA 17 2.3 Đặc trƣng toán khuyến nghị VAS 19 CHƢƠNG MỘT SỐ KỸ THUẬT CHO HỆ THỐNG KHUYẾN NGHỊ 22 3.1 Lọc cộng tác dựa nhớ 22 3.1.1 Một số phƣơng pháp tính độ đo tƣơng tự 23 3.1.2 Phƣơng pháp K- láng giềng gần (KNN) 24 3.2 Lọc cộng tác dựa mơ hình 27 3.3 Mơ hình nhân tố ẩn 27 3.3.1 Phƣơng pháp thừa số hóa ma trận (Matrix factorization – MF) 28 3.4 Tiêu chuẩn đánh giá 32 3.4.1 Mean absolute error (MAE) 33 3.4.2 Root mean square error (RMSE) 33 3.4.3 Normalized Mean absolute error (NMAE) 34 CHƢƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 35 4.1 Dữ liệu thực nghiệm 35 4.2 Phƣơng pháp thực nghiệm 38 4.2.1 Môi trƣờng thực nghiệm 38 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4.2.2 Phƣơng pháp tiến hành thực nghiệm 38 4.3 Kết thực nghiệm 40 4.4 So sánh đánh giá kết thực nghiệm 40 KẾT LUẬN 41 TÀI LIỆU THAM KHẢO 42 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com BẢNG KÝ HIỆU CÁC CHỮ VIẾT TẮT STT Ký hiệu Diễn giải Tiếng Việt I Item Sản phẩm GD Gradient descent Giảm độ lệch KNN K-nearest neighbor K- láng giềng gần MF Matrix factorization Thừa số hóa ma trận MAE Mean absolute error Sai số tuyệt đối trung bình NMAE Normalized Mean absolute error Bình thƣờng hóa sai số tuyệt đối trung bình R Rating Đánh giá RMSE Root mean square error Căn bậc hai sai số bình phƣơng trung bình RS Recommender System Hệ thống khuyến nghị 10 U User Ngƣời dùng 11 VAS Value-added service Dịch vụ giá trị gia tăng 12 SMS Short Messaging Services Dịch vụ tin nhắn ngắn 13 USSD Unstructured Supplementary Dịch vụ liệu bổ sung phi Service Data cấu trúc 14 SIM Subscriber Identity Module Mô dun nhận dạng ngƣời dùng 15 IVR Interactive Voice Response Phản hồi tƣơng tác giọng nói 16 STK SIM Application Toolkit Bộ công cụ ứng dụng SIM 17 ID Identification Định danh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com DANH MỤC CÁC BẢNG STT Tên bảng Trang Bảng 3.1 Ma trận đánh giá dày đặc 29 Bảng 3.2 Ma trận đánh giá thƣa thớt 29 Bảng 4.1 Danh sách file liệu thử nghiệm 35 Bảng 4.2 Dữ liệu thử nghiệm thuật toán KNN 37 Bảng 4.3 Ma trận sử dụng dịch vụ VAS 37 Bảng 4.4 Dữ liệu thử nghiệm thuật toán MF 38 Bảng 4.5 Kết RMSE ứng với liệu 40 DANH MỤC CÁC HÌNH STT Tên hình Trang Hình 1.1 Ví dụ hệ thống khuyến nghị Amazon Hình 1.2 Ví dụ mơ hình kỹ thuật lọc dựa theo nội dung 12 Hình 2.1 Các dịch vụ VAS ngành Viễn thông 15 Hình 2.2 Dịch vụ MCA Viettel 16 Hình 2.3 Ví dụ dịch vụ Bankplus Viettel 19 Hình 2.4 Một số thơng tin ngƣời dùng Viễn thơng 20 Hình 3.1 Ví dụ mơ hình nhân tố ẩn 28 Hình 3.2 Ví dụ minh họa phƣơng pháp thừa số hóa ma trận 30 Hình 4.1 Biểu đồ so sánh RMSE phƣơng pháp KNN MF 40 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI NÓI ĐẦU Tƣ vấn , khuyến nghị sản phẩm hỗ trợ khách hàng mua sắm , sƣ̉ du ̣ng dịch vụ quan trọng ảnh hƣởng trực tiếp tới doanh thu lợi nhuận doanh nghiệp Các hệ thống khuyến nghị đƣợc sử dụng nhiều , đă ̣c biê ̣t thƣơng ma ̣i điê ̣n tƣ̉ (eBay, Amazon ) mạng xã hội (Facebook, Instagram ) Dịch vụ giá trị gia tăng (viết tắt VAS, tiếng anh Value-added service) thuật ngữ phổ biến dùng lĩnh vực công nghiệp viễn thông, VAS đƣợc biết đến dịch vụ gọi, fax Đối với điện thoại di động dịch vụ ngồi gọi (thoại) dịch vụ khác ví dụ SMS, nhạc chờ, dịch vụ Data nhƣ GPRS hay 3g điều đƣợc xem dịch vụ giá trị gia tăng Tâ ̣p khách hàng sử dụng viễn thông tập khách hàng lớn Việt Nam (hơn 100 triê ̣u thuê bao cả nhà mạng lớn Viettel , Vina, Mobiphone) Hiện dịch vụ VAS phát triển mạnh , doanh thu lớn , chiếm tỉ lệ lớn tổng doanh thu nhà mạng Riêng Viettel đã có khoảng 300 dịch vụ VAS, viê ̣c lƣ̣a cho ̣n dich ̣ vu ̣ phù phơ ̣p cho khách hàng trở nên cƣ̣c kỳ quan tro ̣ng Hiện nay, phần lớn hệ thống khuyến nghị phát triển dựa vào lọc cộng tác dựa ba phƣơng pháp chiń h filtering), Lọc dựa cộng tác : Lọc dựa nội dung (Content-based (Collaborative Filtering ) kết hợp phƣơng pháp Lọc dựa nội dung l phƣơng pháp tƣ vấn dịch vụ dƣ̣a nô ̣i dung của sản phầ m , lịch sử sử dụng dịch vụ ngƣời dùng Lọc dƣ̣a cô ̣ng tác là phƣơng pháp tƣ vấ n dich ̣ vu ̣ cho ngƣời dùng dƣ̣a lich ̣ sƣ̉, đánh giá về sản phẩ m /dịch vụ ngƣời dùng khác có đặc điểm với ngƣời dùng cầ n tƣ vấ n Vì luận văn này, nghiên cứu và ƣ́ng du ̣ng mô ̣t số phƣơng pháp lọc phƣơng pháp để áp du ̣ng cho bài toán dich ̣ vu ̣ VAS ngày V iễn thơng Nội dung luận văn bao gồm đề sau: Vấn đề 1: Tìm hiểu hệ thống khuyến nghị (Recommender System) Vấn đề 2: Tìm hiểu, phân tích bài toán khuyế n nghi ̣cho dich ̣ vu ̣ VAS LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Vấn đề 3: Phân tích, tìm hiểu s ố phƣơng pháp, kỹ thuật sử dụng để xây dƣ̣ng ̣ thố ng khuyế n nghi ̣cho bài toán dich ̣ vu ̣ VAS Vấn đề 4: Xây dựng hệ thống thử nghiệm demo chƣơng trình Cụ thể vấn đề đƣợc làm rõ chƣơng 1, giới thiệu chung hệ thống khuyến nghị, cần thiết, hiệu đem lại mơ hình hệ thống khuyến nghị Chƣơng giải vấn đề 2, giới thiệu dịch vụ VAS ngành Viễn thơng, phân tích tốn Chƣơng tìm hiểu số mơ hình, kỹ thuật áp dụng vào toán VAS Và cuối cùng, phần thử nghiểm chƣơng trình đƣợc trình bày chƣơng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 29 Bảng 3.1 Ma trận đánh giá dày đặc p1 p2 p3 p4 … pm u1 … u2 5 … u3 4 … … … … … … … … … un Trong thƣ̣c tế , tâ ̣p ngƣời dùng tập sản phẩm lớn , số lƣơ ̣ng đánh giá sản phẩm ngƣời dúng nhỏ so với số sản phẩm (có nhiều sản phẩ m khơng đƣơ ̣c ngƣời dùng đánh giá ), đó ma trâ ̣n đánh giá thƣ̣c tế có rấ t nhiề u giá trị rij =  Ta có ma trâ ̣n đánh giá thƣa thớt: Bảng 3.2 Ma trận đánh giá thƣa thớt p1 p2 p3 p4 … pm u1  …  u2   … u3  … … … … … … … … un  … Vì ma trận đánh giá R thƣờng lớn thƣa thớt, nên viê ̣c dƣ̣ đoán giá tri ̣ phần tử rij =  gă ̣p nhiề u khó khăn Để giải vấn đề này, phƣơng pháp thừa số hóa ma trận đƣợc xem phƣơng pháp hữu hiệu Nó đƣợc sử dụng phổ biến hệ khuyến nghị có hiệu suất cao chất lƣợng khuyến nghị khả mở rộng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 30  Phƣơng pháp thƣ̀a số hóa ma trâ ̣n Phƣơng pháp thừa số hóa ma trận thành cơng mơ hình nhân tố ẩn Nó cho phép kết hợp thơng tin có với thơng tin bổ sung Khi thơng tin phản hồi rõ ràng khơng có sẵn, hệ thống tƣ vấn suy sở thích ngƣời dùng cách sử dụng thông tin phản hồi ngầm gián tiếp phản ánh ý kiến cách quan sát hành vi ngƣời dùng Phƣơng pháp thƣ̀a số hóa ma trâ ̣n ánh xa ̣ ngƣời dùng và sản phẩ m vào mô ̣t không gian f chiề u R f, sƣ̣ tƣơng tác giƣ̃a ngƣời dùng và sản phẩ m đƣơ ̣c mơ hình hóa khơng gian Khi đó , mỗi sản phẩ m i đƣơ ̣c liên kế t với mô ̣t vector sản phẩ m qi  R f , mỗi ngƣời dùng u đƣơ ̣c liên kế t với mô ̣t v ector ngƣời dùng pu  R f Đối với sản phẩm i, yếu tố qi đo mƣ́c đô ̣ tić h cƣ̣c hay tiêu cƣ̣c của sản phẩ m đó Đối với ngƣời dùng u nhấ t đinh ̣ , yếu tố pu đo lƣờng mƣ́c đô ̣ quan tâm của ngƣời dún g đó với các sản phẩ m về các yế u tố tích cƣ̣c hay tiêu cƣ̣c tƣơng ƣ́ng Tích vector sản phẩm vector ngƣời dùng qiT pu mô phỏng mố i tƣơng tác giƣ̃a ngƣời dùng u sản phẩm i Ta có ƣớc tính đánh giá của u đố i với sản phẩ m I nhƣ sau: [8] rui  qiT pu (3.10) Hình 3.2 Ví dụ minh họa phƣơng pháp thừa số hóa ma trận, x32 = (a,b,c)*(x,y,z) Vấn đề thách thức tính tốn để lập ánh xạ sản phẩm f ngƣời dùng đến vector nhân tố qi , pu  R Dựa vào cơng thức (3.10) ta có LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 31 thể dễ dàng ƣớc tính đánh giá ngƣời dùng cung cấp cho sản phẩm Quá trình phân tích ma trận xảy vấn đề tổn thất Giá trị tổn thất L đƣợc tính dựa sản phẩm đƣợc ngƣời dùng đánh giá, Giá trị trung bình hàm tổn thất nhỏ tính hiệu mơ hình đƣợc đánh giá cao ngƣợc lại: [8] L  ( u ,i )K (rui  qiT pu )2 λ(|| qi ||2 || pu ||2 ) (3.11) Trong K tập ngƣời dùng – sản phẩm (u,i) mà ta biết đánh giá rui Hằng số λ số dƣơng dùng để làm mịn sai số  Phƣơng pháp sử dụng đặc trƣng ƣu tiên (Biased Matrix Factorization ) Một lợi ích cách tiếp cận thừa số hóa ma trận lọc cộng tác tính linh hoạt việc xử lý khía cạnh liệu khác yêu cầu ứng dụng cụ thể khác Công thức (3.10) cố gắng nắm bắt tƣơng tác ngƣời dùng sản phẩm để tạo giá trị đánh giá khác Tuy nhiên, nhiều biến thể đƣợc quan sát thấy giá trị xếp hạng hiệu ứng liên quan đến ngƣời dùng sản phẩm, đƣợc gọi đặc trƣng ƣu tiên (biases intercepts), đặc trƣng không phụ thuộc vào tƣơng tác Ví dụ: số hệ thống lớn, số ngƣời dùng có xếp hạng cao ngƣời khác số sản phẩm có xu hƣớng đƣợc xếp hạng cao so với sản phẩm khác Do đó, thấy số sản phẩm đƣợc xem tốt (hoặc tồi tệ hơn) số sản phẩm khác Chính vậy, ta xác định thêm thành phần đặc trƣng ƣu tiên vào đặc trƣng ngƣời dùng đặc trƣng sản phẩm để mơ hình hóa Mơ hình hóa xấp xỉ đặc trƣng ƣu tiên đƣợc tính nhƣ sau: bui  μ  bi  bu (3.12) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 32 Trong đó: + bui thành phần đặc trƣng ƣu tiên ngƣời dùng u sản phẩm i + µ đánh giá trung bình tổng thể + bu bi lần lƣợt sai lệch tƣơng ứng với giá trị trung bình ngƣời dùng u sản phẩm i Ví dụ, giả sử ƣớc tính bậc cho ngƣời dùng đánh giá thuê bao X dịch vụ MCA, đánh giá trung bình tất dịch vụ VAS tiện ích 3,5 (  =3,5) MCA đƣợc đánh giá tốt so với dịch vụ trung bình, có xu hƣớng đƣợc đánh giá mức trung bình 0,2 Mặt khác, X ngƣời dùng đặc trƣng, có xu hƣớng đánh giá thấp so với mức đánh giá trung bình 0,1 Nhƣ vậy, ƣớc tính đánh giá cho dịch vụ MCA X 3,6 (3,5+0,2-0,1) Áp dụng vào công thức (3.10) ta có cơng thức tính ƣớc lƣợng đánh giá sử dụng đặc trƣng ƣu tiên nhƣ sau: r ui  μ  bi  bu  qiT pu (3.13) Từ ta có hàm mát (3.10) trở thành: p*q*b*  ( u ,i )K (rui  μ  bi  bu  qiT pu )2  λ(|| pu ||2  || pi ||2 bu  bi ) (3.14) 3.4 Tiêu chuẩn đánh giá[4] Một giả thiết hệ thống khuyến nghị hệ thống cung cấp dự đốn xác ƣa thích tin cậy ngƣời dùng với hệ thống nhiều Chính mà độ xác dự đốn trở thành tiêu chí việc đánh giá thuật tốn hệ thống khuyến nghị Có nhiều tiêu chuẩn đánh giá nhƣ: MAE, RMSE, CBD, AUC … Tuy nhiên phổ biến tiêu chuẩn MAE RMSE LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 33 3.4.1 Mean absolute error (MAE) Một phƣơng pháp đơn giản để đo chất lƣợng khuyến nghị đo lƣờng sai số tuyệt đối trung bình (MAE) , đơi cịn đƣợc gọi độ lệch tuyệt đối Phƣơng pháp đơn giản mang ý nghĩa khác biệt tuyệt đối dự đoán xếp hạng cho tất xếp hạng đƣợc giữ lại ngƣời dùng tập kiểm tra, MAE đƣợc tính nhƣ sau: n MAE   | rui  r ui | n u 1 (3.15) Trong đó: + rui đánh giá thực tế ngƣời dùng u cho sản phẩm i + r ui đánh giá dự đoán ngƣời dùng u cho sản phẩm i (do hệ thống khuyến nghị đƣa ra) + n tổ ng số dƣ̣ đoán đánh giá 3.4.2 Root mean square error (RMSE) Sai số bình phƣơng trung bình (RMSE) biện pháp liên quan có ảnh hƣởng việc nhấn mạnh nhiều vào lỗi lớn Nó đƣợc tính nhƣ MAE, nhƣng bình phƣơng lỗi trƣớc cô ̣ng tổ ng la ̣i: RMSE  (rui  r ui )2  n u ,i (3.16) Trong đó: + rui đánh giá thực tế ngƣời dùng u cho sản phẩm i + r ui đánh giá dự đoán ngƣời dùng u cho sản phẩm i (do hệ thống khuyến nghị đƣa ra) + n tổ ng số dƣ̣ đoán đánh giá LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 34 3.4.3 Normalized Mean absolute error (NMAE) MAE có tỷ lệ đánh giá ban đầu , ví dụ đánh giá thang đƣợc biểu diễn số nguyên đoa ̣n [1,5], MAE 0,7 có nghĩa thuật tốn trung bình bị giảm 0,7 Điều hữu ích cho việc hiểu kết ngữ cảnh cụ thể, nhƣng làm cho việc so sánh kết liệu khó khăn chúng có phạm vi đánh giá khác (sai số 0,7 có ý nghĩa xếp hạng [1,5] chúng [-10,10]) Do đó , Lỗi tuyệt đối trung bình đƣợc bình thƣờng hóa (Normalized Mean absolute error - NMAE) đơi đƣợc sử dụng để giải thiếu hụt NMAE chuẩn hóa lỗi cách phân chia theo phạm vi xếp hạng (rhigh rlow xếp hạng tối đa tối thiểu hệ thống), kết số khoảng [0,1] cho tất thang đánh giá: n NMAE  | rui  r ui |  n(rhigh  rlow ) u 1 (3.17) Trong đó: + rui đánh giá thực tế ngƣời dùng u cho sản phẩm i + r ui đánh giá dự đoán ngƣời dùng u cho sản phẩm i (do hệ thống khuyến nghị đƣa ra) + n tở ng số dự đốn đánh giá Kết NMAE khó giải thích quy mơ xếp hạng ban đầu nhƣng sƣ̉ du ̣ng để so sánh đƣợc thang đánh giá khác Do chúng hữu ích việc đo lƣờng kế t quả của các bô ̣ dƣ̃ liê ̣u có có đă ̣c trƣng khác LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 35 CHƢƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ Mục tiêu chƣơng thực giải pháp KNN giải pháp thừa số hóa ma trận tập liệu mơ thuê bao di động đăng ký dịch vụ VAS Các kết thu đƣợc dùng để làm so sánh đánh giá hiệu hai thuật toán việc xây dựng hệ thống khuyến nghị sản phẩm dịch vụ VAS KNN phƣơng pháp đơn giản chạy nhanh, tỏ hiệu liệu lớn có nhiều thơng tin Phƣơng pháp MF có độ xác cao phù hợp với tập liệu thƣa 4.1 Dữ liệu thực nghiệm Tập liệu sử dụng để thực nghiệm: gồm 123427 xếp hạng từ 7913 ngƣời dùng di động cho 1077 gói cƣớc dịch vụ VAS Dữ liệu đƣợc xây dựng mô từ tập thuê bao sử dụng dịch vụ VAS Viettel Do lí bảo mật thơng tin khách hàng nên ngƣời dùng dịch vụ đƣợc mã hóa id ngƣời dùng dịch vụ, đặc trƣng ngƣời dùng đƣợc scale thay đổi Bảng 4.1 danh sách file liệu dùng để thử nghiệm thuật toán: Bảng 4.1 Danh sách file liệu thử nghiệm STT File train Số lƣợng ghi File test Số lƣợng ghi Ghi mf_train_1.txt 109999 mf_test_1.txt 10775 MF fold mf_train_2.txt 110775 mf_test_2.txt 9999 MF fold mf_train_3.txt 110775 mf_test_3.txt 9999 MF fold mf_train_4.txt 110775 mf_test_4.txt 9999 MF fold mf_train_5.txt 110775 mf_test_5.txt 9999 MF fold mf_train_6.txt 110775 mf_test_6.txt 9999 MF fold knn_train_1.txt 45000 knn_test_1.txt 4999 KNN fold knn_train_2.txt 44999 knn_test_2.txt 5000 KNN fold knn_train_3.txt 44999 knn_test_3.txt 5000 KNN fold 10 knn_train_4.txt 44999 knn_test_4.txt 5000 KNN fold 11 knn_train_5.txt 44999 knn_test_5.txt 5000 KNN fold 12 knn_train_6.txt 44999 knn_test_6.txt 5000 KNN fold LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 36  Dữ liệu thử nghiểm phƣơng pháp KNN Trong phƣơng pháp KNN, ngƣời dùng có nhiều thuộc tính nhƣ trình bày mục 2.3 Nhƣng phạm vi tiến hành thực nghiệp, chùng tơi sử dụng thuộc tính ngƣời dùng tổng tiêu dùng (tồng tiền cƣớc) mà ngƣời dùng trả cho đầu mục Thoại, Nhắn tin, VAS Data để tính độ tƣơng tự khách hàng Các doanh thu đƣợc scale đoạn [0, 1] để bảo mật dễ tính tốn Mỗi ngƣời dùng đƣợc biểu diễn dƣới dạng vector U(mobile, sms, vas, data) Thuộc tính sản phẩm khơng đƣợc sử dụng đến phạm vi thử nghiệm + Các file liệu train từ knn_train_1.txt đến knn_train_6.txt test từ knn_test_1.txt đến knn_test_6.txt (thử nghiệm lần) Mỗi ghi file gồm trƣờng: trƣờng đầu thuộc tính ngƣời dùng, trƣờng cuối mã dịch vụ mà ngƣời dùng sử dụng (quy ƣớc khách hàng sử dụng dịch vụ mức đánh giá cho dịch vụ 5) + Tập thuộc tính ngƣời dùng I = { mobile, sms, vas, data } (4 trƣờng đầu file liệu), lúc k=4 Ví dụ ta có ngƣời dùng u(0.2, 0.5, 0, 0.1) v(0.3, 0.2, 01, 0.5), khoảng cách u v tính theo công thức (3.3) nhƣ sau:  d Euclidean (u, v)  k  (I i 1 ui  I vi )  (0.2  0.3)  (0.5  0.2)  (0  0.1)  (0.1  0.5)2  0.519615 + Sau tính đƣợc khoản cách ngƣời dùng, ta tìm K ngƣời dùng gần nhất, từ tính ƣớc lƣợc đánh giá ngƣời dùng theo cơng thức (3.6) (3.7) Cuối ta so sánh ƣớc lƣợng đánh giá tính đƣợc với đánh giá thực tế ngƣời dùng với dịch vụ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 37 sử dụng (quy ƣớc cho mã dịch vụ - trƣờng số file knn_test_x.txt) Bảng 4.2 Dữ liệu thử nghiệm thuật toán KNN Total_mobile Total_sms Total_vas Total_data Service_id 0.0013 0.0096 0.0796 1255 0.0117 0.0619 1276 0.1602 0.018 0.0036 0.0619 57 0.0804 0.041 0.0041 0.292 130 0.0002 0.0099 0.0637 704 0.0895 0.0156 0 61  Dữ liệu thử nghiểm phƣơng pháp MF Trong phƣơng pháp MF, liệu sử dụng để thử nghiệm ma trận R sử dụng dịch vụ VAS thuê bao di động, rij = tức ngƣời dùng i sử dụng dịch vụ VAS j:  Bảng 4.3 Ma trận sử dụng dịch vụ VAS p1 p2 p3 p4 … pm u1 ? ? ? ? ? u2 ? ? ? ? u3 ? ? ? ? … ? ? ? ? un 5 ? ? ? + Các file liệu train (từ mf_train_1.txt đến mf_train_6.txt) test (từ mf_test_1.txt đến mf_test_6.txt) thuật toán MF Cấu trúc LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 38 file gồm trƣờng mã thuê bao di động (khách hàng), mã dịch vụ mà thuê bao dùng (dịch vụ/sản phẩm), đánh giá thuê bao với dịch vụ mà họ dùng (vì khơng có liệu th bao rating dịch vụ họ dùng, nên quy ƣớc thuê bao dùng dịch vụ đánh giá cho dịch vụ đó) Bảng 4.4 Dữ liệu thử nghiệm thuật tốn MF Ma_tb Ma_dv Rating 16213 63 234715 85 105976 83 228791 57 Tập liệu đƣợc tạo với mục đích phục vụ cho việc nghiên cứu lọc cộng tác dự đoán đánh giá Dữ liệu đƣợc trích lọc cho thuê bao sử dụng từ 12 dịch vụ trở lên dịch vụ có nhiều ngƣời dùng 4.2 Phƣơng pháp thực nghiệm 4.2.1 Mơi trƣờng thực nghiệm - Cấu hình máy: Chip Intel(R) Core i3, Ram 2GB, 32-bit - Công cụ hỗ trợ: thuật toán đƣợc chạy Python 2.7, cmd Windows - Tập liệu sử dụng để thực nghiệm: gồm 123427 xếp hạng từ 7913 ngƣời dùng di động cho 1077 gói cƣớc dịch vụ VAS Dữ liệu đƣợc xây dựng mô từ tập thuê bao sử dụng dịch vụ VAS Viettel - Các phƣơng pháp tham gia thực nghiệm: phƣơng pháp KNN phƣơng pháp MF - Tiêu chuẩn đánh giá: giá trị RMSE 4.2.2 Phƣơng pháp tiến hành thực nghiệm Hai thuật tốn KNN MF đƣợc cài đặt ngơn ngữ Python, sử dụng thƣ viện đại số ma trận tuyến tính numpy, học máy sklearn để tính tốn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 39 Thuật toán KNN: 1: Nạp liệu huấn luyện liệu kiểm tra vào mảng train_set test_set, chọn số K 2: for u in test_set Mảng neighbors = getNeighbor(train_set, K) // cơng thức Euclidean (3.3) để tính K láng giềng gần u r u = getRate(neighbors) // cơng thức (3.6) để tính ước lược đánh giá 3: Tính RMSE // theo cơng thức (3.16) để đánh giá kết Thuật toán MF: 1: Nạp liệu huấn luyện kiểm tra vào mảng train_set test_set, chọn số λ , K 2: Sử dụng thư viện pandas để ma trận hóa tập huấn luyện train_set 3: Sử dụng thư viện numpy để tách ma trận train_set thành ma tích hai ma trận người dùng U sản phẩm P 4: Sử dụng Gradient descent để giảm mát U P 5: for (u, i) in test_set r ui = Uu x Pi // tính ước lược đánh giá u với i 6: Tính RMSE // theo cơng thức (3.16) để đánh giá kết Chúng sử dụng cách đánh giá Cross-Validation Chia liệu làm tập, thực lần: lấy tập làm tập test, tập cịn lại dùng để huấn luyện, sau lấy kết trung bình Thuật tốn KNN thực huấn luyện tập knn_train_n.txt kiểm tra tập knn_test_n.txt tƣơng ứng (n = 1, 2…6) Thuật toán MF thực huấn luyện tập mf_train_n.txt kiểm tra tập mf_test_n.txt tƣơng ứng (n = 1, 2…6) Với phƣơng pháp, thu hồi đƣợc giá trị RMSE tƣơng ứng Giá trị trung bình RMSE tb kết đƣợc dùng để để dánh giá thuật toán LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 40 4.3 Kết thực nghiệm Sau tiến hành thực nghiệm, thu đƣợc kết nhƣ sau: Bảng 4.5 Kết RMSE ứng với liệu Phƣơng pháp Bộ liệu Bộ liệu Bộ liệu Bộ liệu Bộ liệu Bộ liệu RMSEtb KNN 4.911679 4.914127 4.912884 4.914404 4.915279 4.911859 4.913372 MF 1.172562 1.144632 1.131938 1.165666 1.120762 1.141586 1.146191 STT 4.4 So sánh đánh giá kết thực nghiệm Phƣơng pháp KNN cho sai số RMSE lớn, điều cho thấy liệu tiêu dùng thuê bao (thoại, sms, vas, data) yếu tố có giá trị việc thuê bao đăng ký sử dụng dịch vụ VAS hay không Phƣơng pháp thừa số hoa ma trận cho kết tốt nhiều so với phƣơng pháp KNN, kết nhỏ so với độ thƣa thớt liệu Nhƣ phƣơng pháp phù hợp với việc xây dựng hệ thống khuyến nghị dịch vụ VAS Hình 4.1 Biểu đồ so sánh RMSE phƣơng pháp KNN MF LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 41 KẾT LUẬN Kết đạt đƣợc: - Nghiên cứu hệ thống khuyến nghị, kỹ thuật, thuật toán đƣợc sử dụng để xây dựng hệ thống khuyến nghị sản phẩm - Xây dựng đặc trƣng toán khuyến nghị cho dịch vụ VAS ngành Viễn thơng - Tìm hiểu áp dụng, thử nghiệm hai phƣơng pháp học máy KNN MF vào toàn khuyến nghị dịch vụ VAS Hƣớng nghiên cứu luận văn: - Thử nghiệm nhiều đặc trƣng toán khuyến nghị VAS thuật toán KNN kết tốt - Kết hợp lọc cộng tác với lọc nội dung, áp dụng thêm deep learning - Thử nghiệm tƣ vấn số dịch vụ VAS cụ thể để đánh giá kết thực tế LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 42 TÀI LIỆU THAM KHẢO [1] Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl, Item-Based Collaborative Filtering Recommendation Algorithms, University of Minnesota, Minneapolis, MN 55455 [2] Francesco Ricci, Lior Rokach, Bracha Shapira, Paul B Kantor, Recommender Systems Handbook, Springer, 2011 [3] Markus Freitag, Jan-Felix Schwarz, Matrix Factorization Techniques For Recommender Systems, University Potsdam, 2011 [4] Michael D.Ekstrand, John T Riedl, Joseph A Konstan, Collaborative Filtering Recommender Systems, University of Minnesota, 2011 [5] ZhaYefei, Trust and Recommender System, 2013 Địa chỉ: http://www.slideshare.net/zhayefei/trust-recsys [6] Zheng Wen, Recommendation System Based on Collaborative Filtering, 2008 [7] Jonathan L Herlcocker, Joseph A Konstan, Loren G Terveen, and John T Riedl, Evaluating Collaborative Filtering Recommender Systems, Oregon State University and University of Minnesota, 2004 [8] Yehuda Koren, Robert Bell and Chris Volinsky, Matrix factorization techniques for recommender system, IEEE Computer, 2009 [9] Shameem Ahamed Puthiya Parambath, Matrix Factorization Methods for Recommender Systems, Master's Thesis in Computing Science, 2013 [10] Shuai Zhang, Lina Yao, Aixin Sun, Deep Learning based Recommender System: A Survey and New Perspectives, University of New South Wales, Nanyang Technological University, 2017 [11] Guy Shani and Asela Gunawardana, Evaluating Recommendation Systems, 2011 [12] Kilian Q Weinberger, John Blitzer and Lawrence K Sau, Distance Metric Learning for Large Margin Nearest Neighbor Classification, Department of Computer and Information Science, University of Pennsylvania, 2006 [13] Tong Zhao, Julian McAuley, Irwin King, Improving Latent Factor Models via Personalized Feature Projection for One Class Recommendation, The Chinese LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 43 University of Hong Kong, Department of Computer Science and Engineering, UC San Diego, La Jolla, CA, USA 2015 [14] Information Technology Professional Forum (ITPF), Prepare Regulatory Framework for Mobile Value Added Service (MVAS), Nepal Telecommunications Authority, 2016 [15] Digambar Jha, Consultation Paper on Licensing Provisions to Open Mobile Value Added Services in Nepal, Nepal Telecommunications Authority Kamaladi, Kathmandu Nepal, 2017 [16] Ths Nguyễn Văn Đát, Ths Nguyễn Thị Thu Hằng, Ks Lê Sỹ Đạt, Ks Lê Hải Châu, Tổng quan viễn thông, Học viện Công nghệ Bƣu viễn thơng, 2007 [17] Amit K Mogal, Wireless Mobile Communication - A Study of 3G Technology, Department of Computer Science, CMCS College, Nashik-13, 2012 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... LUẬN Kết đạt đƣợc: - Nghiên cứu hệ thống khuyến nghị, kỹ thuật, thuật toán đƣợc sử dụng để xây dựng hệ thống khuyến nghị sản phẩm - Xây dựng đặc trƣng toán khuyến nghị cho dịch vụ VAS ngành Viễn. .. vụ giá trị gia tăng thƣờng dịch vụ phụ thuộc vào Trong sô trƣờng hợp, dịch vụ giá trị gia tăng đƣợc cung cáp cho khách hàng mà phí phát sinh Trong số trƣờng hợp khác, dịch vụ giá trị gia tăng đƣợc... ý viễn thông Dịch vụ giá trị gia tăng thƣờng đƣợc giới thiệu đến khách hàng sau khách hàng mua dịch vụ [15] Hình 2.1 Các dịch vụ VAS ngành Viễn thơng Dịch vụ đóng vai trò trung tâm dịch vụ giá