4.2.1. Môi trƣờng thực nghiệm
- Cấu hình máy: Chip Intel(R) Core i3, Ram 2GB, 32-bit.
- Công cụ hỗ trợ: thuật toán đƣợc chạy trên Python 2.7, cmd trên Windows 7. - Tập dữ liệu sử dụng để thực nghiệm: gồm 123427 xếp hạng từ hơn 7913 ngƣời dùng di động cho hơn 1077 gói cƣớc dịch vụ VAS. Dữ liệu đƣợc xây dựng mô phỏng từ tập thuê bao sử dụng dịch vụ VAS của Viettel.
- Các phƣơng pháp tham gia thực nghiệm: phƣơng pháp KNN và phƣơng pháp MF.
- Tiêu chuẩn đánh giá: giá trị RMSE.
4.2.2. Phƣơng pháp tiến hành thực nghiệm
Hai thuật toán KNN và MF đƣợc cài đặt bằng ngôn ngữ Python, sử dụng các thƣ viện đại số ma trận tuyến tính numpy, và học máy sklearn để tính toán.
Thuật toán KNN:
1: Nạp dữ liệu huấn luyện và dữ liệu kiểm tra vào 2 mảng train_set và test_set, chọn hằng số K.
2: for u in test_set
Mảng neighbors = getNeighbor(train_set, K) // công thức Euclidean (3.3) để tính K láng giềng gần nhất của u
u
r = getRate(neighbors) // công thức (3.6) để tính ước lược đánh giá 3: Tính RMSE // theo công thức (3.16) để đánh giá kết quả
Thuật toán MF:
1: Nạp dữ liệu huấn luyện và kiểm tra vào 2 mảng train_set và test_set, chọn hằng số λ , K.
2: Sử dụng thư viện pandas để ma trận hóa tập huấn luyện train_set
3: Sử dụng thư viện numpy để tách ma trận train_set thành ma tích hai ma trận người dùng U và sản phẩm P
4: Sử dụng Gradient descent để giảm mất mát lần lượt U và P 5: for (u, i) in test_set
ui
r = Uu x Pi // tính ước lược đánh giá của u với i 6: Tính RMSE // theo công thức (3.16) để đánh giá kết quả
Chúng tôi sử dụng cách đánh giá Cross-Validation. Chia dữ liệu làm 6 tập, thực hiện 6 lần: lấy 1 tập làm tập test, 5 tập còn lại dùng để huấn luyện, sau đó lấy kết quả trung bình. Thuật toán KNN thực hiện huấn luyện trên các tập
knn_train_n.txt và kiểm tra trên các tập knn_test_n.txt tƣơng ứng (n = 1, 2…6). Thuật toán MF thực hiện huấn luyện trên các tập mf_train_n.txt và kiểm tra trên các tập mf_test_n.txt tƣơng ứng (n = 1, 2…6). Với mỗi phƣơng pháp, chúng tôi sẽ thu hồi đƣợc 6 giá trị RMSE tƣơng ứng. Giá trị trung bình RMSEtb của 6 kết quả này sẽ đƣợc dùng để để dánh giá thuật toán.
4.3. Kết quả thực nghiệm
Sau khi tiến hành thực nghiệm, chúng tôi thu về đƣợc kết quả nhƣ sau: Bảng 4.5 Kết quả RMSE ứng với 6 bộ dữ liệu
STT Phƣơng pháp Bộ dữ liệu 1 Bộ dữ liệu 2 liệu 3 Bộ dữ Bộ dữ liệu 4 Bộ dữ liệu 5 Bộ dữ liệu 6 RMSEtb
1 KNN 4.911679 4.914127 4.912884 4.914404 4.915279 4.911859 4.913372
2 MF 1.172562 1.144632 1.131938 1.165666 1.120762 1.141586 1.146191
4.4. So sánh và đánh giá kết quả thực nghiệm
Phƣơng pháp KNN cho sai số RMSE rất lớn, điều này cho thấy dữ liệu tiêu dùng của thuê bao (thoại, sms, vas, data) không phải là yếu tố có giá trị đối với việc thuê bao đó đăng ký sử dụng dịch vụ VAS hay không.
Phƣơng pháp thừa số hoa ma trận cho kết quả tốt hơn nhiều so với phƣơng pháp KNN, kết quả này nhỏ so với độ thƣa thớt của bộ dữ liệu. Nhƣ vậy phƣơng pháp này phù hợp với việc xây dựng hệ thống khuyến nghị dịch vụ VAS.
KẾT LUẬN
Kết quả đạt đƣợc:
- Nghiên cứu cơ bản về hệ thống khuyến nghị, các kỹ thuật, thuật toán đƣợc sử dụng để xây dựng hệ thống khuyến nghị sản phẩm.
- Xây dựng các đặc trƣng của bài toán khuyến nghị cho dịch vụ VAS trong ngành Viễn thông.
- Tìm hiểu và áp dụng, thử nghiệm hai phƣơng pháp học máy là KNN và MF vào bài toàn khuyến nghị dịch vụ VAS.
Hƣớng nghiên cứu tiếp theo của luận văn:
- Thử nghiệm nhiều đặc trƣng của bài toán khuyến nghị VAS trên thuật toán KNN để cho kết quả tốt hơn.
- Kết hợp lọc cộng tác với lọc nội dung, có thể áp dụng thêm deep learning. - Thử nghiệm tƣ vấn một số dịch vụ VAS cụ thể để đánh giá kết quả thực
TÀI LIỆU THAM KHẢO
[1]. Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl, Item-Based Collaborative Filtering Recommendation Algorithms, University of Minnesota, Minneapolis, MN 55455
[2]. Francesco Ricci, Lior Rokach, Bracha Shapira, Paul B. Kantor, Recommender Systems Handbook, Springer, 2011.
[3]. Markus Freitag, Jan-Felix Schwarz, Matrix Factorization Techniques For Recommender Systems, University Potsdam, 2011.
[4]. Michael D.Ekstrand, John T. Riedl, Joseph A. Konstan, Collaborative Filtering Recommender Systems, University of Minnesota, 2011
[5]. ZhaYefei, Trust and Recommender System, 2013. Địa chỉ:
http://www.slideshare.net/zhayefei/trust-recsys
[6]. Zheng Wen, Recommendation System Based on Collaborative Filtering, 2008. [7]. Jonathan L. Herlcocker, Joseph A. Konstan, Loren G. Terveen, and John T. Riedl,
Evaluating Collaborative Filtering Recommender Systems, Oregon State University and University of Minnesota, 2004
[8]. Yehuda Koren, Robert Bell and Chris Volinsky, Matrix factorization techniques for recommender system, IEEE Computer, 2009
[9]. Shameem Ahamed Puthiya Parambath, Matrix Factorization Methods for Recommender Systems, Master's Thesis in Computing Science, 2013.
[10]. Shuai Zhang, Lina Yao, Aixin Sun, Deep Learning based Recommender System: A Survey and New Perspectives, University of New South Wales, Nanyang Technological University, 2017.
[11]. Guy Shani and Asela Gunawardana, Evaluating Recommendation Systems, 2011. [12]. Kilian Q. Weinberger, John Blitzer and Lawrence K. Sau, Distance Metric Learning for Large Margin Nearest Neighbor Classification, Department of Computer and Information Science, University of Pennsylvania, 2006.
[13]. Tong Zhao, Julian McAuley, Irwin King, Improving Latent Factor Models via Personalized Feature Projection for One Class Recommendation, The Chinese
University of Hong Kong, Department of Computer Science and Engineering, UC San Diego, La Jolla, CA, USA 2015.
[14]. Information Technology Professional Forum (ITPF), Prepare Regulatory Framework for Mobile Value Added Service (MVAS), Nepal Telecommunications Authority, 2016.
[15]. Digambar Jha, Consultation Paper on Licensing Provisions to Open Mobile Value Added Services in Nepal, Nepal Telecommunications Authority Kamaladi, Kathmandu Nepal, 2017.
[16]. Ths. Nguyễn Văn Đát, Ths. Nguyễn Thị Thu Hằng, Ks. Lê Sỹ Đạt, Ks. Lê Hải Châu, Tổng quan về viễn thông, Học viện Công nghệ Bƣu chính viễn thông, 2007. [17]. Amit K. Mogal, Wireless Mobile Communication - A Study of 3G Technology,