Trong quá trình thử nghiệm, luận văn cũng cân nhắc tới thời gian thực thi chương trình. Kết quả cho thấy thời gian thực thi của phương pháp đề xuất có tương đối cao hơn một số phương pháp khác, đặc biệt so với phương pháp
NMF cơ bản (Bảng 4-2). Tuy nhiên, thời gian thực thi chương trình vẫn không
quá lớn và chấp nhận được trong điều kiện thực tế. Sở dĩ phương pháp đề xuất
có thời gian thực thi chương trình cao hơn NMF cơ bản cũng là điều dễ hiểu,
bởi vì trong giai đoạn khởi tạo, phương pháp NMF cơ bản chỉ cần khởi tạo các
giá trị ngẫu nhiên không âm cho hai ma trận U, I còn phương pháp đề xuất mất
điền các giá trị cho hai ma trận thành phần U, I ban đầu. Việc tính toán này làm ảnh hưởng tới thời gian thực thi toàn chương trình.
Bảng 4.2. Bảng so sánh thời gian thực thi của một số thuật toán khác nhau
Thuật toán Thời gian (s)
Neighborhood-based 12s
MF 68s
NMF cơ bản 15s
Chương 5. TỔNG KẾT 5.1. Kết quả đạt được
5.1.1. Về mặt lý thuyết
Tiến hành nghiên cứu những công trình nghiên cứu có liên quan đến
phương pháp thừa số hóa ma trận.
Tìm hiểu hiện trạng về các hệ thống tư vấn, phân tích ưu và khuyết điểm
của những phương pháp được áp dụng phổ biến.
Tìm hiểu về các phương pháp thừa số hóa ma trận cùng với các thuật
toán tư vấn: Phương pháp lân cận gần nhất, các mô hình thống kê, MF, NMF,
…
Nghiên cứu các thuật toán của Machine learning.
Luận văn đã đề xuất một độ đo PJ và cách tính hàm chi phí FKI mới
trong việc khai thác hiệu quả của bài toán thừa số hóa ma trận không âm trong hệ thống tư vấn. Ý tưởng của cách tiếp cận đề xuất trong luận văn là tác động vào quá trình khởi tạo cho hai ma trận thành phần ban đầu và xây dựng một công thức cập nhật giúp tối ưu hóa quá trình lặp để bài toán hội tụ nhanh hơn. Để hiện thực ý tưởng của cách tiếp cận nêu trên, luận văn có sử dụng một số kiến thức về toán như thừa số hóa ma trận, đạo hàm riêng của hàm đa biến,
các thuật giải tối ưu hóa vòng lặp của machine learning cùng một số độ đo cần
thiết để tích hợp cho bài toán của mình. Trên cơ sở đó, luận văn đã kết hợp linh
hoạt đề xuất thuật toán riêng dựa trên cơ sở là phương pháp NMF cơ bản cùng
với việc đánh hệ số cho ma trận khởi tạo dựa trên công thức PJ tính mức độ
tương đồng giữa các users và các items với nhau, thay vì chỉ đơn thuần khởi
tạo cho hai ma trận thành phần ban đầu một cách ngẫu nhiên như những nghiên cứu trước vẫn thường làm. Đặc biệt, trong quá trình tối ưu hóa hàm lỗi bằng
được kết hợp bởi độ đo bình phương khoảng cách Euclid, độ phân kì Kullback- Leibler và độ phân kì Itakura-Saito.
5.1.2. Về mặt thực nghiệm
Luận văn đã sử dụng bộ dữ liệu mẫu MovieLens cho phương án cải tiến
đề xuất cùng với các thuật toán khác để đối chiếu kết quả. Kết quả thực nghiệm cho thấy việc kết hợp phương pháp đánh hệ số ban đầu cho ma trận khởi tạo và xây dựng luật cập nhật cho hai ma trận thành phần trong quá trình thực hiện bước lặp sẽ mang lại kết quả tốt hơn việc sử dụng phương pháp thừa số hóa ma trận cơ bản, tức là đánh hệ số ngẫu nhiên cho hai ma trận khởi tạo và dùng công thức cập nhật ma trận thành phần chỉ dùng một độ đo duy nhất, ví dụ như bình
phương khoảng cách Euclid. Ngoài ra, việc lựa chọn các phương pháp tối ưu
hóa trong machine learning cũng sẽ ảnh hưởng đến kết quả hội tụ của thuật
toán.
Luận văn cũng đã phân tích ưu và khuyết điểm của thuật toán đề xuất nhằm giúp định hướng cho việc lựa chọn áp dụng các thuật toán này sao cho đạt hiệu quả cao nhất. Ưu điểm của thuật toán đề xuất cho ra kết quả có độ chính xác cao hơn một số thuật toán theo hướng thừa số hóa ma trận. Thuật toán hiệu quả khi kích thước ma trận đánh giá đủ lớn, khi đó các thuật toán khác sẽ gặp vấn đề về tốc độ xử lí, nhưng đối với phương pháp thừa số hóa ma trận, số chiều dữ liệu được giảm đáng kể khiến cho thuật toán chiếm ưu thế lớn so với các phương pháp không sử dụng thừa số hóa ma trận khác. Ngoài ra, việc khởi tạo có lợi ban đầu cho hai ma trận thành phần cùng với việc sử dụng
công thức cập nhật lai hóa và stochastic gradient descent khiến thuật toán hội
5.2. Ưu và nhược điểm của phương pháp đề xuất
Từ kết quả phân tích ở phần 4.2. Ta nhận thấy ưu và nhược điểm của phương pháp đề xuất như sau:
Về ưu điểm: Nhờ việc khởi tạo có lợi cho hai ma trận ban đầu U và I, cùng
với việc kết hợp tuyến tính các hàm chi phí Frobenius-norm, Kullback-Leibler
và Itakura-Saito để cho ra hàm chi phí và công thức cập nhật cho hai ma trận
U, I ta dễ dàng nhận thấy phương pháp đề xuất có độ chính xác và độ hội tụ tốt
hơn phương pháp thừa số hóa ma trận thông thường.
Về nhược điểm: Do việc khởi tạo ban đầu của phương pháp đề xuất đòi
hỏi thời gian tính toán hai ma trận tương đồng của users và items dẫn đến thời
gian tổng thể của phương pháp đề xuất lâu hơn các phương pháp thừa số hóa ma trận không âm thông thường. Nguyên do vì các phương pháp thừa số hóa ma trận không âm thông thường gần như không tốn thời gian cho việc khởi tạo
nhờ phát sinh ngẫu nhiên các hệ số cho hai ma trận ban đầu U và I.
5.3. Hướng mở rộng trong tương lai
Trong tương lai, luận văn dự kiến sẽ tiếp tục nghiên cứu một số hướng phát triển chính như sau:
Nghiên cứu thêm những phương pháp và những độ đo khác có thể được
sử dụng để tính toán mức độ tương đồng giữa các users và các items để tìm
cách khởi tạo có lợi hơn cho hai ma trận thành phần ban đầu.
Việc tìm được tối ưu hóa toàn cục cho bài toán thừa số hóa ma trận là
một vấn đề còn thách thức ở giai đoạn hiện nay, luận văn dự kiến sẽ khai thác một số thế mạnh của toán học như là một công cụ hỗ trợ để áp dụng cải thiện chất lượng tư vấn theo hướng thừa số hóa ma trận không âm và đưa ra lời giải tối ưu hóa toàn cục.
Nghiên cứu thử nghiệm mở rộng thuật toán được đề xuất kết hợp với
các phương pháp khác như SVD và các phương pháp về xác suất như
Probabilistic-Matrix-Factorization.
TÀI LIỆU THAM KHẢO
[1] D. Jannach, M. Zanker, A. Felfernig, and G. Friedrich, Recommender System An Introduction, New York: Cambridge University Press, 2011. [2] J. Bobadilla, F. Ortega, A. Hernando, and A. Gutiérrez, "Recommender
systems survey," Elsevier, vol. 46, pp. 109-132, 2013.
[3] M. Pazzani, "A framework for collaborative, content-based, and
demographic," Artificial Intelligence Review, no. Special Issue on Data
Mining on the internet, pp. 393-408, 1999.
[4] Y. Koren, R. Bell, and C. Volinsky, "Matrix factorization techniques for
Recommender systems," Computer, vol. 42(8), pp. 30-37, 2009.
[5] B. Kumar, "A novel latent factor model for recommender system,"
Journal of Information System and Technology Management, vol. 13, 2016.
[6] A. Datta, S. Kovaleva, P. Mardziel, and S. Sen, "Latent Factor Interpretations for Collaborative Filtering," arXiv, 2018. [Online].
Available: https://arxiv.org/pdf/1711.10816.pdf, Last updated
30/09/2018.
[7] "Grouplens," [Online]. Available:
https://grouplens.org/datasets/movielens/, Last updated 30/09/2018. [8] F. Ricci, L. Rokach, and B. Shapira, Recommender Systems Handbook,
Springer, 2011.
[9] M. J. Pazzani, and D. Billsus, "Content-based Recommendation
Systems," LNCS, vol. 4321, 2007.
[10] C. C. Aggawal, "Content-based Recommender Systems," in
Recommender Systems Textbook, Switzerland, Springer International Publishing, pp. 139-166, 2016.
[11] J. B. Schafer, D. Frankowski, J. Herlocker, and S. Sen, "Collaborative
[12] J. L. Herlocker, J. A. Konstan, L. G. Terveen, and J. Riedl, " Evaluating
collaborative filtering recommender systems," ACM Transaction on
Information Systems, vol. 22(1), 2004.
[13] C. C. Aggawal, "Neighborhood-Based Collaborative Filtering," in
Recommender Systems Textbook, Switzerland, Springer International Publishing, pp. 29-70, 2016.
[14] C. C. Aggawal, "Model-Based Collaborative Filtering," in Recommender
Systems Textbook, Switzerland, Springer International Publishing, pp. 71- 138, 2016.
[15] T. Hofmann, "Latent semantic analysis for collaborative filtering," ACM
Transactions on Information Systems, vol. 1, pp. 89- 115, 2004.
[16] C. L. Zitnick, and T. Kanade, " Maximum entropy for collaborative
filtering," in Proceedings of the 20th conference on Uncertainty in
artificial intelligence, Arlington, Virginia, USA, 2004.
[17] D. M. Blei, A. Y. Ng, and M. I. Jordan, "Latent dirichlet allocation,"
Journal of Machine Learning Research, vol. 3, 2003.
[18] J. S. Breese, D. Heckerman, and C. Kadie, " Empirical Analysis of
Predictive Algorithms for Collaborative Filtering," in Proceedings of the
14th Conference on Uncertainty In Artificial Intelligence (UAI’98), Wisconsin, USA, 1998.
[19] M. H. Aghdam, M. Analoui, and P. Kabiri, "A Novel Non-Negative
Matrix Factorization Method for Recommender Systems," Natural
Science Publishing Journal, Applied Mathematics& Information Sciences, vol. 9, 2015.
[20] M. Aleksandrova, A. Brun, A. Boyer, and O. Chertov, "Identifying representative users in matrix factorization-based recommender systems: application to solving the content-less new item cold-start problem,"
Journal of Intelligent Information Systems, vol. 48, no. 2, pp. 365-397, 2017.
[21] P. Perry, "Fast Moment-Based Estimation for Hierarchical Models," in
[22] K. Gao, and A. Owen, "Efficient Moment Calculations for Variance Components in Large Unbalanced Crossed Random Effects Models," technical report, 2016.
[23] D. D. Lee, and H. S. Seung , "Learning the parts of objects by non-
negative matrix factorization," Nature, vol. 401, pp. 788-791, 1999.
[24] C. Cichocki, and A. Phan, "Fast local algorithms for large scale nonnegative matrix and tensor factorizations," 2009.
[25] C. Févotte, N. Bertin, and J. L. Durrieu, "Nonnegative Matrix Factorization with the Itakura-Saito Divergence: With Application to
Music Analysis," Neural Computation, vol. 21 (3), p. 793–830, 2009.
[26] C. Fevotte, and J. Idier, "Algorithms for nonnegative matrix factorization
with beta-divergence," Neural Computation, 2011.
[27] D. D. Lee, and H. S. Seung, "Algorithms for Non-negative Matrix
Factorization," NIPS, 2001.
[28] L. Gong, and A. K. Nandi, "An enhanced initialization method for non-
negative matrix factorization," IEEE international workshop on machine
learning for signal processing, pp. 22-25, 2013.
[29] M. H. Aghdam, M. Analoui, and P. Kabiri, "Collaborative filtering using
non-negative matrix factorisation," Journal of Information Science, pp. 1-
13, 2016.
[30] Suryakant, and T. Mahara, "A New Similarity Measure Based on Mean Measure of Divergence for Collaborative Filtering in Sparse
Environment," Procedia Computer Science , vol. 89, pp. 450-456, 2016.
[31] A. Agarwal, and M. Chauhan, "Similarity Measures used in
Recommender Systems: A Study," International Journal of Engineering
Technology Science and Research (IJETSR), vol. 4, no. 6, pp. 619-626, 2017.
[32] A. Banerjee, S. Merugu, I. S. Dhillon, and J. Ghosh, "Clustering with
Bregman Divergences," Journal of Machine Learning Research , vol. 6,
[33] Bottou, and Léon, Online Algorithms and Stochastic Approximations, Cambridge University Press, 1998.
[34] J. J. Burred, "J.J. Burred," 2014. [Online]. Available:
www.jjburred.com/research/pdf/jjburred_nmf_updates.pdf (jjburred@jjburred.com), Last updated 30/09/2018.
[35] A. Koso, and N. Takahashi, "Derivation of Multiplicative Update Rules for Nonnegative Matrix Factorization with Regularization Terms," in
International Symposium on Nonlinear Theory and Its Applications, Cancun, Mexico, 2017.
[36] D.J.Evans, and E.A.Lipitakis, "A normalized implicit conjugate gradient method for the solution of large sparse systems of linear equations,"
Computer Methods in Applied Mechanics and Engineering, vol. 23, no. 1, pp. 1-19, 1980.
[37] B. Sarwar, G. Karypis, J. Konstan, and J. Riedl, "Item-based collaborative
filtering recommendation algorithms," in Proceedings of the 10th
international conference on World Wide Web, New York, NY, USA, 2001.
[38] F. H. Olmo, and E. Gaudioso, "Evaluation of recommender systems: A
new approach," Expert Systems with Applications, vol. 3, pp. 790-804 ,
2008.
[39] V. H. Tiep, "Machine Learning cơ bản," [Online]. Available: https://machinelearningcoban.com/2017/05/24/collaborativefiltering/, Last updated 30/09/2018.
[40] V. H. Tiep, "Machine Learning cơ bản," [Online]. Available: https://machinelearningcoban.com/2017/05/31/matrixfactorization/, Last updated 30/09/2018.
[41] J. S. Breese, D. Heckerman, and C. Kadie, "Empirical analysis of
predictive algorithms for collaborative filtering," in 14th Conference on
[42] J. L. Herlocker, J. A. Konstan, J. T. Riedl, and L. G. Terveen, "Evaluating
collaborative filtering recommender systems," ACM Transactions on