Phương pháp đánh giá (PPDG) được sử dụng là Mean Square Error (MSE) [16] hay cụ thể hơn là trung bình của bình phương lỗi giữa các kết quả so sánh. Giá trị của MSE có thể được tính toán như sau:
𝑀𝑆𝐸 = 1 𝑁.(𝑟$− 𝑟t)< " # ! (4.1)
Trong đó rilà vector đại diện cho sản phẩm được dự đoán, 𝑟t< là vector đại diện cho sản phẩm truy vấn.
Ngoài ra, luận văn cũng sử dụng kết quả gợi ý từ hệ thống của Sakenowa như một thước đo chuẩn để so sánh với các kết quả thực nghiệm, lý do bởi vì trang web này là một trang web uy tín, nổi tiếng cho dịch vụ thương mại rượu Sake tại Nhật Bản trong gần 10 năm qua, được thể hiện qua các kết quả gợi ý ấn tượng, có độ chính xác cao.
4.3. Kịch bản thực nghiệm
Trong phần này, các thực nghiệm sẽ được tiến hành để kiểm chứng ảnh hưởng của GMM, GFF trong thuật toán khuyến nghị dựa trên phân phối thuộc tính.
Để chứng thực tính hiệu quả của GMM và GFF cho kết quả dự đoán tốt hơn, luận văn chia thực nghiệm thành 4 phần. Đầu tiên, thay vì GMM, thuật toán BOW [10] sẽ được sử dụng trên một số thuộc tính như tags mùi vị trước khi áp dụng công thức GFF để sắp xếp kết quả. Ở thực nghiệm thứ 2, thuật toán áp dụng GMM+ED để làm rõ tác dụng của GMM. Ở thực nghiệm thứ 3, để giải quyết vấn đề ngữ nghĩa của các từ văn bản so với BOW ở thực nghiệm 1, W2V kết hợp vs GFF được trình bày. Và cuối cùng là thực nghiệm thuật toán đề xuất để chứng minh hiệu quả của GMM và GFF, đồng thời đưa ra so sánh và đánh giá cho kết quả thực nghiệm.
4.3.1 BOW + GFF
Lý do cho thực nghiệm này là để xác thực tác động của GMM lên độ chính xác của kết quả đầu ra so với thuật toán BOW [10]. Do đó, ở thực nghiệm này, BOW sẽ kết hợp cùng với GFF để tính toán cho kết quả khuyến nghị đầu ra. Bước đầu tiên, thuật toán thực hiện tiền xử lý dữ liệu cho các dữ liệu văn bản bằng các kỹ thuật như
stemming, replace synonyms, filling missing data,...[2]. Như đã đề cập ở mục trước, các trường văn bản quan trọng được viết bằng ngôn ngữ tiếng Nhật, nên luận văn sử dụng một số công cụ thư viện xử lý tiếng Nhật như Ginza [19], Janome [20],
JapaneseStemmer [18] được lấy cảm hứng từ thuật toán Porter Stemming [17], để tiền xử lý.
Trước khi sử dụng GFF cho việc sắp xếp kết quả, thuật toán BOW được sử dụng cho các trường văn bản đã được tiền xử lý để tìm ra ma trận vector biểu diễn cho các sản phẩm. Bước kế tiếp, ma trận này sẽ đóng vai trò là dữ liệu đầu vào cho thuật toán
K-Nearest Neighbors (KNN) được dựa trên ý tưởng thuật toán không giám sát KNN Scikit-Learn [21] để tìm ra top các sản phẩm tương đồng. Sau đó, áp dụng công thức
S(i,j) trong (3.4) trên top các sản phẩm này để lấy ra những kết quả tốt nhất.
4.3.2 GMM + ED
Ở thực nghiệm này, GMM sẽ đóng vai trò gom nhóm n sản phẩm vào k nhóm. Bước đầu tiên, các kỹ thuật tiền xử lý vẫn sẽ được thực hiện cho các trường dữ liệu văn bản như ở Thực nghiệm 1. Sau đó, thực nghiệm xây dựng một ma trận 6 chiều cho n sản phẩm, ma trận này biểu diễn cho các chỉ số 6 mùi vị và được đưa vào GMM để huấn luyện. Sau khi huấn luyện, kết quả phân cụm cho từng sản phẩm sẽ được lưu lại cho bước sắp xếp kế tiếp.
Ở bước tiếp theo, thực nghiệm sẽ thực hiện chuyển dữ liệu văn bản tags mùi vị thành ma trận biểu diễn các từ dưới dạng tần suất xuất hiện của từng từ trong toàn bộ danh sách tags mùi vị bằng cách sử dụng CountVectorizer của Scikit-Learn [21], và ghép với ma trận (n,6) bên trên để có được vector cuối cùng biểu diễn đặc trưng cho từng sản phẩm. Bước cuối cùng, để trả về được top sản phẩm tương tự nhất với một sản phẩm đầu vào, ta chỉ cần tìm đến cụm chứa sản phẩm đó và áp dụng công thức ED rồi sắp xếp kết quả trả về.
4.3.3 W2V + GFF
Để giúp giảm vấn đề mơ hồ trong ngôn ngữ, và giải quyết giới hạn về mặt ngữ nghĩa của từ trong thuật toán BOW ở thực nghiệm đầu tiên và so sánh với thuật toán đề xuất. Ở mục này, luận văn trình bày thực nghiệm W2V [23] kết hợp với TF-IDF cho các tags mùi vị, sau đó tổng hợp chúng với ma trận 6 chiều được tạo nên từ 6 chỉ số mùi vị để cho ra được vector biểu diễn đặc trưng cho mỗi sản phẩm trước khi áp dụng công thức sắp xếp trọng số GFF cho kết quả trả về. Tương tự như 2 thực nghiệm trước, các kỹ thuật tiền xử lý dữ liệu vẫn được thực hiện với cùng thứ tự và phương thức. Ở bước tiếp theo, nhận thấy các tags mùi vị được biểu diễn dưới hình thức ngôn ngữ tiếng Nhật, do đó ta cần sử dụng một mô hình W2V đã được huấn luyện cho tiếng Nhật [25] với số chiều cho vector đầu ra cho mỗi từ là 300, và Gensim [24] cho việc gọi mô hình để trả về vector biểu diễn cho mỗi tag. Để biểu diễn mỗi sản phẩm dưới đặc trưng các tags mùi vị, thực nghiệm sẽ kết hợp các vector embeddings với các chỉ số TF-IDF bởi công thức sau:
𝑉=7& ∑ 𝑇𝐹𝐼𝐷𝐹7$ >
7$&! ∗ 𝑊2𝑉7$
∑>7$&!𝑇𝐹𝐼𝐷𝐹7$
(4.2)
Trong đó ti tương ứng với tagi trong các chỉ số tags mùi vị của một sản phẩm rượu,
q là số lượng các tags của các chỉ số tags mùi vị tương ứng với độ dài của các tags mùi vị trong mỗi sản phẩm rượu.
Sau đó, để có được vector biểu diễn đặc trưng cho mỗi sản phẩm, các vector embeddings của tags mùi vị sẽ được nối cùng trục (hay cùng axis) với ma trận 6 chỉ số mùi vị để thu được vector biểu diễn cuối cùng với số chiều là 306. Từ đây, ứng dụng tính chất của công thức so sánh độ tương đồng Cosine, thực nghiệm sử dụng để tìm ra một tập các sản phẩm tiềm năng tạm thời trước khi tính toán giá trị S từ công thức (3.4) trên các sản phẩm tiềm năng này để thu được các sản phẩm gợi ý tốt nhất với sản phẩm truy vấn.
4.3.4 GMM + GFF
Mục đích chính của 3 thực nghiệm trên là để chứng minh tầm quan trọng của GMM và GFF trong mô hình đề xuất của luận văn ở thực nghiệm này. Tương tự ở các thực nghiệm trước, thực nghiệm này vẫn thực hiện các bước tiền xử lý dữ liệu văn bản như ở ba thực nghiệm trước. Tiếp theo, thực nghiệm xây dựng một ma trận
(n,6) biểu diễn 6 chỉ số mùi vị cho n sản phẩm và đưa vào GMM như dữ liệu đầu vào để huấn luyện mô hình, rồi lưu lại các giá trị cụm tương ứng của từng sản phẩm.
Để gợi ý ra những sản phẩm tương đồng nhất với một sản phẩm, ta chỉ cần tìm đến cụm mà sản phẩm này thuộc về và coi nó như trung tâm của cụm đó rồi sử dụng công thức (3.4) từng cặp từng cặp với các sản phẩm khác trong cụm đó. Sắp xếp các giá trị thu được theo thứ tự giảm dần ta sẽ thu được kết quả tốt nhất từ hệ thống khuyến nghị.
4.4. Kết quả thực nghiệm
Tại phần này, luận văn so sánh kết quả thuật toán đề xuất với kết quả khuyến nghị từ trang web Sakenowa và 3 thuật toán phổ biến CB khác đã được thực nghiệm ở mục trên. Các kết quả gợi ý từ Sakenowa cho mỗi sản phẩm sẽ được trả về từ một API mở (https://sakenowa.com/api/v1/brands/flavor?f=0&fv=f1, f2, f3, f4, f5, f6); trong đó, f1…6 trong API là giá trị của mỗi chỉ số trong 6 chỉ số mùi vị tương ứng.
Từ kết quả thực nghiệm, luận văn có thể kết luận rằng độ chính xác thuật toán đề xuất là tốt hơn Sakenowa và ba thuật toán còn lại. Kết quả so sánh được thể hiện trong Hình 4.2, Hình 4.3 và Hình 4.4.
Hình 4.2 MSE áp dụng GMM+GFF và GMM+ED
Hình 4.4 MSE ảnh hưởng bởi số cụm
Trong 4 thực nghiệm, 10 sản phẩm tốt nhất với mỗi sản phẩm trong bộ dữ liệu đều được trả về. Tại hình 4.2, một tập các giá trị MSE được hiển thị biểu thị sự thay đổi tương ứng với số lượng các phần tử xung quanh (neighbors) của mỗi phần tử trong khoảng [20-40] được trả về từ thuật toán KNN ở thực nghiệm BOW và ma trận tương tự Cosine ở thực nghiệm W2V. Từ đó có thể dễ dàng nhận thấy, mặc dù MSE có xu hướng giảm nhưng nó là chưa đáng kể và đồng thời là thời gian xử lý đã trở lên chậm hơn nhiều khi số lượng phần tử xung quanh lớn lên, đặc biệt là thuật toán KNN. Đặc biệt hơn, giả thiết về ngữ nghĩa của từ được chứng minh khi sử dụng W2V cũng hoàn toàn cho kết quả tốt hơn so với BOW với cùng công thức so sánh độ tương đồng GFF được sử dụng ở phía sau.
Tại hình 4.3, khoảng cách giá trị MSE giữa GMM+ED và GMM+GFF được so sánh. Từ hình vẽ có thể thấy, kết quả từ GMM+GFF là hoàn toàn chất lượng hơn so với thuật toán còn lại, cho thấy được ảnh hưởng rất rõ ràng về hiệu quả của công thức so sánh độ tương đồng của GFF so với ED trong bài toán gợi ý dựa trên phân phối thuộc tính. Ngoài ra, cả 2 thực nghiệm cũng cho thấy tác động của số cụm được sử dụng trong GMM tác động đến giá trị MSE trong khoảng [65-85]. Hình 4.4, tỉ lệ về
độ tương đồng của kết quả gợi ý giữa thuật toán đề xuất và kết quả được trả về từ thuật toán Sakenowa được so sánh.
Hình 4.5 MSE ảnh hưởng bởi số phần tử xung quanh
Hình 4.5 và hình 4.6, một biểu đồ cột được xây dựng để thống kê giá trị MSE được sinh ra từ các thực nghiệm, bao gồm GMM+ED, BOW+GFF, W2V+GFF, GMM+GFF và kết quả gợi ý từ Sakenowa. Từ giá trị MSE được so sánh tại các cột trong biểu đồ, thuật toán đề xuất GMM+GFF đã chứng minh hoàn toàn tốt hơn, hiệu quả hơn so với tất cả các thực nghiệm còn lại trong bối cảnh bài toán gợi ý dựa trên phân phối thuộc tính.
BOW+GFF GMM+ED W2V+GFF GMM+GFF
0.1856s 0.0174s 0.0251s 0.0156s
Bảng 4.1 Thời gian xử lý trên mỗi truy vấn
Thêm nữa, thống kê tại bảng 4.2 về thời gian xử lý thuật toán cũng đánh bại hoàn toàn 3 thuật toán, GMM+ED, W2V+GFF và BOW+GFF.
Dựa vào kết quả từ các hình 4.2, hình 4.3, hình 4.5, hình 4.6, luận văn kết luận rằng việc sử dụng ưu tiên 6 chỉ số mùi vị hơn các tags mùi vị như các đặc trưng chính cho kết quả tốt hơn trong hệ thống khuyến nghị rượu đã trình bày, và độ hiệu quả, mạnh mẽ, hiệu năng từ GMM trong việc giải quyết các vấn đề phân phối trong hệ thống khuyến nghị.
Từ những thực nghiệm và lập luận trên, luận văn có thể tổng kết rằng hệ thống gợi ý dựa trên GMM có thể hoạt động tốt trên các bộ dữ liệu trong đó các thuộc tính chính của nó tuân theo dạng dữ liệu liên tục hoặc tương tự, đó cũng là lý do chính mà các thuật toán khác như BOW, W2V đang ưu tiên hơn cho việc sử dụng loại dữ liệu văn bản lại cho kết quả kém chất lượng hơn so với thuật toán đề xuất được trình bày trong luận văn này.
4.5. Kết chương
Trong chương 4, môi trường thực nghiệm, phương pháp đánh giá và kịch bản các thực nghiệm đã được trình bày chi tiết. Phân tích kết quả từ các thực nghiệm, luận văn đã chứng minh được tính đúng đắn và mạnh mẽ của thuật toán đề xuất đối với bài toán gợi ý dựa trên phân phối thuộc tính.
Thuật toán đã chứng minh được tính hiệu quả cả về độ chính xác và tốc độ xử lý đối với các thuật toán CB đã công bố. Qua đó, lý thuyết về các mô hình học máy xác suất và các thuật toán sắp xếp dựa trên phân phối thuộc tính trong thuật toán đề xuất được củng cố toàn diện. Song song với đó, các giả thuyết về sự phụ thuộc đặc trưng vản bản trong các thuật toán CB phổ biến hoạt động không thực sự tốt đối với bài toán khuyến nghị phân phối đồng thời được kết luận.
KẾT LUẬN
Luận văn đã đề xuất một thuật toán CB mới hiệu quả cho các bài toán gợi ý dựa trên phân phối thuộc tính trong các hệ thống khuyến nghị sử dụng các đặc trưng nội dung với GMM, và áp dụng để giải quyết một hệ thống khuyến nghị rượu hiện đang được triển khai tại Nhật Bản. Thêm nữa, luận văn cũng đề xuất một công thức so sánh độ tương đồng mới giúp tính toán, so sánh, sắp xếp các sản phẩm tiềm năng thay vì sử dụng các công thức truyền thống như Cosine hoặc Euclidean.
Thuật toán khuyến nghị dựa trên phân phối này không chỉ đạt được độ chính xác cao, mà còn đạt được tốc độ xử lý nhanh, phù hợp với các ứng dụng thực tế. Thuật toán hoàn toàn có thể áp dụng cho nhiều hoặc ít hơn 6 thuộc tính ở các bộ dữ liệu khác có cùng đặc điểm về phân phối dữ liệu như bộ dữ liệu thực nghiệm trong luận văn đã sử dụng.
Đặc biệt, thuật toán đã được trình bày tại 2 công bố quốc tế (1 tại tạp chí uy tín
Applied Intelligence (Q1) và 1 bài báo tại hội nghị ICCCI (C) – oral paper) sau những cải tiến.
Mặc dù có nhiều ưu điểm, tuy nhiên điểm hạn chế của thuật toán là cần huấn luyện lại mô hình định kỳ sau khi có thêm một lượng các sản phẩm mới được thêm vào hệ thống, tuy nhiên thời gian cho việc huấn luyện là không thực sự đáng kể.
Hướng nghiên cứu trong tương lai sau luận văn là tìm cách cải thiện mô hình GMM trong khâu phân cụm sản phẩm để đạt được kết quả tốt hơn nữa.
TÀI LIỆU THAM KHẢO
[1] Lops, Pasquale de Gemmis, Marco Semeraro, Giovanni. (2011). Content-based Recommender Systems: State of the Art and Trends. 10.1007/978-0-387- 85820-3- 3.
[2] Rahutomo, Reza Lubis, Febrian Muljo, Hery Pardamean, Bens. (2019). Pre- processing Methods and Tools in Modelling Japanese for Text Classification. 10.1109/ICIMTech.2019.8843796.
[3] Yan, Hangyu Tang, Yan. (2019). Collaborative Filtering Based on Gaussian Mix- ture Model and Improved Jaccard Similarity. IEEE Access. PP. 1-1. 10.1109/AC- CESS.2019.2936630
[4] Fan-sheng, K. (2010). Hybrid Gaussian pLSA model and item based collaborative filtering recommendation. Computer Engineering and Applications.
[5] Chen, Rui Hua, Qingyi Gao, Quanli Xing, Ying. (2018). A Hybrid Recommender System for Gaussian Mixture Model and Enhanced Social Matrix Factorization Technology Based on Multiple Interests. Mathematical Problems in Engineering. 2018. 1-22. 10.1155/2018/9109647.
[6] Yoshii, Kazuyoshi Goto, Masataka Komatani, Kazunori Ogata, Tetsuya Okuno, Hiroshi. (2006). Hybrid Collaborative and Content-based Music Recommendation Using Probabilistic Model with Latent User Preferences..
ISMIR 2006 - 7th Inter- national Conference on Music Information Retrieval. 296-301.
[7] Khusro, Shah Ali, Zafar Ullah, Irfan. (2016). Recommender Systems: Issues, Challenges, and Research Opportunities. 10.1007/978-981-10-0557-2-112. [8] Zhu, Bo Bobadilla, Jesus Ortega, Fernando. (2018). Reliability quality
measures for recommender systems. Information Sciences.
[9] Reynolds, Douglas. (2008). Gaussian Mixture Models. Encyclopedia of Biomet- rics. 10.1007/978-0-387-73003-5-196.
[10] Bhattacharya, Sounak Lundia, Ankit. (2019). MOVIE RECOMMENDA- TION SYSTEM USING BAG OF WORDS AND SCIKIT-LEARN. Interna- tional Journal of Engineering Applied Sciences and Technology. 04. 526-528. 10.33564/IJEAST.2019.v04i05.076.
[11] Liberti, Leo Lavor, Carlile Maculan, Nelson Mucherino, Antonio. (2012). Euclidean Distance Geometry and Applications. SIAM Review. 56. 10.1137/120875909.
[12] Lee, D., Hull, J., Erol, B. (2003). A Bayesian framework for Gaussian mixture background modeling. Proceedings 2003 International Conference on Image Processing (Cat. No.03CH37429), 3, III-973
[13] Lu, Y., Bai, X., Wang, F. (2015). Music Recommendation System Design Based on Gaussian Mixture Model. ICM 2015
[14] Go ̈ru ̈r, Dilan Rasmussen, Carl. (2010). Dirichlet Process Gaussian Mixture Models: Choice of the Base Distribution. J. Comput. Sci. Technol.. 25. 653-664. 10.1007/s11390-010-9355-8.
[15] Haldar, Rishin Mukhopadhyay, Debajyoti. (2011). Levenshtein Distance Tech- nique in Dictionary Lookup Methods: An Improved Approach. Computing Re- search Repository - CORR.
[16] Shani, Guy Gunawardana, Asela. (2011). Evaluating Recommendation Systems. 10.1007/978-0-387-85820-3-8.
[17] Robertson, Stephen. (1997). Readings in Information Retrieval.
[18] MrBrickPanda. (2019). Japanese Stemmer. Github. https://github.com/MrBrickPanda/Japanese-stemmer
[19] Hiroshi, Mai and Masayuki. (2019). Ginza NLP Library. Github. http://www.anlp.jp/proceedings/annual-meeting/2019/pdf-dir/F2-3.pdf
[20] Janomepy. (2019). Janome. Github. https://github.com/mocobeta/janome [21] Pedregosa, Fabian and Varoquaux, Alexandre and Michel. (2011). Scikit-learn:
Machine learning in Python. Journal of machine learning research. 12. 2825– 2830
[22] Felfernig, A. Jeran, Michael Ninaus, Gerald Reinfrank, Florian Reiterer, Ste- fan Stettinger, Martin. (2014). Basic Approaches in Recommendation Systems. 10.1007/978-3-642-45135-5–2.
[23] Musto, Cataldo Semeraro, Giovanni de Gemmis, Marco Lops, Pasquale. (2016). Learning Word Embeddings from Wikipedia for Content-Based Recommender Systems. 9626. 729-734. 10.1007/978-3-319-30671-1-60. [24] ˇehu ̊ˇrek, Radim Sojka, Petr. (2010). Software Framework for Topic Modelling
with Large Corpora. 45-50. 10.13140/2.1.2393.1847.