Xây dựng hệ tư vấn sử dụng phương pháp lọc cộng tác

- ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KINH TẾ HUẾ KHOA HỆ THỐNG THÔNG TIN KINH TẾ cK in h tế H uế - - họ KHÓA LUẬN TỐT NGHIỆP Đ ại XÂY DỰNG HỆ TƯ VẤN SỬ DỤNG PHƯƠNG Người thực hiện: Lê Nguyễn Hoài Huy Tr ườ ng PHÁP LỌC CỘNG TÁC Niên khóa 2016 - 2020 - ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KINH TẾ HUẾ uế KHOA HỆ THỐNG THÔNG TIN KINH TẾ in h tế H - - họ cK KHÓA LUẬN TỐT NGHIỆP Đ ại XÂY DỰNG HỆ TƯ VẤN SỬ DỤNG PHƯƠNG ng PHÁP LỌC CỘNG TÁC Giảng viên hướng dẫn: Họ tên: Lê Nguyễn Hồi Huy T.S Nguyễn Đình Hoa Cương Tr ườ Sinh viên thực hiện: Lớp: K50A – Tin học kinh tế MSV: 16K4081028 Niên khóa: 2016-2020 Huế, tháng 12 năm 2019 - LỜI CẢM ƠN Được phân công khoa Hệ Thống Thông Tin Kinh Tế, trường Đại Học Kinh Tế Huế, em hồn thành khóa luận tốt nghiệp cuối khóa Để hồn thành nhiệm vụ giao, nỗ lực học hỏi thân cịn có uế hướng dẫn tận tình thầy cô, đặc biệt động viên tinh thần lớn từ gia đình tế H Em xin chân thành cảm ơn TS Nguyễn Đình Hoa Cương, người hướng dẫn cho em suốt thời gian thực tập Thầy vấn đề mà em gặp phải lúc làm khóa luận, định hướng cho em để em hoàn thành tốt nhiệm vụ h Xin cảm ơn tất bạn bè, thầy cô, anh chị cơng ty SoftWorld gia in đình giúp đỡ, dìu dắt em suốt thời gian qua Tất người nhiệt luận gia đình cK tình giúp đỡ Bên cạnh đó, động lực vơ to lớn để em cố gắng hồn thành tốt khóa Để hồn thành khóa luận này, em nhận hướng dẫn, giúp đỡ động họ viên tận tình từ nhiều phía Tất điều trở thành động lực lớn giúp em hồn thành tốt công việc giao Huế, tháng 12 năm 2019 Sinh viên ký tên Tr ườ ng Đ ại Một lần em xin chân thành cảm ơn! Lê Nguyễn Hoài Huy - MỤC LỤC LỜI CẢM ƠN i MỤC LỤC ii DANH MỤC HÌNH VẼ iv uế DANH MỤC BẢNG BIỂU v tế H DANH MỤC THUẬT NGỮ vi MỞ ĐẦU 1 Lý chọn đề tài h Mục tiêu đề tài in Đối tượng phạm vi nghiên cứu .2 cK Phương pháp nghiên cứu .2 Cấu trúc khóa luận .3 họ NỘI DUNG CHƯƠNG 1: CƠ SỞ LÝ THUYẾT Đ ại 1.1 Giới thiệu hệ tư vấn .4 1.2 Cơ sở toán học 1.2.1 Ma trận tiện ích ng 1.2.2 Phương pháp chuẩn hóa giá trị ma trận tiện ích ườ 1.2.3 Vectơ khoảng cách vectơ .9 1.3 Các phương pháp tư vấn .10 Tr 1.3.1 Lọc cộng tác .10 1.3.2 Tư vấn dựa vào nội dung .13 1.3.3 Phương pháp hỗn hợp (lai ghép) 15 1.4 Vấn đề “khởi động lạnh” (Cold-start) 18 1.5 Phát biểu toán nghiên cứu 19 ii - 1.6 Các công trình liên quan .20 CHƯƠNG 2: XÂY DỰNG HỆ TƯ VẤN THEO PHƯƠNG PHÁP LỌC CỘNG TÁC 37 2.1 Dữ liệu tiền xử lý liệu 37 uế 2.1.1 Chuẩn bị liệu 37 tế H 2.1.2.Tiền xử lý liệu 38 2.2 Thuật toán lọc cộng tác dựa người dùng 39 2.3 Phương pháp đánh giá 42 h 2.3.1 Phép đo Precision – Recall 42 in 2.3.2 Phép đo F1 44 cK 2.3.3 Phép đo MSE .45 2.3.4 Phép đo RMSE 45 họ CHƯƠNG 3: THÍ NGHIỆM VÀ THẢO LUẬN 47 3.1 Thiết lập thí nghiệm 47 Đ ại 3.2 Kết thảo luận .51 3.2.1 Bảng phân tích, thống kê kết thí nghiệm 51 3.2.2 Biểu đồ .51 ng 3.2.3 Thảo luận .52 ườ KẾT LUẬN 54 Tr DANH MỤC TÀI LIỆU THAM KHẢO 55 iii - DANH MỤC HÌNH VẼ Hình 1.1: Hình ảnh đơn giản cách hệ thống đề xuất uế Hình 1.2: Hình ảnh biểu diễn vectơ với hướng độ lớn (Nguồn Internet) tế H Hình 1.3: UBCF (trái) IBCF (phải) 11 Hình 1.4: Hình ảnh đơn giản hệ thống lọc nội dung 14 Hình 1.5: Hình ảnh đơn giản sử dụng phương pháp tư vấn hỗn hợp 17 in h Hình 1.6: Hình ảnh đơn giản sử dụng phương pháp tư vấn hỗn hợp (vẽ lại)……… 17 cK Hình 2.1 : Sơ đồ thuật tốn UB-CF 39 Hình 3.1: Giao diện ban đầu phần mềm 47 họ Hình 3.2: Giao diện phần mềm dự đoán phim người dùng thích 48 Đ ại Hình 3.3: Giao diện trang chủ phần mềm để đánh giá mơ hình 49 Hình 3.4: Giao diện phần mềm hiển thị danh sách phim đánh giá 50 ng Hình 3.5: Biểu đồ đường tập liệu phương pháp MSE .507 Tr ườ Hình 3.6: Biểu đồ đường tập liệu phương pháp RMSE 508 iv - DANH MỤC BẢNG BIỂU Bảng 1: Ví dụ UM với hệ thống Gợi ý hát .6 Bảng 2: Bảng ma trận đánh giá 20 uế Bảng 3: Bảng ví dụ đánh giá phương pháp 44 Tr ườ ng Đ ại họ cK in h tế H Bảng 4: Kết chạy mơ hình với liệu ml-100k 51 v - DANH MỤC THUẬT NGỮ Tên tiếng Anh Tên Tiếng Việt CBF Content Based Filtering Lọc nội dung CF Collaborative Filtering Lọc cộng tác fv feature vector Vectơ đặc trưng Item - Base Collaborative Filtering tế H IBCF uế Viết tắt Lọc cộng tác dựa vật phẩm Item Profiles Items/item Items KNN K-nearest neighbor K – hàng xóm lân cận ML Machine Learning Học máy MSE Mean squared error in cK họ Neighborhood - Based Sai số tồn phương trung bình Lọc cộng tác làng giềng gần Collaborative Filtering ng Rating/ Vật phẩm/sản phẩm hàng hóa Đ ại NBCF Hồ sơ vật phẩm h IP Rating Đánh giá RMSE Root mean square error Độ lệch trung bình bình phương RP Rating Predirect Dự đoán đánh giá RS Recommendation systems Hệ thống tư vấn Tr ườ Preference UBCF User - Base Collaborative Filtering vi Lọc cộng tác dựa người dùng - Utility Matrix Ma trận tiện ích UP User Profiles Hồ sơ người dùng Users/user Users Người dùng Tr ườ ng Đ ại họ cK in h tế H uế UM vii - MỞ ĐẦU Lý chọn đề tài Hệ tư vấn (Recommendation systems - RS) [1] lĩnh vực nghiên cứu quan trọng, quan tâm từ báo xuất [2] uế phương pháp lọc cộng tác (Collaborative Filtering - CF) [3] vào năm 1990 tế H Ngày nay, khoa học kỹ thuật giới nói chung Việt Nam nói riêng đà phát triển ngày mạnh mẽ không ngừng nâng cao phát triển mặt Đặc biệt ngành cơng nghệ thơng tin Để đáp ứng nhu cầu ngày h cao người hàng loạt cơng ty máy tính đời ứng dụng in công nghệ thông tin áp dụng ngày nhiều Điều đem cho đến thời đại mà lượng lớn thơng tin tạo hàng ngày cK Hàng ngàn tin viết đưa lên Internet, hàng trăm hát thu âm nhiều đầu sách số hóa ngày Dẫn đến vấn đề làm để họ tìm nội dung phù hợp với cá nhân Hầu hết người lên Google Facebook để tìm kiếm, tham khảo từ bạn bè Việc khơng hữu ích tốn thời gian ta khơng biết cụm Đ ại “từ khóa” ta cần tìm, có bạn bè có quan tâm tương tự Không việc đưa khuyến nghị cho người dùng sản phẩm, nội dung mà họ quan tâm cải thiện hiệu kinh doanh doanh nghiệp, trải ng nghiệm Trên sở đó, việc áp dụng RS cần quan tâm, việc ứng ườ dụng q trình xử lý thông tin Một vài ứng dụng tiếng xây dựng dựa RS tiếng như: Hệ tư vấn sách, CDs Amazon.com, hệ tư Tr vấn phim Netflix [4] Khơng có Amazon, Netflix mà cịn có nhiều hệ thống khác giới sử dụng RS-CF để gợi ý cho khách hàng tới sản phẩm thích hợp với người dùng Có thể nói việc áp dụng RS vào ngành thương mại điện tử ngày điều cần thiết Các hệ thống tư vấn giúp người dùng nhận đề xuất cá nhân hóa giúp người dùng đưa định xác giao dịch trực tuyến - CHƯƠNG 3: THÍ NGHIỆM VÀ THẢO LUẬN 3.1 Thiết lập thí nghiệm - Thí nghiệm thực sở liệu movielens 100k, gồm liệu ua, ub, u1, u2, u3, u4 u5 Thí nghiệm thực uế liệu để đảm bảo tính ngẫu nhiên khách quan thuật toán tế H liệu movielens 100k - Quá trình thiết lập phần mềm sử dụng tảng Java với môi trường xây dựng tảng Spring Tool suite h - Quá trình thiết lập phần mềm tảng Java SE Development Kit 13, cK - Giao diện phần mềm: in thiết lập tảng Win 10 Pro Education Tr ườ ng Đ ại vào hệ thống” họ Giao diện ban đầu phần mềm khởi động, chọn “Click để truy cập Hình 3.1: Giao diện ban đầu phần mềm 47 ng Đ ại họ cK in h tế H uế - ườ Hình 3.2: Giao diện phần mềm dự đốn phim người dùng thích Tr Ở giao diện này, có phần sau: - Tiến hành chọn liệu muốn thử nghiệm - Chọn tài khoản muốn hệ thống dự đoán phim thích - Chọn số làng giếng gần nhất, với số láng giềng gần cao kết xác - Chọn số phim muốn dự đoán cho tài khoản chọn 48 họ cK in h tế H uế - Đ ại Hình 3.3: Giao diện trang chủ phần mềm để đánh giá mơ hình Ở giao diện này, có phần sau: - Tiến hành chọn liệu muốn thử nghiệm ng - Chọn số làng giếng gần nhất, với số láng giềng gần cao kết ườ xác Tr Nhấn nút “Đánh giá mơ hình” để tiến hành đánh giá mơ hình, kết hiển thị phần 49 họ cK in h tế H uế - Hình 3.4: Giao diện phần mềm hiển thị danh sách phim đánh giá Đ ại Ở giao diện này, có phần sau: - Tiến hành chọn liệu muốn thử nghiệm - Chọn tài khoản muốn hệ thống đưa phim người dùng đánh ng giá sở liệu chọn Tr ườ Nhấn nút “Danh sách vật phẩm” để tiến hành, việc giúp ta dễ dàng xem người dùng đánh giá vật phẩm 50 - 3.2 Kết thảo luận 3.2.1 Bảng phân tích, thống kê kết thí nghiệm Bảng 4: Kết chạy mơ hình với liệu ml-100k Movielens 100K uế UBCF u2.test u3.test u4.test u5.test ua.test ub.test MSE 2.11 2.10 2.12 2.07 2.098 2.14 2.11 RMSE 1.45 1.45 1.46 1.44 1.448 1.46 1.45 in h tế H u1.test cK Nhận xét: Dựa vào kết độ sai lệch bảng 4, kết sai lệch liệu khơng q lớn Trong liệu ua có kết sai lệch lớn từ dự đốn so với thực tế, ngồi liệu u4 có kết nhỏ họ Từ kết bảng 4, ta có biểu đồ mơ hình tập liệu sau 3.2.2 Biểu đồ Đ ại MSE (Mean squared error) 2.16 ng 2.14 2.12 ườ 2.1 Tr 2.08 2.06 2.04 2.02 u1.test u2.test u3.test u4.test u5.test ua.test ub.test Hình 3.5: Biểu đồ đường tập liệu với phương pháp MSE 51 - RMSE (Root mean squared error) 1.465 1.46 uế 1.455 tế H 1.45 1.445 h 1.44 1.43 u2.test u3.test u4.test cK u1.test in 1.435 u5.test ua.test ub.test họ Hình 3.6: Biểu đồ đường tập liệu phương pháp RMSE Theo quan sát, hai biểu đồ thể ý nghĩa tương đồng Cụ thể với sở liệu u4 đạt giá trí thấp nhấp giá trị ua đạt giá trị cao Đ ại nhất, điều mang ý nghĩa trình bày cụ thể phần thảo luận phía 3.2.3 Thảo luận ng Với mơ hình lọc cộng tác dựa người dùng – UBCF ta thấy đường biểu ườ diễn hình 3.5 3.6 tập liệu u1.test; u2.test; u3.test; u4.test; u5.test; ua.test; ub.test Tr Theo quan sát, kết MSE RMSE cho ta biết sai số dự đoán thuật toán liệu Kết so sánh biểu đồ cho thấy thuật tốn xây dựng khơng có sai lệch lớn (biên độ lệch khơng q 0,1) Điều giải thích khác liệu dùng trên, phân chia từ liệu mẫu 100k cách ngẫu nhiên Do liệu liệu u1.test; u2.test; u3.test; u4.test; u5.test; ua.test; ub.test phân 52 - chia cách ngẫu nhiên từ liệu mẫu u.data nên ta xác định thuật tốn xây dựng đảm bảo độ xác Nhưng nhìn chung, kết dự đốn chưa đạt độ xác tuyệt đối mà cịn có sai lệch Sự sai lệch chứng tỏ trình xây dựng thuật tốn dạng mã nguồn code theo sơ đồ Hình 2.1 cịn lỗi, khiến cho kết toán bị uế sai lệch Và vấn đề, mà khóa luận cần nghiên cứu cải thiện thêm, Tr ườ ng Đ ại họ cK in h tế H qua đưa kết xác cho tốn 53 - KẾT LUẬN Với phát triển bùng nổ công nghệ thông tin tai, ứng dụng RS ngày phát triển đánh giá cao Nắm bắt xu thời đại, bắt đầu nghiên cứu đề tài “Xây dựng hệ tư vấn sử dụng phương pháp lọc cộng tác” uế số kết sau: - Nắm lý thuyết xây dựng hệ tư vấn tế H - Xây dựng thuật toán hệ tư vấn theo phương pháp lọc cộng tác dựa người dùng Ngoài kết đạt bên cạnh cịn số thiếu sót: h - Phương pháp xây dựng mơ hình UBCF để đưa đề xuất dừng mức in nghiên cứu chưa có tính sáng tạo để nâng cao hiệu toán hệ tư vấn - Chưa xây dựng hệ thống hoàn chỉnh áp dụng phương pháp lọc cộng tác đề cK xuất phim mà dừng ngang mức kiểm nghiệm độ xác thuật toán - Vấn đề khởi động lạnh chưa giải họ Nhìn chung, việc nghiên cứu lĩnh vực hoàn toàn khả thi thực tiễn, phù hợp với nhu cầu Do thời gian tới, tiếp tục nghiên cứu thêm Đ ại phương pháp khác hệ tư vấn để cải thiện kết độ xác xác định xác hơn, đưa khuyến nghị phù hợp với người Tr ườ ng dùng hệ thống 54 - DANH MỤC TÀI LIỆU THAM KHẢO (2019) Recommender system Wikipedia, , accessed: 07/12/2019 uế Goldberg D., David Nichols, Brian M Oki cộng (1992) Using collaborative filtering to weave an information Tapestry Association for Computing Machinery tế H (2019) Collaborative filtering Wikipedia, , accessed: 06/12/2019 h Gomez-Uribe C.A Hunt N (2015) The Netflix Recommender System: in Algorithms, Business Value, and Innovation ACM Trans Manag Inf Syst, 6(4), 1– cK 19 (2019) Luật số lớn Wikipedia tiếng Việt, , accessed: 22/11/2019 (2019) Tâm lý học đám đông Wikipedia tiếng Việt, Đ ại , accessed: 22/11/2019 ng (2019) Big data Wikipedia, , ườ accessed: 27/10/2019 (2019) Bolero Việt Nam Wikipedia tiếng Việt, Tr , accessed: 05/12/2019 (2019) Nhạc thiếu nhi Wikipedia tiếng Việt, , accessed: 05/12/2019 55 - 10 (2019) Vector Wikipedia, , accessed: 07/12/2019 11 (2019) Euclidean distance Wikipedia, uế , accessed: 07/12/2019 Manhattan distance - Wiktionary tế H 12 , accessed: 07/12/2019 13 Vu T (2017) Bài 23: Content-based Recommendation Systems Tiep Vu’s h blog, in , accessed: 04/10/2019 Vu T (2017) Bài 24: Neighborhood-Based Collaborative Filtering Tiep Vu’s cK 14 blog, , 15 họ accessed: 27/09/2019 Gregory D Linden;, Jennifer A Jacobi, Eric A Benson Collaborative Đ ại recommendations using item-to-item similarity mappings 16 Linden G., Smith B., York J (2003) Amazon.com recommendations: item- ng to-item collaborative filtering IEEE Internet Comput, 7(1), 76–80 17 Wang D., Liang Y., Xu D cộng (2018) A content-based recommender ườ system for computer science publications Knowl-Based Syst, 157, 1–9 18 Adomavicius G Tuzhilin A (2005) Toward the next generation of Tr recommender systems: a survey of the state-of-the-art and possible extensions IEEE Trans Knowl Data Eng, 17(6), 734–749 19 Ekstrand M.D (2011) Collaborative Filtering Recommender Systems Found Trends® Human–Computer Interact, 4(2), 81–173 56 - 20 Lam X.N., Vu T., Le T.D cộng (2008) Addressing cold-start problem in recommendation systems Proceedings of the 2nd international conference on Ubiquitous information management and communication - ICUIMC ’08, Suwon, Korea, ACM Press, 208 Francesco Ricci L.R and B.S Bracha Shapira Introduction to Recommender uế 21 Systems Handbook, Su X Khoshgoftaar T.M (2009) A Survey of Collaborative Filtering tế H 22 Techniques Adv Artif Intell, 2009, 1–19 23 Buhmann M.D., Melville P., Sindhwani V cộng (2011) Recommender Elahi M., Ricci F., Rubens N (2016) A survey of active learning in in 24 h Systems Encyclopedia of Machine Learning Springer US, Boston, MA, 829–838 25 cK collaborative filtering recommender systems Comput Sci Rev, 20, 29–50 Wen - Recommendation System Based on Collaborative Filte.pdf , accessed: 12/10/2019 Hofmann T Latent Semantic Models for Collaborative filtering ACM Trans Inf Syst, 89–115 Koren Y., Bell R., Volinsky C (2009) Matrix Factorization Techniques for Đ ại 27 họ 26 Recommender Systems Computer, 42(8), 30–37 28 Sarwar B., Karypis G., Konstan J cộng (2001) Item-based collaborative ng filtering recommendation algorithms Proceedings of the tenth international conference on World Wide Web - WWW ’01, Hong Kong, Hong Kong, ACM Press, ườ 285–295 Tr 29 Bottou L (2012) Stochastic Gradient Descent Tricks Neural Networks: Tricks of the Trade Springer Berlin Heidelberg, Berlin, Heidelberg, 421–436 30 Dr Jerry Eriksson Prof Dr Patrik Eklund Matrix Factorization Methods for Recommender Systems Shameem Ahamed Puthiya Parambath 57 - 31 Badriyah T Prasetyaningrum I (2015) BUILDING A RECOMMENDATION SYSTEM FOR ONLINE SHOPPING BASED ON ITEMBASED COLLABORATIVE FILTERING 10 32 Herlocker J.L., Konstan J.A., Terveen L.G cộng (2004) Evaluating 33 uế collaborative filtering recommender systems ACM Trans Inf Syst, 22(1), 5–53 Nikzad–Khasmakhi N., Balafar M.A., Reza Feizi–Derakhshi M (2019) The tế H state-of-the-art in expert recommendation systems Eng Appl Artif Intell, 82, 126– 147 34 Milovančević N.S Gračanac A (2019) Time and ontology for resource Zihayat M., Ayanso A., Zhao X cộng (2019) A utility-based news in 35 h recommendation system Phys Stat Mech Its Appl, 525, 752–760 36 cK recommendation system Decis Support Syst, 117, 14–27 Ni L., Lin H., Zhang M cộng (2018) Hybrid Filtrations Recommendation System based on Privacy Preserving in Edge Computing 37 họ Procedia Comput Sci, 129, 407–409 Shakhovska N., Fedushko S., ml M.G cộng (2019) Development of 38 Đ ại Mobile System for Medical Recommendations Procedia Comput Sci, 155, 43–50 Yang S., Korayem M., AlJadda K cộng (2017) Combining content- based and collaborative filtering for job recommendation system: A cost-sensitive ng Statistical Relational Learning approach Knowl-Based Syst, 136, 37–45 39 (PDF) Javawock: A Java Class Recommender System Based on Collaborative ườ Filtering ResearchGate, , accessed: 18/10/2019 40 Kong F., Li J., Lv Z (2018) Construction of intelligent traffic information recommendation system based on long short-term memory J Comput Sci, 26, 78– 86 58 - 41 Yang Li, Suhang Wang, Quan Pan cộng Learning binary codes with neural collaborative filtering for efficient recommendation systems 42 Badr Ait Hammou, Ayoub Ait Lahcen, Salma Mouline An effective uế distributed predictive model with Matrix factorization and random forest for Big Data recommendation systems Liang Ying LiuBoqin Application of Transfer Learning in Task tế H 43 Recommendation System 44 Helmers C., Krishnan P., Patnam M (2019) Attention and saliency on the h internet: Evidence from an online recommendation system J Econ Behav Organ, 45 in 161, 216–242 Phạm Nhật Trí, Nguyễn Bình Long, Phạm Nguyễn Đức Dương Nghiên cứu cK lớp toán luật kết hợp lãnh vực khai phá liệu Nghiên cứu sở lý thuyết họ giải thuật Apriori Phan Quốc Nghĩa, Nguyễn Minh Kỳ, Đặng Hoài Phƣơng cộng HỆ TƯ họ 46 VẤN LỌC CỘNG TÁC THEO NGƯỜI DÙNG DỰA TRÊN ĐỘ ĐO HÀM Ý 47 Đ ại THỐNG KÊ HUỲNH NGỌC TÍN PHÁT TRIỂN MỘT SỐ PHƯƠNG PHÁP KHUYẾN NGHỊ HỖ TRỢ TÌM KIẾM THƠNG TIN HỌC THUẬT DỰA TRÊN TIẾP CẬN ng PHÂN TÍCH MẠNG XÃ HỘI 48 K45_Dang_Thanh_Hai_Thesis.pdf ườ , accessed: 12/10/2019 Tr 49 Walunj S.G Sadafale K (2013) An online recommendation system for e- commerce based on apache mahout framework Proceedings of the 2013 annual conference on Computers and people research - SIGMIS-CPR ’13, Cincinnati, Ohio, USA, ACM Press, 153 59 - 50 (2019) Mean squared error Wikipedia, , accessed: 15/12/2019 60 ng ườ Tr Đ ại h in cK họ uế tế H - 61