Đồ án nghiên cứu các giải thuật khuyến nghị và xây dựng ứng dụng minh hoạ

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM ĐỖ THÀNH ĐẠT - 20521163 KIỀU BÁ DƯƠNG – 20520990 ĐỒ ÁN NGHIÊN CỨU CÁC GIẢI THUẬT KHUYẾN NGHỊ VÀ XÂY DỰNG ỨNG DỤNG MINH HOẠ Researching Recommendation Algorithms and developing Illustrative Applications Lớp SE121.N21 GIẢNG VIÊN HƯỚNG DẪN Th.S Nguyễn Tấn Tồn TP HỒ CHÍ MINH, 2023 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM ĐỖ THÀNH ĐẠT - 20521163 KIỀU BÁ DƯƠNG – 20520990 ĐỒ ÁN NGHIÊN CỨU CÁC GIẢI THUẬT KHUYẾN NGHỊ VÀ XÂY DỰNG ỨNG DỤNG MINH HOẠ Researching Recommendation Algorithms and developing Illustrative Applications Lớp: SE121.N21 GIẢNG VIÊN HƯỚNG DẪN Th.S Nguyễn Tấn Tồn TP HỒ CHÍ MINH, 2023 LỜI CẢM ƠN Nhóm chúng em xin gửi lời cảm ơn chân thành tri ân sâu sắc đến thầy Nguyễn Tấn Tồn hướng dẫn, tạo điều kiện cho nhóm chúng em hồn thành đồ án mơn Đồ án Trong vòng 16 tuần, qua buổi học, nhờ dẫn nhiệt tình thầy, chúng em tiếp thu kiến thức quan trọng, bổ ích góp ý chân thành để làm đồ án hoàn chỉnh Trong khoảng thời gian thực đồ án, chúng em học hỏi thêm nhiều kiến thức, kinh nghiệm, biết bước để nghiên cứu vấn đề, tự nghiên cứu Bên cạnh đó, chúng em xin cảm ơn bạn bè lớp động viên, thảo luận góp ý cho nhóm đồng thời khơi thêm nguồn động lực cho nhóm suốt q trình đầy khó khăn Mặc dù cố gắng hoàn thành báo cáo với tất nỗ lực song báo cáo nhóm chúng em chắn khơng tránh khỏi thiếu sót, chúng em mong nhận thơng cảm góp ý chân thành từ thầy Chúng em xin chân thành cảm ơn Xin chúc điều tốt đẹp đồng hành người Thành phố Hồ Chí Minh, 13 tháng 07 năm 2023 Sinh viên Đỗ Thành Đạt Kiều Bá Dương MỤC LỤC LỜI CẢM ƠN MỤC LỤC DANH MỤC TỪ VIẾT TẮT TÓM TẮT ĐỒ ÁN ĐỀ CƯƠNG CHI TIẾT 10 NỘI DUNG ĐỒ ÁN 17 CHƯƠNG 1: MỞ ĐẦU 17 1.1 Lý chọn đề tài 17 1.1.1 Nhu cầu ngày tăng gợi ý cá nhân 17 1.1.2 Tiềm kinh doanh trải nghiệm người dùng tốt 17 1.1.3 Sự phát triển nhanh chóng liệu cơng nghệ 17 1.1.4 Nghiên cứu phát triển liên quan 17 1.1.5 Mục tiêu báo cáo 18 1.2 Mục tiêu 18 1.2.1 Tìm hiểu Hệ thống gợi ý 18 1.2.2 Phân tích so sánh phương pháp gợi ý 18 1.2.3 Nghiên cứu áp dụng kỹ thuật 18 1.2.4 Đánh giá so sánh hiệu suất 18 1.2.5 Đề xuất hướng phát triển 19 1.3 Phạm vi 19 1.4 Đối tượng nghiên cứu 20 1.4.1 Các công nghệ nghiên cứu: 20 1.4.2 Đối tượng sử dụng đề tài hướng đến: 20 1.5 Phạm vi nghiên cứu 20 1.5.1 Phạm vi môi trường: 20 1.5.2 Phạm vi chức năng: 20 CHƯƠNG 2: Định nghĩa khái niệm 22 2.1 Hệ thống gợi ý: 22 2.2 Người dùng: 22 2.3 Mục tiêu gợi ý: 22 2.4 Phương pháp gợi ý: 22 2.5 Đánh giá hiệu suất gợi ý: 22 2.6 Phân loại phương pháp gợi ý 23 2.6.1 Gợi ý dựa nội dung (Content-based recommendation): 23 2.6.2 Gợi ý dựa người dùng (Collaborative filtering): 23 2.7 Các ứng dụng hệ thống gợi ý 23 2.7.1 Ứng dụng thương mại điện tử: 23 2.7.2 Ứng dụng tảng phương tiện truyền thông: 24 2.7.3 Ứng dụng dịch vụ trực tuyến: 24 CHƯƠNG 3: Các phương pháp gợi ý 24 3.1 Gợi ý dựa nội dung (Content-based recommendation) 24 3.1.1 Nguyên lý hoạt động 24 3.1.2 Ưu điểm hạn chế 25 3.1.3 Ví dụ ứng dụng 26 3.2 Gợi ý dựa người dùng (Collaborative filtering) 27 3.2.1 Nguyên lý hoạt động 27 3.2.2 Ưu điểm hạn chế 28 3.2.3 Ví dụ ứng dụng 29 3.3 Phương pháp gợi ý kết hợp (Hybrid recommendation) 29 3.3.1 Nguyên lý hoạt động 29 3.3.2 Ưu điểm hạn chế 30 3.3.3 Ví dụ ứng dụng 31 CHƯƠNG 4: Tiền xử lý liệu (Data Preprocessing): 33 4.1 Data Cleaning (Làm liệu) 33 4.2 Data Transformation (Chuyển đổi liệu) 34 4.3 Data Integration (Tích hợp liệu) 35 CHƯƠNG 5: Các thuật toán hệ thống gợi ý 37 5.1 Thuật toán K-nearest neighbors (KNN) 37 5.2 Thuật toán Singular Value Decomposition (SVD) 38 5.3 Thuật toán Matrix Factorization 39 5.4 Kmeans 41 5.5 Consine similarity 43 5.5.1 Giới thiệu 44 5.5.2 Tính tốn Cosine Similarity: 44 5.5.3 Ưu điểm: 44 5.5.4 Hạn chế: 44 5.5.5 Phương pháp mở rộng cải tiến: 45 5.6 Bert algorithm 45 5.6.1 Giới thiệu 45 5.6.2 Mơ hình Bert 45 5.6.3 Huấn luyện Bert 46 5.6.4 Biểu diễn từ (Word Embeddings) 46 5.6.5 Tính khả diễn giải Bert 46 5.6.6 Ứng dụng hệ thống gợi ý 46 5.6.7 Kết luận 46 5.7 Deep Learning Models 47 5.7.1 Giới thiệu 47 5.7.2 Kiến trúc mạng Deep Learning hệ thống gợi ý 47 5.7.3 Mạng nơ-ron nhân tạo (Artificial Neural Networks) 47 5.7.4 Mạng nơ-ron tích chập (Convolutional Neural Networks) 47 5.7.5 Mơ hình kết hợp Deep Learning lọc cộng tác (Collaborative Filtering) 47 5.7.6 Kết luận 48 CHƯƠNG 6: Đánh giá Và Các số hiệu suất 49 6.1 Precision, Recall F1-Score 49 6.2 Root Mean Square Error 50 6.3 Mean Average Precision (MAP) 51 6.4 Normalized Discounted Cumulative Gain (NDCG) 51 6.5 Coverage and Diversity (Phạm vi Đa dạng) 53 6.6 A/B Testing (Kiểm thử A/B) 53 CHƯƠNG 7: Triển khai hệ thống đề xuất 54 7.1 Cơ sở lý thuyết 54 7.1.1 Thu thập chuẩn bị liệu (Data Collection and Preparation) 54 7.1.2 Lựa chọn huấn luyện mơ hình (Model Selection and Training) 55 7.1.3 Đánh giá phân tích (Evaluation and Analysis) 56 7.1.4 Triển khai khả mở rộng (Deployment and Scalability) 56 7.2 Xây dựng ứng dụng minh hoạ 56 7.2.1 Mô tả ứng dụng 56 7.2.2 Thu thập chuẩn bị liệu 60 7.2.3 Lựa chọn huấn luyện mơ hình 63 CHƯƠNG 8: Các trường hợp nghiên cứu 71 8.1 Hệ thống đề xuất Netflix 71 8.1.1 Giới thiệu 71 8.1.2 Thuật toán đề xuất 71 8.1.3 Xây dựng hồ sơ người dùng thu thập liệu 71 8.1.4 Quá trình tạo đề xuất cá nhân hóa 72 8.1.5 Đánh giá cải tiến 72 8.1.6 Tác động đến tương tác người dùng giữ chân khách hàng 72 8.1.7 Thách thức hướng phát triển tương lai 72 8.1.8 Kết luận 73 8.2 Hệ thống đề xuất Amazon 73 8.2.1 Giới thiệu 73 8.2.2 Mục tiêu đặt vấn đề 76 8.2.3 Phương pháp nghiên cứu 76 8.2.4 Kết kinh nghiệm 76 8.2.5 Kết luận đề xuất 76 CHƯƠNG 9: Thách thức hướng phát triển tương lai 77 9.1 Vấn đề khởi đầu lạnh (Cold Start Problem) 77 9.1.1 Định nghĩa vấn đề: 77 9.1.2 Nguyên nhân gây vấn đề: 77 9.1.3 Các giải pháp hướng phát triển: 77 9.1.4 Tầm quan trọng ứng dụng: 78 9.2 Khả mở rộng Đề xuất thời gian thực 78 9.2.1 Định nghĩa vấn đề: 78 9.2.2 Thách thức mở rộng: 78 9.2.3 Thách thức đề xuất thời gian thực: 79 9.2.4 Các giải pháp hướng phát triển: 79 9.2.5 Tầm quan trọng ứng dụng: 79 9.3 Hướng phát triển tương lai 80 CHƯƠNG 10: TỔNG KẾT 82 10.1 Tóm tắt lại kết nghiên cứu 82 10.2 Kết đạt 83 10.3 Hạn chế 84 TÀI LIỆU THAM KHẢO 86 DANH MỤC TỪ VIẾT TẮT # Từ viết tắt RS CRUD Từ đầy đủ Recommendation System Ý nghĩa Hệ thống khuyến nghị Create/Read/Update/De Là tập hợp bốn chức lưu lete trữ liên tục Sai số bình phương số đánh giá RMSE/RMS Root mean square deviation đo lường khác biệt trung bình giá trị dự đốn giá trị thực tế Giá trị thấp, chứng tỏ mô hình gợi ý có độc xác độ tin cậy cao Hệ số xác định tỷ lệ thay đổi RSquared R2 biến phụ thuộc đốn từ biến độc lập Chỉ số cho biết mục độ phù hợp (fit) liệu mơ hình TĨM TẮT ĐỒ ÁN Đồ án với đề tài “Nghiên cứu giải thuật khuyến nghị xây dựng ứng dụng minh hoạ” tập trung vào phân tích thực trạng ứng dụng cơng nghệ để từ xây dụng ứng dụng di động sử dụng mà khơng u cầu q nhiều phần cứng, phần mềm Đáp ứng nhu cầu việc xem phim giải trí cá nhân Đề tài việc tìm hiểu thực trạng, đưa vấn đề tồn đọng cải thiện Xác định mục tiêu, phạm vi đề tài chức cần có hệ thống Ngoài việc xử lý nghiệp vụ cho hệ thống, nhóm tìm hiểu, so sánh lựa chọn công nghệ phù hợp giúp nâng cao trải nghiệm người dùng, tối ưu chi phí phát triển triển khai Nhờ việc phân tích yêu cầu rõ ràng, thời gian phát triển ngắn yêu cầu, tính thay đổi, trình phát triển đề tài sử dụng mơ hình Thác nước cải tiến cho việc xây dựng hệ thống Báo cáo tập trung vào nghiên cứu phát triển Recommender System ứng dụng đọc rating sách Mục tiêu tạo ứng dụng đọc sách tích hợp Recommender System, giúp người dùng khám phá tìm kiếm sách phù hợp với sở thích họ Trong ứng dụng chúng tôi, sử dụng phương pháp Content-based Filtering để hiển thị sách tương tự đến sách xem Phương pháp dựa đặc điểm sách thể loại, tác giả, từ khóa để đề xuất sách có nội dung tương tự Ngồi ra, chúng tơi áp dụng phương pháp Item-based Filtering để hiển thị danh mục sách có liên quan tới sách xem Phương pháp dựa vào rating người dùng sách để tìm sách có tương đồng sở thích đánh giá Màn hình trang chủ ứng dụng hiển thị danh sách sách đề xuất dựa lịch sử rating người dùng Chúng sử dụng phương pháp User-based Collaborative Filtering để xác định sách phù hợp với sở thích cá nhân người dùng Mục tiêu chúng em tạo ứng dụng đọc sách tương tác cá nhân hóa, giúp người dùng khám phá tìm kiếm sách phù hợp với sở thích họ Báo cáo giới thiệu chi tiết quy trình phát triển ứng dụng, phương pháp 8.1.4 Quá trình tạo đề xuất cá nhân hóa Q trình tạo đề xuất hệ thống Netflix bao gồm nhiều bước Ban đầu, tùy chọn nội dung chọn dựa liên quan với hồ sơ người dùng Sau đó, tùy chọn xếp hạng cách sử dụng nhiều yếu tố, bao gồm phổ biến, tương tác trước người dùng Các mơ hình học máy sử dụng để dự đốn sở thích người dùng tùy chọn, dựa liệu lịch sử đặc trưng trích xuất từ nội dung Cuối cùng, hệ thống tạo danh sách đề xuất cá nhân để hiển thị cho người dùng 8.1.5 Đánh giá cải tiến Netflix liên tục đánh giá hiệu suất hệ thống đề xuất cách sử dụng số khác tỷ lệ nhấp chuột, phản hồi từ người dùng tỷ lệ giữ chân Kiểm tra A/B thường xuyên tiến hành để so sánh hiệu thuật toán chiến lược đề xuất khác Các thông tin thu từ đánh giá sử dụng để cải tiến thuật toán đề xuất, cải thiện độ xác dự đốn tối ưu hóa hiệu suất tổng thể hệ thống 8.1.6 Tác động đến tương tác người dùng giữ chân khách hàng Hệ thống đề xuất đóng vai trò quan trọng việc thúc đẩy tương tác người dùng giữ chân khách hàng tảng Netflix Bằng cách cung cấp đề xuất cá nhân hóa, người dùng có khả khám phá nội dung phù hợp với sở thích họ, từ tăng thời gian xem hài lòng Hơn nữa, khả hệ thống liên tục thích nghi cải thiện đề xuất nâng cao trải nghiệm người dùng tổng thể, củng cố lòng trung thành khách hàng giảm tỷ lệ từ chối dịch vụ 8.1.7 Thách thức hướng phát triển tương lai Mặc dù hệ thống đề xuất Netflix đạt thành cơng đáng kể, đối mặt với thách thức hội để cải thiện Một số thách thức bao gồm vấn đề "khởi động lạnh" cho người dùng mới, đa dạng đề xuất yếu tố đạo đức liên quan đến quyền riêng tư việc sử dụng liệu Hướng phát triển tương lai bao gồm khám phá kỹ thuật học máy tiên tiến, kết hợp thông tin ngữ cảnh tận dụng tương tác xã hội để nâng cao hệ thống đề xuất 72 8.1.8 Kết luận Hệ thống đề xuất Netflix phần quan trọng tinh vi tảng xem phim trực tuyến họ Bằng cách sử dụng thuật toán tiên tiến, xây dựng hồ sơ người dùng đánh giá liên tục, Netflix cung cấp đề xuất cá nhân hóa cao cấp giúp nâng cao tương tác người dùng giữ chân khách hàng Phân tích giúp hiểu rõ chế hoạt động hệ thống, đồng thời đề xuất hướng phát triển tiềm Nghiên cứu cung cấp tảng quan trọng cho nhà nghiên cứu chuyên gia lĩnh vực hệ thống đề xuất có giá trị nghiên cứu trường hợp 8.2 Hệ thống đề xuất Amazon 8.2.1 Giới thiệu Hệ thống gợi ý công nghệ quan trọng ngành thương mại điện tử, giúp cung cấp đề xuất sản phẩm cá nhân hóa cho người dùng dựa sở thích hành vi trước Trong lĩnh vực này, hệ thống gợi ý Amazon coi ví dụ thành cơng Trong báo cáo này, tìm hiểu hệ thống gợi ý Amazon yếu tố quan trọng việc nghiên cứu Recommender System Amazon sử dụng thuật toán đề xuất để cung cấp loại đề xuất khác cho người dùng tảng thương mại điện tử họ Tuy nhiên, công ty không cung cấp đủ thông tin trường hợp sử dụng hệ thống đề xuất Điều hạn chế hiểu biết khả tương tác người dùng công cụ Tuy nhiên, số kỹ sư, nhà báo nhà nghiên cứu xác định số loại đề xuất sản phẩm mà hệ thống đề xuất công ty tạo Dưới loại đề xuất này: - Đề xuất dành cho bạn: Khi người dùng truy cập trang web Amazon.com đăng nhập, họ thấy tab cơng cụ liên quan đến tài khoản họ (ví dụ: Gabby's Amazon.com) Khi nhấp vào đây, họ nhận loạt đề xuất sản phẩm nhiều danh mục khác nhau, bao gồm sách, thời trang điện tử 73 - Thường mua nhau: Nhằm tăng giá trị đơn hàng trung bình, cơng ty đề xuất mặt hàng mua khứ Những đề xuất nhằm thuyết phục khách hàng mua thêm mặt hàng khác (gọi upselling) và/hoặc mua sản phẩm dịch vụ khác (gọi cross-selling) cách đưa gợi ý dựa mặt hàng mà người dùng thêm vào giỏ hàng mặt hàng mà họ xem trang web - Sản phẩm tương tự: Công ty đề xuất sản phẩm tương tự với sản phẩm mà người dùng xem gần Các đề xuất dựa lịch sử duyệt web người dùng mặt hàng đề xuất thường khác hình dạng, kích thước thương hiệu - Lịch sử duyệt web chung: Công ty đề xuất sản phẩm dựa lịch sử duyệt web người dùng trường hợp họ muốn truy cập mua sản phẩm mà họ thể quan tâm trước - Sản phẩm xem gần đây: Công ty đề xuất dựa mặt hàng mà người dùng vừa xem gần Amazon có mục tiêu đưa đề xuất đề xuất Sản phẩm tương tự, tức họ muốn gợi ý sản phẩm dựa lịch sử duyệt web gần người dùng - Liên quan đến/Sản phẩm dựa mặt hàng bạn xem: Các loại đề xuất gợi ý sản phẩm tương tự với mặt hàng mà người dùng vừa xem gần Ví dụ, người dùng tìm kiếm móc áo tảng, đề xuất gợi ý loại móc áo có hình dạng, kích thước, thương hiệu khác nhau, dựa lịch sử duyệt web gần người dùng - Khách hàng mua mặt hàng mua: Loại đề xuất gợi ý mặt hàng mua hàng chung người dùng khứ Loại đề xuất tương tự với phần Thường mua nhằm tăng giá trị đơn hàng trung bình thơng qua up-selling cross-selling - Đề xuất mặt hàng khách hàng thường mua lại: Loại đề xuất gợi ý mặt hàng mà người dùng tương tự thường mua nhiều lần 74 - Phiên mặt hàng này: Loại đề xuất dựa giả định người dùng thích nâng cấp mặt hàng điện tử mà họ mua Do đó, loại đề xuất thông báo cho người dùng phiên mặt hàng mà họ mua có sẵn - Đề xuất dựa mua hàng trước đó/Cảm hứng từ việc mua hàng bạn/Cảm hứng từ xu hướng mua sắm bạn: Các loại đề xuất đề xuất sản phẩm cho người dùng dựa giao dịch mua hàng gần mà họ thực Sau người dùng thực giao dịch mua hàng tảng, họ chuyển hướng đến trang chi tiết đơn hàng Trên trang này, người dùng nhận đề xuất thêm mặt hàng kết hợp với đơn hàng ban đầu Ví dụ, người dùng mua iPad Amazon, họ nhận đề xuất cho bao iPad trang chi tiết đơn hàng Những đề xuất xuất trang chủ Loại đề xuất nhằm khuyến khích người dùng thực giao dịch mua hàng thứ hai cách đưa đề xuất cross-sell liên quan - Bán chạy danh mục khác nhau: Loại đề xuất đưa mặt hàng bán chạy danh mục sản phẩm khác tảng Nó dựa quan điểm mặt hàng mua rộng rãi người dùng khác đáng giá Ngoài ra, đề xuất nhằm giúp người dùng nhận biết sản phẩm phổ biến mua hàng từ danh mục sản phẩm mà họ chưa mua trước Điều tạo nhiều hội up-selling cross-selling cho tảng - Phổ biến thương hiệu bạn thích: Loại đề xuất gợi ý mặt hàng phổ biến bán thương hiệu người bán mà người dùng quan tâm - Đề xuất qua email trang web: Amazon gửi cho người dùng đề xuất sản phẩm qua email Người dùng tắt chức nhận email tiếp thị chọn số danh mục cụ thể (ví dụ: làm đẹp, sách, Amazon Echo) mà họ muốn nhận email tiếp thị Các email có nội dung 75 tập trung khác nhau, chứa loại đề xuất tương tự loại đề xuất có sẵn tảng 8.2.2 Mục tiêu đặt vấn đề Mục tiêu báo cáo phân tích hệ thống gợi ý Amazon, xác định thành phần cách mà cung cấp đề xuất sản phẩm cho người dùng Nghiên cứu nhấn mạnh tầm quan trọng việc nghiên cứu Recommender System lĩnh vực thương mại điện tử khám phá ưu điểm, thách thức tiềm hệ thống gợi ý việc tạo trải nghiệm người dùng tốt tăng cường doanh số bán hàng 8.2.3 Phương pháp nghiên cứu Trong q trình nghiên cứu, chúng tơi tiến hành phân tích chi tiết kiến trúc thành phần hệ thống gợi ý Amazon Chúng tơi khám phá phương pháp thuật tốn sử dụng, bao gồm Collaborative Filtering (lọc cộng tác) Content-Based Filtering (lọc dựa nội dung) Ngoài ra, nghiên cứu phương pháp khác Hybrid Filtering (lọc kết hợp) Deep Learning-based Recommender Systems (hệ thống gợi ý dựa học sâu) mà Amazon sử dụng 8.2.4 Kết kinh nghiệm Hệ thống gợi ý Amazon chứng minh hiệu suất hiệu việc cung cấp đề xuất sản phẩm cá nhân hóa cho hàng triệu người dùng toàn cầu Điều giúp tăng cường trải nghiệm mua sắm tạo cộng đồng người dùng trung thành Tuy nhiên, nhận thấy thách thức mà hệ thống gợi ý phải đối mặt, bao gồm vấn đề tính minh bạch kiểm soát chất lượng đề xuất 8.2.5 Kết luận đề xuất Chúng ta rút kết luận nghiên cứu hệ thống gợi ý lĩnh vực quan trọng hứa hẹn lĩnh vực thương mại điện tử Việc nghiên cứu hệ 76 thống gợi ý giúp hiểu rõ cách tạo đề xuất cá nhân hóa cải thiện trải nghiệm người dùng CHƯƠNG 9: THÁCH THỨC VÀ HƯỚNG PHÁT TRIỂN TRONG TƯƠNG LAI 9.1 Vấn đề khởi đầu lạnh (Cold Start Problem) 9.1.1 Định nghĩa vấn đề: Vấn đề khởi đầu lạnh (Cold Start Problem) thách thức quan trọng Recommendation System Nó xuất phát từ việc khó khăn việc đề xuất cho người dùng đối tượng hệ thống Trong trường hợp này, khơng có đủ thơng tin sẵn có để xác định sở thích người dùng đối tượng để tạo đề xuất xác 9.1.2 Nguyên nhân gây vấn đề: Vấn đề khởi đầu lạnh xuất phát từ hai nguyên nhân Thứ nhất, người dùng mới, hệ thống khơng có thơng tin lịch sử hoạt động hay đánh giá họ để tạo đề xuất cá nhân hóa Thứ hai, đối tượng mới, phim mới, khơng có đủ thơng tin nội dung để xác định tương đồng với đối tượng khác 9.1.3 Các giải pháp hướng phát triển: Để vượt qua vấn đề khởi đầu lạnh, có số giải pháp hướng phát triển mà nhà nghiên cứu công ty nghiên cứu triển khai Xây dựng mô hình dựa thuộc tính: Một phương pháp để vượt qua vấn đề khởi đầu lạnh xây dựng mô hình dựa thuộc tính người dùng đối tượng Điều bao gồm việc yêu cầu người dùng cung cấp thơng tin sở thích ban đầu thu thập thơng tin thuộc tính đối tượng Sử dụng thông tin ngữ cảnh: Một cách tiếp cận khác sử dụng thông tin ngữ cảnh để đề xuất cho người dùng đối tượng Thơng tin ngữ cảnh bao gồm địa điểm, thời gian, kiện thông tin khác để xác định sở thích tương đồng Kỹ thuật học tăng cường: Kỹ thuật học tăng cường (Reinforcement Learning) áp dụng để giải vấn đề khởi đầu lạnh Bằng cách cho phép hệ thống tương tác trực tiếp với người dùng đối tượng để thu thập thơng tin tối ưu hóa đề xuất theo thời gian, hệ thống học cải thiện kết đề xuất 77 Sử dụng nguồn liệu phụ trợ: Các nguồn liệu phụ trợ, mạng xã hội, đánh giá người dùng, thơng tin từ bên ngồi, sử dụng để xác định sở thích tương đồng người dùng đối tượng 9.1.4 Tầm quan trọng ứng dụng: Vấn đề khởi đầu lạnh có tầm quan trọng lớn Recommendation System ảnh hưởng trực tiếp đến khả cung cấp đề xuất cá nhân hóa cho người dùng đối tượng Việc giải vấn đề đem lại lợi ích đáng kể cho người dùng, tăng cường tương tác tín nhiệm hệ thống, đồng thời mở rộng thị trường tăng doanh thu cho công ty sử dụng Recommendation System Trong tương lai, để vượt qua vấn đề khởi đầu lạnh, cần tiếp tục nghiên cứu phát triển giải pháp sáng tạo tiên tiến Việc kết hợp phương pháp truyền thống tiếp cận mới, áp dụng kỹ thuật học máy trí tuệ nhân tạo tiên tiến, sử dụng nguồn liệu phụ trợ mang lại kết đáng kể tiến đáng kể việc giải vấn đề Đồng thời, cần xem xét yếu tố văn hóa, đạo đức pháp luật để đảm bảo tính bảo mật quyền riêng tư người dùng trình thu thập thông tin tạo đề xuất cá nhân hóa 9.2 Khả mở rộng Đề xuất thời gian thực 9.2.1 Định nghĩa vấn đề: Khả mở rộng đề xuất thời gian thực hai thách thức Recommendation System Với gia tăng không ngừng liệu số lượng người dùng, việc xử lý đề xuất dựa mơ hình truyền thống trở nên phức tạp tốn nhiều thời gian Ngoài ra, người dùng ngày mong đợi nhận đề xuất nhanh chóng xác thời gian thực 9.2.2 Thách thức mở rộng: Vấn đề khả mở rộng Recommendation System xuất phát từ việc xử lý liệu lớn đáp ứng số lượng người dùng lớn Các mơ hình truyền thống gặp khó khăn việc xử lý liệu phức tạp khối lượng lớn, gây tượng giảm hiệu suất thời gian phản hồi chậm Điều ảnh hưởng đến trải nghiệm người dùng khả mở rộng hệ thống 78 9.2.3 Thách thức đề xuất thời gian thực: Vấn đề đề xuất thời gian thực Recommendation System địi hỏi hệ thống đưa đề xuất xác nhanh chóng để đáp ứng nhu cầu người dùng Việc tính tốn đánh giá đề xuất thời gian ngắn địi hỏi hệ thống tối ưu hóa tối đa hóa hiệu suất 9.2.4 Các giải pháp hướng phát triển: Để vượt qua thách thức khả mở rộng đề xuất thời gian thực Recommendation System, có số giải pháp hướng phát triển áp dụng: - Tối ưu hóa thuật tốn: Cải thiện thuật tốn phương pháp xử lý liệu để giảm thiểu thời gian tính toán tăng hiệu suất xử lý Sử dụng kỹ thuật tối ưu hóa, song song hóa, phân tán hóa giúp cải thiện khả mở rộng hệ thống - Sử dụng hệ thống phân tán: Xây dựng hệ thống phân tán song song để xử lý liệu lớn đáp ứng số lượng người dùng lớn Sử dụng công nghệ Hadoop, Spark tảng đám mây giúp tăng khả mở rộng xử lý liệu hiệu - Đánh giá cải tiến hiệu suất: Đo lường đánh giá hiệu suất hệ thống Recommendation System để tìm hiểu điểm yếu cải thiện chất lượng đề xuất Sử dụng phương pháp A/B Testing kiểm tra chéo để đánh giá hiệu suất tối ưu hóa thuật tốn mơ hình - Sử dụng kỹ thuật thời gian thực: Áp dụng kỹ thuật thời gian thực, bao gồm xử lý liệu trực tiếp đưa đề xuất lập tức, để đáp ứng nhu cầu người dùng thời gian thực Sử dụng công nghệ CEP (Complex Event Processing) Stream Processing giúp hệ thống đề xuất thời gian thực - Sử dụng học máy tăng cường (Reinforcement Learning): Áp dụng học máy tăng cường để cải thiện khả mở rộng đề xuất thời gian thực Bằng cách cho phép hệ thống tương tác trực tiếp với người dùng học từ kết phản hồi, hệ thống cải thiện tối ưu hóa đề xuất theo thời gian 9.2.5 Tầm quan trọng ứng dụng: Khả mở rộng đề xuất thời gian thực hai yếu tố quan trọng Recommendation System Việc xử lý đề xuất dựa liệu lớn thời gian ngắn không cung cấp trải nghiệm tốt cho người dùng mà mở rộng thị trường tăng doanh thu cho công ty sử dụng Recommendation System 79 Trong tương lai, để vượt qua thách thức khả mở rộng đề xuất thời gian thực, cần tiếp tục nghiên cứu phát triển giải pháp sáng tạo tiên tiến Sử dụng kỹ thuật công nghệ mới, học máy tăng cường xử lý liệu phân tán, giúp cải thiện hiệu suất đáp ứng nhu cầu ngày cao người dùng Đồng thời, việc tìm hiểu vấn đề khác quyền riêng tư độ tin cậy quan trọng để đảm bảo phát triển bền vững hệ thống Recommendation System tương lai 9.3 Hướng phát triển tương lai Một số hướng phát triển tiềm cho nghiên cứu tương lai lĩnh vực Recommendation System, dựa kết thảo luận báo Các hướng phát triển nhằm nâng cao chất lượng, hiệu suất tính ứng dụng Recommendation System - Tích hợp hệ thống đa nguồn liệu: Recommendation System hưởng lợi từ việc tích hợp đa nguồn liệu, bao gồm thông tin từ mạng xã hội, hồ sơ người dùng, lịch sử mua hàng, liệu từ bên ngồi Tích hợp nguồn liệu giúp cung cấp thơng tin sâu sở thích, tương tác ngữ cảnh người dùng, từ cải thiện chất lượng đề xuất trải nghiệm người dùng - Áp dụng kỹ thuật học sâu: Kỹ thuật học sâu, đặc biệt mạng nơ-ron học sâu, mang lại nhiều thành tựu đáng kể lĩnh vực khác Trong Recommendation System, áp dụng kỹ thuật học sâu cải thiện khả hiểu mơ hình hóa thơng tin phức tạp từ người dùng đối tượng Các mơ hình dựa học sâu khai thác mối quan hệ phi tuyến biểu diễn mơ hình tương tác phức tạp người dùng nội dung - Tăng cường tính nhận thức giải thích: Việc tăng cường tính nhận thức giải thích Recommendation System đem lại lợi ích đáng kể cho người dùng Bằng cách giải thích rõ ràng cách mà hệ thống đưa đề xuất cung cấp lý xác định cho đề xuất, người dùng hiểu tin tưởng vào hệ thống Tính nhận thức giải thích đóng vai trị quan trọng việc đảm bảo tính minh bạch cơng hệ thống - Xây dựng hệ thống đề xuất đa tảng: Với phổ biến tảng ứngdụng đa dạng, Recommendation System cần phát triển tương thích với nhiều tảng khác Xây dựng hệ thống đề xuất đa tảng đảm bảo tính 80 linh hoạt khả mở rộng hệ thống, từ cung cấp đề xuất chất lượng cho người dùng tảng ứng dụng khác - Nghiên cứu tương tác người dùng hệ thống: Việc nghiên cứu tối ưu hóa tương tác người dùng Recommendation System hướng phát triển quan trọng Điều bao gồm việc khám phá cách người dùng tương tác với hệ thống, cung cấp giao diện tương tác thân thiện tiện ích, tối ưu hóa q trình phản hồi đáp ứng hệ thống - Xây dựng hệ thống Recommendation System phù hợp với ngành công nghiệp cụ thể: Recommendation System áp dụng nhiều ngành cơng nghiệp, từ thương mại điện tử giải trí đến lĩnh vực y tế giáo dục Việc nghiên cứu phát triển hệ thống Recommendation System phù hợp với ngành cơng nghiệp đảm bảo tính chun môn ứng dụng thực tiễn hệ thống 81 CHƯƠNG 10: TỔNG KẾT 10.1 Tóm tắt lại kết nghiên cứu Trong nghiên cứu, tiến hành nghiên cứu thuật toán phương pháp lĩnh vực Recommendation System, việc xây dựng ứng dụng minh họa Chúng tập trung vào việc phân tích thuật tốn đề xuất, phương pháp đánh giá hiệu suất, thách thức hướng phát triển tương lai Recommendation System Trong phần giới thiệu, chúng tơi trình bày động mục tiêu nghiên cứu, phạm vi báo Chúng tổng kết kết nghiên cứu phần kết luận sau đây: - Chúng tơi phân tích giới thiệu thuật toán phương pháp Recommendation System, bao gồm Collaborative Filtering, Content-Based Filtering Hybrid Approaches Chúng xem xét cách hoạt động phương pháp ưu điểm, hạn chế chúng - Chúng xem xét phương pháp đánh giá hiệu suất Recommendation System, bao gồm Precision, Recall, F1-Score, Mean Average Precision (MAP), Normalized Discounted Cumulative Gain (NDCG), Coverage Diversity, A/B Testing Các phương pháp giúp đánh giá chất lượng hiệu suất hệ thống đề xuất - Chúng xem xét thách thức hướng phát triển tương lai Recommendation System, bao gồm vấn đề khởi đầu lạnh (Cold Start Problem), khả mở rộng đề xuất thời gian thực, quyền riêng tư đạo đức, tính giải thích minh bạch Các thách thức yêu cầu nghiên cứu đổi liên tục để cải thiện hiệu suất tương tác hệ thống Tổng kết lại, báo nghiên cứu này, nghiên cứu phân tích thuật tốn phương pháp Recommendation Systemđồng thời xây dựng ứng dụng minh họa để thể tính ứng dụng tiềm chúng Chúng đưa nhìn tổng quan lĩnh vực này, bao gồm khía cạnh lý thuyết thực tế Thơng qua nghiên cứu này, chúng tơi nhận thấy Recommendation System đóng vai trò quan trọng việc cung cấp đề xuất cá nhân hóa cho người dùng tăng cường tương tác người dùng nội dung Chúng nhận thấy việc đánh giá hiệu 82 suất độ xác hệ thống đề xuất quan trọng để đảm bảo chất lượng hiệu Tuy nhiên, chúng tơi nhận thấy Recommendation System đối mặt với nhiều thách thức, vấn đề khởi đầu lạnh, khả mở rộng, đề xuất thời gian thực vấn đề quyền riêng tư minh bạch Để vượt qua thách thức này, cần tiếp tục nghiên cứu phát triển giải pháp sáng tạo tiên tiến, kết hợp kỹ thuật truyền thống tiếp cận mới, xem xét yếu tố văn hóa, đạo đức pháp luật Trong tương lai, mong đợi tiến phát triển Recommendation System thông qua việc áp dụng công nghệ tiên tiến học máy tăng cường, xử lý liệu phân tán học sâu Điều tạo hệ thống đề xuất cá nhân hóa mạnh mẽ hiệu hơn, đáp ứng nhu cầu ngày cao người dùng mang lại lợi ích kinh tế đáng kể cho tổ chức sử dụng Recommendation System Tổng kết lại, nghiên cứu mang đến nhìn tổng quan Recommendation System thách thức tiềm lĩnh vực Chúng hy vọng báo đóng góp vào việc tăng cường hiểu biết khám phá sâu Recommendation System khuyến khích phát triển ứng dụng thực tế 10.2 Kết đạt Tổng kết kết đạt từ nghiên cứu này, dựa q trình nghiên cứu, phân tích thảo luận toàn báo - Đạt hiểu biết sâu Recommendation System: Chúng nghiên cứu phân tích thuật tốn phương pháp Recommendation System, từ Collaborative Filtering, Content-Based Filtering Hybrid Approaches Qua q trình này, chúng tơi có hiểu biết sâu sắc cách hoạt động ưu điểm, hạn chế phương pháp - Nắm vững phương pháp đánh giá hiệu suất: Chúng tơi xem xét phân tích phương pháp đánh giá hiệu suất Recommendation System, bao gồm Precision, Recall, F1-Score, Mean Average Precision (MAP), Normalized Discounted Cumulative Gain (NDCG), Coverage Diversity, A/B Testing Việc nắm vững phương pháp giúp có khả đánh giá chất lượng hiệu suất hệ thống đề xuất 83 - Hiểu rõ thách thức hướng phát triển tương lai: Chúng nghiên cứu thảo luận thách thức hướng phát triển tương lai Recommendation System, bao gồm vấn đề khởi đầu lạnh, khả mở rộng đề xuất thời gian thực, quyền riêng tư minh bạch, tính giải thích minh bạch Hiểu rõ thách thức giúp nhận thức rõ ràng vấn đề quan trọng tiềm phát triển lĩnh vực - Xây dựng ứng dụng minh họa: Chúng xây dựng ứng dụng minh họa để thể tính ứng dụng tiềm thuật toán phương pháp Recommendation System Tổng kết lại, qua q trình nghiên cứu phân tích, đạt kết quan trọng có giá trị từ nghiên cứu Chúng tơi có hiểu biết sâu Recommendation System, phương pháp đánh giá hiệu suất, thách thức hướng phát triển lĩnh vực Đồng thời, xây dựng ứng dụng minh họa để thể tính ứng dụng thuật tốn phương pháp thực tế 10.3 Hạn chế Dưới số hạn chế cịn thuật tốn recommendation system mà chúng em làm được: - Hạn chế liệu: Một hạn chế Recommendation System thiếu hụt khơng xác liệu Đôi khi, thông tin người dùng đối tượng khơng đầy đủ khơng xác, dẫn đến khó khăn việc tạo đề xuất xác cá nhân hóa Hơn nữa, liệu thiếu khơng cân đối dẫn đến tượng cân hiệu suất không đáng tin cậy hệ thống - Vấn đề khởi đầu lạnh: Recommendation System đối mặt với vấn đề khởi đầu lạnh tương tác thông tin người dùng đối tượng hạn chế Khi khơng có đủ liệu thông tin người dùng, hệ thống gặp khó khăn việc tạo đề xuất xác cá nhân hóa Giải vấn đề khởi đầu lạnh thách thức quan trọng lĩnh vực - Hiệu suất khả mở rộng: Với lượng liệu lớn số lượng người dùng ngày tăng, Recommendation System phải đối mặt với thách thức hiệu suất khả mở rộng Việc xử lý phân tích liệu lớn làm giảm hiệu suất tốc 84 độ phản hồi hệ thống Hơn nữa, việc mở rộng hệ thống để đáp ứng số lượng người dùng đối tượng ngày tăng thách thức quan trọng 85 TÀI LIỆU THAM KHẢO [1] Adomavicius, G., & Tuzhilin, A (2005) Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions IEEE Transactions on Knowledge and Data Engineering, 17(6), 734-749 [2] Bobadilla, J., Ortega, F., Hernando, A., & Gutiérrez, A (2013) Recommender systems survey Knowledge-Based Systems, 46, 109-132 [3] Herlocker, J L., Konstan, J A., Terveen, L G., & Riedl, J T (2004) Evaluating collaborative filtering recommender systems ACM Transactions on Information Systems (TOIS), 22(1), 5-53 [4] Koren, Y., Bell, R., & Volinsky, C (2009) Matrix factorization techniques for recommender systems Computer, 42(8), 30-37 [5] Liu, Q., Jiang, R., & Shang, M S (2012) A survey of collaborative filtering techniques Advances in Information Sciences and Service Sciences, 4(2), 204-213 [6] Manning, C D., Raghavan, P., & Schütze, H (2008) Introduction to Information Retrieval Cambridge University Press [7] Ricci, F., Rokach, L., & Shapira, B (2011) Introduction to recommender systems handbook In Recommender Systems Handbook (pp 1-35) Springer [8] Sarwar, B., Karypis, G., Konstan, J., & Riedl, J (2001) Item-based collaborative filtering recommendation algorithms In Proceedings of the 10th International Conference on World Wide Web (pp 285-295) [9] Su, X., & Khoshgoftaar, T M (2009) A survey of collaborative filtering techniques Advances in artificial intelligence, 2009, [10] Zhang, Y., & Hurley, N (2016) Deep learning for recommender systems: A concise overview In Proceedings of the 10th ACM Conference on Recommender Systems (pp 916) 86