Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế

Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các thiết bị có tài nguyên hạn chế.

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI DƯƠNG TẤN NGHĨA NGHIÊN CỨU PHƯƠNG PHÁP XỬ LÝ DỮ LIỆU CHO HỆ THỐNG GỢI Ý VÀ TRIỂN KHAI TRÊN CÁC THIẾT BỊ CÓ TÀI NGUYÊN HẠN CHẾ LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ HÀ NỘI - 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI DƯƠNG TẤN NGHĨA NGHIÊN CỨU PHƯƠNG PHÁP XỬ LÝ DỮ LIỆU CHO HỆ THỐNG GỢI Ý VÀ TRIỂN KHAI TRÊN CÁC THIẾT BỊ CÓ TÀI NGUYÊN HẠN CHẾ LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Ngành: KỸ THUẬT ĐIỆN TỬ Mã số: 9520203 NGƯỜI HƯỚNG DẪN KHOA HỌC: TS ĐẶNG QUANG HIẾU PGS TS NGUYỄN ĐỨC MINH HÀ NỘI - 2023 LỜI CAM ĐOAN Tôi xin cam đoan kết khoa học trình bày luận án cơng trình nghiên cứu hướng dẫn cán hướng dẫn Các số liệu, kết trình bày luận án có nguồn gốc rõ ràng, hồn tồn trung thực chưa tác giả khác công bố cơng trình trước Các liệu tham khảo trích dẫn đầy đủ Hà Nội, ngày 25 tháng 05 năm 2023 Tập thể hướng dẫn TS Đặng Quang Hiếu PGS TS Nguyễn Đức Minh Tác giả luận án Dương Tấn Nghĩa LỜI CẢM ƠN Trong trình nghiên cứu hồn thành Luận án, nghiên cứu sinh nhận định hướng, giúp đỡ, ý kiến đóng góp quý báu lời động viên nhà khoa học, thầy cô giáo, đồng nghiệp gia đình Trước hết, nghiên cứu sinh xin bày tỏ lời cảm ơn tới thầy TS Đặng Quang Hiếu, PGS.TS Nguyễn Đức Minh tận tình hướng dẫn giúp đỡ trình nghiên cứu Nghiên cứu sinh xin chân thành cảm ơn thầy cô giáo, nhà khoa học Khoa Điện Tử, Trường Điện- Điện Tử, Đại Học Bách Khoa Hà Nội có góp ý quý báu cho Nghiên cứu sinh trình thực Luận án Cuối nghiên cứu sinh bày tỏ lời cảm ơn sâu sắc tới gia đình hai bên người vợ nghiên cứu sinh động viên, chia sẻ, ủng hộ giúp đỡ nghiên cứu sinh vượt qua khó khăn để đạt kết nghiên cứu Luận án NCS Dương Tấn Nghĩa MỤC LỤC MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC KÝ HIỆU TOÁN HỌC vii DANH MỤC HÌNH VẼ ix DANH MỤC BẢNG BIỂU xi MỞ ĐẦU 1 Giới thiệu chung hệ thống gợi ý Tính cần thiết luận án vấn đề giải Mục tiêu, đối tượng, phạm vi phương pháp nghiên cứu 13 Các đóng góp luận án 14 Cấu trúc nội dung luận án 14 CHƯƠNG TỔNG QUAN VỀ HỆ THỐNG GỢI Ý 16 1.1 Ma trận lịch sử tương tác hệ thống gợi ý 16 1.2 Các phương án triển khai hệ thống gợi ý 18 1.2.1 Hệ thống gợi ý dựa nội dung 18 1.2.2 Lọc cộng tác dựa ghi nhớ 20 1.2.3 Lọc cộng tác dựa mơ hình 22 1.3 Thiết lập thực nghiệm 24 1.3.1 Tập liệu MovieLens 20M 24 1.3.2 Tập liệu MovieLens 25M 26 1.3.3 Phương pháp đánh giá 26 1.4 Kết luận 28 i ii CHƯƠNG CẢI THIỆN THUẬT TOÁN ĐO ĐỘ TƯƠNG ĐỒNG GIỮA HAI SẢN PHẨM TRONG LỌC CỘNG TÁC DỰA TRÊN GHI NHỚ 29 2.1 Hạn chế phép đo độ tương đồng truyền thống hệ thống gợi ý 30 2.1.1 Hạn chế phân bố thống kê độ tương đồng 30 2.1.2 Hạn chế liệu lịch sử đánh giá tính tốn ma trận tương đồng 31 2.2 Phương pháp tính độ tương đồng cải thiện hạn chế phân bố thống kê 33 2.3 Phương pháp Lọc cộng tác dựa theo ghi nhớ tích hợp nội dung sản phẩm 35 2.3.1 Dữ liệu Tag Genome tập liệu MovieLens 20M 25M 35 2.3.2 Phương pháp tích hợp nội dung sản phẩm vào hệ thống lọc cộng tác dựa theo ghi nhớ 35 2.3.3 Xây dựng ma trận tương đồng kết hợp hệ thống gợi ý dựa ghi nhớ 37 2.4 Kết thực nghiệm 40 2.4.1 Các mơ hình tham chiếu 40 2.4.2 Kết phương pháp giúp cải thiện phân bố thống kê ma trận tương đồng 41 2.4.3 Kết tích hợp nội dung sản phẩm vào hệ thống lọc cộng tác dựa theo ghi nhớ 43 2.4.4 Kết tích hợp ma trận tương đồng kết hợp hệ thống gợi ý dựa ghi nhớ 45 2.4.5 Kết triển khai mơ hình thiết bị máy tính Jetson Nano 48 2.5 Kết luận 50 CHƯƠNG HỆ THỐNG GỢI Ý ÁP DỤNG CÁCH THỨC BIỂU DIỄN SẢN PHẨM SỬ DỤNG CÁC KỸ THUẬT HỌC SÂU 52 3.1 Phương pháp nhóm thẻ tương đồng liệu Tag Genome kỹ thuật xử lý ngôn ngữ tự nhiên 53 iii 3.2 Phương pháp học cách biểu diễn cho sản phẩm qua Bộ tự mã hóa 56 3.2.1 Kiến trúc Bộ tự mã hóa 56 3.2.2 Áp dụng Bộ tự mã hoá nhằm biểu diễn sản phẩm 57 3.3 Học cách biểu diễn cho phim với Bộ tự mã hóa bán chập 58 3.3.1 Cơ sở áp dụng CNN cho liệu bảng 58 3.3.2 Sơ lược kiến trúc mạng nơ-ron chập chiều 61 3.3.3 Sơ lược Bộ tự mã hóa chập - CAE 63 3.3.4 Thiết kế Bộ tự mã hóa bán chập 64 3.4 Kết thực nghiệm 66 3.4.1 Các mô hình tham chiếu 66 3.4.2 Kết mơ hình sử dụng phương pháp nhóm thẻ tương đồng liệu Tag Genome kỹ thuật xử lý ngôn ngữ tự nhiên 67 3.4.3 Kết mơ hình sử dụng cách biểu diễn cho sản phẩm qua Bộ tự mã hóa 68 3.4.4 Kết áp dụng biểu diễn cho phim với Bộ tự mã hóa bán chập 73 3.4.5 Kết triển khai mơ hình thiết bị máy tính Jetson Nano 79 3.5 Kết luận CHƯƠNG 80 PHƯƠNG PHÁP SINH DỮ LIỆU NGƯỜI DÙNG NHÂN TẠO ỨNG DỤNG TRONG LỌC CỘNG TÁC 82 4.1 Biểu diễn người dùng qua nội dung sản phẩm thông tin đánh giá 82 4.2 Tích hợp độ tương quan người dùng - sản phẩm vào ước lượng sở 86 4.3 Áp dụng nội dung sản phẩm vào tốn khởi tạo cho mơ hình phân rã ma trận 88 4.4 Kết thí nghiệm 90 4.4.1 Tích hợp độ tương quan người dùng - sản phẩm vào ước lượng sở 90 4.4.2 Áp dụng nội dung sản phẩm vào tốn khởi tạo cho mơ hình MF 94 iv 4.4.3 Kết triển khai mơ hình thiết bị máy tính Jetson Nano 97 4.5 Kết luận KẾT LUẬN 98 100 Những kết đạt 100 Hướng nghiên cứu 100 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ 102 DANH MỤC CÁC TỪ VIẾT TẮT Viết tắt Tên tiếng Anh Tên tiếng Việt AE Autoencoder Mạng Tự Mã hoá ANN Artificial Neural Network Mạng Nơ-ron Nhân tạo CAE Convolutional Autoencoder Mạng Tự Mã hoá Chập CNN Convolutional Neural Network Mạng Nơ-ron Chập 1D-CNN Dimension Convolutional Neur- Mạng Nơ-ron Chập chiều ral Network 2D-CNN Dimension Convolutional Neur- Mạng Nơ-ron Chập chiều ral Network CF Collaborative Filtering Lọc Cộng tác CV Coefficient of Variation Hệ số Biến thiên Cos Cosine Hàm Cosine DL Deep Learning Học Sâu FM Factorization Machine Máy Nhân tử hóa I-Autorec Item-based Autorec Mơ hình Autorec hướng sản phẩm ii-CF item-item Collaborative Filtering Lọc Cộng tác hướng sản phẩm HCAE Half Convolutional Autoencoder Mạng Tự Mã hóa Bán Chập kNN k-Nearest Neighbor Thuật tốn k Láng giềng Gần MAE Mean Absolute Error Trung bình Sai số Tuyệt đối MF Matrix Factorization Phân rã Ma trận ML Machine Learning Học Máy NLP Natural Language Processing Xử lý Ngôn ngữ Tự nhiên NMF Non-negative Matrix Factoriza- Phân rã Ma trận Không âm tion PCC Pearson Correlation Coefficient Hệ số Tương quan Pearson RBM Restricted Boltzmann Machine Máy Boltzmann bị Hạn chế v vi RS Recommendation System Hệ thống gợi ý RMSE Root Mean Squared Error Căn bậc hai Trung bình Bình phương Sai số SGD Stochastic Gradient Descent Hạ Gradient Ngẫu nhiên SVD Singular Value Decomposition Phân tích Giá trị Suy biến 96 thực nghiệm cho thấy vector khởi tạo có giá trị xác, RS dựa thuật toán MF hiệu độ xác lẫn độ phức tạp tính tốn Bảng 4.5: So sánh độ xác hai mơ hình SVD-genome NMF-genome sử dụng vector điểm số genome 600 phần tử sinh HCAE mô hình tham chiếu Mơ hình RMSE P@5 P@10 R@5 R@10 Tập liệu MovieLens 20M kNNBaseline 0.8108 0.7967 0.7721 0.4261 0.5541 I-AutoRec 0.7808 0.7778 0.7559 0.3972 0.5228 NMF 0.7981 0.7951 0.7743 0.4296 0.5583 SVD 0.7922 0.8005 0.7786 0.4322 0.5628 SVD++ 0.7894 0.8030 0.7817 0.4339 0.5639 NMF-genome 0.7688 0.8174 0.7941 0.4389 0.5689 SVD-genome 0.7472 0.8304 0.8081 0.4429 0.5724 Tập liệu MovieLens 25M kNNBaseline 0.8086 0.7987 0.7739 0.4270 0.5557 I-AutoRec 0.7795 0.7791 0.7569 0.3979 0.5236 NMF 0.7958 0.7970 0.7760 0.4303 0.5591 SVD 0.7897 0.8022 0.7802 0.4331 0.5639 SVD++ 0.7851 0.8048 0.7833 0.4348 0.5651 NMF-genome 0.7663 0.8199 0.7962 0.4400 0.5708 SVD-genome 0.7443 0.8332 0.8115 0.4442 0.5748 Hai mơ hình có độ xác tốt nhất, SVD-genome NMF-genome sử dụng vector điểm số genome 600 phần tử sinh HCAE, lựa chọn để so sánh với mơ hình tham chiếu Trong phần này, mơ hình có kỹ thuật khác lập trình sử dụng nhiều thư viện khác để tìm mơ hình có tỉ lệ lỗi thấp không xét đến tổng thời gian hồn thành q trình huấn luyện dự đốn Nói cách khác, thông số mô tả khả dự đốn mơ hình trình bày Bảng 4.5 nhằm so sánh cách công Kết 97 thực nghiệm cho thấy mơ hình trội đáng kể so với mơ hình tham chiếu hai số độ xác Cụ thể, mơ hình với tỉ lệ lỗi thấp nhất, SVD-genome, đạt cải thiện từ 0.59% đến 7.13% so với mô hình khác tốn dự đốn đánh giá xếp hạng sản phẩm Những kết đáng khích lệ, phương pháp đề xuất đạt tỉ lệ lỗi thấp áp dụng cho SVD++ biến thể tân tiến timeSVD++ [90] flippedTimeSVD++ [91] Tuy nhiên, giới hạn tài nguyên phần cứng, thí nghiệm chưa tiến hành q trình tác giả thực luận án: việc sử dụng số nhân tố ẩn k lớn khiến trình huấn luyện tiêu tốn khoảng thời gian khổng lồ để hoàn thành Trên thực tế, đánh đổi độ xác với độ phức tạp tính tốn lớn không đáng 4.4.3 Kết triển khai mơ hình thiết bị máy tính Jetson Nano Bảng 4.6: Hiệu suất, tài nguyên tiêu thụ thời gian thực mơ hình đề xuất triển khai máy tính Jetson Nano Thời gian [s] Mơ hình Huấn luyện Dự đốn kNNBaseline Khơng có 1551 SVD-genome 700 5320 Tài nguyên tiêu thụ CPU RAM/SWAP 80% 3.95 GB RAM Frq:1.5 Ghz 1.9 GB SWAP 90% Frq:1.5 Ghz 2GB RAM Đóng góp chương mơ hình kNNContent tích hợp sui , SVD-genome NMF-genome Các mơ hình có dựa mơ hình sở trình bày chương trước, nên thời gian tài nguyên phần cứng tiêu thụ thiết bị máy tính Jetsonnano có kết tương đồng Đối với mơ hình kNNContent tích hợp sui , lý cải thiện hiệu mơ hình tính tốn độ tương đồng người dùng với sản phẩm, điểm tương đồng khơng thể tính tốn thiết bị đáp ứng phần cứng không đủ nên phải thực máy trạm lưu lại kết quả, đọc triển khai dự đốn tương tự mơ hình kNNBaseline thiết bị 98 máy tính Jetson Nano Cịn với mơ hình SVD-genome, độ phức tạp thuật tốn gia tăng phải thay đổi số factors nên kết có chút thay đổi nhỏ Cuối mơ hình NMF-genome, mơ hình khơng thể triển khai thiết bị khơng đủ tài ngun Từ bảng 4.6, thấy hiệu suất tương đương với kết trình bày chương trước Phần cứng tiêu thụ gần tối đa thời gian thường chậm lần Các mơ hình tối ưu thuật tốn tối để triển khai thiết bị bị hạn chế phần cứng Jetson Nano Hình 4.3: Kết thực đề xuất hệ thống với mơ hình SVD-genome Kết Hình 4.3 thể khả triển khai RSs thiết bị biên Việc xử lý gợi ý trực tiếp thiết bị biên mang lại nhiều lợi ích quan trọng Đầu tiên, việc triển khai thiết bị biên giúp giảm độ trễ trình cung cấp gợi ý, đồng nghĩa với việc người dùng nhận đề xuất nhanh chóng liền mạch Thứ hai, việc xử lý liệu gợi ý trực tiếp thiết bị biên tăng cường tính riêng tư bảo mật liệu không cần truyền liệu qua mạng lưu trữ tảng đám mây - điều đáng ý bối cảnh quan tâm quyền riêng tư bảo vệ liệu người dùng ngày gia tăng 4.5 Kết luận Trong chương này, tác giả đề xuất số phương pháp mơ hình hóa sở thích người dùng cách kết hợp thơng tin mơ tả sản phẩm trích xuất từ HCAE với liệu lịch sử đánh giá Dạng biểu diễn người dùng khơng giúp hiểu sở thích người dùng với đặc trưng sản phẩm mà giúp đo 99 độ tương quan người dùng - sản phẩm Tiếp đó, cơng thức tính ước lượng sở mơ hình kNNBaseline điều chỉnh cách tích hợp thêm thông tin phản ánh độ tương đồng người dùng - sản phẩm Các thí nghiệm cho thấy điều chỉnh cải thiện đáng kể khả dự đoán mơ hình dựa ghi nhớ Cuối cùng, vector biểu diễn người dùng sản phẩm sử dụng làm giá trị khởi tạo trình huấn luyện mơ hình MF truyền thống Kết thí nghiệm cho thấy mơ hình SVD / NMF khởi tạo tùy chỉnh nâng cao tốc độ hội tụ mà cịn cung cấp dự đốn đánh giá xác so với mơ hình khởi tạo ngẫu nhiên Điều cho thấy hệ thống gợi ý dựa kỹ thuật MF cải thiện cách đáng kể cách khai tác tối đa thơng tin có sẵn người dùng sản phẩm để phục vụ cho trình khởi tạo Những kết công bố nghiên cứu [J2] [C4] KẾT LUẬN Những kết đạt Trong luận án này, thuật tốn CF dựa ghi nhớ dựa mơ hình RS nghiên cứu kĩ lưỡng nhận kết khả quan: • Đề xuất thuật tốn cải thiện độ xác phép đo độ tương đồng sản phẩm sử dụng phương pháp thống kê liệu đặc trưng sản phẩm nhằm cải thiện độ xác hệ thống CF dựa ghi nhớ • Thiết kế quy trình làm thơng tin sản phẩm sử dụng NLP, đồng thời áp dụng kiến trúc AE CNN nhằm nén liệu trích xuất đặc trưng ẩn từ thơng tin thuộc tính sản phẩm • Xây dựng liệu mô tả người dùng từ liệu mô tả đặc trưng sản phẩm lịch sử tương tác, sau kết hợp với liệu đặc trưng sản phẩm để cải thiện độ xác ước lượng sở mơ hình CF dựa ghi nhớ, đồng thời ứng dụng giải tốn khởi tạo mơ hình MF • Triển khai thành cơng mơ hình đề xuất thiết bị có phần cứng hạn chế, giảm thiểu thời gian phản hồi tăng tính bảo mật trình truyền tải liệu Hướng nghiên cứu Các kết tích cực đạt luận án mở số hướng nghiên cứu tiềm để cải thiện độ xác hiệu thuật toán gợi ý Các hướng nghiên cứu bao gồm: • Nghiên cứu phương pháp sinh liệu nhân tạo cho người dùng, bao gồm thuật toán học máy, từ lịch sử tương tác họ với hệ thống thông tin sản phẩm mà họ tương tác nhằm giải vấn đề thiếu liệu người dùng mà đảm bảo bảo mật thông tin người dùng 100 101 • Áp dụng kiến trúc mạng phân tách đặc trưng tiên tiến kiến trúc CNN sâu, mạng AE dựa Transformer để cải thiện quy trình nén liệu trích xuất đặc trưng ẩn từ thông tin sản phẩm người dùng DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN [C1] Tan Nghia Duong, Viet Duc Than, Trong Hiep Tran, Quang Hieu Dang, Duc Minh Nguyen, and Hung Manh Pham, (2018), “An Effective Similarity Measure for Neighborhood-based Collaborative Filtering”, 2018 5th NAFOSTED Conference on Information and Computer Science (NICS), pp 250-254 IEEE, 2018 [C2] Tan Nghia Duong, Viet Duc Than, Tuan Anh Vuong, Trong Hiep Tran, Quang Hieu Dang, Duc Minh Nguyen, and Hung Manh Pham, (2019), “A Novel Hybrid Recommendation System Integrating Content-based and Rating Information”, International Conference on Network-Based Information Systems, pp 325-337 Springer, Cham, 2019 [J1] Tan Nghia Duong, Tuan Anh Vuong, Duc Minh Nguyen, and Quang Hieu Dang, (2020), “Utilizing an Autoencoder-Generated Item Representation in Hybrid Recommendation System”, IEEE Access (2020): 75094-75104 [C3] Tan Nghia Duong, Truong Giang Do, Nguyen Nam Doan, Tuan Nghia Cao, and Tien Dat Mai, (2021), “Hybrid Similarity Matrix in Neighborhood-based Recommendation System”, 8th NAFOSTED Conference on Information and Computer Science (NICS), pp 475-480, IEEE, 2021 [J2] Tan Nghia Duong, Nguyen Nam Doan, Truong Giang Do, Manh Hoang Tran, Duc Minh Nguyen, and Quang Hieu Dang, (2022), “Utilizing Half Convolutional Autoencoder to Generate User and Item Vectors for Initialization in Matrix Factorization” Future Internet 14, no (2022): 20 [C4] Tan Nghia Duong, Truong Giang Do, Tuan Nghia Cao, and Manh Hoang Tran, (2022), “User-Item Correlation in Hybrid Neighborhood-Based Recommendation System with Synthetic User Data”, 2022 IEEE Ninth International Conference on Communications and Electronics (ICCE), pp 176-181, IEEE, 2022 102 Tài liệu tham khảo [1] H Ko, S Lee, Y Park, and A Choi, “A survey of recommendation systems: recommendation models, techniques, and application fields,” Electronics, vol 11, no 1, p 141, 2022 [2] C Awati and S Shirgave, “The state of the art techniques in recommendation systems,” Applied Computational Technologies: Proceedings of ICCET 2022, pp 730–741, 2022 [3] K Falk, Practical recommender systems Simon and Schuster, 2019 [4] F Ricci, L Rokach, and B Shapira, “Recommender systems: introduction and challenges,” in Recommender systems handbook Springer, 2015, pp 1–34 [5] K Si, M Zhou, and Y Qiao, “5g multimedia precision marketing based on the improved multisensor node collaborative filtering recommendation algorithm,” Journal of Sensors, vol 2021, pp 1–11, 2021 [6] Y Gong, Z Jiang, Y Feng, B Hu, K Zhao, Q Liu, and W Ou, “Edgerec: recommender system on edge in mobile taobao,” in Proceedings of the 29th ACM International Conference on Information & Knowledge Management, 2020, pp 2477–2484 [7] P Lops, M De Gemmis, and G Semeraro, “Content-based recommender systems: State of the art and trends,” in Recommender systems handbook Springer, 2011, pp 73–105 [8] F Narducci, P Basile, C Musto, P Lops, A Caputo, M de Gemmis, L Iaquinta, and G Semeraro, “Concept-based item representations for a cross-lingual contentbased recommendation process,” Information Sciences, vol 374, pp 15–31, 2016 [9] S Rendle, C Freudenthaler, Z Gantner, and L Schmidt-Thieme, “Bpr: Bayesian personalized ranking from implicit feedback,” in Proceedings of the twenty-fifth conference on uncertainty in artificial intelligence AUAI Press, 2009, pp 452– 461 [10] X Su and T M Khoshgoftaar, “A survey of collaborative filtering techniques,” Advances in artificial intelligence, vol 2009, pp 1–19, 2009 103 104 [11] Y Wang, J Deng, J Gao, and P Zhang, “A hybrid user similarity model for collaborative filtering,” Information Sciences, vol 418, pp 102–118, 2017 [12] S Funk, “Netflix update: Try this at home,” 2006 [13] Y Koren, “Factorization meets the neighborhood: a multifaceted collaborative filtering model,” in Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining ACM, 2008, pp 426–434 [14] Y Koren, R Bell, and C Volinsky, “Matrix factorization techniques for recommender systems,” Computer, vol 42, no 8, pp 30–37, 2009 [15] S Wild, J Curry, and A Dougherty, “Improving non-negative matrix factorizations through structured initialization,” Pattern recognition, vol 37, no 11, pp 2217–2232, 2004 [16] R Albright, J Cox, D Duling, A N Langville, and C Meyer, “Algorithms, initializations, and convergence for the nonnegative matrix factorization,” Tech rep 919 NCSU Technical Report Math 81706 http://meyer math ncsu , Tech Rep., 2006 [17] A N Langville, C D Meyer, R Albright, J Cox, and D Duling, “Algorithms, initializations, and convergence for the nonnegative matrix factorization,” 2014 [Online] Available: https://arxiv.org/abs/1407.7299 [18] L H Son, “Dealing with the new user cold-start problem in recommender systems: A comparative review,” Information Systems, vol 58, pp 87–104, 2016 [19] A P Singh and G J Gordon, “Relational learning via collective matrix factorization,” in Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining ACM, 2008, pp 650–658 [20] D Agarwal and B.-C Chen, “Regression-based latent factor models,” in Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining ACM, 2009, pp 19–28 [21] A B Barragáns-Martínez, E Costa-Montenegro, J C Burguillo, M Rey-López, F A Mikic-Fonte, and A Peleteiro, “A hybrid content-based and item-based collaborative filtering approach to recommend tv programs enhanced with singular value decomposition,” Information Sciences, vol 180, no 22, pp 4290 – 4311, 2010 [22] C Wang and D M Blei, “Collaborative topic modeling for recommending scientific articles,” in Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining ACM, 2011, pp 448–456 105 [23] W.-J Li, D.-Y Yeung, and Z Zhang, “Generalized latent factor models for social network analysis,” in Twenty-Second International Joint Conference on Artificial Intelligence, 2011 [24] T Miranda, M Claypool, A Gokhale, T Mir, P Murnikov, D Netes, and M Sartin, “Combining content-based and collaborative filters in an online newspaper,” in In Proceedings of ACM SIGIR Workshop on Recommender Systems Citeseer, 1999 [25] M J Pazzani, “A framework for collaborative, content-based and demographic filtering,” Artificial intelligence review, vol 13, no 5-6, pp 393–408, 1999 [26] S Rendle, “Factorization machines,” in 2010 IEEE International Conference on Data Mining IEEE, 2010, pp 995–1000 [27] B Hidasi and D Tikk, “Initializing matrix factorization methods on implicit feedback databases.” J UCS, vol 19, no 12, pp 1834–1853, 2013 [28] R Salakhutdinov, A Mnih, and G Hinton, “Restricted boltzmann machines for collaborative filtering,” in Proceedings of the 24th international conference on Machine learning ACM, 2007, pp 791–798 [29] X He, L Liao, H Zhang, L Nie, X Hu, and T.-S Chua, “Neural collaborative filtering,” in Proceedings of the 26th international conference on world wide web International World Wide Web Conferences Steering Committee, 2017, pp 173– 182 [30] S Sedhain, A K Menon, S Sanner, and L Xie, “Autorec: Autoencoders meet collaborative filtering,” in Proceedings of the 24th International Conference on World Wide Web ACM, 2015, pp 111–112 [31] Y LeCun, Y Bengio et al., “Convolutional networks for images, speech, and time series,” The handbook of brain theory and neural networks, vol 3361, no 10, p 1995, 1995 [32] A Abdul, J Chen, H.-Y Liao, and S.-H Chang, “An emotion-aware personalized music recommendation system using a convolutional neural networks approach,” Applied Sciences, vol 8, no 7, p 1103, 2018 [33] D Kim, C Park, J Oh, S Lee, and H Yu, “Convolutional matrix factorization for document context-aware recommendation,” in Proceedings of the 10th ACM Conference on Recommender Systems, ser RecSys ’16 Association for Computing Machinery, 2016, p 233–240 106 [34] W Shi, J Cao, Q Zhang, Y Li, and L Xu, “Edge computing: Vision and challenges,” IEEE internet of things journal, vol 3, no 5, pp 637–646, 2016 [35] Q Zeng, Y Du, K Huang, and K K Leung, “Energy-efficient radio resource allocation for federated edge learning,” in 2020 IEEE International Conference on Communications Workshops (ICC Workshops) IEEE, 2020, pp 1–6 [36] M S Murshed, C Murphy, D Hou, N Khan, G Ananthanarayanan, and F Hussain, “Machine learning at the network edge: A survey,” ACM Computing Surveys (CSUR), vol 54, no 8, pp 1–37, 2021 [37] H M Le, S T Cong, Q P The, N Van Linh, and K Than, “Collaborative topic model for poisson distributed ratings,” International Journal of Approximate Reasoning, vol 95, pp 62–76, 2018 [38] K D Nguyen, T P Minh, Q N Nguyen, and T T Nguyen, “Exploiting direct and indirect information for friend suggestion in zingme,” 2013 [Online] Available: https://arxiv.org/abs/1311.3732 [39] N X Bach, N Do Hai, and T M Phuong, “Personalized recommendation of stories for commenting in forum-based social media,” Information Sciences, vol 352, pp 48–60, 2016 [40] Q Nguyen and P Hoang, “Push delivery of product promotion advertisements to mobile users,” in Proceedings of the Pervasive Advertising and Shopping 2010 Workshop, Helsinki, Finlandia, 2010 [41] Q N Nguyen, D Cavada, and F Ricci, “Trip@dvice mobile extension of a casebased travel recommender system,” in Proceedings of the 2nd International Conference on Mobile Business (mBusiness> 2003) Citeseer, 2003 [42] F Ricci, Q Nguyen, and D Cavada, “On-tour interactive travel recommendations,” in Proceedings of the 11th International Conference on Information and Communication Technologies in Travel and Tourism, Cairo, Egypt, 2004, pp 259– 270 [43] A P Tuan, N N Trong, D B Trong, L N Van, and K Than, “From implicit to explicit feedback: A deep neural network for modeling the sequential behavior of online users,” in Asian Conference on Machine Learning 1188–1203 PMLR, 2019, pp [44] T Nguyen, L N Van, and K Than, “Modeling the sequential behaviors of online users in recommender systems,” in Artificial Intelligence and Machine Learning for Multi-Domain Operations Applications II, vol 11413 SPIE, 2020, pp 570–579 107 [45] P H Anh, N X Bach, and T M Phuong, “Session-based recommendation with self-attention,” in Proceedings of the tenth international symposium on information and communication technology, 2019, pp 1–8 [46] N X Bach, D H Long, and T M Phuong, “Recurrent convolutional networks for session-based recommendations,” Neurocomputing, vol 411, pp 247–258, 2020 [47] D Demerjian, “Rise of the netflix hackers,” 2007 [Online] Available: https://www.wired.com/2007/03/rise-of-the-netflix-hackers/ [48] A Narayanan and V Shmatikov, “How to break anonymity of the netflix prize dataset,” 2006 [Online] Available: https://arxiv.org/abs/cs/0610105 [49] B M Sarwar, G Karypis, J A Konstan, J Riedl et al., “Item-based collaborative filtering recommendation algorithms.” Www, vol 1, pp 285–295, 2001 [50] F M Harper and J A Konstan, “The movielens datasets: History and context,” Acm transactions on interactive intelligent systems (tiis), vol 5, no 4, p 19, 2016 [51] M J Pazzani and D Billsus, “Content-based recommendation systems,” in The adaptive web Springer, 2007, pp 325–341 [52] J L Herlocker, J A Konstan, A Borchers, and J Riedl, “An algorithmic framework for performing collaborative filtering,” in 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 1999 Association for Computing Machinery, Inc, 1999, pp 230–237 [53] G Linden, B Smith, and J York, “Amazon com recommendations: Item-to-item collaborative filtering,” IEEE Internet computing, vol 7, no 1, pp 76–80, 2003 [54] Y Koren, “Factor in the neighbors: Scalable and accurate collaborative filtering,” ACM Transactions on Knowledge Discovery from Data (TKDD), vol 4, no 1, p 1, 2010 [55] S Zhang, W Wang, J Ford, and F Makedon, “Learning from incomplete ratings using non-negative matrix factorization,” in Proceedings of the 2006 SIAM international conference on data mining SIAM, 2006, pp 549–553 [56] R Gemulla, E Nijkamp, P J Haas, and Y Sismanis, “Large-scale matrix factorization with distributed stochastic gradient descent,” in Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining, 2011, pp 69–77 108 [57] Y Bao, H Fang, and J Zhang, “Topicmf: Simultaneously exploiting ratings and reviews for recommendation,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol 28, 2014 [58] Netflix Netflix prize http://www.netflixprize.com [59] Y Deldjoo, M F Dacrema, M G Constantin, H Eghbal-Zadeh, S Cereda, M Schedl, B Ionescu, and P Cremonesi, “Movie genome: alleviating new item cold start in movie recommendation,” User Modeling and User-Adapted Interaction, vol 29, pp 291–343, 2019 [60] S.-M Choi, D Lee, K Jang, C Park, and S Lee, “Improving data sparsity in recommender systems using matrix regeneration with item features,” Mathematics, vol 11, no 2, p 292, 2023 [61] D Kotkov, A Medlar, A Maslov, U R Satyal, M Neovius, and D Glowacka, “The tag genome dataset for books,” in ACM SIGIR Conference on Human Information Interaction and Retrieval, 2022, pp 353–357 [62] B Everitt, The Cambridge dictionary of statistics in the medical sciences Cambridge University Press, 1995 [63] J Vig, S Sen, and J Riedl, “The tag genome: Encoding community knowledge to support novel interaction,” ACM Transactions on Interactive Intelligent Systems (TiiS), vol 2, no 3, pp 1–44, 2012 [64] Q Hoang, “Predicting movie genres based on plot summaries,” 2018 [Online] Available: https://arxiv.org/abs/1801.04813 [65] G Barney and K Kaya, “Predicting genre from movie posters,” Stanford CS 229: Machine Learning, 2019 [66] D Opitz and R Maclin, “Popular ensemble methods: An empirical study,” Journal of artificial intelligence research, vol 11, pp 169–198, 1999 [67] S K Lam, A Pitrou, and S Seibert, “Numba: A llvm-based python jit compiler,” in Proceedings of the Second Workshop on the LLVM Compiler Infrastructure in HPC Association for Computing Machinery, 2015 [68] T Mikolov, K Chen, G Corrado, and J Dean, “Efficient estimation of word representations in vector space,” 2013 [Online] Available: https: //arxiv.org/abs/1301.3781 [69] G E Hinton and R R Salakhutdinov, “Reducing the dimensionality of data with neural networks,” science, vol 313, no 5786, pp 504–507, 2006 109 [70] H Wang, N Wang, and D.-Y Yeung, “Collaborative deep learning for recommender systems,” in Proceedings of the 21th ACM SIGKDD international conference on knowledge discovery and data mining ACM, 2015, pp 1235–1244 [71] J Liu, D Wang, and Y Ding, “Phd: A probabilistic model of hybrid deep collaborative filtering for recommender systems,” in Proceedings of the Ninth Asian Conference on Machine Learning, ser Proceedings of Machine Learning Research, vol 77 PMLR, 2017, pp 224–239 [72] Y Jhamb, T Ebesu, and Y Fang, “Attentive contextual denoising autoencoder for recommendation,” in Proceedings of the 2018 ACM SIGIR International Conference on Theory of Information Retrieval Association for Computing Machinery, 2018, p 27–34 [73] Q Wang, B Peng, X Shi, T Shang, and M Shang, “Dccr: Deep collaborative conjunctive recommender for rating prediction,” IEEE Access, vol 7, pp 60 186– 60 198, 2019 [74] P Hu, R Du, Y Hu, and N Li, “Hybrid item-item recommendation via semiparametric embedding,” in Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19 International Joint Conferences on Artificial Intelligence Organization, 2019, pp 2521–2527 [75] R Wang, Y Jiang, and J Lou, “Tdr: Two-stage deep recommendation model based on msda and dnn,” Expert Systems with Applications, vol 145, p 113116, 2020 [76] R Salakhutdinov and G Hinton, “Semantic hashing,” International Journal of Approximate Reasoning, vol 50, no 7, pp 969–978, 2009 [77] C Ivan, “Convolutional neural networks on randomized data,” in CVPR Workshops, 2019, pp 1–8 [78] S Kiranyaz, O Avci, O Abdeljaber, T Ince, M Gabbouj, and D J Inman, “1d convolutional neural networks and applications: A survey,” Mechanical systems and signal processing, vol 151, p 107398, 2021 [79] W Zhang, G Peng, and C Li, “Bearings fault diagnosis based on convolutional neural networks with 2-d representation of vibration signals as input,” in MATEC web of conferences, vol 95 EDP Sciences, 2017, p 13001 [80] D.-T Hoang and H.-J Kang, “Convolutional neural network based bearing fault diagnosis,” in International conference on intelligent computing Springer, 2017, pp 105–111 110 [81] Y Kim, “Convolutional neural networks for sentence classification,” 2014 [82] R He and J McAuley, “Vbpr: Visual bayesian personalized ranking from implicit feedback,” 2015 [83] L Zheng, V Noroozi, and P S Yu, “Joint deep modeling of users and items using reviews for recommendation,” 2017 [84] O Ronneberger, P Fischer, and T Brox, “U-net: Convolutional networks for biomedical image segmentation,” 2015 [85] H Huang, X Hu, Y Zhao, M Makkie, Q Dong, S Zhao, L Guo, and T Liu, “Modeling task fmri data via deep convolutional autoencoder,” IEEE transactions on medical imaging, vol 37, no 7, pp 1551–1561, 2017 [86] D P Kingma and J Ba, “Adam: A method for stochastic optimization,” 2014 [Online] Available: https://arxiv.org/abs/1412.6980 [87] T N Duong, T A Vuong, D M Nguyen, and Q H Dang, “Utilizing an autoencoder-generated item representation in hybrid recommendation system,” IEEE Access, vol PP, pp 1–1, 04 2020 [88] S Wild, W S Wild, J Curry, A Dougherty, and M Betterton, “Seeding nonnegative matrix factorizations with the spherical k-means clustering,” Ph.D dissertation, University of Colorado, 2003 [89] J Zhao, X Geng, J Zhou, Q Sun, Y Xiao, Z Zhang, and Z Fu, “Attribute mapping and autoencoder neural network based matrix factorization initialization for recommendation systems,” Knowledge-Based Systems, vol 166, pp 132–139, 2019 [90] Y Koren, “Collaborative filtering with temporal dynamics,” in Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, 2009, pp 447–456 [91] S Rendle, “Scaling factorization machines to relational data,” Proceedings of the VLDB Endowment, vol 6, no 5, pp 337–348, 2013