Phân tích phiên làm việc của khách hàng để dự báo khả năng họ sẽ lựa chọn sản phẩm nào tiếp theo là một bài toán dự báo khá phổ biến trong ngành thương mại điện tử. Việc dự báo này giúp cho doanh nghiệp đưa ra các ý tưởng bán hàng phù hợp trong quá trình người dùng tương tác với hệ thống bán hàng của mình. Bài viết này đề xuất hướng... Đề tài Hoàn thiện công tác quản trị nhân sự tại Công ty TNHH Mộc Khải Tuyên được nghiên cứu nhằm giúp công ty TNHH Mộc Khải Tuyên làm rõ được thực trạng công tác quản trị nhân sự trong công ty như thế nào từ đó đề ra các giải pháp giúp công ty hoàn thiện công tác quản trị nhân sự tốt hơn trong thời gian tới.
9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667 Các cơng trình nghiên cứu phát triển Cơng nghệ Thông tin Truyền thông Hệ gợi ý mua sắm dựa theo phiên làm việc với mơ hình mạng học sâu đồ thị Nguyễn Tuấn Khang1 , Nguyễn Tú Anh2 , Mai Thúy Nga2 , Nguyễn Hải An3 , Nguyễn Việt Anh1 Viện Công Nghệ Thông Tin, Học Viện Khoa Học Công Nghệ, Hà Nội Trường Đại học Thăng Long, Hà Nội Phịng Khoa Học Cơng Nghệ, Tổng Cơng Ty Thăm Dị Khai Thác Dầu Khí, Hà Nội Tác giả liên hệ: Nguyễn Tuấn Khang, khang_nt@yahoo.com Ngày nhận bài: 30/08/2022, ngày sửa chữa: 13/11/2022, ngày duyệt đăng: 25/11/2022 Định danh DOI: 10.32913/mic-ict-research-vn.v2022.n2.1135 Tóm tắt: Phân tích phiên làm việc khách hàng để dự báo khả họ lựa chọn sản phẩm toán dự báo phổ biến ngành thương mại điện tử Việc dự báo giúp cho doanh nghiệp đưa ý tưởng bán hàng phù hợp trình người dùng tương tác với hệ thống bán hàng Bài báo đề xuất hướng sử dụng mạng học sâu đồ thị để xây dựng mơ hình gợi ý dựa vào phiên làm việc khách hàng Kết thực nghiệm cho thấy việc sử dụng đồ thị phù hợp việc biểu diễn liệu lựa chọn sản phẩm thông qua hành vi nhấp chuột phiên làm việc khách hàng mơ hình gợi ý sử dụng GNN cho kết dự báo với số đánh giá mô hình Recall@20 MRR@20 tốt so với mơ hình trước Từ khóa: liệu nhấp chuột, hành vi mua sắm, hệ thống gợi ý, phiên làm việc, mạng học sâu đồ thị (Graph Neural Network) Title: Abstract: Keywords: Session-based Recommendation using Graph Neural Network Customer behavior analysis based on the currrent active session to understand and predict what is the next product that customer might click is a potential usecase in ecommerce This type of recommendation helps enterprise to promote the upselling opportunity to increase the purchase behavior This paper proposes to use a GNN to develop a recommendation model using the current active session of customer during their purchasing clicks on the website The experimental result shows that the GNN is suitable to model a product selection from sequential mouse clicks, and the session-based recommendation using GNN performs higher than other models with the two performance metrics Recall@20 and MRR@20 mouse click, purchase behaviour, recommdendation system, session, graph neural network (GNN) I TỔNG QUAN vấn đề sống nhà cung cấp dịch vụ bán hàng, làm tăng hài lịng khách hàng giữ chân người dùng lâu dài [3] Tổng quan toán Khi khách hàng vào trang thương mại điện tử có hai xu hướng: họ định hướng sản phẩm mà họ mua, họ định hướng sản phẩm mà họ nên mua Đối với kịch thứ hai, người dùng gặp khó khăn nhiều họ phải chọn sản phẩm phù hợp với nhu cầu họ Vấn đề đặt họ làm điều vô số sản phẩm giống mà họ tìm kiếm, ý tưởng xây dựng hệ thống gợi ý [1] Hiện có hai hướng để xây dựng hệ thống gợi ý tùy theo ngữ cảnh tương tác người dùng sau: • Các hệ thống gợi ý ngày trọng, nhà cung cấp dịch vụ trực tuyến như: Amazon, Netflix [2], Youtube Một hệ thống gợi ý hiệu • 73 Hệ gợi ý dựa vào thơng tin lịch sử sở thích người dùng để lại để tìm sản phẩm phù hợp nhất, hệ thống hoạt động kiểu dễ hiểu lại gặp nhiều thách thức cần đưa gợi ý cho người dùng họ khơng để lại thơng tin lịch sử cho hệ thống Hệ gợi ý dựa dựa vào trình tương tác người dùng với hệ thống, gọi phiên làm việc, nhằm cho phép hệ thống đưa gợi ý cho người Các cơng trình nghiên cứu phát triển Cơng nghệ Thơng tin Truyền thông dùng sau vài ba chuỗi kiện tương tác họ với hệ thống, mơ hình gọi hệ thống gợi ý dựa vào phiên làm việc (Session-based Recommendation), gọi tắt toán SR cao khả bán kèm bán chéo sản phẩm cho website bán hàng thời đó, thuật tốn đề xuất sử dụng thông tin khứ sở thích cá nhân (personalization) khách hàng đề để xuất sản phẩm cần bán tương lai Sau đó, nhóm tác giả tiếp tục cải thiện mơ hình gợi ý với ý tưởng sử dụng liệu tri thức tương quan (correlation) sản phẩm hay người dùng để phân tích hành vi khách hàng (customer behavior) [4] với việc phân tích hệ thống thương mại điện tử thời amazon hay ebay Đặt vấn đề Đối tượng nghiên cứu báo hành vi nhấp chuột (lựa chọn sản phẩm) khách hàng phiên mua hàng Mục tiêu báo nghiên cứu đề xuất mơ hình dự báo hành vi lựa chọn sản phẩm khách hàng mơ hình mạng học sâu, cụ thể trả lời câu hỏi "Với số lượng sản phẩm lựa chọn phiên tương tác khả người dùng chọn sản phẩm tiếp theo" Ở mức độ tổng quan, mơ hình gợi ý khơng đưa sản phẩm mà đưa danh sách gợi ý K sản phẩm có xác xuất cao mà khách hàng lựa chọn một, tốn cịn gọi tốn gợi ý Top-K, ngắn gọn gọi toán Top-K Badrul M Sarwar cộng (2000) [5] nhận thấy hệ thống gợi ý phải xử lý khối lượng thông tin khổng lồ sản phẩm, khách hàng, đơn hàng gây thách thức việc đưa gợi ý, nhóm tác giả đề xuất thuật toán phổ biến học máy SVD (Singular Value Decomposition) với mục tiêu giảm số chiều thông tin để tăng tốc độ xử lý hệ thống gợi ý, nghiên cứu đưa khái niệm ”top N list” mơ hình gợi ý Năm 2002, nhóm tác giả tiếp tục đề xuất sử dụng thuật tốn người láng giềng (neighborhood) [6] để phân nhóm khác hàng (clustering) từ xây dựng mơ hình gợi ý theo mơ hình lọc cộng tác (collaborative filtering) Bài tốn SR mơ tả sau, giả sử 𝑉 = {𝑣 , 𝑣 , , 𝑣 𝑚 } danh mục đối tượng (ví dụ danh mục sản phẩm) người dùng tương tác phiên làm việc họ, ta có thực thể phiên làm việc biểu diễn sau 𝑠 = [𝑣 𝑠,1 , 𝑣 𝑠,2 , , 𝑣 𝑠,𝑛 ] 𝑣 𝑠,𝑖 ∈ 𝑉 có tính thứ tự theo chuỗi thời gian để thể hành động lựa chọn (click) người dùng phiên làm việc 𝑠 (ví dụ chọn sản phẩm cụ thể) Năm 2004, Zan Huang cộng [7] đưa khái niệm đồ thị vào tới gợi ý lĩnh vực thương mại điện tử, nhóm tác giả đề xuất đồ thị có hướng gồm hai lớp: lớp sản phẩm lớp khách hàng mà mối quan hệ hai lớp thể thông tin mua sắm khứ thơng qua trọng số đồ thị Mơ hình đồ thị thực nghiệm với ba kỹ thuật gợi ý gồm sử dụng lọc cộng tác, dựa vào nội dung hướng kết hợp, kết cho thấy mơ hình hoạt động tốt với kỹ thuật kết hợp Để giải vấn đề này, ta cần xây dựng mơ hình dự báo liệu người dùng lựa chọn đối tượng (sản phẩm) 𝑣 𝑠,𝑛+1 phiên làm việc 𝑠 Với mơ hình gợi ý cho phiên làm việc 𝑠 cụ thể, hệ gợi ý trả hàm 𝑦ˆ véc-tơ chứa danh mục 𝑘 sản phẩm gợi ý với xác xuất lựa chọn từ cao tới thấp, danh mục sản phẩm gợi ý gọi 𝑡𝑜 𝑝 − 𝑘 sản phẩm gợi ý cho người dùng Năm 2006, Netflix tổ chức thi tìm kiếm giải thuật gợi ý tốt nhằm dự đoán điểm đánh giá người dùng cho phim họ (user ratings) dựa vào đánh giá trước mà khơng sử dụng thêm thơng tin người dùng hay phim, toán gợi ý lọc cộng tác Yehuda Koren, Robert Bell Chris Volinsky thành viên đội thắng năm 2019 [2] trình bày mơ hình phân tích ma trận thành nhân tử (matrix factorization) hoạt động tốt thuật toán đối thủ khác thuật toán SVD người láng giềng Mơ hình phân tích mà trận thành nhân tử tìm cách phân rã hai véc tơ đại diện cho người dùng (𝑝 𝑢 ) phim (𝑞 𝑖 ) (còn gọi véc tơ nhân tử, factor vector) vào không gian nhân tử riêng (joint-latent-factor space), vấn đề mơ hình cho học véc tơ nhân tử 𝑝 𝑢 𝑞 𝑖 với sai số RMSE (root-mean-square error) nhỏ Hình minh họa mơ hình SR đưa dự báo 𝑡𝑜 𝑝 − sản phẩm xác xuất tương ứng mà khách hàng lựa chọn để click tiếp Hình Bài tốn gợi ý top-k sản phẩm II NGHIÊN CỨU LIÊN QUAN Balázs Hidasi cộng (2015) [8] đưa mơ hình mạng hồi quy RNN việc xây dựng hệ gợi ý, khác với toán Netflix cần thông thông tin khứ người dùng, hướng tiếp cận nghiên cứu tập Bài toàn gợi ý lĩnh vực thương mại điện tử vấn đề mới, từ năm 2000 JB Schafer cộng [1] nêu vấn đề để tìm cách nâng 74 9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667 Tập 2022, Số 2, Tháng 12 trung vào phiên làm việc ngắn để đưa gợi ý cho người dùng, khái niệm Session-based Recommendation Mơ hình sử dụng thuật tốn RNN phân cấp để tìm đặc trưng ẩn phiên làm việc người dùng để đưa gợi ý cho sản phẩm tiếp theo, thuật toán RNN phù hợp với toán phải xử lý chuỗi kiện (ví dụ chuỗi nhấp chuột người dùng phiên làm việc lựa chọn mua số sản phẩm đó), nghiên cứu cho thấy mơ hình RNN với biến thể HRNN (Hierarchical RNN) hoạt động tốt so với mơ hình truyền thống mơ hình RNN sở • • Đồ thị H: đồ thị đơn thể mối quan hệ trực tiếp gián tiếp lựa chọn sản phẩm phiên làm việc Đồ thị K: đồ thị đa quan hệ (còn gọi đồ thị sâu) thể đồng thời nhiều mối quan hệ khác sản phẩm thuộc nhiều phiên làm việc khác liệu Đồ thị G Gọi 𝐺 đồ thị thoả mãn ma trận kề 𝑀𝐺 ∈ R𝑑×𝑑 𝑖, 𝑗 với 𝑀𝐺 số lần sản phẩm 𝑗 nhắp (click) sau sản phẩm 𝑖 phiên Khái niệm sau thể tương tác trực tiếp từ nhấp từ sản phẩm 𝑖 tới sản phẩm 𝑗 Kế thừa nghiên cứu Hidasi, Yong Kiam Tan cộng (2016) [9] đề xuất cải tiến mơ hình RNN với thuật toán xử lý liệu làm việc theo chuỗi (phiên) phù hợp cho mơ hình RNN Y.K Tan cộng sử dụng chung liệu Hidasi thực nghiệm đa dạng để phân tích mức độ hiệu việc xử lý liệu phiên làm việc với mơ hình RNN Kết cho thấy nghiên cứu Y.K Tan cộng cho kết tốt thuật toán xử lý liệu sử dụng tham chiếu số nghiên cứu toàn [10–12] Giả sử 𝑠 = {𝑣 , 𝑣 , , 𝑣 𝑛 } đại diện cho phiên làm việc với 𝑣 𝑖 (0 ≤ 𝑣 𝑖 < 𝑑) đại diện cho sản phẩn nhắp thứ 𝑖 Lúc ta thực hiện, với 𝑖 (1 ≤ 𝑖 < 𝑛): 𝑣𝑖 ,𝑣𝑖+1 𝑣𝑖 ,𝑣𝑖+1 𝑀𝐺 ← 𝑀𝐺 +1 Nhận xét: • • Với đời mơ hình mạng học sâu rộng (Wide & Deep Learning) Google phát triển năm 2016, HengTze Cheng cộng [13], Khang Nguyen cộng [14] áp dụng mơ hình việc cải thiện tính tương tác thuộc tính mức cao mức thấp để giúp cho mơ hình gợi ý tìm đặc tính ẩn tốt vừa có tính tổng qt hóa mơ hình học rộng vừa có tính ghi nhớ mơ hình học sâu • 𝐺 đồ thị có hướng, có trọng số Trong 𝐺, trọng số cạnh nối từ đỉnh 𝑖 tới 𝑗 có giá trị 𝑖, 𝑗 𝑀𝐺 ∈ R Theo thống kê, xác suất để sản phẩm 𝑗 nhắp sau sản phẩm 𝑖 là: 𝑖, 𝑗 𝑀 𝑖, 𝑗 𝑃𝐺 = Í𝑑−1𝐺 𝑖,𝑥 𝑥=0 𝑀𝐺 Đồ thị H Shu Wu cộng (2019) [12] sử dụng mơ hình mạng học sâu đồ thị nhiều kỹ thuật xử lý đồ thị biến thể khác GNN để phân tích tốn gợi ý dựa vào phiên làm việc Nhóm tác giả đề xuất kỹ thuật biến đổi véc tơ phiên làm việc sang không gian nhúng cách sử dụng mạng GNN để huấn luyện học véc tơ nhúng đồ thị biểu diễn phiên làm việc, véc tơ nhúng thể đặc tính ẩn phiên làm việc từ hỗ trợ đưa gợi ý có tính xác Gọi 𝐻 đồ thị thoả mãn ma trận kề 𝑀𝐻 ∈ R𝑑×𝑑 𝑖, 𝑗 với 𝑀𝐻 số lần sản phẩm 𝑗 nhấp (click) sau nhấp sản phẩm 𝑖 phiên Khái niệm sau thể tương tác trực tiếp gián tiếp từ nhấp từ sản phẩm 𝑖 tới sản phẩm 𝑗 qua số sản phẩm khác hai sản phẩm Giả sử 𝑠 = {𝑣 , 𝑣 , , 𝑣 𝑛 } đại diện cho phiên làm việc với 𝑣 𝑖 (0 ≤ 𝑣 𝑖 < 𝑑) đại diện cho sản phẩn nhấp thứ 𝑖 Lúc ta thực hiện, với 𝑖, 𝑗 (1 ≤ 𝑖 < 𝑗 < 𝑛): 𝑣 ,𝑣 𝑗 𝑀𝐻𝑖 III PHƯƠNG PHÁP LUẬN 𝑣 ,𝑣 𝑗 ← 𝑀𝐻𝑖 +1 (2) Nhận xét: Ý tưởng xây dựng đồ thị • Ý tưởng nghiên cứu đề xuất số phương án xây dựng đồ thị từ liệu lựa chọn sản phẩm người mua hàng Gọi 𝑑 số lượng sản phẩm liệu sản phẩm đánh dấu theo số thứ tự từ đến 𝑑 − • • • Cụ thể nhóm tác giả đề xuất dạng đồ thị sau: • (1) 𝐻 đồ thị có hướng, có trọng số Trong 𝐻, trọng số cạnh nối từ đỉnh 𝑖 tới 𝑗 có giá trị 𝑖, 𝑗 𝑀𝐻 ∈ R 𝑖, 𝑗 𝑖, 𝑗 𝑀𝐺 ≤ 𝑀𝐻 ∀𝑖, 𝑗 : ≤ 𝑖 < 𝑗 < 𝑑 Theo thống kê, xác suất để sản phẩm 𝑗 nhấp sau sản phẩm 𝑖 là: 𝑖, 𝑗 Đồ thị G: đồ thị đơn thể mối quan hệ trực tiếp lựa chọn sản phẩm 𝑖, 𝑗 𝑃𝐻 𝑀𝐻 = Í𝑑−1 𝑥=0 75 𝑖,𝑥 𝑀𝐻 9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667 Các cơng trình nghiên cứu phát triển Cơng nghệ Thơng tin Truyền thơng • Gọi 𝐸 𝑋 số lượng cạnh đồ thị 𝑋 Ta có, 𝐸 𝐻 > 𝐸𝐺 sau: khái niệm đồ thị (graph) dùng để biểu diễn phiên làm việc (session), đỉnh (node) đồ thị mơ tả sản phẩm (item) lựa chọn cạnh (edge) đồ thị mô tả việc người dùng nhấp chuột (click) từ sản phẩm trước sang sản phẩm phiên Với phương án xây dựng mạng nơ-ron đồ thị GNN cho đồ thị đơn quan hệ G, H đồ thị sâu K mô tả phần trên, K đồ thị sâu nên cần có phương án phù hợp để mơ hình GNN học tính chất sâu đồ thị K Do đó, nhóm tác giả đề xuất hai mơ hình khác cho đồ thị đơn quan hệ đồ thị sâu sau: Đồ thị K Gọi 𝑐 số lượng nhấp nhiều phiên sở liệu Gọi 𝐾 đồ thị thoả mãn ma trận kề 𝑖, 𝑗 𝑀𝐾 ∈ R𝑑×𝑑×𝑐 với 𝑀𝐾 [𝑡] số lần sản phẩm 𝑗 nhấp (click) sau nhấp sản phẩm 𝑖 𝑡 lần nhấp phiên Giả sử 𝑠 = {𝑣 , 𝑣 , , 𝑣 𝑛 } đại diện cho phiên làm việc với 𝑣 𝑖 (0 ≤ 𝑣 𝑖 < 𝑑) đại diện cho sản phẩn nhấp thứ 𝑖 Lúc ta thực hiện, với 𝑖, 𝑗 (1 ≤ 𝑖 < 𝑗 < 𝑛): 𝑣 ,𝑣 𝑗 𝑀𝐾𝑖 𝑣 ,𝑣 𝑗 [ 𝑗 − 𝑖 − 1] ← 𝑀𝐾𝑖 [ 𝑗 − 𝑖 − 1] + Mơ hình mạng nơ-ron cho đồ thị G H Mơ hình mạng nơ-ron cho đồ thị đơn quan hệ G H biểu diễn hình (3) Nhận xét: • • • • • • • 𝐾 đồ thị có hướng, có trọng số Trong 𝐾, trọng số cạnh nối từ đỉnh 𝑖 tới 𝑗 có giá trị 𝑖, 𝑗 𝑀𝐾 ∈ R𝑐 Vì thế, chiếm nhớ lưu trữ, thời gian truy cập lấy giá trị nhiều đồ thị 𝐻 𝐺 Mang thông tin đồ thị 𝐻 𝐺 𝑖, 𝑗 𝑖, 𝑗 𝑀𝐺 = 𝑀𝐾 [0] ∀𝑖, 𝑗 : ≤ 𝑖 < 𝑗 < 𝑑 Í𝑐 𝑖, 𝑗 𝑖, 𝑗 𝑀𝐻 = 𝑡=0 𝑀𝐾 [𝑡] ∀𝑖, 𝑗 : ≤ 𝑖 < 𝑗 < 𝑑 Theo thống kê, xác suất để sản phẩm 𝑗 nhấp sau nhấp sản phẩm 𝑖 𝑡 lần nhấp là: • • • 𝑖, 𝑗 𝑀 [𝑡] 𝑖, 𝑗 𝑃𝐾 [𝑡] = Í𝑑−1𝐾 𝑖, 𝑥 𝑥=0 𝑀𝐾 [𝑡] • • Gọi 𝐸 𝑋 số lượng cạnh đồ thị 𝑋 Ta có, 𝐸 𝐾 = 𝐸 𝐻 > 𝐸𝐺 𝑐 số lượng nhấp sử dụng làm đầu vào mơ hình, 𝑑 số lượng sản phẩm có tồn phiên Đầu vào mơ hình phiên gồm 𝑐 nhấp có tính thứ tự lần 𝑠 = {𝑖𝑑1 , 𝑖𝑑2 , , 𝑖𝑑 𝑐 } với ≤ 𝑖𝑑𝑖 ≤ 𝑑 Với nhấp 𝑖𝑑𝑖 qua đồ thị, ta thu vector trọng số 𝑣 𝑖 với 𝑣 𝑖 ∈ R𝑑 Sử dụng lớp Norm để chuẩn hóa 𝑣 𝑖 thành xác suất 𝑝 𝑖 ∈ R𝑑 với công thức sau: 𝑣𝑖 (4) 𝑝𝑖 = 𝑠𝑢𝑚(𝑣 𝑖 ) Cuối cùng, sử dụng lớp Fully connected layer với hàm kích hoạt softmax để tính tốn đầu mơ hình Mơ hình mạng nơ-ron cho đồ thị K Để cải tiến mơ hình mạng nơ-ron đồ thị phải làm việc với đồ thị K (tức đồ thị có chiều sâu), nhóm tác giả đề xuất sử dụng thêm lớp học sâu (Depth layer) vào mơ hình Mạng học sâu đồ thị (Graph Neural Network) Mạng học sâu đồ thị (GNN) giới thiệu vào năm 2005 [15], GNN loại mạng nơ-ron hoạt động trực tiếp cấu trúc đồ thị, với việc sử dụng nơ-ron nút cấu trúc mạng, nút chứa thơng tin riêng thu thập thêm thông tin từ nút lân cận thể mối tương quan nút đồ thị • • Với hướng tiếp cận sử dụng đồ thị, GNN ngày trở nên phổ biến nhiều lĩnh vực khác [16], tiềm mơ hình GNN cho thấy khả ứng dụng xử lý nhiều toán thực tế xây dựng biểu đồ tri thức, đánh giá mối tương quan mạng xã hội, hệ thống gợi ý bán hàng Sức mạnh GNN việc mơ hình hóa phụ thuộc nút đồ thị cho phép tạo bước đột phá lĩnh vực nghiên cứu liên quan đến phân tích đồ thị • Đầu vào mơ hình phiên gồm 𝑐 nhấp có tính thứ tự 𝑠 = {𝑖𝑑1 , 𝑖𝑑2 , , 𝑖𝑑 𝑐 } với ≤ 𝑖𝑑𝑖 ≤ 𝑑 (𝑑 số lượng sản phẩm toàn phiên) Với nhấp 𝑖𝑑𝑖 qua đồ thị 𝐾, ta thu vector trọng số 𝑣 𝑖 với 𝑣 𝑖 ∈ R𝑑×𝑐 Sử dụng lớp Depth để biến đổi chiều 𝑣 𝑖 thành R𝑑 với công thức sau: 𝑧𝑖 = 𝑓 (𝑤 𝑖 𝑣 𝑇𝑖 + 𝑏 𝑖 ) Trong nghiên cứu này, nhóm tác giả đề xuất sử dụng mơ hình GNN để xây dựng mơ hình gợi ý dựa phiên làm việc người dùng Để có quán phần mơ tả khái niệm, nhóm tác giả thiết lập số thuật ngữ • 76 (5) Với: – 𝑤 𝑖 ∈ R1×𝑐 : trọng số chiều sâu – 𝑏 𝑖 ∈ R: trọng số tự chiều sâu – 𝑓 (𝑧) : hàm biến đổi 𝑧, nhóm tác giả sử dụng hàm tuyến tính 𝑓 (𝑧) = 𝑧 Sử dụng lớp Norm để chuẩn hóa 𝑧𝑖 thành xác suất 𝑝 𝑖 ∈ R𝑑 với công thức sau: 𝑧𝑖 𝑝𝑖 = (6) 𝑠𝑢𝑚(𝑧𝑖 ) 9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667 dxc id1 v1 p1 id2 v2 Norm Layer dxc Graph cx1 idc Fully Connected Layer - Softmax Tập 2022, Số 2, Tháng 12 p2 vc pc dx1 y dxc id1 v1 z1 p1 id2 v2 z2 p2 idc Norm Layer dxc Depth Layer dxcxc Graph K cx1 vc zc pc Fully Connected Layer - Softmax Hình Mơ hình mạng nơ-ron cho đồ thị 𝐺 𝐻 dx1 y Hình Mơ hình mạng nơ ron cho đồ thị 𝐾 • Cuối cùng, sử dụng lớp Fully connected layer với hàm kích hoạt softmax để tính tốn đầu mơ hình Bộ liệu bao gồm hai tệp liệu: • IV NGUỒN DỮ LIỆU NGHIÊN CỨU Nguồn Dữ Liệu (Dataset) Nghiên cứu sử dụng liệu cung cấp YOOCHOOSE GmbH, liệu sử dụng thi RecSys Challenge 2015 [17] Bộ liệu ghi lại tập hợp nhiều phiên làm việc trang web thương mại điện tử hoạt động lĩnh vực bán lẻ châu Âu, phiên làm việc chứa thơng tin chuỗi nhấp chuột danh sách sản phần mà khách hàng lựa chọn suốt phiên Dữ liệu ghi nhận kéo dài tháng, từ tháng 04/2014 đến tháng 09/2014 Vì lý quyền riêng tư, tồn thơng tin người sử dụng ẩn khỏi liệu • • 77 Dữ liệu nhấp chuột (yoochoose-clicks.dat): chứa liệu chuỗi nhấp chuột người dùng Dữ liệu bao gồm trường: (1) Session ID – ID session Trong session có nhiều kiện nhấp chuột (2) Timestamp – thời gian xảy kiện nhấp chuột (3) Item ID – ID sản phẩm chọn (4) Category – danh mục sản phẩm chọn Dữ liệu nhấp chuột đánh giá (yoochoose-test.dat): giống với liệu nhấp chuột nêu session khơng có tập Nó sử dụng để đánh giá mơ hình Dữ liệu mua sắm (yoochoose-buys.dat): chứa liệu chuỗi mua sắm người dùng Dữ liệu bao gồm trường: (1) Session ID – ID session Trong session có nhiều kiện mua sắm 9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667 Các cơng trình nghiên cứu phát triển Công nghệ Thông tin Truyền thông (2) Timestamp – thời gian xảy kiện mua sắm (3) Item ID – ID sản phẩm mua (4) Price – giá sản phẩm (5) Quantity – số lượng sản phẩm mua • • Mỗi Session ID yoochoose-buys.dat xuất yoochoose-clicks.dat – liệu Session ID kết hợp lại tạo thành chuỗi nhấp chuột khách hàng cụ thể suốt phiên làm việc Thời gian phiên ngắn (vài phút) dài (vài giờ), bao gồm nhiều kiện nhấp chuột mua hàng, phụ thuộc vào hành vi tương tác người sử dụng Thông tin chi tiết hai tập liệu thể Bảng I • • Bảng I THỐNG KÊ VỀ KÍCH THƯỚC BỘ DỮ LIỆU [17] yoochoose-clicks.dat yoochoose-buys.dat 33.003.944 1.150.753 Số lượng kiện Số lượng sản phẩm Số lượng session 52.739 19.949 9.249.729 509.696 • Bộ liệu chứa 11 triệu phiên, huấn luyện chứa triệu phiên kiểm tra chứa triệu phiên Có tất 54.287 sản phẩm, huấn luyện có 52.739 sản phẩm Vì có 1.548 sản phẩm có kiểm tra mà khơng có huấn luyện, dẫn đến việc xác định (học) số sản phẩm Vì vậy, ta cần loại bỏ phiên có sản phẩm khỏi tập kiểm tra (các nghiên cứu liên quan liệu loại bỏ liệu này) Phiên có nhấp lên tới 200 nhấp Số lượng phiên có nhấp chiếm 13,6%, liệu gần khơng có giá trị khơng đủ thông tin nên cần loại bỏ phiên Phiên làm việc có số lượng nhấp nhiều nhấp nhấp với tỷ lệ 38,5% 17,4% Như phiên có số lượng nhấp lớn xuất Trung bình phiên làm việc khoảng nhấp (3,5) Tiền xử lý liệu Các bước tiền xử lý thực sau: • – Tổng hợp phiên theo danh sách nhấp (danh sách sản phẩm) – Loại bỏ số thuộc tính liệu khơng cần thiết thời gian nhấp, catagory, Một số phân tích liệu Bảng thống kê liệu hai tập liệu huấn luyện kiểm thử mô tả Bảng II • Bảng II THỐNG Số lượng phiên Số lượng sản phẩm Số lượng nhấp Số nhấp lớn Số nhấp trung bình Số nhấp nhỏ • KÊ VỀ BỘ DỮ LIỆU NHẤP Bộ huấn luyện Bộ kiểm tra Tất 9.249.729 2.312.432 11.562.161 52.739 42.155 54.287 33.003.944 8.251.791 41.255.735 200 200 200 3,5681 3,56845 3,56817 1 Số phiên nhấp 13,619% 13,602% 13,616% Số phiên nhấp 38,467% 38,463% 38,466% Số phiên nhấp 17,442% 17,467% 17,447% Số phiên nhấp 10,118% 10,099% 10,114% Số phiên nhấp 5,866% 5,903% 5,874% Số phiên nhấp 3,926% 3,914% 3,924% Số phiên nhấp 2,565% 2,566% 2,565% Số phiên nhấp 1,828% 1,833% 1,829% Số phiên nhấp 1,297% 1,298% 1,297% Số phiên 10 nhấp 0,979% 0,962% 0,976% Số phiên 10 nhấp 3,892% 3,894% 3,892% Chuẩn hóa phiên: Bỏ phiên có nhấp Loại bỏ phiên làm việc kiểm tra có chứa sản phẩm mà không xuất huấn luyện Bộ liệu sau bước tiền xử lý mô tả Bảng III Phương Án Chia Dữ Liệu Bộ kiểm tra chứa tới gần triệu phiên, số lượng lớn nên phần thực nghiệm nghiên cứu lấy 25% kiểm tra làm tập kiểm tra cuối (test) 25% khác thuộc làm tập đánh giá (validate) Lưu ý, tập kiểm tra tập đánh giá có phiên khác chọn ngẫu nhiên Ta có Bảng IV V KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ Tham Số Đánh Giá Mơ Hình Trong toán dự báo bán hàng thực tế, việc gợi ý cho khách hàng sản phẩm thường khơng có lợi ích gì, thay vào hệ thống gợi ý cần đưa danh sách 𝑘 sản phẩm đề xuất Vì lý số tham số trình đánh giá mơ 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛, 𝑅𝑒𝑐𝑎𝑙𝑙 hay 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 đơn lẻ khơng cịn phù hợp Thay vào nghiên cứu gần đề xuất sử Với thống kê liệu Bảng II, ta có số nhận xét sau: 78 9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667 Tập 2022, Số 2, Tháng 12 Recall@K Bảng III THỐNG KÊ VỀ BỘ DỮ LIỆU NHẤP SAU TIỀN XỬ LÝ Bộ huấn luyện Bộ kiểm tra Tất 7.990.018 1.996.408 9.986.426 52.069 38.733 52.069 31.744.233 7.926.322 39.670.555 Số lượng phiên Số lượng sản phẩm Số lượng nhấp Số nhấp lớn 200 200 200 3,97299 3,97029 3,97245 2 Số phiên nhấp 44,532% 44,518% 44,529% Số phiên nhấp 20,192% 20,223% 20,198% Số phiên nhấp 11,713% 11,691% 11,709% Số phiên nhấp 6,791% 6,833% 6,800% Số phiên nhấp 4,545% 4,531% 4,543% Số phiên nhấp 2,969% 2,970% 2,969% Số phiên nhấp 2,117% 2,121% 2,117% Số phiên nhấp 1,502% 1,502% 1,502% Số phiên 10 nhấp 1,133% 1,113% 1,129% Số phiên 10 nhấp 4,505% 4,498% 4,504% Số nhấp trung bình Số nhấp nhỏ Để đánh giá hiệu suất mơ hình với hệ gợi ý, nghiên cứu sử dụng số 𝑅𝑒𝑐𝑎𝑙𝑙@𝐾 với cơng thức sau: 𝑅𝑒𝑐𝑎𝑙𝑙@𝐾 = (7) Trong đó, với 𝑛 số lượng phiên liệu, 𝑆𝑟𝑖 𝑒𝑐 tập sản phẩm gợi ý (gợi ý 𝑡𝑜 𝑝𝐾 - 𝐾 trọng số lớn nhất) 𝑆𝑟𝑖 𝑒𝑙 tập sản phẩm nhấp thực tế phiên thứ 𝑖 với ≤ 𝑖 < 𝑛 Thơng thường tốn gợi ý, tập nhấp thực tế (𝑆𝑟𝑖 𝑒𝑙 ) có thành phần gọi next-click Vì vậy, 𝑆𝑟𝑖 𝑒𝑙 = {𝑖𝑑∗ } với 𝑖𝑑∗ sản phẩm nhấp gợi ý sau sản phẩm nhấp phiên làm việc thứ 𝑖 MRR@K 𝑀 𝑅𝑅@𝐾 (Mean Reciprocal Rank) mức trung bình cấp bậc tương hỗ sản phẩm mong muốn Xếp hạng đối ứng đặt thành thứ hạng lớn 𝐾 𝑀 𝑅𝑅 tính đến thứ hạng mặt hàng, điều quan trọng cài đặt có thứ tự đề xuất quan trọng 𝑀 𝑅𝑅@𝐾 có cơng thức tính sau: Bảng IV THỐNG 𝑛 𝑖 𝑖 ∑︁ |𝑆𝑟 𝑒𝑐 ∩ 𝑆𝑟 𝑒𝑙 | 𝑛 𝑖=0 |𝑆𝑟𝑖 𝑒𝑙 | KÊ VỀ BỘ KIỂM TRA VÀ ĐÁNH GIÁ 𝑛 Bộ kiểm tra Bộ đánh giá 499.102 499.102 30.179 30.278 1.982.109 1.978.213 200 200 3,971 3,963 2 Số phiên nhấp 44,580% 44,585% Số phiên nhấp 20,132% 20,146% Số phiên nhấp 11,643% 11,786% Số phiên nhấp 6,881% 6,769% Số phiên nhấp 4,532% 4,528% Số phiên nhấp 2,988% 2,979% Số phiên nhấp 2,129% 2,101% Số phiên nhấp 1,478% 1,519% Số phiên 10 nhấp 1,133% 1,131% Số phiên 10 nhấp 4,504% 4,457% Số lượng phiên Số lượng sản phẩm Số lượng nhấp Số nhấp lớn Số nhấp trung bình Số nhấp nhỏ 𝑀 𝑅𝑅@𝐾 = ∑︁ 𝑅𝑅(𝑖𝑑∗𝑖 , 𝑆𝑟𝑖 𝑒𝑐 ) 𝑛 𝑖=0 (8) Trong đó, với 𝑛 số lượng phiên liệu, 𝑆𝑟𝑖 𝑒𝑐 tập 𝐾 sản phẩm gợi ý xếp theo trọng số từ lớn đến bé (gợi ý 𝑡𝑜 𝑝 − 𝐾 - 𝐾 trọng số lớn nhất) 𝑖𝑑∗ sản phẩm nhấp gợi ý sau sản phẩm nhấp phiên làm việc thứ 𝑖 với ≤ 𝑖 < 𝑛 𝑅𝑅(𝑖𝑑, 𝑆) sản phẩm 𝑖𝑑 khơng có 𝑆, 𝑟+1 với 𝑟 vị trí 𝑖𝑑 tập 𝑆 tính từ Như vậy, hệ gợi ý trả sản phẩm với điểm cao 𝑀 𝑅𝑅 cao Lưu ý, số áp dụng với nhấp sản phẩm thực tế, không phù hợp cho việc gợi ý chuỗi nhấp (số nhấp lớn 1) ACCs@K Bài báo đề xuất số 𝐴𝐶𝐶𝑠 để tính độ xác hệ gợi ý 𝐾 nhãn với trọng số (xác suất) lớn với nhiều nhãn thực tế Đây độ đo để tính cho toán nhiều nhãn đầu (một quan sát có nhiều nhãn) 𝑛 𝐴𝐶𝐶𝑠@𝐾 = dụng tham số 𝑅𝑒𝑐𝑎𝑙𝑙@𝐾, 𝑀 𝑅𝑅@𝐾 𝐴𝐶𝐶𝑠@𝐾 để đánh giá việc gợi ý lúc 𝑘 sản phẩm Trong nghiên cứu này, nhóm tác giả đề xuất sử dụng tham số này, đó: ∑︁ min(1, |𝑆𝑟𝑖 𝑒𝑐 ∩ 𝑆𝑟𝑖 𝑒𝑙 |) 𝑛 𝑖=0 (9) Trong đó, với 𝑛 số lượng phiên liệu, 𝑆𝑟𝑖 𝑒𝑐 tập sản phẩm gợi ý (gợi ý 𝑡𝑜 𝑝𝐾 - 𝐾 trọng số lớn nhất) 𝑆𝑟𝑖 𝑒𝑙 tập sản phẩm nhấp thực tế 79 9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667 9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667 Các cơng trình nghiên cứu phát triển Công nghệ Thông tin Truyền thông H G K Stats GNN 0.732 0.730 0.728 0.726 0.724 0.722 0.720 0.718 0.716 H G K H G K 0.352 MRR@20 0.713 0.710 0.708 0.705 0.703 0.700 0.698 0.695 ACCs@20 Recall@20 phiên thứ 𝑖 với ≤ 𝑖 < 𝑛 Công thức min(1, |𝑆𝑟𝑖 𝑒𝑐 ∩ 𝑆𝑟𝑖 𝑒𝑙 |) quan sát thứ 𝑖, có tồn sản phẩm danh sách nhãn nằm 𝐾 nhãn dự đốn có trọng số lớn hay khơng, giá trị có tồn ngược lại 0.350 0.348 0.346 0.344 Stats GNN Stats GNN Kết Nhận xét Hình Biểu đồ kết cho mơ hình với top-K=20 Trong thí nghiệm nhóm tác giả có chạy thử nghiệm với mơ hình thống kê để làm kết sở thí nghiệm Kết q trình huấn luyện hai mơ hình với ba đồ thị G, H, K mô tả Bảng V: toán hệ gợi ý dựa vào phiên làm việc sử dụng liệu 𝑌 𝑜𝑜𝑐ℎ𝑜𝑜𝑠𝑒 thi RecSys Challenge 2015 [17] nghiên cứu Bảng V BẢNG KẾT QUẢ TỔNG QUAN Mơ hình Stats.H Stats.G GNN.G GNN.H GNN.K Recall@1 0,227 0,223 0,218 0,214 0,221 Recall@5 0,500 0,505 0,518 0,512 0,519 Recall@10 0,610 0,615 0,625 0,620 0,626 Recall@20 0,696 0,701 0,708 0,703 0,709 ACCs@1 0,253 0,248 0,241 0,239 0,245 ACCs@5 0,533 0,538 0,549 0,545 0,550 ACCs@10 0,639 0,643 0,651 0,647 0,652 ACCs@20 0,719 0,723 0,728 0,724 0,729 MRR@1 0,227 0,223 0,218 0,214 0,221 MRR@5 0,327 0,327 0,330 0,325 0,332 MRR@10 0,342 0,342 0,344 0,339 0,346 MRR@20 0,348 0,348 0,350 0,345 0,352 Hai nghiên cứu Balázs Hidasi (2015) [8] Yong Kiam Tan (2016) [9] sử dụng mạng nơ ron hồi quy (RNN) cho tốn này, Yong Kiam Tan đề xuất cải tiến mơ hình RNN với thuật toán làm giàu liệu cho kết tốt hẳn so với mơ hình RNN Balázs Hidasi Thuật tốn làm giàu liệu q trình tiền xử lý liệu Y.K Tan cộng để sinh liệu là: với phiên 𝑠 = [𝑣 𝑠,1 , 𝑣 𝑠,2 , , 𝑣 𝑠,𝑛 ] tạo chuỗi phiên nhãn ( [𝑣 𝑠,1 ], 𝑣 𝑠,2 ), ( [𝑣 𝑠,1 , 𝑣 𝑠,2 ], 𝑣 𝑠,3 ), , ( [𝑣 𝑠,1 , 𝑣 𝑠,2 , , 𝑣 𝑠,𝑛−1 ], 𝑣 𝑠,𝑛 ) với [𝑣 𝑠,1 , 𝑣 𝑠,2 , , 𝑣 𝑠,𝑛−1 ] chuỗi nhấp đầu vào 𝑣 𝑠,𝑛 nhãn 𝑛𝑒𝑥𝑡 − 𝑐𝑙𝑖𝑐𝑘 Điểm lưu ý liệu có số sản phẩm 37.483 sau trình tiền xử lý, khác với thống kê gốc liệu 52.739 sản phẩm [17], điểm khác biệt đáng kể với mơ hình gợi ý phân lớp đa nhãn Qua Bảng V ta thấy: • • • • Do liệu lớn, Y.K Tan cộng gặp số khó khăn q trình huấn luyện bị giới hạn phần cứng, có lẽ lý Y.K Tan cộng đưa ý tưởng chia nhỏ liệu để thực nghiệm thành 𝑌 𝑜𝑜𝑐ℎ𝑜𝑜𝑠𝑒 nhỏ (1/4, 1/16, 1/64, 1/256) Trong trình thực nghiệm, Y.K Tan cộng nhận thấy việc sử dụng liệu đầy đủ mang đến kết so với việc dùng phần liệu Lý mà Y.K Tan cộng đưa nhận xét số lượng nhãn lớn liệu đầy đủ, số bị giảm đáng kể tách thành phần nhỏ nên mô hình học nhẹ nhàng nhiều Cho dù Y.K Tan cộng kết luận mơ hình 𝑀2 cho kết tốt với liệu 𝑌 𝑜𝑜𝑐ℎ𝑜𝑜𝑠𝑒1/64 với 𝑅𝑒𝑐𝑎𝑙𝑙@20 0, 7129 𝑀 𝑅𝑅@20 0, 3091, nhiên mơ hình khơng thể thực liệu đầy đủ giới hạn phần cứng Còn với kết liệu đầy đủ, mơ hình M3 Y.K Tan cộng cho kết tốt 𝑅𝑒𝑐𝑎𝑙𝑙@20 xấp xỉ 0, 680 𝑀 𝑅𝑅@20 xấp xỉ 0, 290 Thử nghiệm với mơ hình khác nhau, gồm mơ hình thống kê truyền thống mơ hình học sâu sử dụng đồ thị Lưu ý mơ hình thống kê không hỗ trợ làm việc với đồ thị sâu K Đánh giá mơ hình dựa tham số 𝑅𝑒𝑐𝑎𝑙𝑙@𝐾, 𝐴𝐶𝐶𝑠@𝐾, 𝑀 𝑅𝑅@𝐾 với 𝐾 ∈ [1, 5, 10, 20] Mơ hình thống kê với đồ thị H (Stats.H) có kết tệ nhất, cịn tốt mơ hình sử dụng mạng học sâu GNN với đồ thị K (GNN.K) Tuy nhiên kết cho thấy khoảng cách giá trị mơ hình với tham số khơng lớn Hình biểu diễn trực quan kết so sánh nhóm mơ hình thực với loại đồ thị khác nhau, khuôn khổ báo tác giả biểu diễn với topK=20, kết K cịn lại tham khảo Bảng V: So sánh với nghiên cứu liên quan Jing Li cộng (2017) [11] đề xuất sử dụng mơ hình NARM (Neural Attentive Recommendation Machine) để xây dựng hệ gợi ý phiên làm việc sử dụng Để so sánh hướng tiếp cận kết đạt nghiên cứu này, tác giả lựa chọn số báo tương tự giải 80 Tập 2022, Số 2, Tháng 12 liệu 𝑌 𝑜𝑜𝑜𝑐ℎ𝑜𝑜𝑠𝑒 1/4 1/64 Thực nghiệm Jing Li sử dụng liệu kiểm tra với 55.898 phiên, số lượng sản phẩm 16.766 với thực nghiệm 1/64 29.618 với thực nghiệm 1/4 Jing Li đạt kết 𝑅𝑒𝑐𝑎𝑙𝑙@20 0,6973 𝑀 𝑅𝑅@20 0,2923, với liệu 1/4 Trong bảng so sánh kết với nghiên cứu sử dụng RNN Hidasi [8] Y.K Tan cộng [9], Jing Li cho kết tốt hơn, so sánh kỹ kết của Jing Li không thực đầy đủ trội nghiên cứu Tan, ví dụ khơng thực nghiệm với liệu đầy đủ • • Cũng với hướng tiếp cận sử dụng liệu Tan, Shu Wu cộng (2019) [12] sử dụng mơ hình mạng học sâu đồ thị (GNN) nhiều kỹ thuật xử lý đồ thị biến thể khác GNN để phân tích tốn gợi ý dựa vào phiên làm việc Nhóm nghiên cứu đề xuất mơ hình sử dụng kỹ thuật biến đổi véc tơ phiên làm việc sang không gian nhúng cách sử dụng mạng đồ thị để huấn luyện học Khác với nghiên cứu trước sử dụng tham số 𝑅𝑒𝑐𝑎𝑙𝑙@𝐾, Shu Wu đề xuất sử dụng tham số 𝑃𝑟𝑒𝑐𝑖𝑠𝑜𝑛@𝐾 điểm lưu ý Shu Wu lại so sánh kết 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛@𝐾 với 𝑅𝑒𝑐𝑎𝑙𝑙@𝐾 nghiên cứu trước đây, nên khả có nhầm lẫn nghiên cứu việc so sánh kết không hợp lý • Nghiên cứu sử dụng tập liệu huấn luyện kiểm thử từ liệu gốc với số lượng sản phẩm, tức số lượng nhãn, lên tới 52 nghìn Các nghiên cứu trước không sử dụng liệu kiểm thử riêng biệt liệu gốc, mà trích từ tập liệu huấn luyện Điều làm giảm số lượng sản phẩm, tức số lượng nhãn mơ hình xuống cịn từ 10 tới 37 nghìn nhãn Nghiên cứu đề xuất xây dựng mơ hình có tính mở rộng cao hoạt động với đồ thị với 52 nghìn đỉnh, đặc biệt với số lượng cạnh lớn với loại đồ thị gián tiếp H hay đồ thị sâu K Một số nghiên cứu liên quan trình bày khơng thể chạy mơ hình với liệu đầy đủ, họ phải thực nghiệm với liệu nhỏ với số lượng nhãn chí cịn Mơ hình đề xuất nghiên cứu cho kết 𝑅𝑒𝑐𝑎𝑙𝑙@20 0, 712 𝑀 𝑅𝑅@20 0, 363, tốt kết Kiewan có 𝑅𝑒𝑐𝑎𝑙𝑙@20 0, 691 Y.K Tan cộng có 𝑅𝑒𝑐𝑎𝑙𝑙@20 0, 680 (Y.K Tan cộng có nhiều kết khác nhau, kết chạy với liệu đầy đủ), tốt hẳn nghiên cứu Balázs Hidas với 𝑅𝑒𝑐𝑎𝑙𝑙@20 0, 632 VI KẾT LUẬN Trong nghiên cứu Kiewan cộng (2018) [10] sử dụng mơ hình RNN hai báo Balázs Hidasi [8] Yong Kiam Tan [9], nhiên Kiewan không chia nhỏ liệu Y.K Tan cộng mà có hướng tiếp cận khác biệt đưa khái niệm phiên dài phiên ngắn (long and short sequential session), cụ thể Kiewan đánh giá mơ hình theo nhóm phiên có độ dài [2-5], [6-25] [26-200] Kiewan đề xuất số kỹ thuật khác (bao gồm chuẩn hóa lớp LN, ma trận nhúng đầu vào RE xếp chồng lớp GRU) để xây dựng mơ hình phù hợp với loại liệu phiên có độ dài ngắn khác Mơ hình Kiewan cho kết tốt 𝑅𝑒𝑐𝑎𝑙𝑙@20 0,691 Như vậy, kết tốt với kết Y.K Tan cộng kiểm tra với liệu đầy đủ nhãn có 𝑅𝑒𝑐𝑎𝑙𝑙@20 xấp xỉ 0,680 tốt hẳn so với kết Balázs Hidas với 𝑅𝑒𝑐𝑎𝑙𝑙@20 0,632 Nếu so sánh kết với kết tốt Y.K Tan cộng với tập liệu 1/64 với số nhãn khơng tốt (𝑅𝑒𝑐𝑎𝑙𝑙@20 tập 1/64 0,7129), nhiên việc so sánh khơng hồn tồn hợp lý số lượng nhãn tập liệu đầy đủ mà Kiewan kiểm tra (khoảng 37 nghìn nhãn) nhiều so với tập 1/64 Y.K Tan cộng (gần 17 nghìn nhãn) Nghiên cứu có hai đóng góp gồm: (1) sử dụng đồ thị để mơ tả chuỗi nhấp chuột q trình lựa chọn sản phẩm phiên làm việc tại, bao gồm ba loại đồ thị trực tiếp G, gián tiếp H sâu K (2) sử dụng mạng học sâu đồ thị GNN để học liệu đồ thị để đưa mơ hình gợi ý dựa theo toán 𝑡𝑜 𝑝 − 𝐾 Thực nghiệm cho thấy hướng đề xuất nghiên cứu cho kết 𝑅𝑒𝑐𝑎𝑙𝑙@20 𝑀 𝑅𝑅@20 tốt hẳn nghiên cứu trước đây, đặc biệt khả xử lý đồ thị với số lượng đỉnh lớn có khả mở rộng nữa, điểm hạn chế nghiên cứu trước gặp nhiều khó khăn phải xử lý liệu có số lượng sản phẩm (nhãn) lớn với 50 nghìn nhãn, số nghiên cứu trước phải chia nhỏ liệu phải giảm nhãn mơ hình gợi ý Hướng mở rộng nghiên cứu tiếp tục sử dụng số kỹ thuật biến đổi đồ thị (ví dụ phép nhúng đồ thị) cho mơ hình GNN hoạt động hiệu hơn, phương án thiết kế tối ưu lớp sâu mơ hình GNN để hoạt động hiệu với đồ thị sâu K Sau phân tích nghiên cứu liên quan trên, tác giả có số nhận xét sau kết so với nghiên cứu trước đây: 81 9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667 Các cơng trình nghiên cứu phát triển Cơng nghệ Thông tin Truyền thông SƠ LƯỢC VỀ TÁC GIẢ TÀI LIỆU THAM KHẢO [1] J B Schafer, J Konstan, and J Riedl, “Recommender systems in e-commerce,” in Proceedings of the 1st ACM conference on Electronic commerce, 1999, pp 158–166 [2] Y Koren, R Bell, and C Volinsky, “Matrix factorization techniques for recommender systems,” Computer, vol 42, no 8, pp 30–37, 2009 [3] S Zhang, L Yao, A Sun, and Y Tay, “Deep learning based recommender system: A survey and new perspectives,” ACM Computing Surveys (CSUR), vol 52, no 1, pp 1–38, 2019 [4] J B Schafer, J A Konstan, and J Riedl, “E-commerce recommendation applications,” Data mining and knowledge discovery, vol 5, no 1, pp 115–153, 2001 [5] B Sarwar, G Karypis, J Konstan, and J Riedl, “Application of dimensionality reduction in recommender system-a case study,” Minnesota Univ Minneapolis Dept of Computer Science, Tech Rep., 2000 [6] B M Sarwar, G Karypis, J Konstan, and J Riedl, “Recommender systems for large-scale e-commerce: Scalable neighborhood formation using clustering,” in Proceedings of the fifth international conference on computer and information technology, vol Citeseer, 2002, pp 291–324 [7] Z Huang, W Chung, and H Chen, “A graph model for ecommerce recommender systems,” Journal of the American Society for information science and technology, vol 55, no 3, pp 259–274, 2004 [8] B Hidasi, A Karatzoglou, L Baltrunas, and D Tikk, “Session-based recommendations with recurrent neural networks,” 2015 [Online] Available: https://arxiv.org/abs/1511.06939 [9] Y K Tan, X Xu, and Y Liu, “Improved recurrent neural networks for session-based recommendations,” CoRR, vol abs/1606.08117, 2016 [Online] Available: http://arxiv.org/abs/1606.08117 [10] K Villatel, E Smirnova, J Mary, and P Preux, “Recurrent neural networks for long and short-term sequential recommendation,” CoRR, vol abs/1807.09142, 2018 [Online] Available: http://arxiv.org/abs/1807.09142 [11] J Li, P Ren, Z Chen, Z Ren, and J Ma, “Neural attentive session-based recommendation,” CoRR, vol abs/1711.04725, 2017 [Online] Available: http://arxiv.org/abs/1711.04725 [12] S Wu, Y Tang, Y Zhu, L Wang, X Xie, and T Tan, “Session-based recommendation with graph neural networks,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol 33, no 01, 2019, pp 346–353 [13] H.-T Cheng, L Koc, J Harmsen, T Shaked, T Chandra, H Aradhye, G Anderson, G Corrado, W Chai, M Ispir, R Anil, Z Haque, L Hong, V Jain, X Liu, and H Shah, “Wide & deep learning for recommender systems,” 2016 [14] K Nguyen, A Nguyen, L Vu, N Mai, and B Nguyen, “An efficient deep learning method for customer behaviour prediction using mouse click events,” 11 2018 [15] M Gori, G Monfardini, and F Scarselli, “A new model for learning in graph domains,” Proceedings 2005 IEEE International Joint Conference on Neural Networks, 2005., vol 2, pp 729–734 vol 2, 2005 [16] F Scarselli, M Gori, A C Tsoi, M Hagenbuchner, and G Monfardini, “The graph neural network model,” IEEE transactions on neural networks, vol 20, no 1, pp 61–80, 2008 [17] Yoochoose Dataset, “Recsys challenge,” 2015, https://github.com/RUCAIBox/RecSysDatasets/tree/ master/dataset_info/YOOCHOOSE Nguyễn Tuấn Khang nghiên cứu sinh tiến sỹ Viện Công nghệ thông tin - Viện Hàn lâm khoa học công nghệ Việt Nam Hiện tư vấn giải pháp công nghệ IBM Việt Nam Lĩnh vực nghiên cứu: tư vấn giải pháp công nghệ thông tin lĩnh vực tài ngân hàng, chuyên sâu vào mảng học sâu phân tích hành vi Email: khang_nt@yahoo.com Nguyễn Tú Anh tốt nghiệp trường Đại học Thăng Long năm 2020, theo học chương trình thạc sỹ Viện Công nghệ thông tin - Viện Hàn lâm khoa học công nghệ Việt Nam Hiện giảng viên khoa Công nghệ thông tin trường Đại học Thăng Long Lĩnh vực nghiên cứu: thị giác máy tính phân tích liệu Email: anh.nt@thanglong.edu.vn Mai Thúy Nga đạt học vị Tiến sỹ ngành Công nghệ thông tin Viện Công nghệ thông tin - Viện Hàn lâm khoa học công nghệ Việt Nam năm 2017 Hiện giảng viên khoa Công nghệ thông tin trường Đại học Thăng Long Lĩnh vực nghiên cứu: xây dựng chương trình đào tạo đại học, phân tích thiết kế phần mềm, hệ thống thơng tin quản lý, trí tuệ nhân tạo khoa học liệu Email: ngamt@thanglong.edu.vn Nguyễn Hải An đạt học vị Tiến sỹ ngành Kỹ thuật khai thác dầu khí trường ĐH Mỏ Địa chất Hà Nội năm 2012; thạc sỹ Công nghệ dầu khí phát triển mỏ Viện dầu lửa Pháp Hiện trưởng phịng Khoa học cơng nghệ, TCT Thăm dị Khai thác Dầu khí Lĩnh vực nghiên cứu: ứng dụng kỹ thuật mới, công nghệ thông minh tối ưu phát triển khai thác mỏ thềm lục địa Việt Nam nâng cao hệ số thu hồi dầu khí Email: annh1@pvep.com.vn Nguyễn Việt Anh đạt học vị Tiến sỹ ngành Khoa học máy tính đại học Kyoto, Nhật phong hàm Phó giáo sư năm 2022 Viện Công nghệ thông tin - Viện Hàn lâm khoa học công nghệ Việt Nam Hiện nghiên cứu viên cao cấp Viện Công nghệ thông tin - Viện Hàn lâm khoa học công nghệ Việt Nam Lĩnh vực nghiên cứu: học máy, liệu lớn phân tích mạng xã hội Email: anhnv@ioit.ac.vn 82 9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667 9a3f31 93f39f8323 b7c7bda 5203 f0b7cfc8a c3 f0f81bf915 5a0f4ac5 d8ccf40c 9ad4424 f89 c65 43b7d34 d53 b38a2a3 9fe6 b66 c26 c305 fca4 9a3c4eb5 1abf55f8 0700b7a c6a4 5f9a c00a 0780 4c0e 4706 f58e f34 f4e 1d01 beb f4d539ab2fe7 2f5 b fb5225288a 8a06 f7fda9338 0380 3efb56b3d3a d4680 f23 e90abcc8a38 c23fcd2 51a0663 7b4 c4a20 104dc58 ee9e c3358 fa7d28b0 be58 c90a 6d7 d8a86 b865 52a6d 6e21c6e5ac96df3e c0e4 ba33 d28bbd1a 77d5 c8a2 275a70 1b94 bfae 8f4 720ff3 f 83ff16454 d0ff6fcfdbe1 f08 e06e5a 6cd3b1 d29 b9dca760 db7 f556 09c19b6825 5eb1ed 75b67ec4b3 b724ea 3df9a79ee fed 76173 5a128 1900e 0583 282baa 080ae f63 cf3 5b45 14a0 c2044 2ad20 8079 6f6 21eb 87ff30d3dbd7 f42b05b2 2642 df6a5 1542c8c8 9b7 d27 cd5 c6e4 6a36f0d7 fde f4a69a 3f4 f9e8 4338 c49 d5bb12 f0d7 2e 1dbd4e07a9 1c7 7d20 1f6 7f1 65a7 f0c61ad6 df3847e 1ccdb5b90 e55d132e2 0091 83b3df3 b9c9b0a b9a32e 9c3 1d17 42070 6f9 c33 be4 fc1ae 74a0 c925a c2abfb d9c b7f2 6ed3 145d0590e e1b3 7b30 baa4 f57b256 ce438 96e0 c368 7e01 f543 f03 e2b7 37e1d7 8ef3 d65a 0d2 dfe5 d520 d3a7 c33e4 8616 1c1 b19 c079aa f860 76df75 8aaf 4ae631e b7f0c1 86eaad2 c0e 6da48 ec1 0486 d93aa2 b8ee3 f47 e8aa258 5cf946 46 4eaf5 c63b2742 99306 4530 f7d12e f440 d783a0 6390 b97e c6 cc7 2bf3e9df7 f50 c c9a261 d2d34b1 efbbfb7384 77f7a47 c4a6a6 b238 d80 d82 c788 c191 9164 f6aa3 4f93 cd1 7a6554 3d1 803b33cb1b0aaac28 737ff67 eeb6 d176 38e03 7bfa 2d26 7d6 9bc7 1d71 3c1 5f4 b0e2e 94a1a2 6b9 c145 69b1 b468 87d5d0 c3ae4 db99 e612 dbf4e 60b7d9e7b725dd9 f50 c9d7 492d37c83dfeef4c1 3a54 c46ab8b8 b76d37b5 ba073 9b50b3a4b1 3035a 2090 fe268 5c6 f34 e2c6 8c7 22b2f8 1e8e30 3a5a41e e60e6 c3 d 3c4e9 c15 4862 b190e 839a2 4b65 f52 c9 c748 2d8b0cde295 0f8 cd2344a b0d0 1a3e c0436 79c9eb0 35f44646 e76db058 e3ab1 69e0 8b8 f6a7 f4f7a709 9cbf7e4 d9d18 48d75e 1a7b3 d5e3 d2e3 e3b9a d7e5a 4a3208ff 6a14 f2e1 cde7 6ae8ab3eb4e f91 651275 5a4512 dbfeaa8e0 c007 31b7 93c9fb06e3 bbf5451 b51 754a04 4cc62ae2 ff88a1cbdbcf9 e618 9f8 f6d2ceae 7271 0729 fae7 c225a c51 b4b0 8a6b1 d8d1a0f 5c1b3da8 b4d1 3cb1d8 42b0 31b0 c1 d4866 f33 06e49a 758 c5e1 f6d9b6 bcb0ab0 b7 e96c2 6ff6cf34 bb20 f31 2b5aa7 d385 b70e 5dc1dc9c7598 53e1a5 687a7 b87d7c7 e3e5c3 fe58 b4bb6fb04 0e9e1 7c5e 6d8 f65 d4d0a 892e cad7 550bb49 f5d5b15 853 fcb8 3a671 1d63 8f3 f9ee 7a6ce801 da406 40601 63f4cf649 89d3 f70 06a71 19c1e 60fc9a3568 5c2 f07a d8ae cc5 c6 c0b053 f5e51 0c5 2d72fb b8f78a8fc6 f6bb5a50 dd0 f7f2e735 dbb70b67e24 f8d49d37ef9b07 65fa4 2fc4a398 3b9 2f5 56098 3a26 77b722 c4 fae8b59b5 9d83 9de6 b1b2ffcf49e1 b8e68 7ef1 868 cb81 fa6 f59b8dc7 e0139ad11e2 f920 9375e 71ad4ec2 2d1 c08a6 0e5b9b10 bb1 f83 e3659 d02 06359 d b20c9a7bb9bfe635 b043 55e4 cc6 72273 d1d79b7276 bbf45a67 0bc6d24a 4c7 755 15e7a2 f607a4 f08 57e99 957e 98995fb 6a2727 f5a c8e5 8f9 1e92b4444 8e711 ec2 79b746 615a7 5776a7 2a0e7aa 3ff897afe 5a8c580 c38a7 69f8dd1 e477 0e2d52a4 1b9c74ab4a 2c2 99439 d6db85 3d45 2d8 bb4 b5db54f2dce47 c50e d23a3 56d7 c33 f8580 5c0 59f50a73 09dc4e33 c49 80aa85 b19 d0761 7ec0544aa4 2f0 632d8493 f2 b9a21a9 fc3a 5b6 b2908 cc6e38 f2b920 fc5 dbba 12c04c4ee52 b94b5fe7 353d7a7 d51760 f2 f3 c4b2 5b45 12c999b7db65c158dcba b7d2e5e8 8914a d13 f4f82856 55 70b476 6952 4967 472eb 9b1 1d0 d9534 8e65 b6fb150 e08e9 6375 cf24e2ffb d904 91b408 5421 d8efc3 c2b046fda430 d2c2a5da 83725 0e70 db16 8c7 71cd59a6 9aae c5fe8 3a106 f37 c8 f17fc4e 1e5c0e1 f29b0942 c58 c5 f6a131 7d6 c681 0a7be 6667