Ứng dụng mạng nơ ron đồ thị trong hệ gợi ý

Hệ gợi ý là lĩnh vực nghiên cứu hiện đang rất được các nhà khoa học quan tâm.Có nhiều cách tiếp cận hệ gợi ý, tuy nhiên, gần đây mô hình học sâu Deep Learning, hay làmạng nơ-ron đồ thị G

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN NGUYỄN THỊ NGỌC ANH ỨNG DỤNG MẠNG NƠ-RON ĐỒ THỊ TRONG HỆ GỢI Ý ĐỀ ÁN THẠC SĨ KHOA HỌC MÁY TÍNH Bình Định - năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN NGUYỄN THỊ NGỌC ANH ỨNG DỤNG MẠNG NƠ-RON ĐỒ THỊ TRONG HỆ GỢI Ý Ngành: Khoa học máy tính Mã ngành: 8480101 Người hướng dẫn: TS LÊ QUANG HÙNG Lời cam đoan Tôi xin cam đoan đề án "Ứng dụng mạng nơ-ron đồ thị trong hệ gợi ý" là nghiên cứu của riêng tôi, được thực hiện dưới sự hướng dẫn của TS Lê Quang Hùng Các nội dung trích dẫn từ các nghiên cứu của các tác giả khác mà tôi trình bày trong đề án này đã được ghi rõ nguồn gốc trong tài liệu tham khảo 1 Lời cảm ơn Lời đầu tiên tôi xin gửi lời cảm ơn đến TS Lê Quang Hùng, khoa Công nghệ thông tin, trường Đại học Quy Nhơn, đã định hướng đề tài và tận tình hướng dẫn cho tôi trong suốt quá trình làm đề án tốt nghiệp này Tôi cũng xin trân trọng cảm ơn các thầy, cô trong khoa Công nghệ thông tin trường Đại học Quy Nhơn đã tận tình giảng dạy, hướng dẫn tôi nghiên cứu trong suốt thời gian theo học tại trường cũng như làm đề án này Xin cảm ơn các anh, chị, em và các bạn học viên Khoa học máy tính, những người đã giúp đỡ động viên tinh thần và chia sẻ kinh nghiệm quý báu giúp tôi vượt qua khó khăn, vướng mắc hoàn thành tốt đề án tốt nghiệp của mình Mặc dù đã rất cố gắng nhưng chắc chắn đề án của tôi còn thiếu sót và có nhiều nội dung cần hoàn thiện hơn Vì vậy, tôi rất mong nhận được những ý kiến đánh giá phê bình và góp ý từ phía thầy cô, anh chị và các bạn 2 Tóm tắt Hệ gợi ý đang được ứng dụng trong rất nhiều lĩnh vực khác nhau như thương mại điện tử (hỗ trợ bán hàng trực tuyến), giải trí (gợi ý phim ảnh, bài hát, ), giáo dục đào tạo (gợi ý nguồn tài nguyên học tập, nghiên cứu, ) Chính vì khả năng ứng dụng rộng rãi của nó sẽ mở ra nhiều tiềm năng trong nghiên cứu cũng như trong xây dựng các hệ thống thực tế, đặc biệt là các hệ hỗ trợ người dùng đưa ra quyết định Các kỹ thuật hệ gợi ý đã và đang được nghiên cứu, ứng dụng một cách mạnh mẽ và đem lại lợi ích cho cả nhà cung cấp dịch vụ lẫn người dùng Hệ gợi ý là lĩnh vực nghiên cứu hiện đang rất được các nhà khoa học quan tâm Có nhiều cách tiếp cận hệ gợi ý, tuy nhiên, gần đây mô hình học sâu (Deep Learning), hay là mạng nơ-ron đồ thị (GNN) đã trở thành phương pháp tiếp cận hiện đại mới cho các hệ gợi ý [1], [2], vì hầu hết thông tin trong các hệ gợi ý về cơ bản đều có cấu trúc đồ thị và GNN có ưu thế hơn trong việc học biểu diễn đồ thị Trong đề án này, trước hết chúng tôi trình bày các nhiệm vụ của hệ gợi ý Tiếp theo phát biểu bài toán về mạng nơ-ron đồ thị Sau đó chúng tôi trình bày mô hình NGCF, LightGCN và tiến hành thực nghiệm Chúng tôi đánh giá hiệu suất của mô hình này trên tập dữ liệu MovieLens 100K, chứa 100.000 xếp hạng của 943 người dùng đối với 1682 sản phẩm (phim) Để đảm bảo chất lượng của tập dữ liệu, mỗi người dùng đã xếp hạng ít nhất 20 phim Kết quả thực nghiệm cho thấy cách tiếp cận này rất hiệu quả trên cả hai độ đo là precision@K và recall@K Từ khóa: Hệ gợi ý, mạng nơ-ron đồ thị, kỹ thuật gợi ý, mô hình học sâu, tầng nhúng 3 Danh mục các chữ viết tắt Chữ viết tắt Ý nghĩa RS Recommender Systems GNN Graph neural network RNN Recursive neural networks GCN Graph Convolutional Network MSE Mean Square Error RMSE Root Mean Square Error MAE Mean Absolute Error CF Collaborative Filtering NCF Neural Collaborative Filtering NGCF Neural Graph Collaborative Filtering 4 Danh sách hình vẽ 1.1 Ma trận biểu diễn dữ liệu trong RS 12 1.2 Mã hóa một nút thành một vector nhúng có d chiều 16 1.3 Biểu diễn đồ thị dưới dạng ma trận kề 17 1.4 Các nút trên đồ thị được ánh xạ sang không gian nhúng 17 1.5 Dự đoán giá trị của một nút với 3 lớp 18 1.6 Tổng hợp thông tin từ các nút lân cận 18 1.7 Có nhiều mô hình mạng nơ-ron đồ thị được áp dụng để tổng hợp thông tin từ các nút lân cận 19 2.1 Các cấu trúc đồ thị biểu diễn trong các hệ gợi ý 23 2.2 Khung tổng quát của GNN trong gợi ý lọc cộng tác 23 2.3 Minh họa kiến trúc mô hình NGCF (các đường mũi tên thể hiện luồng thông tin) Các biểu diễn của người dùng eu1(trái) và sản phẩm ei4(phải) được tinh chỉnh với nhiều lớp lan truyền nhúng, có đầu ra được kết nối để đưa ra dự đoán cuối cùng 27 2.4 Minh họa về lan truyền nhúng bậc 3 cho người dùng u1 29 2.5 Minh họa kiến trúc mô hình LightGCN Trong LGC, chỉ tổng số lần nhúng nút lân cận được chuẩn hóa mới được thực hiện đối với lớp tiếp theo; các hoạt động khác như tự kết nối, chuyển đổi tính năng và kích hoạt phi tuyến đều bị loại bỏ, điều này giúp đơn giản hóa phần lớn GCN Trong kết hợp lớp, chúng tôi tính tổng các phần nhúng ở mỗi lớp để thu được các biểu diễn cuối cùng 32 3.1 Thống kê vài bộ dữ liệu của Movielens 35 3.2 Tương tác giữa người dùng và sản phẩm dưới dạng đồ thị hai phía 36 5 3.3 Precision@K và Recall@K sử dụng cùng tử số nhưng khác mẫu số Mẫu số của Precision@K là số lượng mục được đề xuất, K 38 3.4 GNCF Precision@20 và Recall@20 trên mỗi giai đoạn đào tạo 41 3.5 LightGCN Precision@20 và Recall@20 trên mỗi giai đoạn đào tạo 41 3.6 Bảng so sánh NGCF với LightGCN 42 6 Mở đầu 1 Lý do chọn đề tài Trong những năm gần đây một loại mô hình học sâu mới, mạng nơ-ron đồ thị (GNN) đã được chứng minh là một mô hình học tập mạnh mẽ khi được áp dụng tới các vấn đề có thể được mô tả thông qua dữ liệu đồ thị [15], [24], [25] GNN có thể được sử dụng để giải quyết nhiều vấn đề trong nhiều lĩnh vực khác nhau như: phân loại đối tượng đồ thị (ví dụ, phân loại các trang web trong một đồ thị web dựa trên nội dung và cấu trúc của đồ thị); Dự đoán và gợi ý (ví dụ, gợi ý sản phẩm cho người dùng dựa trên lịch sử mua sắm và quan hệ xã hội); phân tích mạng xã hội (ví dụ, dự đoán mức độ tương tác giữa các người dùng hoặc phát hiện sự lan truyền thông tin giả mạo); xử lý ngôn ngữ tự nhiên trong đồ thị (ví dụ, phân loại các bài viết trên mạng xã hội); dự đoán cấu trúc và quan hệ (ví dụ, trong lĩnh vực hóa học, có thể dự đoán cấu trúc phân tử); phân tích dữ liệu liên quan đến hình ảnh và video (ví dụ, trong lĩnh vực thị giác máy tính, chúng có thể được sử dụng để phát hiện và theo dõi các đối tượng trong video) Sự linh hoạt của GNN làm cho nó trở thành một công cụ mạnh mẽ trong việc xử lý và phân tích dữ liệu có cấu trúc đồ thị Các kỹ thuật mạng nơ-ron đồ thị đã được sử dụng rộng rãi trong các hệ gợi ý vì hầu hết thông tin trong các hệ gợi ý về cơ bản đều có cấu trúc đồ thị Trong thời đại số hóa ngày càng phát triển, ứng dụng mạng nơ-ron đồ thị trong hệ gợi ý là một lĩnh vực nghiên cứu đang thu hút sự quan tâm lớn từ cộng đồng khoa học và doanh nghiệp Hệ gợi ý đang trở nên ngày càng quan trọng Chúng giúp cải thiện trải nghiệm của người dùng bằng cách gợi ý sản phẩm, nội dung, hoặc thông tin phù hợp với sở thích và nhu cầu cá nhân Việc nghiên cứu và phát triển các phương pháp gợi ý hiệu quả có thể mang lại giá trị lớn cho các ứng dụng và doanh nghiệp trực tuyến Nó phản ảnh xu hướng tiên tiến của ngành khoa học máy tính và trí tuệ nhân tạo Mạng nơ-ron đồ thị là một lĩnh vực mới mẻ và hứa hẹn, kết hợp sức mạnh của mạng nơ-ron và thông tin đồ thị để cải thiện khả năng gợi ý Tuy nhiên, lĩnh vực này vẫn còn nhiều khía cạnh cần khám phá và giải quyết như việc phân tích và hiểu cấu trúc đồ thị, xây 7 dựng mô hình mạng nơ-ron phù hợp, và tối ưu hóa thuật toán để đảm bảo khả năng gợi ý chính xác và hiệu quả Do tích hợp nhiều yếu tố quan trọng như xu hướng công nghệ, tính ứng dụng rộng rãi, tiềm năng thực tiễn, nên chúng tôi thực hiện nghiên cứu đề tài "Ứng dụng mạng nơ-ron đồ thị trong hệ gợi ý" 2 Mục tiêu của đề án Trong đề án này, chúng tôi đặt ra các mục tiêu chính: ˆ Nghiên cứu cơ sở lý thuyết về đồ thị, ứng dụng của mạng nơ-ron đồ thị trong hệ gợi ý ˆ Cài đặt thực nghiệm về ứng dụng mạng nơ-ron đồ thị trong hệ gợi ý 3 Đóng góp của đề án Những đóng góp chính của đề án là: ˆ Thứ nhất, trình bày mô hình ứng dụng mạng nơ-ron đồ thị trong hệ gợi ý ˆ Thứ hai, xây dựng mô hình dự đoán xếp hạng ˆ Thứ ba, thực nghiệm, đánh giá hiệu quả của ứng dụng mạng nơ-ron đồ thị trong hệ gợi ý 4 Bố cục của đề án Ngoài phần mở đầu và kết luận, đề án được tổ chức thành 3 chương với bố cục như sau: ˆ Chương 1 TỔNG QUAN: giới thiệu tổng quan về hệ gợi ý, bao gồm: sơ lược về hệ gợi ý, các nhiệm vụ trong hệ gợi ý, bài toán hệ gợi ý, một số kỹ thuật hệ gợi ý, đánh giá hệ gợi ý và mạng nơ-ron đồ thị ˆ Chương 2 MẠNG NƠ-RON ĐỒ THỊ TRONG HỆ GỢI Ý: chúng tôi trình bày về định nghĩa đồ thị, kỹ thuật mạng nơ-ron đồ thị và mạng nơ-ron đồ thị trong gợi ý lọc cộng tác ˆ Chương 3 THỰC NGHIỆM: chúng tôi cài đặt thực nghiệm hệ gợi ý trên bộ dữ liệu Movielens 100K; đưa ra kết quả thực nghiệm và đánh giá 8