Nghiên cứu phát triển một số kỹ thuật gợi ý mua hàng theo phiên dựa trên mô hình học sâu

BỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ NGUYỄN TUẤN KHANG NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ KỸ THUẬT GỢI Ý MUA HÀNG THEO PHIÊN DỰA TRÊN MƠ HÌNH HỌC SÂU LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH Hà Nội - 2023 BỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ NGUYỄN TUẤN KHANG NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ KỸ THUẬT GỢI Ý MUA HÀNG THEO PHIÊN DỰA TRÊN MƠ HÌNH HỌC SÂU LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH Mã số: 48 01 01 Xác nhận Học viện Khoa học Công nghệ Người hướng dẫn (Ký, ghi rõ họ tên) TS Nguyễn Phú Bình Hà Nội - 2023 Người hướng dẫn (Ký, ghi rõ họ tên) PGS TS Nguyễn Việt Anh LỜI CAM ĐOAN Tôi xin cam đoan kết cơng bố luận án cơng trình nghiên cứu thân thời gian học tập, nghiên cứu hoàn thành với hướng dẫn hai Thầy giáo gồm TS Nguyễn Phú Bình PGS.TS Nguyễn Việt Anh Các tài liệu tham khảo trích dẫn đầy đủ ghi rõ phần tài liệu tham khảo Các kết nghiên cứu thực nghiệm môi trường thực nghiệm ghi nhận cách khách quan, trung thực cơng bố tạp chí khoa học chuyên ngành Hà Nội, ngày 25 tháng 09 năm 2023 Nguyễn Tuấn Khang khang_nt@yahoo.com | 090 8306668 i LỜI CẢM ƠN Luận án hoàn thành Học viện Khoa học Công nghệ, Viện Hàn lâm Khoa học Công nghệ Việt Nam Tác giả xin chân thành cám ơn ghi nhận hỗ trợ dạy tận tình TS Nguyễn Phú Bình PGS.TS Nguyễn Việt Anh trình thực luận án tiến sỹ Những lời khuyên dẫn từ thầy giúp tác giả vượt qua khó khăn trình nghiên cứu phát triển kỹ nghiên cứu mình, kiến thức kinh nghiệm thầy tài sản vô giá cho nghiệp nghiên cứu tác giả giai đoạn Tác giả xin chân thành cảm ơn Ban lãnh đạo Viện Công nghệ thông tin, Học viện Khoa học Công nghệ, Bộ phận Quản lý Nghiên cứu sinh Phòng ban chức Viện Công nghệ thông tin Học viện Khoa học Cơng nghệ hỗ trợ tác giả q trình nghiên cứu sinh Học viện Tác giả xin chân thành cám ơn PGS.TS Nguyễn Long Giang, tạo điều kiện thuận lợi trình học tập nghiên cứu tác giả Thêm nữa, tác giả gửi lời cám ơn đóng góp nhận xét quý báu cộng sự, đồng nghiệp bạn bè suốt trình làm luận án Cuối cùng, tác giả xin dành lời cám ơn tới thành viên gia đình, khuyến khích động viên gia đình động lực để tác giả hoàn thành luận án Hà Nội, ngày 25 tháng 09 năm 2023 Nguyễn Tuấn Khang ii Mục lục Lời cam đoan Lời cám ơn i ii Một số kí hiệu viết tắt vi Danh sách hình vẽ viii Danh sách thuật toán ix Danh sách bảng x Mở đầu 1 Tính cấp thiết đề tài Mục tiêu luận án 3 Phương pháp nghiên cứu 4 Bố cục luận án Tổng quan hệ gợi ý số mơ hình mạng nơ-ron học sâu 1.1 Bài toán hệ gợi ý 1.1.1 Tổng quan hệ gợi ý 1.1.2 Phân loại toán hệ gợi ý 1.2 Hai toán sở 1.2.1 Định nghĩa phiên làm việc 1.2.2 Bài toán - Dự báo hành vi mua hàng 1.2.3 Bài toán - Hệ gợi ý top − k 1.3 Lý thuyết mạng nơ-ron học sâu 1.3.1 Mơ hình mạng nơ-ron học sâu truyền thẳng 1.3.2 Mơ hình mạng nơ-ron rộng sâu 1.3.3 Mơ hình mạng nơ-ron biến đổi 1.4 Lý thuyết mạng nơ-ron đồ thị 1.4.1 Định nghĩa đồ thị 1.4.2 Biểu diễn đồ thị 1.4.3 Mơ hình mạng nơ-ron đồ thị 1.5 Phép biến đổi nhúng 1.5.1 Khái niệm phép biến đổi nhúng 1.5.2 Phép biến đổi nhúng với liệu rời rạc iii 7 10 10 11 11 12 13 14 16 18 18 21 23 25 25 26 1.5.3 Phép biến đổi nhúng với liệu theo chuỗi 1.5.4 Phép biến đổi nhúng với liệu đồ thị 1.6 Các nghiên cứu liên quan Đề xuất mơ hình mạng nơ-ron học sâu cho tốn mua hàng 27 29 29 33 2.1 Phát biểu toán 2.2 Các mơ hình đề xuất 2.2.1 Mạng nơ-ron học rộng sâu 2.2.2 Mạng nơ-ron biến đổi 2.3 Kỹ thuật thực nghiệm 2.3.1 Bộ liệu thực nghiệm 2.3.2 Xử lý trích chọn đặc trưng 2.3.3 Cách thức chia liệu 2.3.4 Độ đo đánh giá mơ hình 2.4 Kết thực nghiệm 2.4.1 Kết thực nghiệm 2.4.2 So sánh với nghiên cứu liên quan 2.5 Kết luận chương Đề xuất mơ hình mạng nơ-ron đồ thị cho toán top-k 33 34 34 37 39 39 40 42 42 42 42 43 43 45 3.1 Phát biểu toán 3.2 Đề xuất thiết kế đồ thị 3.2.1 Biểu diễn phiên làm việc đồ thị 3.2.2 Đề xuất thiết kế đồ thị 3.2.3 Minh họa biểu diễn đồ thị đề xuất 3.2.4 Thảo luận các đồ thị đề xuất 3.3 Các mơ hình đề xuất 3.3.1 Mạng nơ-ron truyền thẳng (FNN ) 3.3.2 Mạng nơ-ron đồ thị (GNN ) 3.4 Kỹ thuật thực nghiệm 3.4.1 Tiền xử lý liệu 3.4.2 Chuẩn hóa liệu huấn luyện 3.4.3 Độ đo đánh giá mô hình 3.4.4 Tối ưu hóa hàm mát 3.5 Kết nhận xét 3.5.1 Kết thực nghiệm 3.5.2 So sánh với nghiên cứu liên quan 3.6 Kết luận chương Đề xuất cải tiến mơ hình GNN với phép nhúng 45 46 46 48 50 54 56 56 58 60 60 62 66 69 73 73 75 76 78 iv 4.1 4.2 4.3 Thách thức toán phân loại đa nhãn Phương pháp nhúng đồ thị 4.2.1 Phép biến đổi nhúng đỉnh 4.2.2 Phép biến đổi nhúng đồ thị Đề xuất cải tiến mô hình GNN.K 4.3.1 Chuyển đổi toán đa nhãn thành nhị phân 4.3.2 Đề xuất mạng nơ-ron truyền thẳng nhị phân 4.3.3 Đề xuất mơ hình nhúng đồ thị K nhị phân 4.4 Kỹ thuật thực nghiệm 4.4.1 Chuẩn hóa liệu huấn luyện 4.4.2 Thuật tốn huấn luyện mơ hình 4.4.3 Tối ưu mơ hình GN N.Bin.K 4.5 Kết nhận xét 4.5.1 Kết thực nghiệm 4.5.2 So sánh với nghiên cứu liên quan 4.6 Kết luận chương Kết luận 78 79 80 80 81 81 81 83 86 86 88 88 91 91 92 95 96 Kết luận chung 96 Kết đạt 97 Các đóng góp luận án 99 Hướng phát triển tương lai 100 Các cơng trình tác giả Tài liệu tham khảo 101 113 Phụ Lục 115 A Bộ liệu Yoochoose 115 A.1 A.2 Mô tả liệu 115 Một số phân tích liệu 116 A.2.1 Phân tích số lượng nhấp theo phiên 116 A.2.2 Phân tích số lượng nhấp mua hàng theo 117 v Thuật ngữ Ký hiệu viết tắt DL Edge Embedding FNN FMNN GNN Graph MRR ML NN Node PCA PNN Deep Learning (Học sâu) Cạnh Phép biến đổi nhúng Feedforeward Neural Network (Mạng nơ-ron truyền thẳng) Factorization-machine supported neural networks (Mạng nơ-ron phân tích ma trận nhân tử) Graph Neural Network (Mạng nơ-ron đồ thị) Đồ thị Mean Reciprocal Rank (Bình qn vị trí nghịch đảo) Machine Learning (Học máy) Neural Network (Mạng nơ-ron) Nút, đỉnh Principal Component Analysis (Phân tích thành phần chính) Product-based Neural Network (Mạng nơ-ron tích chập) RNN RR SR Recurrent Neural Network (Mạng nơ-ron hồi quy) Reciprocal Rank (Vị trí nghịch đảo) Session-based Recommendation (Hệ gợi ý dựa vào phiên làm việc) Session Phiên làm việc Top-k Bài toán gợi ý danh sách k sản phẩm tốt Transformer Mơ hình biến đổi FE-Transformer Mơ hình biến đổi có sử dụng lớp nhúng thuộc tính (FE: Feature Embedding) Vector Véc tơ W&DNN Wide & Deep Neural Network (Mạng nơ-ron sâu rộng) vi Danh sách hình vẽ Số lượng người dùng tảng mạng xã hội 1.1 Minh họa hệ thống gợi ý dựa nội dung 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13 1.14 1.15 2.1 Minh họa hệ thống gợi ý cộng tác Bài toán gợi ý top-k sản phẩm Một số mơ hình nơ-ron sử dụng dự báo chuỗi nhấp chuột Sơ đồ cấu trúc mạng nơ-ron rộng sâu Mơ hình minh họa kiến trúc Transformer Các lớp chi tiết kiến trúc Transformer Minh họa đồ thị Một số toán sử dụng đồ thị Minh họa đồ thị đa quan hệ Biểu diễn đồ thị danh sách kề Biểu diễn đồ thị ma trận kề Minh họa phép biến đổi nhúng Biến đổi thuộc tính danh mục thành véc-tơ nhúng Các kỹ thuật xử lý liệu chuỗi liệu cho mạng nơ-ron So sánh hiệu mơ hình thay đổi số lớp ẩn 12 13 15 17 17 19 20 20 22 23 25 26 28 35 2.2 So sánh hiệu mơ hình thay đổi hình dạng mạng nơ-ron 2.3 So sánh hiệu mơ hình thay đổi hình số nơ-ron trung bình lớp ẩn 2.4 Cấu trúc mơ hình rộng sâu sử dụng dự báo chuỗi nhấp chuột 2.5 Kiến trúc FE-Transformer 2.6 Thiết kế lớp cho mơ hình FE-Transformer 2.7 Sự tương quan tỷ lệ mua/nhấp với yếu tố 3.1 Minh họa biểu diễn phiên làm việc đồ thị 35 3.2 Biểu diễn đồ thị G 51 3.3 3.4 3.5 3.6 3.7 Biểu diễn đồ thị H Biểu diễn đồ thị K Lớp nhúng sản phẩm (Layer.ItemEmbed) Mơ hình FNN sở Mơ hình mạng nơ-ron cho đồ thị G H 52 53 57 58 59 3.8 Mơ hình mạng nơ-ron cho đồ thị K 3.9 Biểu đồ phân bố số lượng nhấp chuột (sau tiền xử lý) 3.10 Mơ hình chuẩn hóa liệu huấn luyện cho mơ hình FNN 60 61 63 vii 36 37 38 38 40 46 3.11 3.12 3.13 3.14 3.15 3.16 4.1 Mơ hình chuẩn hóa liệu huấn luyện cho mơ hình GNN Bộ liệu minh họa thiết kế đồ thị So sánh hàm mát với độ đo loss acc Hiệu mơ hình với hàm mát Biểu đồ kết so sánh mơ hình GNN với FNN Biểu đồ kết so sánh mơ hình GNN với FNN chi tiết theo k Phép biến đổi nhúng đỉnh 4.2 Phép biến đổi nhúng đồ thị 4.3 Mơ hình FNN nhị phân (F N N.bin) 4.4 Lớp nhúng phiên với đồ thị K (Layer.SessionEmbed) 4.5 4.6 4.7 4.8 4.9 4.10 4.11 A.1 64 66 72 72 74 74 80 81 82 84 85 Mơ hình nhúng nhị phân với đồ thị K (GN N.Bin.K) Biểu đồ huấn luyện mơ hình GN N.Bin.K 90 Kết Recall@k mơ hình GN N.Bin.K theo độ dài phiên 90 Kết ACCs@k mơ hình GN N.Bin.K theo độ dài phiên 91 Kết M RR@k mơ hình GN N.Bin.K theo độ dài phiên 91 So sánh GN N.Bin.K với mơ hình khác 92 So sánh GN N.Bin.K với mơ hình khác theo k 93 Biểu đồ phân bố số lượng nhấp chuột (dữ liệu gốc) 117 A.2 Biểu đồ phân bố tương quan số lượng nhấp mua hàng A.3 Phân bố nhấp mua hàng theo thời gian viii 117 .118