ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA BK TP.HCM ĐINH HỮU LỘC XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ TUẦN TỰ DỰA TRÊN KIẾN TRÚC TRANSFORMER NGÀNH: KHOA HỌC MÁY TÍNH MÃ NGÀNH: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 07 n m 2022 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG TP.HCM Cán hướng dẫn khoa học: + PGS.TS Quản Thành Thơ + TS Nguyễn Thiên Bình Cán chấm nhận xét 1: PGS.TS.Võ Thị Ngọc Châu Cán chấm nhận xét 2: TS Trần Thanh Tùng Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG TP.HCM ngày 21 tháng 07 năm 2022 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch hội đồng: PGS.TS Huỳnh Tường Nguyên Thư ký hội đồng: TS Nguyễn Tiến Thịnh Phản biện 1: PGS.TS.Võ Thị Ngọc Châu Phản biện 2: TS Trần Thanh Tùng Ủy viên: TS Nguyễn Lưu Thủy Ngân Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC & KĨ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc _ _ NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: ĐINH HỮU LỘC MSHV: 2070104 Ngày, tháng, năm sinh: 20/09/1993 Nơi sinh: Khánh Hòa Chuyên ngành: Khoa học Máy tính Mã số: 8480101 I TÊN ĐỀ TÀI: Xây dựng hệ thống khuyến nghị dựa kiến trúc Transformer - Transformer-based sequential recommendation systems II NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu giải toán gợi ý, khuyến nghị (Sequential Recommendation) phương pháp sử dụng mơ hình huấn luyện học sâu dựa kiến trúc Transformer để giải toán liên quan Thực nghiệm giải pháp đề xuất liệu mẫu kiểm tra, đánh giá với mơ hình sở khác III NGÀY GIAO NHIỆM VỤ: 14/02/2022 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 06/06/2022 V CÁN BỘ HƯỚNG DẪN: PGS TS Quản Thành Thơ, TS Nguyễn Thiên Bình Tp HCM, ngày 07 tháng 06 năm 2022 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA KHOA HỌC & KĨ THUẬT MÁY TÍNH (Họ tên chữ ký) Lời cảm ơn Xin gửi lời cảm ơn thầy cô khoa Khoa học Kỹ thuật Máy tính, đội ngũ giảng viên nhân viên trường Đại học Bách Khoa - ĐHQG TP.HCM tận tình giảng dạy, hỗ trợ tơi thời gian theo học trường Đặc biệt xin chân thành cảm ơn thầy PGS TS Quản Thành Thơ - thầy hướng dẫn luận văn hỗ trợ, hướng dẫn cung cấp cho hội để có trải nghiệm tri thức sâu rộng khơng q trình thực luận văn mà thảo luận, chia sẻ kiến thức thầy, anh chị bạn trình theo học trường Xin gửi lòng biết ơn sâu sắc đến người thân tôi, cha mẹ người bạn đời động lực to lớn hỗ trợ vật chất tinh thần, đồng hành bên tơi suốt q trình học tập nghiên cứu, để tơi hồn thiện luận văn q trình học tập tới cuối Tơi gửi lời cảm ơn tới Ngân hàng Thương mại cổ phần Sài Gịn Thương Tín - Sacombank, Trung tâm Chuyển đổi số tạo điều kiện cho đào sâu nghiên cứu nâng cao kiến thức chuyên môn Do thời gian với lượng kiến thức có hạn thân, luận văn không tránh khỏi thiếu sót, mong nhận ý kiến đóng góp q thầy hội đồng đánh giá phản biện Xin lắng nghe chân thành cảm ơn TP Hồ Chí Minh, ngày 06 tháng 06 năm 2022 iv Tóm tắt nội dung Trong phạm vi công việc luận văn, thực nghiên cứu xây dựng giả thuyết khoa học cần giải Từ đến xây dựng kiến trúc mơ hình đề xuất, thực thực nghiệm giải pháp cho toán Xây dựng hệ thống gợi ý dựa kiến trúc Transformer Bài toán gợi ý nghiên cứu ứng dụng thực tế Thế giới từ nhiều năm trước, nhiên thực rộng rãi thời gian từ năm 2016 trở lại với phát triển mạnh mẽ kiến trúc mơ hình Học sâu có khả xử lý tốt tính đạt thành tựu to lớn nhiệm vụ Xử lý ngôn ngữ tự nhiên Dựa kiến trúc Transformer, tiếp cận giải toán gợi ý theo phương pháp tinh chỉnh tối ưu mơ hình đào tạo học có giám sát Các kết thực nghiệm đạt cho thấy giải pháp đề xuất có khả kết hợp bổ sung thuộc tính khác người dùng sản phẩm đồng thời khai thác tính hành vi tương tác v Abstract Within the scope of my thesis, I have researched and built the scientific hypotheses to be solved Then, the proposed model architecture was built, implemented and experimented with the solution to build a sequential recommender system based on the Transformer architecture The problem of sequential recommendation has been researched and applied in the real world for a long time back, but it has only been really widespread since 2016 along with the strong growth of new ideas in Deep learning with more architecture that can handle good sequential processing ability has gained great achievements in Natural Language Processing domain Based on the Transformer architecture, my approach to solved the sequential recommendation problem by optimally fine-tuning the supervised learning model method The obtained experimental results show that the proposed solution is capable of not only additionally combining other attributes of the user and the product but also simultaneously exploiting the sequential nature of the interaction behavior vi Lời cam kết tác giả Tôi xin cam đoan luận văn với đề tài “Xây dựng hệ thống khuyến nghị dựa kiến trúc Transformer” bao gồm tồn cơng trình kết trình bày văn cá nhân tơi, đảm bảo: tồn cơng việc tơi thực khn khổ chương trình đào tạo thạc sĩ hướng ứng dụng khoa Khoa học Kỹ thuật Máy tính, trường Đại học Bách Khoa TP.HCM; tài liệu tham khảo trích dẫn sử dụng luận văn dẫn nguồn đầy đủ TP.HCM, ngày 06 tháng 06 năm 2022 Người viết Đinh Hữu Lộc vii Mục lục Giới thiệu 1.1 Giới thiệu đề tài 1.2 Ý nghĩa thực tiễn 1.3 Những khó khăn thách thức 1.4 Nhiệm vụ cấu trúc luận văn 1.4.1 Nhiệm vụ luận văn 1.4.2 Cấu trúc luận văn Cơ sở lý thuyết Công trình nghiên cứu liên quan 2.1 Tổng quan toán gợi ý 2.2 Tình hình nghiên cứu giới 10 2.3 Cơ chế Self-Attention mơ hình SASREC 12 2.3.1 Cơ chế Self-Attention 12 2.3.2 Mơ hình SASREC 14 Kiến trúc Transformer mơ hình BERT4REC, BST 16 2.4.1 Kiến trúc Transformer 16 2.4.2 Mơ hình BERT4REC 17 2.4.3 Mơ hình BST - Behavior Sequence Transformer 19 Phương pháp đánh giá 21 2.5.1 Đánh giá cho toán xếp hạng (rating) 21 2.5.2 Đánh giá cho toán khả nhấp chuột (click-through-rate) 22 Tổng kết chương 24 2.4 2.5 2.6 Dữ liệu Giải pháp đề xuất 25 viii Mục lục 3.1 Dữ liệu 26 3.1.1 Dữ liệu xếp hạng phim MovieLens 1M 26 3.1.2 Phương pháp tiền xử lý liệu 27 3.2 Mơ hình sở 29 3.3 Giải pháp đề xuất 31 3.3.1 Giải pháp đề xuất cho toán rating 31 3.3.2 Giải pháp đề xuất cho toán click-through-rate 34 Cài đặt thực nghiệm 37 3.4.1 Cài đặt liệu 37 3.4.2 Cài đặt huấn luyện cho toán rating 37 3.4.3 Cài đặt huấn luyện cho toán click-through-rate 39 Tổng kết chương 41 3.4 3.5 Kết Thảo luận 42 4.1 Kết thực nghiệm 43 4.1.1 Kết thực nghiệm cho toán rating 43 4.1.2 Kết thực nghiệm cho toán click-through-rate 43 Thảo luận 45 4.2 Kết luận 47 5.1 Kết đạt 47 5.2 Hạn chế vấn đề tồn đọng 48 5.3 Hướng phát triển 48 5.4 Tổng kết luận văn 49 Tài liệu tham khảo 51 ix Danh sách hình vẽ 1.1 Minh hoạ ứng dụng hệ thống khuyến nghị mua kèm sản phẩm ứng dụng Tiki 2.1 Minh hoạ hệ thống gợi ý tổng quan 2.2 Minh hoạ hệ thống gợi ý dựa kinh nghiệm (Experience-based) 2.3 Minh hoạ hệ thống gợi ý dựa giao dịch (Transaction-based) 2.4 Minh hoạ hệ thống gợi ý dựa tương tác (Interaction-based) 2.5 Tình hình nghiên cứu giới toán Gợi ý 10 2.6 Minh hoạ phép tính tốn chế Self-Attention 13 2.7 Kiến trúc mơ hình SASREC (ứng dụng tốn click-through-rate) 14 2.8 Minh hoạ phép tính toán chế Multi-Head Self-Attention 16 2.9 Kiến trúc mơ hình BERT4REC (ứng dụng toán click-through-rate) 18 2.10 Kiến trúc mơ hình BST (ứng dụng tốn click-through-rate) 19 2.11 Mô tả mối tương quan hai phép đo ROC AUC 23 3.1 Kiến trúc mơ hình sở SASREC toán rating 29 3.2 Kiến trúc mơ hình sở BST toán rating 30 3.3 Kiến trúc mơ hình đề xuất cho toán rating 32 3.4 Kiến trúc mơ hình đề xuất cho toán click-through-rate 35 x 3.4 Cài đặt thực nghiệm ■ num_attention_heads số lượng đầu attention sử dụng kiến trúc Transformer ■ num_hidden_layers số tầng ẩn (các tầng ẩn lớp kết nối đầy đủ (fullyconnected layer)) ■ hidden_size kích thước tầng ẩn ■ dropout_rate tỉ lệ giảm bớt độ phức tạp kết nối mơ hình nhằm tránh vấn đề khớp (overfitting) ■ loss_function hàm dùng để tối ưu mơ hình q trình huấn luyện tương ứng với đầu toán dạng phân lớp (classification) Các siêu tham số huấn luyện khác dùng để tinh chỉnh trình huấn luyện bảng sau: 128 batch_size include_user_features True include_movie_features True learning_rate 0.01 20 epoch_size Trong đó: ■ batch_size kích thước số lượng mẫu thực huấn luyện lượt (epoch) ■ include_user_features lựa chọn có sử dụng thuộc tính người dùng hay khơng ■ include_movie_features lựa chọn có sử dụng thuộc tính phim hay không ■ learning_rate tham số tinh chỉnh tốc độ học ảnh hưởng tới trình hội tụ mơ hình ■ epoch_size sơ lượt lặp huấn luyện mơ hình tồn tập liệu huấn luyện Tổng thời gian huấn luyện mơ hình hội tụ đạt kết tối ưu khoảng 1.5 GPU với 20 epochs 40 3.5 Tổng kết chương 3.5 | Tổng kết chương Trong chương này, tơi trình bày liệu sử dụng, phương pháp tiền xử lý liệu hai bước giải toán phân loại cảm xúc hướng khía cạnh mơ hình đề xuất Phần liệu trình bày khái quát việc thu thập, gán nhãn, làm chọn lọc liệu cách tạo liệu cho toán với cách tiếp cận khác Trong phần giải pháp này, mô tả giải pháp đề xuất để giải tốn phân loại cảm xúc hướng khía cạnh đối chiếu với mơ hình sở Cuối mô tả bước cài đặt liệu, thiết lập thông số ban đầu giá trị siêu tham số lựa chọn trình thực nghiệm để tối ưu kết thu mơ hình 41 Kết Thảo luận Phần trình bày kết thực nghiệm mơ hình đề xuất kết thực lại mơ hình sở, bao gồm kết cho hai toán toán rating toán click-through-rate Các số đánh giá sử dụng tương đồng mơ hình sở mơ hình đề xuất để làm sở so sánh Từ kết đó, ta rút số kết luận đánh giá quan trọng cho giả thuyết đặt ban đầu 42 4.1 Kết thực nghiệm 4.1 | Kết thực nghiệm 4.1.1 | Kết thực nghiệm cho tốn rating Bảng 4.1 trình bày kết đánh giá thực nghiệm thu mơ hình đề xuất (kết lấy trung bình từ kết tốt sau lần thực nghiệm độc lập) so sánh với mơ hình tham khảo Mơ hình sở Train-set Test-set 0.8826 0.7017 0.96 0.76 RMSE MAE Mơ hình sở Train-set 0.8444 0.6687 Mơ hình đề xuất Test-set Train-set 0.932 0.729 0.8669 0.6851 Test-set 0.891 0.700 Bảng 4.1: Kết đánh giá cho toán rating so sánh với mơ hình sở Trong đó: ■ Mơ hình sở mơ hình áp dụng kiến trúc mơ hình SASREC sử dụng chế Self-Attention khơng sử dụng thuộc tính bổ sung người dùng sản phẩm (chỉ sử dụng thuộc tính chuỗi tuần tự) ■ Mơ hình sở mơ hình áp dụng kiến trúc mơ hình BST đề xuất bao gồm thuộc tính bổ sung người dùng thuộc tính chuỗi (áp dụng để đưa vào kiến trúc Transformer) ■ Mơ hình đề xuất mơ hình áp dụng kiến trúc mơ hình đề xuất bao gồm thuộc tính bổ sung người dùng thuộc tính chuỗi (áp dụng để đưa vào kiến trúc Transformer) Trong có kết hợp thuộc tính phim vào chuỗi 4.1.2 | Kết thực nghiệm cho toán click-through-rate Mơ hình sở Accuracy AUC Train-set Test-set 0.864 0.846 0.838 0.773 Mơ hình sở Train-set 0.866 0.851 Mơ hình đề xuất Test-set Train-set 0.843 0.782 0.859 0.812 Test-set 0.856 0.798 Bảng 4.2: Kết đánh giá cho toán click-through-rate so sánh với mơ hình sở 43 4.1 Kết thực nghiệm Bảng 4.2 trình bày kết đánh giá thực nghiệm thu mơ hình đề xuất (kết lấy trung bình từ kết tốt sau lần thực nghiệm độc lập) so sánh với mơ hình tham khảo Trong đó: ■ Mơ hình sở mơ hình áp dụng kiến trúc mơ hình SASREC sử dụng chế Self-Attention khơng sử dụng thuộc tính bổ sung người dùng sản phẩm (chỉ sử dụng thuộc tính chuỗi tuần tự) ■ Mơ hình sở mơ hình áp dụng kiến trúc mơ hình BST đề xuất bao gồm thuộc tính bổ sung người dùng thuộc tính chuỗi (áp dụng để đưa vào kiến trúc Transformer) ■ Mơ hình đề xuất mơ hình áp dụng kiến trúc mơ hình đề xuất bao gồm thuộc tính bổ sung người dùng thuộc tính chuỗi (áp dụng để đưa vào kiến trúc Transformer) Trong có kết hợp thuộc tính phim vào chuỗi 44 4.2 Thảo luận 4.2 | Thảo luận Đối với toán rating, kết bảng 4.1 giúp rút số nhận xét đánh sau: ■ Mơ hình sở (sử dụng kiến trúc mơ hình SASREC) cho kết tương đối tốt với thuộc tính dạng chuỗi Điều cho thấy việc sử dụng thuộc tính dạng chuỗi vào việc dự đốn đưa gợi ý phù hợp hiệu ■ Mơ hình sở (sử dụng kiến trúc mơ hình BST) cho kết cao so với mơ hình sở tập huấn luyện tập kiểm thử Điều rút việc áp dụng kiến trúc Transformer (sử dụng lúc nhiều đầu Self-Attention kiến trúc) kết hợp với thuộc tính bổ sung từ người dùng giúp cải thiện kết đánh giá mơ hình ■ Mơ hình đề xuất cho kết tốt so sánh với hai mơ hình sở tập kiểm tra kết đạt tập huấn luyện thấp chút so với mơ hình sở Điều cho thấy việc bổ sung thuộc tính phim (Năm sản xuất Thể loại phim) giúp nâng cao độ hiệu mơ hình ■ Việc áp dụng kỹ thuật tối ưu mơ hình học sâu Dropout, sử dụng tập thẩm định (validation set) giúp mơ hình đề xuất đạt độ cân kết tập huấn luyện kết tập kiểm tra Như vậy, dựa vào kết đánh giá thực nghiệm thu thấy việc xử lý thuộc tính dạng chuỗi sử dụng kiến trúc Transformer hiệu hữu dụng việc đưa gợi ý, đánh giá (rating) sản phẩm đồng thời việc kết hợp với thuộc tính bổ sung giúp làm tăng độ hiệu cho mơ hình vừa sử dụng ảnh hưởng mang tính dài hạn với thuộc tính mang tính ngắn hạn Ngồi tập liệu sử dụng để kiểm tra thực nghiệm tương đối nhỏ chuỗi khơng dài tác động lớp tầng ẩn sử dụng cải thiện kiến trúc Transformer chưa thực vượt trội rõ ràng Tuy nhiên nhờ khả huấn luyện song song tốt chế Self-Attention kiến trúc Transformer giúp cho việc mở rộng huấn luyện mơ hình tập liệu lớn khả thi thời gian huấn luyện mơ hình nhanh chóng 45 4.2 Thảo luận Đối với toán click-through-rate, ta thấy kết đánh giá Accuracy, AUC cao mơ hình sở mơ hình đề xuất Trong mơ hình đề xuất đạt kết tốt tập kiểm tra Điều lý giải tương tự với tốn rating Đặc biệt, việc áp dụng mơ hình đề xuất với loại toán cho thấy linh động kiến trúc mơ hình có khả tuỳ chỉnh thay đổi dễ dàng tuỳ thuộc vào u cầu tốn Vì nhằm mục đích chứng minh tính linh động độ hiệu mơ hình đề xuất tốn dạng click-through-rate tập liệu sử dụng tạo cách tương đối chủ quan (ấn định đánh giá Không click vào phim ngược lại từ trở lên Có click vào phim) 46 Kết luận 5.1 | Kết đạt Với sở lý thuyết, thiết lập giả thuyết, xây dựng mơ hình, triển khai thực nghiệm đánh giá kết thu với mơ hình sở cơng trình nghiên cứu liên quan Luận văn “Xây dựng hệ thống khuyến nghị dựa kiến trúc Transformer” thu kết sau: ■ Dữ liệu đầu vào toán gợi ý đặt tiền xử lý phù hợp với thực tế cài đặt tương tự cho liệu tương tác người dùng sản phẩm liệu lĩnh vực khác ■ Việc ứng dụng kiến trúc Transformer vào toán gợi ý khả thi thu kết thực nghiệm tốt so sánh với mơ hình sở kết nghiên cứu thực nghiệm khác ■ Việc sử dụng kết hợp bổ sung với thuộc tính liệu khác người dùng sản phẩm giúp cải thiện rõ kết mơ hình tương đồng với giả thuyết đặt ■ Kiến trúc mơ hình học sâu giúp cho mơ hình sử dụng tốt tập liệu lớn nhờ khả mở rộng, tùy chỉnh linh động kích cỡ số lượng tầng ẩn, thuộc tính sử dụng kiến trúc ■ Triển khai tích hợp mơ hình gợi ý vào hệ thống gợi ý doanh nghiệp khả thi phù hợp với nhu cầu thực tế người dùng 47 5.2 Hạn chế vấn đề tồn đọng 5.2 | Hạn chế vấn đề tồn đọng Vấn đề kể đến vấn đề tiền xử lý liệu Việc xác định độ dài chuỗi thực tế không cố định cho khách hàng Trong thực tế, tương tác khách hàng - sản phẩm diễn theo phiên (session-based) khác tùy người Điều dẫn đến việc xác định độ dài cố định cho chuỗi tương tác mang tính tương đối Điều thể rõ liệu MovieLens 1M sử dụng thực nghiệm giải pháp, thấy có khách hàng phiên truy cập xem nhiều phim, có người phiên xem phim cách nhiều ngày, nhiều tháng sau tiếp tục xem phim khác Vấn đề thứ hai vấn đề khởi động nguội (cold-start) [20] Mặc dù giải pháp đề xuất có sử dụng thuộc tính nhân học (demographic) người dùng kiến trúc mơ hình nhiên độ hiệu mơ hình phụ thuộc lớn vào thuộc tính khách hàng với sản phẩm (đặc biệt chuỗi dài thường xảy thực tế) Do khách hàng chưa có tương tác với sản phẩm bỏ phần lớn thuộc tính mà mơ hình học từ dẫn tới kết gợi ý mơ hình khơng xác (sai số lớn) Tiếp đến hạn chế thời gian thực luận văn Việc thực nghiệm giải pháp trở nên tổng quát cho nhiều tập liệu thuộc lĩnh vực khác điều giúp làm rõ tính hiệu mơ hình áp dụng thực tế Điều thấy phần thực nghiệm toán click-through-rate liệu sử dụng liệu biến đổi từ liệu toán rating việc mang tính chủ quan thực tế, khách hàng hồn tồn tương tác (click) với sản phẩm sau khơng thích sản phẩm (rating thấp) Ngồi ra, có số nghiên cứu áp dụng kỹ thuật bổ sung để giúp mơ hình giải vấn đề đạt kết xác tốt 5.3 | Hướng phát triển Dựa vào vấn đề nêu trên, ta phát triển cơng trình theo số hướng sau, chủ yếu tập trung vào khả triển khai ứng dụng thực tiễn giải vấn đề nâng cao kết đánh giá mơ hình: ■ Thay đổi cách tiền xử lý liệu hiệu phù hợp với thực tế nhiên 48 5.4 Tổng kết luận văn phải đảm bảo liệu đầu vào cho mơ hình thành dạng chuỗi với độ dài cố định ■ Thực nghiệm giải pháp đề xuất tập liệu nhiều lĩnh vực khác độ lớn khác để kiểm chứng thêm tính hiệu mơ hình ■ Kết hợp với giải pháp khác để tăng hiệu dự đoán việc xử lý vấn đề cold-start ■ Triển khai sử dụng mơ hình thực tế kết hợp với mơ hình khác hệ thống gợi ý doanh nghiệp, liên kết hiệu mơ hình với kết kinh doanh doanh nghiệp để hiểu rõ vấn đề phát sinh thực tế cần phải giải 5.4 | Tổng kết luận văn Trong trình thực nghiên cứu xây dựng thực nghiệm luận văn “Xây dựng hệ thống khuyến nghị dựa kiến trúc Transformer” thực hiện: ■ Nghiên cứu sở lý thuyết, tốn, cơng trình đạt thành tựu lớn lĩnh vực học sâu tốn gợi ý để từ xác định ý tưởng nhiệm vụ cần thực cho đề tài ■ Trình bày nhiệm vụ, khó khăn, thách thức hướng tiếp cận toán cách tường minh, rõ ràng, từ đặt giả thuyết tốn cần giải cho luận văn ■ Cung cấp nhìn tổng quát nghiên cứu liên quan đến toán nghiên cứu, xu hướng chung giải toán Tổng hợp vấn đề học thuật liên quan áp dụng, bao gồm tổng quan toán gợi ý tuần tự, chế Self-Attention, kiến trúc Transformer mơ hình ứng dụng sở cho toán gợi ý ■ Về phương pháp nghiên cứu, giới thiệu chi tiết liệu, phân tích thống kê cách tiền xử lý liệu phù hợp Về giải pháp đề xuất, tơi đưa kiến trúc thiết kế mơ hình để giải nhiệm vụ đặt ra, chi tiết cách cài đặt thực nghiệm cách đánh giá mơ hình, đưa nhận xét so sánh Từ kết thực nghiệm thu cho thấy mơ hình đề xuất đạt số đánh giá cao sử dụng thực tế 49 5.4 Tổng kết luận văn ■ Đề xuất hướng mở rộng khả thi cho việc ứng dụng giải pháp xây dựng hệ thống gợi ý nhằm giải mong muốn gợi ý cá nhân hóa người dùng kỷ nguyên số Cuối cùng, thơng qua q trình thực luận văn giúp tơi hình thành rèn luyện khả nghiên cứu cách khoa học rõ ràng Từ giúp tơi nâng cao khả ứng dụng thành tựu vào ứng dụng thực tiễn tương lai 50 Tài liệu tham khảo [1] C Musto, C Greco, A Suglia, and G Semeraro "Ask Me Any Rating: A Contentbased Recommender System based on Recurrent Neural Networks" Presented at IIR, Venice, Italy 2016 [2] R Devooght and H Bersini "Collaborative filtering with recurrent neural networks" arXiv preprint arXiv:1608.07400 2016 [3] J Lian, X Zhou, F Zhang, Z Chen, X Xie, and G Sun "xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems" arXiv preprint arXiv:1803.05170 2018 [4] H Cheng, L Koc, J Harmsen, T Shaked, T Chandra, H Aradhye, G Anderson, G Corrado, W Chai, M Ispir "Wide & deep learning for recommender systems" 2016 https://doi.org/10.48550/arXiv.1606.07792 [5] W Chen, P Huang, J Xu, X Guo, C Guo, F Sun, C Li, A Pfadler, H Zhao, and B Zhao "POG: Personalized Outfit Generation for Fashion Recommendation at Alibaba iFashion" 2019 https://doi.org/10.48550/arXiv.1905.01866 [6] K Cho, B Merrienboer, C Gulcehre, D Bahdanau, F Bougares, H Schwenk, Y Bengio "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation" arXiv:1406.1078 [cs.CL] 2014 [7] B Hidasi, A Karatzoglou, L Baltrunas and D Tikk "Session-based recommendations with Recurrent Neural Networks" International Conference on Learning Representations (ICLR) 2016 https://doi.org/10.48550/arXiv.1511.06939 51 Tài liệu tham khảo [8] B Hidasi and A Karatzoglou "Recurrent Neural Networks with Top-k Gains for Session-based Recommendations" The Conference on Information and Knowledge Management (CIKM) 2018 https://doi.org/10.48550/arXiv.1706.03847 [9] W Kang and ommendation" J McAuley IEEE (2018) International "Self-Attentive Conference on Sequential Data Mining Rec2018 https://doi.org/10.48550/arXiv.1808.09781 [10] F Sun, J Liu, J Wu, C Pei, X Lin, W Ou, and P Jiang "BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer" The Conference on Information and Knowledge Management (CIKM) 2019 https://doi.org/10.48550/arXiv.1904.06690 [11] Q Chen, H Zhao, W Li, P Huang, W Ou "Behavior Sequence Transformer for E-commerce Recommendation Practice for High-Dimensional Sparse Data in with Alibaba" KDD Deep Learning (DLP-KDD) 2019 https://doi.org/10.48550/arXiv.1905.06874 [12] H Fang, D Zhang, Y Shu, and G Guo "Deep Learning for Sequential Recommendation: Algorithms, Influential Factors, and Evaluations" ACM Transactions on Information Systems 2020 https://doi.org/10.48550/arXiv.1905.01997 [13] A Vaswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, N Gomez, L Kaiser and I Polosukhin "Attention Is All You Need" Advances in Neural Information Processing Systems (NIPS) pp.311-318 2017 https://doi.org/10.48550/arXiv.1706.03762 [14] Y LeCun, Y Bengio and G Hinton Deep Learning Nature vol 521 pp.436-444 2015 ˇ [15] O Mikolov , M Karafiát, L Burget, J Cernocký and S Khudanpur "Recurrent of the Neural International Network Speech Based Language Communication Model" Association Annual Conference pp.1045-1048 2010 https://doi.org/10.48550/arXiv.1905.01876/ [16] D Bahdanau, K Cho and Y Bengio "Neural Machine Translation by Jointly Learning to Align and Translate" International Conference on Learning Representations (ICLR) 2015 https://doi.org/10.48550/arXiv.1409.0473 [17] J Chung, C Gulcehre, K Cho and Y Bengio "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling" Neural and Evolutionary Computing (cs.NE) 2014 https://doi.org/10.48550/arXiv.1412.3555 52 Tài liệu tham khảo [18] Y Wang, L Wang, Y Li, D He, T Liu, W Chen "A Theoretical Analysis of NDCG Type Ranking Measures" Machine Learning (cs.LG) 2013 https://doi.org/10.48550/arXiv.1304.6480 [19] E Nwankpa, W Ijomah, A Gachagan, and S Marshall "Activation Functions: Comparison of Trends in Practice and Research for Deep Learning" arXiv:1811.03378v1 2018 [20] M Volkovs, G Yu, and T Poutanen "DropoutNet: Addressing Cold Start in Recommender Systems" In Advances in Neural Information Processing Systems 4957–4966 2017 https://doi.org/10.48550/arXiv.2009.03455 [21] "Grouplens" Internet: https://grouplens.org/datasets/movielens/, 2019 53 Lý L ch Trích Ngang ■ Họ tên: Đinh Hữu Lộc ■ Ngày, tháng, năm sinh: 20/09/1993 Nơi sinh: Khánh Hoà ■ Địa liên lạc: 163/26/70 Tô Hiến Thành, phường 13, quận 10, Hồ Chí Minh Q trình đào tạo ■ Tháng 09/2011 - tháng 05/2016: sinh viên, chuyên nghành Khoa học máy tính thuộc khoa Khoa học kỹ thuật máy tính, Đại học Bách Khoa HCM - ĐHQG HCM ■ Tháng 09/2020 - nay: học viên cao học, chuyên nghành Khoa học máy tính thuộc khoa Khoa học kỹ thuật máy tính, Đại học Bách Khoa HCM - ĐHQG HCM Q trình cơng tác ■ Tháng 02/2016 - tháng 11/2016: Software Engineer công ty phần mềm ELCA ■ Tháng 02/2017 - tháng 09/2018: Backend Engineer công ty phần mềm Fujinet ■ Tháng 10/2018 - nay: Solutions Architect Trung tâm Chuyển đổi số, Ngân hàng Sacombank 54 ... văn, thực nghiên cứu xây dựng giả thuyết khoa học cần giải Từ đến xây dựng kiến trúc mơ hình đề xuất, thực thực nghiệm giải pháp cho toán Xây dựng hệ thống gợi ý dựa kiến trúc Transformer Bài toán... TÊN ĐỀ TÀI: Xây dựng hệ thống khuyến nghị dựa kiến trúc Transformer - Transformer- based sequential recommendation systems II NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu giải toán gợi ý, khuyến nghị (Sequential... interaction behavior vi Lời cam kết tác giả Tôi xin cam đoan luận văn với đề tài ? ?Xây dựng hệ thống khuyến nghị dựa kiến trúc Transformer? ?? bao gồm tồn cơng trình kết trình bày văn cá nhân tơi, đảm bảo: