Luận văn thạc sĩ Khoa học máy tính: Xây dựng hệ thống khuyến nghị tuần tự dựa trên kiến trúc transformer

ĐẠI HỌC QUỐC GIA TP.HCMTRƯỜNG ĐẠI HỌC BÁCH KHOA

TP.HCMBKĐINH HỮU LỘC

XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ TUẦN TỰDỰA TRÊN KIẾN TRÚC TRANSFORMER

NGÀNH: KHOA HỌC MÁY TÍNHMÃ NGÀNH: 8480101

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 07 năm 2022

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠITRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG TP.HCM

Cán bộ hướng dẫn khoa học:+ PGS.TS Quản Thành Thơ+ TS Nguyễn Thiên Bình

3 Phản biện 1: PGS.TS.Võ Thị Ngọc Châu4 Phản biện 2: TS Trần Thanh Tùng5 Ủy viên: TS Nguyễn Lưu Thủy Ngân

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng khoa quản lý chuyên ngành saukhi luận văn đã được sửa chữa (nếu có).

KHOA HỌC & KĨ THUẬT MÁY TÍNH

ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC BÁCH KHOAĐộc lập - Tự do - Hạnh phúc

_ _

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Ngày, tháng, năm sinh: 20/09/1993Nơi sinh: Khánh HòaChuyên ngành: Khoa học Máy tínhMã số: 8480101

I TÊN ĐỀ TÀI:

Xây dựng hệ thống khuyến nghị tuần tự dựa trên kiến trúc Transformer

- Transformer-based sequential recommendation systems.

II NHIỆM VỤ VÀ NỘI DUNG:

Nghiên cứu và giải quyết bài toán gợi ý, khuyến nghị tuần tự (Sequential Recommendation)

bằng phương pháp sử dụng mô hình huấn luyện học sâu dựa trên kiến trúc Transformerđể giải quyết các bài toán con liên quan Thực nghiệm giải pháp đề xuất trên dữ liệu mẫuvà kiểm tra, đánh giá với các mô hình cơ sở khác.

III NGÀY GIAO NHIỆM VỤ: 14/02/2022.

IV NGÀY HOÀN THÀNH NHIỆM VỤ:06/06/2022.

V CÁN BỘ HƯỚNG DẪN:PGS TS Quản Thành Thơ, TS Nguyễn Thiên Bình.

Lời cảm ơn

Xin gửi lời cảm ơn các thầy cô trong khoa Khoa học và Kỹ thuật Máy tính, cùngđội ngũ giảng viên và nhân viên của trường Đại học Bách Khoa - ĐHQG TP.HCM

đã tận tình giảng dạy, hỗ trợ tôi trong thời gian theo học tại trường Đặc biệt xin chân

thành cảm ơn thầy PGS TS Quản Thành Thơ - thầy hướng dẫn luận văn của tôi khi

đã hỗ trợ, hướng dẫn và cung cấp cho tôi cơ hội để có những trải nghiệm tri thức sâurộng không chỉ trong quá trình thực hiện luận văn mà cả những giờ thảo luận, chiasẻ kiến thức cùng thầy, các anh chị và các bạn trong quá trình theo học tại trường.

Xin gửi lòng biết ơn sâu sắc đến những người thân của tôi, cha mẹ và người bạnđời đã là động lực to lớn và hỗ trợ tôi cả về vật chất và tinh thần, đồng hành bên tôitrong suốt quá trình học tập và nghiên cứu, để tôi có thể hoàn thiện luận văn và quátrình học tập tới cuối cùng Tôi cũng gửi lời cảm ơn tới Ngân hàng Thương mại cổphần Sài Gòn Thương Tín - Sacombank, Trung tâm Chuyển đổi số đã tạo điều kiệncho tôi đào sâu nghiên cứu nâng cao kiến thức chuyên môn.

Do thời gian cùng với lượng kiến thức có hạn của bản thân, luận văn này sẽkhông tránh khỏi những thiếu sót, rất mong nhận được những ý kiến đóng góp củacác quý thầy cô trong hội đồng đánh giá và phản biện Xin được lắng nghe và chânthành cảm ơn.

TP Hồ Chí Minh, ngày 06 tháng 06 năm 2022

Tóm tắt nội dung

Trong phạm vi công việc của luận văn, tôi đã thực hiện nghiên cứu và xây dựnggiả thuyết khoa học cần giải quyết Từ đó đi đến xây dựng kiến trúc mô hình đề xuất,

hiện thực và thực nghiệm giải pháp cho bài toán Xây dựng hệ thống gợi ý tuần tự

dựa trên kiến trúcTransformer Bài toán về gợi ý tuần tự đã được nghiên cứu và ứngdụng thực tế trên Thế giới từ nhiều năm trước, tuy nhiên chỉ thực sự rộng rãi trongthời gian từ năm 2016 trở lại đây cùng với sự phát triển mạnh mẽ của các kiến trúcmô hình Học sâu có khả năng xử lý tốt tính tuần tự đã đạt được những thành tựu to

lớn trong các nhiệm vụ Xử lý ngôn ngữ tự nhiên Dựa trên kiến trúc Transformer, tôi

tiếp cận và giải quyết bài toán gợi ý tuần tự theo phương pháp tinh chỉnh tối ưu mô

hình đào tạo học có giám sát Các kết quả thực nghiệm đạt được cho thấy giải pháp

đề xuất có khả năng kết hợp bổ sung các thuộc tính khác của người dùng và sản

phẩmđồng thời khai thác được tính tuần tự trong hành vi tương tác.

Within the scope of my thesis, I have researched and built the scientific ses to be solved Then, the proposed model architecture was built, implemented and

hypothe-experimented with the solution to build a sequential recommender system based

on the Transformer architecture The problem of sequential recommendation hasbeen researched and applied in the real world for a long time back, but it has onlybeen really widespread since 2016 along with the strong growth of new ideas in Deeplearning with more architecture that can handle good sequential processing abilityhas gained great achievements in Natural Language Processing domain Based onthe Transformer architecture, my approach to solved the sequential recommendation

problem by optimally fine-tuning the supervised learning model method The

ob-tained experimental results show that the proposed solution is capable of not only

additionally combining other attributes of the user and the productbut also

simul-taneously exploiting the sequential nature of the interaction behavior.

Lời cam kết của tác giả

Tôi xin cam đoan rằng luận văn với đề tài “Xây dựng hệ thống khuyến nghị tuần tự dựatrên kiến trúcTransformer” bao gồm toàn bộ công trình và kết quả được trình bày trong

văn bản này là của cá nhân tôi, và đảm bảo: toàn bộ công việc này được tôi thực hiện trongkhuôn khổ chương trình đào tạo thạc sĩ hướng ứng dụng tại khoa Khoa học và Kỹ thuật Máy tính,trường Đại học Bách Khoa TP.HCM; các tài liệu tham khảo và trích dẫn sử dụng trong luận vănđều được dẫn nguồn đầy đủ.

TP.HCM, ngày 06 tháng 06 năm 2022

Người viết

Đinh Hữu Lộc

1.4 Nhiệm vụ và cấu trúc luận văn 4

1.4.1 Nhiệm vụ luận văn 4

1.4.2 Cấu trúc luận văn 5

2Cơ sở lý thuyết và Công trình nghiên cứu liên quan62.1 Tổng quan về bài toán gợi ý tuần tự 7

2.2 Tình hình nghiên cứu trên thế giới 10

2.3 Cơ chế Self-Attention và mô hình SASREC 12

2.5.1 Đánh giá cho bài toán xếp hạng (rating) 21

2.5.2 Đánh giá cho bài toán khả năng nhấp chuột (click-through-rate) 22

2.6 Tổng kết chương 24

Mục lục

3.1 Dữ liệu 26

3.1.1 Dữ liệu xếp hạng phim MovieLens 1M 26

3.1.2 Phương pháp tiền xử lý dữ liệu 27

3.2 Mô hình cơ sở 29

3.3 Giải pháp đề xuất 31

3.3.1 Giải pháp đề xuất cho bài toán rating 31

3.3.2 Giải pháp đề xuất cho bài toán click-through-rate 34

3.4 Cài đặt thực nghiệm 37

3.4.1 Cài đặt dữ liệu 37

3.4.2 Cài đặt huấn luyện cho bài toán rating 37

3.4.3 Cài đặt huấn luyện cho bài toán click-through-rate 39

3.5 Tổng kết chương 41

4Kết quả và Thảo luận424.1 Kết quả thực nghiệm 43

4.1.1 Kết quả thực nghiệm cho bài toán rating 43

4.1.2 Kết quả thực nghiệm cho bài toán click-through-rate 43

4.2 Thảo luận 45

5Kết luận475.1 Kết quả đạt được 47

Danh sách hình vẽ

1.1 Minh hoạ ứng dụng hệ thống khuyến nghị tuần tự mua kèm sản phẩm tại

ứng dụng Tiki 3

2.1 Minh hoạ một hệ thống gợi ý tuần tự tổng quan 8

2.2 Minh hoạ một hệ thống gợi ý tuần tự dựa trên kinh nghiệm (Experience-based). 82.3 Minh hoạ một hệ thống gợi ý tuần tự dựa trên giao dịch (Transaction-based) . 9

2.4 Minh hoạ một hệ thống gợi ý tuần tự dựa trên tương tác (Interaction-based) . 9

2.5 Tình hình nghiên cứu trên thế giới về bài toán Gợi ý tuần tự 10

2.6 Minh hoạ các phép tính toán trong cơ chế Self-Attention . 13

2.7 Kiến trúc mô hình SASREC (ứng dụng trong bài toán click-through-rate) . 14

2.8 Minh hoạ các phép tính toán trong cơ chế Multi-Head Self-Attention . 16

2.9 Kiến trúc mô hình BERT4REC (ứng dụng trong bài toán click-through-rate) . 18

2.10 Kiến trúc mô hình BST (ứng dụng trong bài toán click-through-rate) . 19

2.11 Mô tả mối tương quan giữa hai phép đo ROC và AUC . 23

3.1 Kiến trúc mô hình cơ sở SASREC đối với bài toán rating . 29

3.2 Kiến trúc mô hình cơ sở BST đối với bài toán rating . 30

3.3 Kiến trúc mô hình đề xuất cho bài toán rating . 32

3.4 Kiến trúc mô hình đề xuất cho bài toán click-through-rate . 35

Danh sách bảng

3.1 Dữ liệu mẫu trong bảng Xếp hạng (Rating) . 263.2 Dữ liệu mẫu trong bảng Người dùng (User) . 273.3 Dữ liệu mẫu trong bảng Phim (Movie) . 273.4 Dữ liệu đầu vào mẫu cho bài toán con rating (Độ dài chuỗi là 4 và bước nhảy

là 1) . 283.5 Dữ liệu đầu vào mẫu cho bài toán con click-through-rate (Độ dài chuỗi là 4 và

bước nhảy là 1) . 284.1 Kết quả đánh giá cho bài toán rating khi so sánh với các mô hình cơ sở . 434.2 Kết quả đánh giá cho bài toán click-through-rate khi so sánh với các mô hình cơ

sở 43

Các từ viết tắtNLP - Natural Language Processing

RNN - Recurrent Neural Networks

CNN - Convolution Neural Network

GRU - Gated Recurrent Units

LSTM - Long Short-Term Memory

GRU4REC - Session-based Recommendations with Recurrent Neural Networks

SASREC - Self-Attentive Sequential Recommendation

BERT4REC - Sequential Recommendation with Bidirectional Encoder

BST - Behavior Sequence Transformer

1Giới thiệuBài toán Hệ thống gợi ý không còn xa lạ với chúng ta khi đã được ứng dụng rấtrộng rãi trong thực tế, tuy nhiên phần lớn các hệ thống dựa trên các thông tin nhânkhẩu học hoặc hành vi của người dùng trong lịch sử dài hạn mà chưa quan tâm tới tínhtuần tự trong hành vi tương tác của người dùng Các hành vi trong ngắn hạn thườngsẽ có mối liên hệ tốt với nhau hơn là các hành vi ở các thời điểm cách xa nhau Ở phầnnày, tôi sẽ giới thiệu đề tài, ý nghĩa thực tiễn và những khó khăn thách thức khi thựchiện Tiếp đến là trình bày về yêu cầu, nhiệm vụ của luận văn và làm rõ những nộidung công việc đã thực hiện để hoàn thành đề tài.

1.1 Giới thiệu đề tài

1.1|Giới thiệu đề tài

Các hệ thống gợi ý, khuyến nghị trong thực tế thường phải đối mặt với việc là gợi ýthật nhanh chóng cho người dùng, những gợi ý quảng cáo này phải mang tính cá nhânhoá đối với từng nhóm người dùng khi thời gian họ dành cho các ứng dụng ngày càngít đi vì có rất nhiều ứng dụng, rất nhiều sản phẩm được quảng bá tới họ Mong muốncủa người dùng thường được xác định dựa vào thông tin mang tính nhân khẩu học

(demographic) như một người dùng có nghề nghiệp là nhạc sĩ thường sẽ quan tâm tới các

dụng cụ sản phẩm có đặc tính về âm nhạc, âm thanh.

Tuy nhiên trong thực tế, phần lớn những nhu cầu tiêu dùng của người dùng lại phụthuộc lớn vào những hành vi của họ trong một khoảng thời gian ngắn như là việc muahàng trên các trang thương mại điện tử, ăn uống, mua sắm, du lịch, tài chính, giải trí Vídụ minh hoạ như hình 1.1, giả sử người dùng có nghề nghiệp là nhạc sĩ đang có mongmuốn mua một chiếc điện thoại mới nhưng hệ thống lại gợi ý sản phẩm tiếp theo là loa,

microthu âm thì sẽ không phù hợp với nhu cầu thực sự của người dùng trong thời điểmđó mà lúc này các sản phẩm được gợi ý phù hợp nên là ốp lưng, cáp sạc, tai nghe Dođó song song với việc thu thập dữ liệu hành vi người dùng và tổ chức lưu trữ phù hợpthì việc nghiên cứu làm sao khai thác hiệu quả những hành vi tương tác của người dùngvới sản phẩm trong ngắn hạn và đặc điểm tuần tự của chúng là rất quan trọng Đó cũng

chính là lý do tôi chọn thực hiện đề tài với mục tiêu là có thể khai thác đặc tính tuần tựtrong việc đưa ra gợi ýcho người dùng từ đó giúp nâng cao chất lượng của kết quả gợiý đưa ra.

Ngày nay, trong nghiên cứu khoa học về việc khai thác đặc tính tuần tự ứng dụnghọc sâu (deep learning)[14] là rất phổ biến nhờ sự ra đời của những kiến trúc mô hình có

khả năng giải quyết các dữ liệu dạng chuỗi tuần tự như mô hình dạng RNN [15], cơ chếSelf-Attention, kiến trúc Transformer [13] đã đạt được những cột mốc đáng nhớ trong lĩnhvực Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) Bằng việc ứng dụng

những thành tựu khoa học này vào bài toán gợi ý, Hệ thống khuyến nghị tuần tự đềxuấtlà một trong những giải pháp cho một hệ thống khuyến nghị người dùng quan tâmđến dữ liệu tương tác của người dùng dưới dạng tuần tự theo thời gian Với đặc điểm

là ngoài việc sử dụng các thông tin cá nhân hoá của người dùng dài hạn (long-term userpreferences) vào việc đưa ra gợi ý như các hướng tiếp cận truyền thống khác, hệ thốngcòn đặc biệt xem xét tới mối quan tâm ngắn hạn của người dùng trong thời gian ngắn

(short-term intentions), hoặc theo phiên (session).

■ Kinh doanh: Việc gợi ý hiệu quả giúp người dùng có nhiều cơ hội để mua sản phẩmhơn từ đó giúp tăng doanh thu cho doanh nghiệp.

■ Truyền thông Marketing: Có khả năng nắm bắt xu hướng và đưa ra các chương trình

khuyến mãi, quảng cáo đúng mục tiêu, gợi ý mang tính cá nhân hoá.

■ Chăm sóc khách hàng: Gia tăng mức độ hài lòng của khách hàng từ đó gia tănglòng trung thành của khách hàng đối với doanh nghiệp.

■ Người tiêu dùng: Dễ lựa chọn sản phẩm thích hợp, tiết kiệm thời gian hơn trongquá trình quan sát và mua sắm.

■ Nhiều cách đánh giá khác nhau cho bài toán gợi ý Thực tế có nhiều nhiệm vụ cầngiải quyết cho bài toán gợi ý do đó dẫn tới ở mỗi nhiệm vụ sẽ có các phương phápđánh giá phù hợp khác nhau.

■ Tiền xử lý dữ liệu đầu vào phù hợp cho mô hình Dữ liệu dạng tuần tự là dạng

dữ liệu không có sẵn trong dữ liệu vận hành (Operation) mà cần phải thực hiện tiền

xử lý Công việc này sẽ khác nhau tuỳ thuộc vào kiến trúc của hệ thống gợi ý Dođó sẽ gặp khó khăn trong việc xử lý sao cho hiệu quả, đúng đắn và dễ thực nghiệmkiểm chứng.

■ Thời gian thực hiện đề tài có hạn do đó phạm vi của đề tài sẽ được giới hạn lạicho phù hợp, chưa thể thực hiện các phần liên quan để thành một ứng dụng gợi ýhoàn chỉnh hay thực nghiệm kết hợp với các giải pháp nghiên cứu khác.

1.4|Nhiệm vụ và cấu trúc luận văn

1.4.1|Nhiệm vụ luận văn

Luận văn này sẽ giải quyết các vấn đề sau trong quá trình thực hiện đề tài bao gồm:

■ Xây dựng quy trình tiền xử lý bao gồm chọn lọc, biến đổi và chuẩn hóa dữ liệu sẵnsàng đưa vào phân tích Bao gồm các thuộc tính của người dùng, sản phẩm và cácthuộc tính ở dạng tuần tự.

■ Xây dựng bộ dữ liệu huấn luyện, bộ dữ liệu thẩm định và bộ dữ liệu kiểm nghiệmtừ tập dữ liệu ban đầu.

■ Xây dựng kiến trúc mô hình huấn luyện đề xuất.

■ Kiểm tra thực nghiệm và đánh giá so sánh các mô hình cơ sở trên từng bài toán con.

1.4 Nhiệm vụ và cấu trúc luận văn

■ Tổng kết và đề xuất các giải pháp triển khai ứng dụng thực tế và hướng mở rộngđể nghiên cứu trong tương lai.

1.4.2|Cấu trúc luận văn

Luận văn Hệ thống gợi ý tuần tự sử dụng kiến trúc Transformer bao gồm Năm

phần với các nội dung chính sau đây:

Phần Một, Giới thiệutrình bày những điểm tổng quan về đề tài, lý do chọn đề tàivà ý nghĩa thực tiễn của bài toán, cũng như trình bày về những khó khăn gặp phải trongquá trình thực hiện, cuối cùng là nhiệm vụ và cấu trúc của luận văn.

Phần Hai, Cơ sở lý thuyết và Công trình nghiên cứu liên quancung cấp một cáinhìn tổng quát về những nghiên cứu liên quan đã và đang được thực hiện, cũng nhưxu hướng chung hiện nay trong việc giải quyết bài toán, trong đó cũng trình bày nhữngquan điểm cá nhân đối với các phương pháp này Phần Cơ sở lý thuyết là tổng hợp nhữngvấn đề học thuật liên quan nhất sẽ áp dụng để giải quyết bài toán, bao gồm giới thiệu vềbài toán gợi ý tuần tự, các mô hình gợi ý tuần tự đã được thực hiện, cách thức vận hànhvà ứng dụng của các mô hình này cho các bài toán xử lý tuần tự cũng như ưu và nhượcđiểm của chúng.

Ở Phần Ba, Dữ liệu và Giải pháp đề xuất tôi trình bày chi tiết về bộ dữ liệu được sử

dụng cũng như các phân tích thống kê Với những tính chất đặc trưng của bộ dữ liệu thínghiệm, tôi trình bày phương pháp tiền xử lý và chọn lọc dữ liệu, thiết kế kiến trúc môhình của hệ thống đề xuất, phương pháp cài đặt và tinh chỉnh mô hình cho từng bài toáncon.

Phần Bốn, Kết quả và Thảo luậnlà kết quả thực nghiệm của mô hình đề xuất đãtrình bày trong Phần Ba và kết quả so sánh với các mô hình cơ sở; sau đó là những nhậnxét và thảo luận về các kết quả thu được này.

Phần cuối cùng, Kết luậnlà tổng hợp các kết quả có được từ quá trình thực hiệnluận văn từ nghiên cứu và xây dựng giả thuyết, triển khai thực nghiệm Phần này cũngtrình bày những hạn chế và vấn đề tồn đọng, đề xuất khả năng mở rộng, các giải phápcải tiến bổ sung và tổng kết luận văn.

Mục lục, Danh sách hình vẽ, Danh sách bảng, Các từ viết tắt được cung cấp ở đầuluận văn Tài liệu tham khảo và Phụ lục sẽ được trình bày ở cuối luận văn.

2Cơ sở lý thuyết &Công trình nghiên cứu liên quan

Trong phần cơ sở lý thuyết, tôi sẽ giới thiệu tổng quan về bài toán gợi ý tuần tự,chỉ rõ nhánh tiếp cận trong gợi ý tuần tự mà đề tài sẽ giải quyết; những vấn đề họcthuật, lý thuyết liên quan tới đề tài Trong những công trình nghiên cứu liên quan, tôisẽ thực hiện khái quát lịch sử phát triển của các công trình nghiên cứu liên quan trongnỗ lực giải quyết bài toán Gợi ý tuần tự trên thế giới cùng những kết quả đã đạt đượckèm theo đánh giá ưu điểm, khuyết điểm của các nghiên cứu này.

2.1 Tổng quan về bài toán gợi ý tuần tự

2.1|Tổng quan về bài toán gợi ý tuần tự

Hầu hết các hệ thống khuyến nghị truyền thống (Traditional Recommendation) là mộthệ thống theo hướng content-based [1] hoặc collaborative filtering-based [2] tập trung vàoviệc mô hình hoá mối quan hệ tương tác giữa người dùng (user) và sản phẩm (item) dựa

trên các thuộc tính nhân khẩu học của người dùng, đặc tính của sản phẩm và lịch sử

tương tác trong dài hạn của người dùng (như click sản phẩm, yêu thích sản phẩm, mua

sản phẩm của toàn bộ người dùng trong vòng một năm) Việc tương tác này của người

dùng có thể được phân làm hai loại là tương tác rõ ràng, trực tiếp (explicit) và tương tácẩn, gián tiếp (implicit) hoặc là kết hợp cả hai [3] Đối với các hệ thống này, ta đã giả định

rặng tất cả những tương tác giữa người dùng và sản phẩm trong dữ liệu trong lịch sử là

như nhau và cố gắng tìm ra một sở thích tĩnh (static preferences) Tuy nhiên như đã chia

sẻ ở Chương 1 thì điều này không quá hữu dụng trong thực tế khi hành động, hành vitương tác tiếp theo của người dùng chịu sự ảnh hưởng mạnh bởi những mối quan tâmhiện tại hơn là sở thích tĩnh dài hạn cũng như những tương tác này là một chuỗi các hànhđộng có đặc tính thứ tự Do đó các hệ thống khuyến nghị thông thường đã bỏ qua sựphụ thuộc tuần tự khi thực hiện mô hình hoá dẫn tới mô hình đưa ra gợi ý không tươngđồng với sở thích và mong muốn của người dùng.

Hệ thống khuyến nghị tuần tự (Sequential Recommendation) [12] là một hệ thống gợi

ý người dùng dựa trên việc quan sát các hành vi tương tác của người dùng đối với sảnphảm theo tuần tự và thứ tự Ví dụ minh hoạ như người dùng A tìm kiếm thông tin

(search) sản phẩm X, chọn (click) vào sản phẩm Y, nhưng lại mua (buy) sản phẩm Z Mô

hình cần học được thông tin tương tác này kèm với thứ tự của chúng Hình 2.1 minhhoạ một lịch sử hành vi tương tác của người dùng trong tập dữ liệu về người dùng Uu.Thành phần chính của một hệ thống khuyến nghị tuần tự cần quan tâm trước nhất đó là

sản phẩm người dùng tương tác (objects) và phương thức tương tác của người dùng đốivới sản phẩm (types) Trong đó:

■ c1, c2, c3, cnlà loại phương pháp mà người dùng tương tác với sản phẩm;

■ o1, o2, o3, onlà sản phẩm mà người dùng tương tác;

■ a1, a2, a3, anlà các cặp thông tin (ci,oi) diễn tả sản phẩm và tương tác với sản phẩmđó của người dùng;

■ Ulà tập dữ liệu về người dùng;

2.1 Tổng quan về bài toán gợi ý tuần tự

■ Vlà tập dữ liệu về sản phẩm.

Hình 2.1: Minh hoạ một hệ thống gợi ý tuần tự tổng quan.

Dựa vào thông tin về loại tương tác (types) và sản phẩm tương tác (objects) mà người

ta phân loại bài toán gợi ý tuần tự thành các nhánh bài toán con bao gồm:

■ Hành vi tuần tự dựa trên kinh nghiệm (Experience-based behavior sequence);

■ Hành vi tuần tự dựa trên giao dịch (Transaction-based behavior sequence);

■ Hành vi tuần tự dựa trên tương tác (Interaction-based behavior sequence).

Hình 2.2 minh hoạ cho hành vi tuần tự dựa trên kinh nghiệm khi muốn quan sáthành vi diễn ra trên cùng một sản phẩm, nhưng với nhiều hành vi khác nhau cần quan

sát (như click, view, share, buy ) lên sản phẩm đó Mục tiêu của mô hình là có thể dự đoán

được hành vi tiếp theo của người dùng đối với sản phẩm đó.

Hình 2.2: Minh hoạ một hệ thống gợi ý tuần tự dựa trên kinh nghiệm (Experience-based).

Hành vi tuần tự dựa trên giao dịch được minh hoạ ở Hình 2.3 Đây là loại mô hìnhnên áp dụng khi ta muốn quan sát hành vi của người dùng diễn ra trên nhiều sản phẩm

2.1 Tổng quan về bài toán gợi ý tuần tự

khác nhau nhưng chỉ có một loại hành vi duy nhất Mục tiêu của mô hình là có thể dựđoán được sản phẩm tiếp theo mà người dùng thực hiện hành vi tương tác Đây cũng lànhánh được nghiên cứu và áp dụng vào thực tế nhiều nhất khi mục tiêu đầu ra của hệthống là sản phẩm tiếp theo mà người dùng sẽ quan tâm và sự đơn giản hoá khi chỉ quantâm tới một loại hành vi cụ thể nào đó (như hành vi mua sản phẩm).

Hình 2.3: Minh hoạ một hệ thống gợi ý tuần tự dựa trên giao dịch (Transaction-based).

Hành vi tuần tự dựa trên tương tác là nhánh cuối cùng và cũng là nhánh phức tạpnhất khi quan sát toàn bộ các tương tác khác nhau của người dùng đối với các sản phẩmkhác nhau bằng những hành vi khác nhau Mục tiêu của mô hình là có thể dự đoán đượcsản phẩm tiếp theo và hành vi tiếp theo mà người dùng sẽ thực hiện tương tác (Hình2.4).

Hình 2.4: Minh hoạ một hệ thống gợi ý tuần tự dựa trên tương tác (Interaction-based).

Trong phạm vi nghiên cứu và thực nghiệm đề tài hướng đến, tác giả sẽ tập trung vào

nhánh xây dựng hệ thống khuyến nghị tuần tự dựa trên giao dịch (transaction-based

sequential recommendation) vì đây là nhánh có cách thiết lập dữ liệu huấn luyện đơngiản nhưng lại được ứng dụng trong thực tế hiệu quả và đào sâu trong các công trìnhnghiên cứu được thực hiện nhiều cho tới hiện tại.

2.2 Tình hình nghiên cứu trên thế giới

2.2|Tình hình nghiên cứu trên thế giới

Như đã giới thiệu trong Chương 1 về sự phổ biến của các ứng dụng cần hệ thốnggợi ý tuần tự Khoảng thời gian từ 2015 trở lại đây cũng là giai đoạn phát triển rực rỡ của

Học sâu (Deep learning) đặc biệt là sự ra đời của các kiến trúc mạng phù hợp cho các môhình dạng tuần tự như mô hình dạng RNN, LSTM, cơ chế Attention, kiến trúc Transformerđược ứng dụng phổ biến trong các nghiên cứu thuộc lĩnh vực NLP nhờ khả năng xử lý

tốt các bài toán có thể biểu diễn dạng một chuỗi tuần tự Trong quãng thời gian này, kếthừa những thành tựu từ các kiến trúc mô hình này thì bên nhánh các bài toán gợi ý tuần

tự cũng xuất hiện nhiều những bài báo liên quan dựa trên kiến trúc mô hình deep learning

(Hình 2.5) Bằng việc xem xét và quan sát dữ liệu dưới dạng tuần tự và kế thừa các kiếntrúc mô hình hiện đại, bài toán gợi ý tuần tự đã đạt được những kết quả state-of-the-art

(SOTA) và được ứng dụng vào các hệ thống gợi ý trong thực tế.

Hình 2.5: Tình hình nghiên cứu trên thế giới về bài toán Gợi ý tuần tự.

Vào năm 2016, với mô hình GRU4REC [7] cho bài toán gợi ý tuần tự theo phiên

(session-based) đạt được nhiều kết quả khả quan khi là mô hình ứng dụng Recurrent NeuralNetworks(RNN) đầu tiên áp dụng cho loại bài toán này Nhờ việc áp dụng kiến trúc môhình hướng RNN, mô hình có khả năng ghi nhớ đặc điểm của các sản phẩm (item) xuấthiện ngay trước đưa ra dự đoán cho sản phẩm (item) xuất hiện sau mà nó còn có khảnăng tránh được vấn đề triệt tiêu đạo hàm (vanishing gradient) nhờ cải tiến của GRU [17].

Mô hình đã đạt kết quả tốt một thời gian dài và thường được sử dụng làm mô hình cơ sởđể so sánh trong các công trình sau đó.

Tiếp đến, vào năm 2018, bằng việc áp dụng cơ chế Tự chú ý (Self-Attention) [13] lần

đầu tiên vào bài toán gợi ý tuần tự này SASREC [9] đã đạt được những kết quả cải tiến

đáng kể so với các mô hình cơ sở trước đó như GRU4REC ở cả độ chính xác của hệ thống

cũng như tốc độ huấn luyện mô hình nhờ khả năng tính toán song song của kiến trúc

2.2 Tình hình nghiên cứu trên thế giới

thay vì tuần tự Với kiến trúc tổng quan có thể xếp chồng nhiều lớp Self-Attention lên

nhau, mục tiêu của nhóm tác giả khi thực hiện là đạt kết quả tốt cho cả những tập dữ liệu

thưa (sparse dataset - hầu hết người dùng tương tác với ít sản phẩm) và những tập dữ liệuđặc (dense dataset - hầu hết người dùng tương tác với nhiều sản phẩm) bằng cách sử dụngcơ chế Self-Attention cho phép ghi nhớ những mối liên hệ dài hạn (tương tự như trongGRU4REC) phù hợp với dữ liệu đặc và đưa ra dự đoán dựa trên hành động liên quangần đó (cải tiến so với mô hình Markov Chains - mô hình sử dụng giả định sản phẩmtiếp theo sẽ được quyết định bởi sản phẩm ngay liền trước nó).

Sang đến năm 2019, bằng một cải tiến quan trọng với việc áp dụng kiến trúc former(được phát triển từ cơ chế Self-Attention với nhiều hơn một đầu) và có thể xếp

Trans-chồng nhiều tầng trong việc xây dựng mô hình, BERT4REC [10] đã đạt được kết quả

state-of-the-artkhi so sánh với tất cả các mô hình liên quan trước đó Việc mô hình có khảnăng học hỏi dữ liệu và tính tuần tự của nó theo hai chiều (trái sang phải và phải sangtrái) giúp cho mô hình học được nhiều thông tin hơn về mối quan hệ của các dữ liệuđó với nhau Việc này cũng phù hợp với thực tế khi không nhất thiết tương tác với sảnphẩm phải được diễn ra theo thứ tự trước sau, vì cũng có thể sản phẩm phía sau cũng cóảnh hưởng tới sản phẩm phía trước Ví dụ như việc mua một chiếc iPhone sau đó muamột chiếc ốp lưng thì ngoài việc sản phẩm iPhone đã ảnh hưởng tới sản phẩm ốp lưng(mua ốp lưng để bảo vệ cho iPhone) thì việc mua ốp lưng cũng ảnh hưởng tới sản phẩmiPhone (có iPhone mới mua ốp lưng).

Cũng trong năm này, Mô hình BST [11] ở một nhánh khác được áp dụng thực tế

trong sàn thương mại điện tử Alibaba ở dạng bài toán Khả năng click chuột vào sản phẩm(click-through-rate) có khả năng làm giàu thuộc tính huấn luyện cho mô hình khi đã tìm ra

cách nhúng các thông tin của người dùng và sản phẩm làm đầu vào của mô hình đồng

thời kết hợp với việc sử dụng kiến trúc Transformer ở phần lõi giúp cho mô hình có khả

năng học được cả từ các thuộc tính dài hạn lẫn các thuộc tính ngắn hạn khi sử dụng cảnhững thuộc tính về người dùng và sản phẩm cũng như tính tuần tự của tương tác giữangười dùng và sản phẩm vào trong kiến trúc của mô hình.

2.3 Cơ chếSelf-Attention và mô hình SASREC

2.3|Cơ chếSelf-Attention và mô hình SASREC

2.3.1|Cơ chếSelf-Attention

Cơ chế tập trung (Attention mechanism) ra đời 2015 [16] với đề xuất của Bahdanautrong của bài toán dịch máy (machine translation) mang lại kết quả tốt Sau đó, vào năm2017, Vaswani và nhóm tác giả đã công bố bài báo "Attention Is All You Need"[13] Cả hai

bài báo này đã thực sự gây được tiếng vang rất lớn trong cộng đồng các nhà nghiên cứuvề các mô hình học máy Ý tưởng đặc biệt đằng sau cơ chế này là nó có khả năng ghinhớ, chú ý vào một phần tuỳ ý nào đó của dữ liệu đầu vào Nếu như trong phần trước

với mô hình hướng RNN, chúng ta dùng mạng hồi tiếp để mã hóa thông tin của chuỗi

nguồn đầu vào thành trạng thái ẩn và truyền nó tới bộ giải mã để sinh chuỗi đích Tuy

nhiên kiến trúc dựa trên RNN gặp phải một số vấn đề như tính tuần tự khi huấn luyện

khiến có quá trình huấn luyện không thể thực hiện song song hoá hay việc gặp khó khăn

đối với những chuỗi dài (đã được khắc phục bằng mô hình GRU, LSTM nhưng thời gian

huấn luyện vẫn là vấn đề) Thực vậy, cơ chế tập trung có thể được coi là phép gộp tổngquát Nó gộp đầu vào dựa trên các trọng số khác nhau Thành phần cốt lõi của cơ chế

tập trung là tầng tập trung Đầu vào của tầng tập trung được gọi ngắn gọn là câu truyvấn(query Q) Với mỗi câu truy vấn, tầng tập trung trả về đầu ra dựa trên bộ nhớ là tậpcác cặp khóa-giá trị (key-value) được mã hóa trong tầng tập trung này Có nhiều phương

pháp và cách thức thực hiện tầng tập trung, tuy nhiên phổ biến đối với các bài toán gợi

ý tuần tự được tập trung nghiên cứu nhiều nhất là cơ chế tự chú ý (Self-Attention) (hay

còn gọi là Scaled dot-product Attention) được xác định bởi công thức bên dưới:

Attention(Q, K, V) =so f tmax(QKT√

Trong đó:

■ Qlà đại diện biểu diễn cho vector truy vấn;

■ Klà đại điện biểu diễn cho vector khoá;

■ Vlà đại điện biểu diễn cho vector giá trị.

Theo đó, tầng tập trung (Attention(Q,K,V)) được tính bằng tổng có trong số (weightedsum) của tất các giá trị trong V Với trọng số giữa qivà vjcó liên quan tới trọng số giữa qi

và kj Phần√dđược sử dụng để tránh giá trị lớn trong phép toán.

2.3 Cơ chếSelf-Attention và mô hình SASREC

Hình 2.6: Minh hoạ các phép tính toán trong cơ chế Self-Attention.

Các bước áp dụng để tính giá trị tập trung attention score trong cơ chế self-attention

(Hình 2.6) và cách sử dụng trong việc tính kết quả output được mô tả bao gồm nhữngbước sau như sau:

1 Tính các vector Key, Value, Query của từng vector Input đầu vào.

2 Tính attention score của lần lượt từng input bằng cách tính dot-product của vector

Querytương ứng với input đó với tất cả các vector Key:

score(Qt, K) =QtK (2.2)

3 Tính attention weight bằng hàm softmax của toàn bộ attention score:

weight=so f tmax(score) (2.3)

4 Nhân attention weight với vector Value để thu được giá trị có trọng số (weighted

weightedValue=weight∗V (2.4)

2.3 Cơ chếSelf-Attention và mô hình SASREC

5 Cuối cùng là tính tổng các weighted value để tạo ra vector Output đầu ra:

output=∑weightedValue (2.5)

2.3.2|Mô hìnhSASREC

Vào năm 2018, cơ chế self-attention được ứng dụng vào bài toán gợi ý tuần tự thôngqua mô hình SASREC Mục tiêu của bài báo này là xây dựng hệ thống khuyến nghị tuầntự áp dụng cơ chế Self-Attention có khả năng đưa ra gợi ý mà hiệu quả đạt được cao hơn

so với các công trình nghiên cứu tương tự trước đó Không chỉ vậy, nhóm tác giả còn đề

xuất cách áp dụng mô hình học sâu mới Self-Attention có khả năng hoạt động tốt trên cảtập dữ liệu đặc (dense) và dữ liệu thưa (sparse).

Hình 2.7: Kiến trúc mô hình SASREC (ứng dụng trong bài toán click-through-rate).

Với cách dữ liệu được xử lý và chuyển đổi đã trình bày ở phần trước đó, Hình 2.7

2.3 Cơ chếSelf-Attention và mô hình SASREC

mô tả kiến trúc tổng quan được áp dụng trong mô hình tham khảo SASREC bao gồm các

thành phần:

■ Input: dữ liệu đầu vào của quá trình huấn luyện được sử dụng là chuỗi tuần tự baogồm hành vi tương tác và vị trí của tương tác đó trong chuỗi tuần tự;

■ Embedding Layer: tầng nhúng là tầng kết hợp dữ liệu bằng phép tính Concatenate dữ

liệu đầu vào của quá trình huấn luyện được sử dụng là chuỗi tuần tự bao gồm hànhvi tương tác và vị trí của tương tác trong chuỗi tuần tự;

■ Self-Attention Layer: bao gồm khối tự chú ý Self-Attention nhận đầu vào từ lớp nhúngvà trả thông tin attention score làm đầu vào cho tầng Point-wise Feed-forward Các lớp

này có thể xếp chồng lên nhau trong trường hợp muốn tăng thêm khả năng học củamô hình sâu hơn;

■ Fully-connected Layer: tuỳ vào yêu cầu và đầu ra dữ liệu mà ta thực hiện gắn các lớp

đầy đủ và hàm tối ưu tương ứng Như trong bài toán click-through-rate đầu ra sẽ là

nhãn dữ liệu phân lớp (có hai giá trị là Có-Không), do đó lớp đầy đủ cuối cùng sẽ

có size là 1 và hàm tối ưu là hàm sigmoid.

Mô hình SASREC [9] đạt kết quả tốt hơn so với tất cả các mô hình theo hướng tươngtự trước đó (trong đó có GRU4REC) khi đạt độ cải tiến từ 6.9 % tới 9.6 % so với các công

trình tốt nhất trước đó Ngoài ra, mô hình cũng cho thấy hiệu quả hơn các mô hình trước

đó ở thời gian huấn luyện mô hình khi đạt tốc độ huấn luyện nhanh hơn GRU4REC+ [8](cải tiến của tác giả mô hình GRU4REC) 18 lần.

2.4 Kiến trúcTransformer và mô hình BERT4REC, BST

2.4|Kiến trúcTransformer và mô hình BERT4REC, BST

2.4.1|Kiến trúcTransformer

Hình 2.8: Minh hoạ các phép tính toán trong cơ chế Multi-Head Self-Attention.Cơ chế Self-Attention là một trong những thành phần quan trọng trong kiến trúc

Transformer Cơ chế này được sử dụng như một cách để mô hình tập trung vào thông tin

có liên quan dựa trên những gì mà nó đang xử lý Về cơ bản, trọng số attention-weight là

mức độ liên quan của Value trong việc xử lý trạng thái bộ truy vấn Query và được tínhtoán dựa trên trạng thái của Key và trạng thái bộ truy vấn Query Nếu chúng ta chỉ tính

toán một attention-weight thì sẽ rất khó để nắm bắt các khía cạnh khác nhau của đầu vào

bởi vì nó có xu hướng tập trung vào chính bản thân của nó Nhưng trong thực tế, ta cóthể sẽ cần là tính toán mức độ liên quan giữa những khía cạnh khác nhau trong chuỗi,

giải pháp được đề xuất là sử dụng nhiều Self-Attention cùng một lúc để học được nhiềuattention-weightkhác nhau giúp chú ý đến nhiều điểm khác nhau trong cùng một chuỗi

tuần tự Vì bản thân mỗi Self-Attention sẽ cho ra một ma trận attention-weight riêng nên tasẽ tiến hành thực hiện phép tính Concatenate các ma trận này và nhân với ma trận trọng

số W0để ra một ma trận trọng số attention-score duy nhất Cơ chế này được ứng dụng

2.4 Kiến trúcTransformer và mô hình BERT4REC, BST

trong kiến trúc Transformer đã đạt được nhiều thành tựu trong nhiều lĩnh vực nghiên cứu

khác nhau dưới cái tên Multi-head Self-Attention (Hình 2.8), được tính thông qua công

thức bên dưới:

MultiHead(Q, K, V) =Concat(head1, head2, , headn)WO (2.6)Trong đó:

■ headi = Attention(QWiQ, KWiK, VWiV)là đại diện cho một Self-Attention;

■ WiQlà vector trọng số tương ứng với Query;

■ WiKlà vector trọng số tương ứng với Key;

■ WiVlà vector trọng số tương ứng với Value;

■ WiO là vector trọng số tương ứng với Output.

Nhờ việc áp dụng kiến trúc Transformer vào các bài toán gợi ý, mô hình BERT4RECđã đạt kết quả state-of-the-art trong một thời gian dài trong khi mô hình BST được đưa

vào ứng dụng trong thực tế ở một trong những tập đoàn thương mại điện tử lớn trên thếgiới.

2.4.2|Mô hìnhBERT4REC

Tương tự như việc cải tiến từ cơ chế Self-Attention lên kiến trúc Transformer thì môhình BERT4REC cũng có cải tiến tương ứng so với SASREC Ngoài ra, mô hình BERT4RECcòn ứng dụng cơ chế tiền xử lý dữ liệu mới gọi là Cloze Task cho phép tạo dữ liệu đầura (output) ở bất cứ vị trí nào trong chuỗi tuần tự từ dữ liệu đầu vào bằng cách che mờ(mask) dữ liệu ở vị trí đó trong quá trình huấn luyện Việc này giúp gia tăng thêm rất

nhiều dữ liệu huấn luyện từ đó giúp mô hình có thể học nhiều hơn và đạt kết quả chínhxác hơn.

Hình 2.9 mô tả chi tiết kiến trúc của mô hình BERT4REC ứng dụng trong bài toánclick-through-rate Trong đó bao gồm các thành phần chính sau:

■ Input: dữ liệu đầu vào của quá trình huấn luyện được sử dụng là chuỗi tuần tự baogồm hành vi tương tác và vị trí của tương tác đó trong chuỗi tuần tự;

2.4 Kiến trúcTransformer và mô hình BERT4REC, BST

Hình 2.9: Kiến trúc mô hình BERT4REC (ứng dụng trong bài toán click-through-rate).

■ Embedding Layer: tầng nhúng là tầng kết hợp dữ liệu bằng phép tính Concatenate dữ

liệu đầu vào của quá trình huấn luyện được sử dụng là chuỗi tuần tự bao gồm hànhvi tương tác và vị trí của tương tác trong chuỗi tuần tự;

■ Transformer Layer: bao gồm nhiều khối tự chú ý đa đầu Multi-head Self-Attention

nhận đầu vào từ lớp nhúng và trả thông tin attention-weight làm đầu vào cho tầngPoint-wise Feed-forward Các lớp này có thể xếp chồng lên nhau trong trường hợpmuốn tăng thêm khả năng học của mô hình sâu hơn Đầu ra của lớp này là điểm số

attention-scorekết hợp từ các điểm attention-weight trước đó Đây là điểm cải tiến sovới kiến trúc mô hình SASREC trước đó.

■ Fully-connected Layer: tuỳ vào yêu cầu và đầu ra dữ liệu mà ta thực hiện gắn các lớp

đầy đủ và hàm tối ưu tương ứng Như trong bài toán click-through-rate đầu ra sẽ là

2.4 Kiến trúcTransformer và mô hình BERT4REC, BST

nhãn dữ liệu phân lớp (có hai giá trị là Có-Không), do đó lớp đầy đủ cuối cùng sẽ

có size là 1 và hàm tối ưu là hàm sigmoid.

2.4.3|Mô hìnhBST - Behavior Sequence Transformer

Hình 2.10: Kiến trúc mô hình BST (ứng dụng trong bài toán click-through-rate).Ngay sau sự ra đời của BERT4REC, mô hình BST [11] ra đời và được ứng dụng thànhcông vào thực tiễn Ngoài việc cũng sử dụng kiến trúc Transformer trong việc huấn luyệncác dữ liệu dạng chuỗi tuần tự Mô hình BST còn có khả năng kết hợp với các thuộc tính

khác từ người dùng và sản phẩm vào trong mô hình Từ đó giúp cho mô hình ngoài việcphát huy điểm mạnh là học được các đặc điểm hành vi ngắn hạn còn có thể học đượcthông tin từ các thuộc tính dài hạn của người dùng và sản phẩm Nhờ tính hiệu quảtrong việc sử dụng được nhiều loại thuộc tính khiến cho mô hình đạt kết quả tốt và cótiềm năng ứng dụng cao trong thực tế.

Hình 2.10 mô tả chi tiết kiến trúc của mô hình BST ứng dụng trong bài toán through-rate Trong đó bao gồm các thành phần chính sau:

click-2.4 Kiến trúcTransformer và mô hình BERT4REC, BST

■ Input: dữ liệu đầu vào của quá trình huấn luyện được sử dụng ngoài chuỗi tuần tựbao gồm hành vi tương tác và vị trí của tương tác đó trong chuỗi tuần tự thì còn sửdụng các thông tin thuộc tính của người dùng kết hợp (được xử lý bên ngoài lớp

■ Embedding Layer: tầng nhúng là tầng kết hợp dữ liệu bằng phép tính Concatenate dữ

liệu đầu vào của quá trình huấn luyện được sử dụng là chuỗi tuần tự bao gồm hànhvi tương tác và vị trí của tương tác trong chuỗi tuần tự;

■ Transformer Layer: tương tự như trong mô hình BERT4REC bao gồm nhiều khối tự

chú ý đa đầu Multi-head Self-Attentionnhận đầu vào từ lớp nhúng và trả thông

tin attention-weight làm đầu vào cho tầng Point-wise Feed-forward Các lớp này có thể

xếp chồng lên nhau trong trường hợp muốn tăng thêm khả năng học của mô hình

sâu hơn Đầu ra của lớp này là điểm số score kết hợp từ các điểm weighttrước đó Đây là điểm cải tiến so với kiến trúc mô hình SASREC trước đó.

attention-■ Fully-connected Layer: Dữ liệu đầu vào của lớp này sẽ là dữ liệu kết hợp giữa đầura của lớpTransformer trước đó cùng với các thông tin bổ sung của người dùng

thông qua phép tínhConcatenate Từ đó, tuỳ vào yêu cầu và đầu ra dữ liệu mà ta

thực hiện gắn các lớp đầy đủ và hàm tối ưu tương ứng Như trong bài toán through-rateđầu ra sẽ là nhãn dữ liệu phân lớp (có hai giá trị là Có-Không), do đó

click-lớp đầy đủ cuối cùng sẽ có size là 1 và hàm tối ưu là hàm sigmoid.

trung bình tuyệt đối - mean absolute error).

■ Đối với bài toán con khả năng nhấp chuột (click-through-rate) sử dụng hai phương

pháp đánh giá là Accuracy (độ chính xác) và AUC (diện tích bên dưới đường cong

- area under curve).

2.5.1|Đánh giá cho bài toán xếp hạng (rating)

Bài toán xếp hạng (rating) là bài toán mà mô hình dựa vào đầu vào là thông tin người

dùng và sản phẩm để đưa ra dự đoán đầu ra là xếp hạng mà người dùng sẽ đánh giá chosản phẩm Vì đây là một dạng bài toán thuộc về bài toán hồi quy do đó phù hợp để sử

dụng phương pháp đánh giá RMSE và MAE là phù hợp để đánh giá kết quả.

Phép đo RMSE là phương pháp đánh giá được sử dụng rộng rãi nhằm đo lường sự

khác nhau giữa giá trị đánh giá dự đoán và giá trị đánh giá thực tế (nhãn gốc) Giá trị

này càng thấp (càng gần về 0) thì dự đoán của mô hình càng chính xác RMSE được định

nghĩa như sau:

RMSE= s 1

(Yui−Yˆui)2 (2.7)Trong đó:

■ Nlà tổng số phần tử được thực hiện đánh giá;

■ Ylà giá trị xếp hạng dự đoán;

■ Yˆ là giá trị xếp hạng thực tế;

■ (u, i)là các cặp giá trị (người dùng, sản phẩm).