4 Kết quả và Thảo luận
2.7 Kiến trúc mơ hình SASREC (ứng dụng trong bài toán click-through-rate)
2.3. Cơ chếSelf-Attentionvà mơ hìnhSASREC
mơ tả kiến trúc tổng quan được áp dụng trong mơ hình tham khảoSASRECbao gồm các thành phần:
■ Input: dữ liệu đầu vào của quá trình huấn luyện được sử dụng là chuỗi tuần tự bao
gồm hành vi tương tác và vị trí của tương tác đó trong chuỗi tuần tự;
■ Embedding Layer: tầng nhúng là tầng kết hợp dữ liệu bằng phép tínhConcatenatedữ liệu đầu vào của quá trình huấn luyện được sử dụng là chuỗi tuần tự bao gồm hành vi tương tác và vị trí của tương tác trong chuỗi tuần tự;
■ Self-Attention Layer: bao gồm khối tự chú ýSelf-Attentionnhận đầu vào từ lớp nhúng và trả thông tinattention scorelàm đầu vào cho tầngPoint-wise Feed-forward. Các lớp
này có thể xếp chồng lên nhau trong trường hợp muốn tăng thêm khả năng học của mơ hình sâu hơn;
■ Fully-connected Layer: tuỳ vào yêu cầu và đầu ra dữ liệu mà ta thực hiện gắn các lớp
đầy đủ và hàm tối ưu tương ứng. Như trong bài toánclick-through-rateđầu ra sẽ là nhãn dữ liệu phân lớp (có hai giá trị là Có-Khơng), do đó lớp đầy đủ cuối cùng sẽ cósizelà1và hàm tối ưu là hàmsigmoid.
Mơ hìnhSASREC[9] đạt kết quả tốt hơn so với tất cả các mơ hình theo hướng tương tự trước đó (trong đó cóGRU4REC) khi đạt độ cải tiến từ 6.9 % tới 9.6 % so với các cơng
trình tốt nhất trước đó. Ngồi ra, mơ hình cũng cho thấy hiệu quả hơn các mơ hình trước đó ở thời gian huấn luyện mơ hình khi đạt tốc độ huấn luyện nhanh hơnGRU4REC+[8] (cải tiến của tác giả mơ hìnhGRU4REC) 18 lần.
2.4. Kiến trúcTransformervà mơ hìnhBERT4REC,BST
2.4 | Kiến trúcTransformer và mơ hìnhBERT4REC,BST
2.4.1 | Kiến trúcTransformer