6. Cấu trúc của đề tài
2.2. Phương pháp nhúng đỉnh đồ thị hai phía đề xuất
2.2.1. Mơ hình hóa các quan hệ trực tiếp
Cạnh giữa các đỉnh khác loại nhau là biểu thị rõ ràng cho quan hệ trực tiếp giữa chúng trong mạng đồ thị hai phía. Phép nhúng bảo tồn thơng tin cấu trúc các quan hệ này bằng việc tối thiểu hóa sự khác biệt giữa phân phối thực tế xác suất đồng xuất hiện đỉnh và phân phối được tái tạo lại của phép nhúng đỉnh. Xác suất đồng xuất hiện giữa hai đỉnh liên kết 𝑢𝑖 và 𝑣𝑗 trong mạng đồ thị hai phía được định nghĩa là:
𝑃(𝑖, 𝑗) = 𝑤𝑖𝑗
∑𝑒𝑠𝑡∈𝐸𝑤𝑠𝑡 (2.1) với 𝑤𝑖𝑗 là trọng số của cạnh 𝑒𝑖𝑗. Ngoài ra, xấp xỉ cục bộ giữa các cạnh trong khơng gian nhúng có thể được ước lượng bởi tích vơ hướng [5], do đó khơng gian xác suất của tương tác trên có thể được biểu diễn qua hàm sigmoid:
𝑃̂(𝑖, 𝑗) = 1
1+exp (−𝐮𝑖𝑇𝐯𝑗) (2.2)
với 𝐮𝑖 ∈ ℝ𝑑 và 𝐯𝑗 ∈ ℝ𝑑 là các vector nhúng của các đỉnh 𝑢𝑖 và 𝑣𝑗 tương ứng.
Sau khi có được phân phối thực tế và phân phối phục dựng, sử dụng độ đo phân kỳ Kullback–Leibler (KL-divergence) để đo sự khác biệt giữa hai phân phối, và học các vector nhúng bằng cách tối thiểu sự khác biệt. Do vậy, hàm mục tiêu có thể được định nghĩa như sau:
𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 𝑂1 = 𝐾𝐿(𝑃||𝑃̂) = ∑ 𝑃(𝑖, 𝑗)𝑙𝑜𝑔 (𝑃(𝑖,𝑗)
𝑃̂(𝑖,𝑗))
𝑒𝑖𝑗∈𝐸
∝ − ∑𝑒𝑖𝑗∈𝐸𝑤𝑖𝑗𝑙𝑜𝑔𝑃̂(𝑖, 𝑗) (2.3) Một cách trực quan, hai đỉnh được kết nối chặt chẽ trong đồ thị ban đầu sẽ gần nhau trong khơng gian nhúng bằng cách tối thiểu hóa hàm mục tiêu, do đó thơng tin cấu trúc các quan hệ trực tiếp được bảo toàn.
2.2.2. Mơ hình hóa các quan hệ gián tiếp bằng bước đi nhẫu nhiên
Trong mạng đồ thị hai phía trong thực tế, các mối quan hệ gián tiếp thông qua các bước trung gian đóng vai trị quan trọng trong bối cảnh chung của cả hệ thống. Việc mơ hình hóa các quan hệ gián tiếp giữa các đỉnh cùng loại sẽ mang lại hiệu quả bổ sung ngồi mơ hình hóa các quan hệ trực tiếp. Về mặt trực quan, nếu tồn tại một đường đi giữa hai đỉnh có nghĩa là có một mối quan hệ gián tiếp nào đó giữa chúng; số lượng các đường đi và chiều dài của chúng cho biết độ bền của mối quan hệ. Tuy nhiên, việc đếm đường đi giữa hai đỉnh có độ phức tạp rất cao, điều này khơng thể đáp ứng được đối với các mạng quy mơ lớn. Để mã hóa các mối quan hệ gián tiếp bậc cao như vậy giữa các đỉnh trong mạng đồ thị hai phía cần thực hiện các bước đi ngẫu nhiên. Cụ thể, mạng hai phía trước tiên sẽ được chuyển đổi thành hai bộ ngữ liệu chứa các chuỗi đỉnh bằng cách thực hiện các bước đi ngẫu nhiên; sau đó các phép nhúng sẽ được học từ bộ ngữ liệu mã hóa các quan hệ bậc cao giữa các đỉnh.
2.2.2.1. Bước đi ngẫu nhiên xây dựng các bộ ngữ liệu
Cách thông thường để chuyển một đồ thị thành một bộ ngữ liệu chuỗi đỉnh là thực hiện các bước đi ngẫu nhiên trên đồ thị, thường được dùng trong phép nhúng các mạng đồ thị đồng nhất. Tuy nhiên, việc thực hiện trực tiếp các bước đi ngẫu nhiên trên mạng đồ thị hai phía có thể thất bại, vì khơng có sự phân bố cố định xác suất của các bước đi ngẫu nhiên trên mạng đồ thị hai phía. Ví dụ khi bắt đầu từ một phía thì sau số chẵn lần bước sẽ lại cùng phía, xác suất rơi vào một đỉnh cụ thể cùng phía là bằng khơng khi số bước là lẻ [15]. Để giải quyết vấn đề này, xem xét thực hiện bước đi ngẫu nhiên trên hai mạng đồ thị đồng nhất chứa xấp xỉ bậc 2 giữa các đỉnh cùng loại. Xác đỉnh xấp xỉ bậc 2 giữa các đỉnh theo Co-HITS [16] như sau:
𝑤𝑖𝑗𝑈 = ∑𝑘∈𝑉𝑤𝑖𝑘𝑤𝑗𝑘; 𝑤𝑖𝑗𝑉 = ∑𝑘∈𝑈𝑤𝑘𝑖𝑤𝑘𝑗 (2.4) với 𝑤𝑖𝑗 là trọng số của cạnh 𝑒𝑖𝑗. Từ đây, ta có thể sử dụng ma trận 𝐖𝑈 = [𝑤𝑖𝑗𝑈] số chiều |𝑈| × |𝑈| và ma trận 𝐖𝑉 = [𝑤𝑖𝑗𝑉] số chiều |𝑉| × |𝑉| để biểu diễn
cho hai mạng đồ thị đồng nhất tương ứng hai loại đỉnh trong đồ thị hai phía. Từ đây ta có thể thực hiện các bước đi ngẫu nhiên trên hai mạng đồ thị đồng nhất để tạo ra hai bộ ngữ liệu để học các quan hệ gián tiếp bậc cao giữa các đỉnh. Để có các bộ ngữ liệu với độ chân thực cao, thực hiện một bộ tạo bước đi ngẫu nhiên lệch (biased) và tự thích nghi phù hợp với thực tế phân phối đỉnh trong mạng đồ thị hai phía. Cụ thể như sau:
- Đầu tiên, liên hệ số lần bước đi ngẫu nhiên bắt đầu từ một đỉnh dựa trên tầm quan trọng của đỉnh đó, tầm quan trọng có thể được đo dựa trên độ trung tâm của đỉnh. Độ trung tâm càng lớn thì khả năng một lần bước đi ngẫu nhiên bắt đầu từ đỉnh đó càng lớn, và như vậy tầm quan trọng của đỉnh trong mạng đồ thị được bảo toàn.
- Sau đó gán một xác suất dừng bước đi ngẫu nhiên trên mỗi bước. Không như các phương pháp bước đi ngẫu nhiên khác có độ dài bước cố định, ta cho phép chuỗi đỉnh được tạo ra có chiều dài thay đổi để có sự tương
đồng với thực tế (trong ngơn ngữ tự nhiên thì mỗi câu có chiều dài thay đổi khác nhau, cũng tương tự với số lượng mối quan hệ của một cá thể trong một mạng lưới cũng khác nhau).
Trình tự thực hiện các bước trên phù hợp với các tính chất hiện hữu tồn tại trong các mạng đồ thị thực tế, các liên kết đỉnh tuân theo một phân phối lũy thừa khơng có tỷ lệ xác định. Quy trình được tóm tắt theo Thuật toán 1 [14]
Thuật toán 1: WalkGenerator(W, R, maxT, minT, p) Input: ma trận trọng số của mạng đồ thị hai phía W,
tập đỉnh R (có thể là U hoặc V), số bước tối đa và tối thiểu từ mỗi đỉnh maxT và min T, xác suất dừng bước p.
Output: một tập các chuỗi đỉnh 𝒟𝑅
1 Tính tốn độ trung tâm của các đỉnh
H = CentralityMeasure(W) 2 Tính tốn 𝑊𝑅 theo phương trình (4) 3 foreach đỉnh 𝑣𝑖 ∈ 𝑅 do 4 𝑙 = max(𝐇(𝑣𝑖) × 𝑚𝑎𝑥𝑇, 𝑚𝑖𝑛𝑇); 5 for i = 0 to l do 6 𝒟𝑣𝑖 = 𝐵𝑖𝑎𝑠𝑒𝑑𝑅𝑎𝑛𝑑𝑜𝑚𝑊𝑎𝑙𝑘(𝑊𝑅, 𝑣𝑖, 𝑝) 7 Add 𝒟𝑣𝑖 into 𝒟𝑅 8 return 𝒟𝑅
Thuật tốn trên có maxT và minT số bước tối đa và tối thiểu mà mỗi lần
bước đi ngẫu nhiên xuất phát từ tất cả các đỉnh. Kết quả 𝒟𝑈 (hoặc 𝒟𝑉) là bộ ngữ liệu được tạo ra từ các tập đỉnh U (hoặc tập đỉnh V). Độ trung tâm của của đỉnh có thể được xác định từ nhiều phép đo như bậc của đỉnh, PageRank và HITS v.v…
𝐵𝑖𝑎𝑠𝑒𝑑𝑅𝑎𝑛𝑑𝑜𝑚𝑊𝑎𝑙𝑘(𝑊𝑅, 𝑣𝑖, 𝑝) là bộ tạo bước đi ngẫu nhiên duyệt một chuỗi
đỉnh xuất phát từ đỉnh 𝑣𝑖. Để xác định điểm dừng, một biến ngẫu nhiên thuộc [0, 1] sẽ được tạo ra tại mỗi đỉnh, và tiến trình sẽ dừng lại khi biến này nhỏ hơn xác suất dừng bước p. Chiều dài của chuỗi đỉnh được tạo ra sẽ phụ thuộc vào xác suất dừng bước đi ngẫu nhiên.
2.2.2.2. Mơ hình hóa các mối quan hệ gián tiếp
Sau khi có được hai bộ ngữ liệu gồm các chuỗi đỉnh, áp dụng mơ hình Skip- gram [12] lên hai bộ ngữ liệu để học nhúng đỉnh. Mục tiêu là để có được xấp xỉ bậc cao các đỉnh, với giả thiết rằng các đỉnh thường đồng xuất hiện trong ngữ cảnh giống nhau của một chuỗi thì cần được gán vào các vector nhúng tương tự nhau.
Cho một chuỗi đỉnh S và một đỉnh 𝑢𝑖, một ngữ cảnh được định nghĩa là một khung cửa sổ với số lượng là ws đỉnh trước và sau 𝑢𝑖 trong S; mỗi đỉnh được được liên hệ với một vector ngữ cảnh 𝜽𝑖 (hoặc 𝝑𝑗). Do có hai loại đỉnh trong mạng đồ thị hai phía nên cần thực hiện việc bảo toàn các xấp xỉ bậc cao của các đỉnh một cách riêng biệt. Cụ thể, các bộ ngữ liệu 𝒟𝑈 và 𝒟𝑉 có các xác suất có điều kiện tối đa như sau:
𝑚𝑎𝑥𝑖𝑚𝑖𝑧𝑒 𝑂2 = ∏𝑢𝑖∈𝑆∧𝑆∈𝒟𝑈∏𝑢𝑐∈𝐶𝑆(𝑢𝑖)𝑃(𝑢𝑐|𝑢𝑖)
𝑚𝑎𝑥𝑖𝑚𝑖𝑧𝑒 𝑂3 = ∏𝑣𝑗∈𝑆∧𝑆∈𝒟𝑉∏𝑣𝑐∈𝐶𝑆(𝑣𝑗)𝑃(𝑣𝑐|𝑣𝑗) (2.5) với 𝐶𝑆(𝑢𝑖) (hay 𝐶𝑆(𝑣𝑗)) biểu thị các đỉnh ngữ cảnh của đỉnh 𝑢𝑖 (hoặc 𝑣𝑗) trong một chuối S.
Theo các phương pháp nhúng nơron [2], thực hiện tham số hố các xác suất có điều kiện 𝑃(𝑢𝑐|𝑢𝑖) và 𝑃(𝑣𝑐|𝑣𝑗) sử dụng tích vơ hướng là phần lõi cho hàm
trung bình mũ softmax như sau:
𝑃(𝑢𝑐|𝑢𝑖) = exp(𝐮𝑖𝑇𝜽𝑐)
∑|𝑈|𝑘=1exp(𝐮𝑖𝑇𝜽𝑘); 𝑃(𝑣𝑐|𝑣𝑗) = exp(𝐯𝑗 𝑇𝝑𝑐)
∑|𝑈|𝑘=1exp(𝐯𝑗𝑇𝝑𝑘) (2.6) với 𝑃(𝑢𝑐|𝑢𝑖) biểu thị khả năng 𝑢𝑐 được quan sát trong các ngữ cảnh của 𝑢𝑖; ý nghĩa tương tự với 𝑃(𝑣𝑐|𝑣𝑗). Với định nghĩa này, để đạt được mục tiêu tại
Phương trình (2.5) thì các đỉnh với các ngữ cảnh tương tự nhau sẽ gần nhau trong không gian nhúng.
2.2.3. Tối ưu hóa mơ hình chung
Để nhúng đỉnh mạng đồ thị hai phía mà vẫn bảo tồn các quan hệ trực tiếp và gián tiếp giữa các đỉnh, ta thực hiện kết hợp các hàm mục tiêu thành một hàm tối ưu hóa chung.
𝑚𝑎𝑥𝑖𝑚𝑖𝑧𝑒 𝐿 = 𝛼 log 𝑂2+ 𝛽 log 𝑂3− 𝛾𝑂1 (2.7) với các tham số 𝛼, 𝛽 và 𝛾 là các tham số huấn luyện cần được xác định để kết hợp các thành phần khác nhau trong hàm tối ưu chung.
Để tối ưu hóa mơ hình chung, ta sử dụng thuật toán lặp Stochastic Gradient Ascent (SGA). Do ba thành phần của hàm tối ưu hóa chung có các định nghĩa khác nhau trong quá trình huấn luyện, cần điều chỉnh thuật toán SGA thực hiện bước gradient như sau [14]:
Bước 1: Đối với một quan hệ trực tiếp ngẫu nhiên, ví dụ một cạnh 𝑒i ∈ 𝐸,
trước tiên thực hiện cập nhật các vector nhúng 𝐮i và 𝐯j bằng cách sử dụng SGA để tối đa hóa thành phần 𝐿1 = −𝛾𝑂1. Quy luật cập nhật 𝐮i và 𝐯j như sau:
𝐮i = 𝐮i + 𝜆{𝛾𝑤𝑖𝑗[1 − 𝜎(𝐮𝑖𝑇𝐯𝑗)] ⋅ 𝐯𝑗},
𝐯𝑗 = 𝐯𝑗 + 𝜆{𝛾𝑤𝑖𝑗[1 − 𝜎(𝐮𝑖𝑇𝐯𝑗)] ⋅ 𝐮𝑖}, (2.8)
Bước 2: Sau đó xem các đỉnh 𝑢i và 𝑣j như là các đỉnh trung tâm, để bảo toàn các quan hệ gián tiếp cần sử dụng SGA để tối đa hóa các hàm mục tiêu 𝐿2 = 𝛼 log 𝑂2 và 𝐿3 = 𝛽 log 𝑂3. Cụ thể, với đỉnh trung tâm 𝑢i (hoặc 𝑣j) và đỉnh ngữ cảnh của nó 𝑢c (hoặc 𝑣c), thực hiện cập nhật vector nhúng 𝐮i (hoặc 𝐯𝑗) như sau:
𝐮i = 𝐮i + 𝜆{∑𝑧∈{𝑢𝑐}∪𝑁𝑆𝑛𝑠(𝑢𝑖)𝛼[𝐼(𝑧, 𝑢𝑖) − 𝜎(𝐮𝑖𝑇𝜽𝑧)] ⋅ 𝜽𝑧},
𝐯𝑗 = 𝐯𝑗 + 𝜆 {∑𝑧∈{𝑣𝑐}∪𝑁𝑆𝑛𝑠(𝑣𝑗)𝛽[𝐼(𝑧, 𝑣𝑗) − 𝜎(𝐯𝑗𝑇𝝑𝑧)] ⋅ 𝝑𝑧} (2.9) với 𝐼(𝑧, 𝑢𝑖) là một hàm chỉ thị xác định đỉnh 𝑧 có trong ngữ cảnh của đỉnh 𝑢𝑖 hay khơng, tương tự với 𝐼(𝑧, 𝑣𝑗). Các vector ngữ cảnh cũng được cập nhật như
𝜽𝑧 = 𝜽𝑧 + 𝜆{𝛼[𝐼(𝑧, 𝑢𝑖) − 𝜎(𝐮𝑖𝑇𝜽𝑧)] ⋅ 𝐮𝑖},
𝝑𝑧 = 𝝑𝑧 + 𝜆{𝛽[𝐼(𝑧, 𝑣𝑗) − 𝜎(𝐯𝑗𝑇𝝑𝑧)] ⋅ 𝐯𝑗} (2.10) Các vector nhúng thu được chính là kết quả phép nhúng học biểu diễn các đỉnh của mạng đồ thị hai phía cần thực hiện.
2.3. Kết luận
Việc tạo hai bộ ngữ liệu cho hai loại tập đỉnh và tối ưu hóa mơ hình chung là hai quá trình quan trọng của phương pháp nhúng đỉnh mạng đồ thị đang xem xét. Các bộ ngữ liệu được tạo ra từ việc áp dụng bước đi ngẫu nhiên như đối với các mạng đồ thị đồng nhất, với sự cải tiến là độ dài mỗi lần bước là không cố định phù hợp với mơ hình thực tế. Q trình mơ hình hóa các mối quan hệ gián tiếp sau khi có hai bộ ngữ liệu được thực hiện tương tự như các phương pháp nhúng trong xử lý ngôn ngữ tự nhiên. Q trình các bước tối ưu hóa chung các thành phần đã bảo toàn được cả đặc trưng quan hệ trực tiếp và quan hệ gián tiếp giữa các đỉnh, đảm bảo được độ chân thực gần nhất sau khi phục dựng lại các phép nhúng đã học so với mạng đồ thị hai phía ban đầu.
CHƯƠNG 3. HỆ THỐNG KHUYẾN NGHỊ VÀ CÁC ĐỘ ĐO ĐÁNH GIÁ HỆ THỐNG KHUYẾN NGHỊ
Mục tiêu chính của chương này trình bày những vấn đề tổng quan về hệ thống khuyến nghị, giới thiệu các hướng tiếp cận phổ biến trong xây dựng hệ thống khuyến nghị cũng như tìm hiểu các phương pháp đánh giá hiệu quả của một hệ thống khuyến nghị. Từ những nghiên cứu này sẽ lựa chọn phương pháp phù hợp để áp dụng vào việc xây dựng hệ thống khuyến nghị thực tế ở phần tiếp theo.
3.1. Tổng quan về bài toán khuyến nghị 3.1.1. Khái niệm hệ thống khuyến nghị 3.1.1. Khái niệm hệ thống khuyến nghị
Hệ thống khuyến nghị (Recommender System) là những hệ thống được thiết kế để gợi ý cho người dùng hướng đến những đối tượng mà có thể người dùng đó quan tâm, u thích hoặc thấy phù hợp với họ, khi số lượng đối tượng và thông tin là quá lớn so với khả năng xử lý của người dùng. Hay nói cách khác, hệ thống khuyến nghị là các kỹ thuật và công cụ phần mềm cung cấp các đề xuất về các đối tượng mà có khả năng được quan tâm nhất đối với một người dùng cụ thể [17]. Các đề xuất có thể liên quan đến rất nhiều quyết định của khách hàng như mua sản phẩm nào, nghe bài nhạc nào hay đọc bản tin nào.
Hiện tại các hệ thống khuyến nghị được triển khai ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau, cụ thể như:
- Thương mại điện tử: các mục gợi ý sản phẩm trên các sàn thương mại điện tử, mua bán trực tuyến của Tiki, Shopee, Lazada v.v…
- Mạng xã hội: đề xuất bạn quen, đề xuất hoạt động yêu thích như của Facebook, Zalo, Linkedin.
- Du lịch và ẩm thực: giới thiệu các món ăn, thức uống có thể người dùng thích, những địa điểm có thể muốn đi như của Foody, Agoda, Grabfood. - Giải trí: gợi ý các bài hát, video clip, bộ phim có thể người dùng thích
Hình 3.1. Giao diện hệ khuyến nghị sản phẩm của Tiki.vn
Bên cạnh đó, nhiều tổ chức, doanh nghiệp có quan tâm nghiên cứu ứng dụng cũng có thể có hệ khuyến nghị riêng để phục vụ cho nhu cầu hoạt động của mình.
3.1.2. Phát biểu bài tốn hệ thống khuyến nghị
Cho hai tập hữu hạn gồm M người dùng 𝑈 = {𝑢1, 𝑢2, … , 𝑢𝑀} và N đối
tượng 𝑉 = {𝑣1, 𝑣2, … , 𝑣𝑁}.
Mỗi người dùng 𝑢𝑖 ∈ 𝑈 (với i = 1, 2, …, M) được biểu diễn thông qua |𝐶|
đặc trưng nội dung 𝐶 = {𝑐1, 𝑐2, … , 𝑐|𝐶|}. Các đặc trưng 𝑐𝑡 ∈ 𝐶 thường là các thông
tin đặc điểm liên quan cá nhân mỗi người dùng. Ví dụ 𝑢𝑖 ∈ 𝑈 là một người dùng
thì các đặc trưng nội dung biểu diễn người dùng 𝑢𝑖 có thể là 𝐶 = {𝑔𝑖ớ𝑖 𝑡í𝑛ℎ, độ 𝑡𝑢ổ𝑖, 𝑛𝑔ℎề 𝑛𝑔ℎ𝑖ệ𝑝 … }.
Mỗi đối tượng 𝑣𝑗 ∈ 𝑉 (với j = 1, 2, …, N) có thể là hàng hóa, phim ảnh,
sách báo, tin tức hoặc bất kỳ dạng thông tin nào mà người dùng sử dụng, được biểu diễn thông qua |𝑇| đặc trưng nội dung 𝑃 = {𝑝1, 𝑝2, … , 𝑝|𝑇|}. Các đặc trưng 𝑝𝑞 ∈ 𝑃
nhận được từ các phương pháp trích chọn đặc trưng trong lĩnh vực truy vấn thơng tin. Ví dụ 𝑣𝑗 ∈ 𝑉 là một bài nhạc thì các đặc trưng nội dung biểu diễn 𝑣𝑗 có thể là
Mối quan hệ giữa tập người dùng U và tập đối tượng V được biểu diễn thông qua ma trận đánh giá 𝑅 = [𝑟𝑖𝑗] với i = 1, 2, …, M và j = 1, 2, …, N.
Đối tượng 1 2 … j … N Ng ườ i d ù n g 1 5 3 4 2 4 3 2 3 2 5 0 2 3 … 2 1 3 1 4 1 i 0 1 3 1 2 4 … 1 4 4 3 3 2 M 2 0 4 3 5 3 x 3 2 4 ? 4 2 Hình 3.2. Ví dụ một ma trận đánh giá tổng quát
Giá trị 𝑟𝑖𝑗 thể hiện đánh giá của người dùng 𝑢𝑖 ∈ 𝑈 cho đối tượng 𝑣𝑗 ∈ 𝑉.
Thông thường giá trị 𝑟𝑖𝑗 được thu thập trực tiếp bằng cách hỏi ý kiến người dùng hoặc thu thập gián tiếp thông qua cơ chế phản hồi của người dùng. Những giá trị
𝑟𝑖𝑗 = 0 được hiểu là người dùng chưa biết đến hoặc không đánh giá đối tượng,
những giá trị chưa biết là giá trị cần hệ thống khuyến nghị đưa ra dự đoán đánh giá. Gọi 𝑢𝑥 là người dùng cần được tư vấn, khi đó có hai bài tốn điển hình của hệ thống khuyến nghị là:
- Dự đoán đánh giá của người dùng 𝑢𝑥 với các đối tượng chưa có đánh giá trước đó.
- Đưa ra một danh sách ngắn các đối tượng được dự đoán là phù hợp nhất với người dùng cần được tư vấn.
3.1.3. Các hướng tiếp cận xây dựng hệ thống khuyến nghị
Việc sử dụng các kỹ thuật xây dựng hệ thống khuyến nghị hiệu quả và chính xác là rất quan trọng đối với một hệ thống cung cấp khuyến nghị tốt và hữu ích