3. 1 Giới thiệu hệ tư vấn sử dụng độ đo tin cậy
3.3. Phương pháp đánh giá hệ tư vấn
Bên cạnh việc xây dựng một hệ tư vấn tốt thì việc đánh giá ước lượng độ chính xác của hệ tự vấn đó không kém phần quan trọng. Trên cơ sở đó so sánh chất lượng của các hệ tư vấn khi áp dụng các phương pháp khác nhau (trên cùng một tập dữ liệu thử nghiệm).
Chuẩn bị dữ liệu
Để đánh giá một hệ tư vấn, trước tiên cần phải có cách chia dữ liệu thành tập học và tập đánh giá một cách hợp lý. Có ba cách chia phổ biến: holdout, leave-one-out, m-fold cross-validation
- Holdout là kỹ thuật chia tập dữ liệu ban đầu thành hai phần: tập học và tập kiểm tra. Mỗi tập có lực lượng khác nhau. Khi áp dụng với hệ tư vấn, ta dùng cách chọn ngẫu nhiên các đánh giá sản phầm của người dùng làm tập kiểm tra, phần còn lại làm tập học. Phương pháp này còn được gọi là leave-k-out.
o Trong [24], Sarwar và đồng nghiệp chia dữ liệu thành 80% cho tập học, 20% cho tập kiểm tra.
o Trong [25], tỉ lệ tập học tăng từ 0.2 đến 0.95 (bước tăng là 0.05) cho mỗi lần thực nghiệm, lặp lại 10 lần và kết quả cuối cùng được tính trung bình cộng.
o Trong [13], tập kiểm tra lấy ngẫu nhiên 10% người dùng, mỗi người dùng 5 đánh giá
- Leave-one-out là một trường hợp của leave-k-out với k=1. Phương pháp này đơn giản nhưng thời gian đánh giá lâu do phải tính toán nhiều.
- m-fold cross-validation cũng là một biến thể của holdout. Phương pháp này chia tập dữ liệu thành m phần độc lập (mỗi dữ liệu chỉ thuộc một phần). Lần lượt từng phần sẽ được dùng làm tập kiểm tra, các tập còn lại dùng làm tập học. Theo [30], m=10 là lựa chọn hay được sử dụng nhất.
Các độ đo
- Độ lệch của ước lượng
Cho một người dùng a, hệ thống phải có khả năng đưa ra được dự đoán đánh giá cho các sản phẩm mà người dùng chưa đánh giá. Với mỗi sản phẩm i, gọi pai là giá trị do hệ tư vần dự đoán cho người dùng a, ai là giá trị thực tế mà người dùng a đánh giá sản phẩm i
Giá trị tuyệt đối của hiệu pai - ai được là độ lệch của dự đoán
Giá trị trung bình của hiệu trên được gọi là độ lệch tuyệt đối trung bình MAE (Mean Absolute Error) [3]. MAE càng nhỏ thì kết quả dự đoán của hệ thống càng gần với giá trị thực.
𝑀𝐴𝐸 = 1
𝑛 |𝑝𝑎𝑖 − 𝑎𝑖|
𝑛
𝑖=1
MAE là độ đo được dùng phổ biến nhất theo [14], [25], [26] và [13]. Mean Squared Error – MSE cũng là một công thức đo độ lệch của dự đoán
𝑀𝑆𝐸 = 1
𝑛 (𝑝𝑎𝑖 − 𝑎𝑖)2
𝑛
𝑖=1
Root Mean Squared Error sử dụng trong [3] là một biến thể của MSE
𝑅𝑀𝑆𝐸 = 1
𝑛 (𝑝𝑎𝑖 − 𝑎𝑖)2
𝑛
𝑖=1
- Độ bao phủ người dùng (tiếng Anh: user coverage)
Bên cạnh độ đo sai lệch của ước lượng, một độ đo khác về khả năng đưa ra tư vấn của hệ thống cũng được quan tâm. Trong nhiều trường hợp, hệ thống không thể đưa ra tư vấn cho người dùng, đặc biệt là những người dùng mới sử dụng hệ thống. Độ đo tỉ lệ bao phủ người dùng được định nghĩa là tỉ lệ người dùng mà hệ tư vấn có thể tư vấn được ít nhất một sản phẩm.
Chương 4. Thực nghiệm và đánh giá
Để thực nghiệm tính hữu dụng của độ đo tin cậy trong hệ tư vấn, luận văn xây dựng các hệ tư vấn dựa trên lọc cộng tác, hệ tư vấn dựa trên sử dụng độ đo tin cậy và so sánh chất lượng của các phương pháp trên.