Để đánh giá một cách khách quan mức độ hiệu quả của phân hệ gợi ý, ta sẽ đánh giá mức độ hiệu quả của mô hình phân hệ gợi ý thông qua lịch sử tương tác của người dùng với các sản phẩm gợi ý.
Nguyên tắc đánh giá như sau:
¥! Khi người dùng tương tác với các sản phẩm gợi ý thì hệ thống sẽ lưu điểm tương tác của người dùng vào nhật ký.
¥! Khi người dùng nhấn vào xem sản phẩm gợi ý thì điểm tương tác của người dùng với các sản phẩm gợi ý là 0.5, khi người dùng thêm sản phẩm gợi ý vào giỏ hàng thì điểm tương tác của người dùng với các sản phẩm gợi ý là 0.8, khi người dùng đã đặt mua hàng các sản phẩm gợi ý thì điểm tương tác của người dùng với các sản phẩm đó là 1.
¥! Khi người dùng thêm sản phẩm gợi ý vào giỏ hàng sau đó xoá sản phẩm đó ra khỏi giỏ hàng thì điểm tương tác vẫn là 0.8, chỉ khi nào người dùng đặt hàng thì điểm tương tác của sản phẩm đó sẽ là 1.
¥! Khi người dùng tương tác nhấn vào xem sản phẩm gợi ý A thì điểm tương tác của người dùng với sản phẩm A là 0.5, nếu người dùng thêm sản phẩm A vào giỏ hàng thì điểm sản phẩm sẽ thành 0.8.
Hệ thống của chúng ta có sử dụng 2 phân hệ gợi ý là gợi ý theo người dùng và gợi ý theo sản phẩm, ta sẽ đánh giá mức độ hiệu quả cho 2 phân hệ này.
Thông tin về mức độ hiệu quả của 2 phân hệ gợi ý này sẽ được tích hợp và hiển thị trên trang quản trị viên.
Mỗi lần người dùng tương tác với các sản phẩm gợi ý thì điểm tương tác đều sẽ được lưu trên nhật ký và sẽ được tính toán lại và hiển thị trên trang quản trị viên mỗi lần quản trị viên truy cập. Từ đó có thể đánh giá được mức độ hiệu quả của phân hệ gợi ý.
Đối với mỗi phân hệ gợi ý, ta sẽ tính trung bình cộng điểm tương tác của người dùng với các sản phẩm gợi ý.
Hình 7.1: kết quả đánh giá tổng quát mức độ hiệu quả của phân hệ gợi ý
Kết quả đánh giá tổng quát mức độ hiệu quả của mô hình phân hệ gợi ý sẽ dao động trong khoảng từ 50% đến 100%, kết quả càng cao thì mức độ hiệu quả của sản phẩm gợi ý càng cao, nghĩa là sản phẩm gợi ý được người dùng thêm vào giỏ hàng hoặc mua càng nhiều.
Theo kết quả hiển thị như hình 7.1, mức độ tương tác đối với sản phẩm gợi ý liên quan(gợi ý theo sản phẩm) và sản phẩm gợi ý cho mỗi người dùng(gợi ý theo người dùng) lần lượt là 81.03% và 92.14% cho thấy tỉ lệ tương tác thêm vào giỏ hàng và đặt hàng khá cao.