5 Phân tích và thiết kế hệ thống
6.5.3 Hướng phát triển trong tương lai
Hướng phát triển đối với hệ thống đó chính là việc đánh giá hệ thống giới thiệu và tùy chỉnh khi đưa vào sử dụng rộng rãi. Có thể thấy, hệ thống giới thiệu của nhóm làm đề tài có khá nhiều siêu tham số, nhiều sự kiện và một vài business rule ràng buộc. Do đó, việc đánh giá hệ thống có vai trị quan trọng. Tuy vậy, vì trong giai đoạn luận văn nhóm làm đề tài chưa thể đưa hệ thống vào sử dụng và có dữ liệu thực tế, việc kiểm tra đánh giá được xác định sẽ là hướng phát triển trong tương lai.
Chiến lược đánh giá được đề ra như sau:
Thực hiện A/B Testing: Đưa vào sử dụng hai hệ thống giới thiệu với các biến thể config khác nhau và lần lượt so sánh chất lượng mỗi lần hai biến thể trên hai tập người dùng tương đương nhau. Việc phân bổ tập người dùng rất quan trọng vì mỗi một người dùng sẽ có sở thích khác nhau tùy vào giới tính, độ tuổi. Cách chia dễ dàng nhất đó là chia ngẫu nhiên: băm id của người dùng vào hai xơ (bucket) theo một giải thuật băm nào đó rồi đưa vào một trong hai giải thuật tùy vào xơ mà người đó trúng. Nếu tập người dùng chúng ta đủ lớn, thì sự khác biệt giữa hai xơ người dùng sau khi ngẫu nhiên là không đáng kể.
Metric sử dụng để so sánh chất lượng của hai mơ hình giới thiệu là conversion rate (CR). Ta lưu trữ danh sách các item được giới thiệu đến người dùng, thời gian giới
thiệu và mơ hình dùng để giới thiệu (A hoặc B). Ta định kỳ kiểm tra trong từng tập người dùng, tỉ lệ số người sau khi được giới thiệu lựa chọn mua bất kỳ một item trong
danh sách giới thiệu trên số người được giới thiệu là bao nhiêu. Đó chính là
conversion rate của mơ hình đó.
6.6 Tìm kiếm tương đồng ngữ nghĩa6.6.1 Thử nghiệm