Đểđánh giá chất lượng một xếp hạng, các độđo thông dụng trong học máy nhưđộ
chính xác (precision), độ hồi tưởng (recall), độ đo F không được sử dụng. Xếp hạng yêu cầu các đối tượng “đúng” (phù hợp với tiêu chí) được xếp ở các vị trí đầu tiên của bảng xếp hạng càng tốt.
Dưới đây là một sốđộđo đánh giá mức hiệu quả của xếp hạng:
3.1.3.1 MAP Độ chính xác mức K: P@K – Precision@K là độ chính xác của K đối tượng đầu bảng xếp hạng. Xác định số đối tượng đúng ở K vị trí đầu tiên của xếp hạng và gọi là Match@K @ @ [19]. Ta có:
Độ chính xác trung bình (AP): là giá trị trung bình của các P@K tại các mức K có
đối tượng đúng. Gọi I(K) là hàm xác định đối tượng ở vị trí hạng K nếu đúng I(K) = 1 và ngược lại I(K) = 0. Độ chính xác trung bìn h:
∑ @
∑
Giá trị trung bình trên tất cả các truy vấn (Mean Average Precision): ∑
Trong đó m là tổng số truy vấn. Ví dụ:
Giả sử có 6 đối tượng tương ứng là: a, b, c, d, e.
Trong đó a, b, c là các đối tượng phù hợp và d, e là các đối tượng không phù hợp. Một xếp hạng của các đối tượng cần đánh giá là: c, a, d, b, e. Khi đó ta có:
p@1 = 1; P@2 =1; P@3 = 2/3; P@4 = 3/4; P@5 = 3/5. AP(1) = 1; AP(2) = 1; AP(3) = 1; AP(4) = (1 + 1 + 3/4) / 3
3.1.3.2 NDCG (Normalized Discounted cumulative gain)
DCG (Discounted cumulative gain) là một độ đo mức hiệu quả của các thuật toán trên hệ thống máy tìm kiếm hay những ứng dụng tương tự, và thường được sử dụng trong tìm kiếm thông tin (Information Retrieval). Sử dụng một độđo tính phù hợp của các tài liệu trong tập kết quả trả về bởi máy tìm kiếm, DCG đo sự hiệu quả của một tài liệu dựa trên vị trí của nó trong danh sách. Con số này được tính tính lũy từđầu tới cuối danh sách kết quả và giảm dần ở những vị trí thấp hơn[19].
Hai giả thiết được đưa ra trong việc sử dụng DCG và những phép đo có liên quan: o Sẽ tốt hơn nếu những tài liệu có độ phù hợp cao xuất hiện sớm trong danh
sách kết quả của máy tìm kiếm (có rank cao hơn)
o Những tài liệu có độ phù hợp cao thường hữu ích hơn so với những tài liệu có
độ phù hợp thấp, và những tài liệu này lại hữu ích hơn so với những tài liệu không phù hợp.
DCG được hình thành từ một độđo nguyên thủy hơn, đó là CG (Cumulative Gain).
Cumulative Gain: độđo CG không quan tâm tới vị trí của kết quả trong tính toán, nó tính tổng độ phù hợp của tất cả các tài liệu trong danh sách kết quả. Độđo CG tại một vị
trí p được tính như sau:
Trong đó reli là mức độ phù hợp của kết quả tại vị trí thứ i.
Độđo CG không bị ảnh hưởng bởi thứ tự sắp xếp các kết quả trong danh sách. Việc chuyển tài liệu có độ phù hợp cao xuống vị trí thấp không làm thay đổi giá trị CG. Dựa vào hai giả thiết ở trên về mức hiệu quả của kết quả tìm kiếm, DCG được sử dụng đểđem lại hiệu quả cao hơn.
Discounted cumulative gain: tiền đề của DCG là những tài liệu có độ phù hợp cao hơn nhưng lại xuất hiện ở những vị trí thấp hơn sẽ dẫn tới một mức “phạt” (penalty) bằng cách giảm độ phù hợp của tài liệu đi một lượng bằng logarit của vị trí trong kết quả. DCG tại vị trí p được tính như sau:
log
Ngoài ra DCG còn được tính theo công th c: ứ
2 1
log 1
Normalized DCG:
Trong đó: IDCGp (Ideal Discounted cumulative gain) là giá trị DCG trong trường hợp kết quảđưa ra là hoàn hảo, nhận được khi tất cả các tài liệu đều được xếp đúng vị trí tương ứng với độ phù hợp của chúng.
Ví dụ: Giả sử có 6 tài liêu a, b, c, d, e, f với các độ phù hợp lần lượt là: 3, 3, 2, 2, 1, 0. Một kết quả xếp hạng được đưa ra như sau: b, c, a, f, e, d.
Ta có: CG6 = 3 + 2 + 3 + 0 + 1 + 2 = 11
DCG6 = 3 + (2 + 1.887 + 0 + 0.431 + 0.772) = 8.09 IDCG = 3 + (3 + 2/1.59 + 2/2 + 1/2.32 + 0) = 8.693 nDCG6 = DCG6/IDCG6 = 8.09/8.693 = 0.9306
Ngoài hai độđo trên, một sốđộđo khác cũng được sử dụng như: trung bình nghịch
đảo thứ hạng (MRR), sốđối tượng đúng ở mức k (Match@K), trung bình tổng nghịch đảo thứ hạng của các đối tượng đúng (MTRR) [2]. Tuy nhiên NDCG và MAP là hai độ đo khá phổ biến và được sử dụng trong rất nhiều công trình như [11], [19], [29].