2.4.1 Spam Recall và Spam Precision:
A吋 ti羽n l嬰i cho vi羽c so sánh, ng逢運i ta 8逢a ra hai ch雨 s嘘"8ánh giá là spam recall và spam precision.
Spam recall là t雨 l羽 ph亥n tr<m gi英a s嘘 email –"8逢嬰c b瓜 l丑c coi là spam - b鵜 ch員n l衣i và t鰻ng s嘘 email spam (th詠c s詠 ) 8院n b瓜 l丑c
Spam Precision là t雨 l羽 ph亥n tr<m gi英a s嘘 email b鵜 ch員n th詠c s詠 là spam v噂i s嘘 email b鵜 ch員n -"8逢嬰c b瓜 l丑c coi là spam, spam precision 8ánh giá m泳c 8瓜 an toàn c栄a b瓜 l丑c.
Công th泳c tính Spam Recall (SR) và Spam Precision(SP) nh逢 sau:
S S
S S S N
SR n
n n
−>
−> −>
= +
Công th泳c 2-1 :Công th泳c tính Spam Recall
S S
S S N S
SP n
n n
−>
−> −>
= +
Công th泳c 2-2 : Công th泳c tính Spam Precesion
V噂i :
nS−>S là s嘘 email là spam mà b瓜 l丑c nh壱n ra là spam
nS−>N là s嘘 email là spam mà b瓜 l丑c nh壱n ra là email non-spam nN−>S là s嘘 email non-spam mà b瓜 l丑c nh壱n ra là spam
2.4.2 T雨 l羽 l厩i Err (Error) và t雨 l羽 chính xác Acc(Accuracy) :
Trong vi羽c phân lo衣i email, hi羽u qu違 phân lo衣i d詠a vào t雨 l羽 chính xác (Acc) ho員c t雨 l羽 l厩i (Err). Công th泳c tính t雨 l羽 chính xác và t雨 l羽 l厩i nh逢 sau :
N N S S
N S
n n
Acc N N
−> + −>
= +
Công th泳c 2-3 :công th泳c tính t雨 l羽 chính xác
N S S N
N S
n n
Err N N
−> + −>
= +
Công th泳c 2-4 : công th泳c tính t雨 l羽 l厩i
V噂i
• NN và NS là s嘘 email non-spam và s嘘 email spam c亥n phân lo衣i
• nN−>N là s嘘 email là non-spam và 8逢嬰c b瓜 l丑c nh壱n ra là non- spam
• nN−>S là s嘘 email là non-spam mà b瓜 l丑c nh壱n ra là spam
• nS−>S là s嘘 email là spam mà 8逢嬰c b瓜 l丑c nh壱n ra là spam
• nS−>N là s嘘 email là spam mà 8逢嬰c b瓜 l丑c nh壱n ra là non-spam
2.4.3 T雨 l羽 l厩i gia tr丑ng WErr (Weighted Error ) và t雨 l羽 chính xác gia tr丑ng (Weighted Accuracy):
Trong phân lo衣i email có hai lo衣i l厩i : l厩i nh壱n spam ra non-spam (false negative) và l厩i nh壱n non-spam ra spam(false positive) [3]. L厩i th泳 hai là l厩i
nghiêm tr丑ng h挨n, b荏i ng逢運i dùng có th吋 ch医p nh壱n m瓜t email spam v逢嬰t qua b瓜 l丑c nh逢ng khó mà ch医p nh壱n m瓜t email h嬰p l羽 l衣i b鵜 b瓜 l丑c ch員n l衣i."A吋 bi吋u th鵜 tác 8瓜ng c栄a hai lo衣i l厩i này 8嘘i v噂i t雨 l羽 chính xác và t雨 l羽 l厩i, ta s胤 xem m厩i m瓜t email h嬰p l羽 nh逢 là λ email h嬰p l羽. Do 8ó khi m瓜t email h嬰p l羽 b鵜 phân lo衣i sai, thay vì xem nh逢 có m瓜t l厩i, ta xem nh逢 là λ l厩i, và khi phân lo衣i 8úng ta xem nh逢 là λ l亥n thành công. Ta có hai t雨 l羽 : t雨 l羽 chính xác gia tr丑ngWAcc (Weighted Accuracy Rate ) và t雨 l羽 l厩i gia tr丑ng WErr (Weighted Error Rate) (WErr=1-WAcc).
N N S S
N S
n n
WAcc N N
λ
λ−> −>
= +
+
Công th泳c 2-5 T雨 l羽 chính xác gia tr丑ng
N S S N
N S
n n
WErr N N
λ
λ−> −>
= +
+
Công th泳c 2-6 T雨 l羽 l厩i gia tr丑ng
V噂i :
NN và NS là s嘘 email non-spam và s嘘 email spam c亥n phân lo衣i
N
nN−> là s嘘 email là non-spam và 8逢嬰c b瓜 l丑c nh壱n ra là non- spam
S
nN−> là s嘘 email là non-spam mà b瓜 l丑c nh壱n ra là spam
S
nS−> là s嘘 email là spam mà 8逢嬰c b瓜 l丑c nh壱n ra là spam
N
nS−> là s嘘 email là spam mà 8逢嬰c b瓜 l丑c nh壱n ra là non-spam
2.4.4 T雨 s嘘 chi phí t鰻ng h嬰p TCR (Total Cost Ratio ):
Giá tr鵜 c栄a t雨 l羽 chính xác và t雨 l羽 l厩i th逢運ng có s詠 sai l羽ch cao."A吋 th医y rừ8逢嬰c hi羽u qu違 c栄a cỏch phõn lo衣i, ng逢運i ta th逢運ng so sỏnh t雨 l羽 chớnh xỏc ho員c t雨 l羽 l厩i gi英a b瓜 phân lo衣i v噂i tr逢運ng h嬰p 8挨n gi違n nh医t và 8逢嬰c xem là tr逢運ng h嬰p “ranh gi噂i “(baseline).”Ranh gi噂i” 8逢嬰c ch丑n là tr逢運ng h嬰p không s穎 d映ng m瓜t b瓜 l丑c nào, các email h嬰p l羽 không bao gi運 b鵜 ch員n l衣i và các email
là spam thì luôn luôn8i qua. Nh逢 v壱y t雨 l羽 chính xác gia tr丑ng và t雨 l羽 l厩i gia tr丑ng c栄a tr逢運ng h嬰p “ranh gi噂i “ là :
Công th泳c 2-7: T雨 l羽 chính xác gia tr丑ng c栄a tr逢運ng h嬰p "Ranh gi噂i "
b S
N S
WErr N
N N
= λ
+
Công th泳c 2-8: T雨 l羽 l厩i gia tr丑ng c栄a tr逢運ng h嬰p "Ranh gi噂i "
V噂i :
NN, NS,nN−>N, nN−>S,nS−>S, nS−>N có cùng ý ngh a nh逢 荏 m映c 2.4.1 và 2.4.2
T雨 s嘘 chi phí toàn b瓜 TCR ( total cost ratio) cho phép ta so sánh 8逢嬰c hi羽u qu違 c栄a tr逢運ng h嬰p s穎 d映ng b瓜 l丑c so v噂i tr逢運ng h嬰p “ranh gi噂i”:
b
S
N S S N
WErr N
TCR=WErr = λn −> n −>
+
Công th泳c 2-9 Công th泳c tính t雨 s嘘 chi phí t鰻ng h嬰p
Giá tr鵜 TCR càng l噂n thì hi羽u qu違 phân lo衣i càng cao, v噂i TCR nh臼 h挨n 1 thỡ rừ ràng khụng s穎 d映ng b瓜 l丑c cũn t嘘t h挨n.
.
b N
N S
WAcc N
N N
λ
= λ
+
Ch 逢挨 ng 3 : GI 閏 I THI 烏 U CÁC KHO NG 頴 LI 烏 U DÙNG KI 韻 M TH 盈 PHÂN LO 萎 I EMAIL