2. LÝ THUY 蔭T
2.5 Kh違o sát ch丑n hàm tích c詠c
2.5.1 Hàm kích ho衣t ReLU
Hàm ReLU có cơng th泳e"8逢嬰e"vt·pj"d {"pj逢"ucw
血岫捲岻 噺 兼欠捲岫ど 捲岻
25
Hình 17 A欝 th鵜 hàm ReLU
J o"TgNW"8cpi"8逢嬰c s穎 d映ng khá nhi隠u trong nhpi"p<o"ip"8Ô{"mjk"jwn luy羽n các
m衣pi"p挨"tqp0"TgNW"8挨p"ik違n l丑c các giá tr鵜 < 0. Nhìn vào cơng th泳c chúng ta d宇 dàng hi吋u
8逢嬰c cách ho衣v"8瓜ng c栄a nó. M瓜t s嘘逢w"8k吋o"mjƒ"x逢嬰t tr瓜i c栄a nó so v噂i Sigmoid và Tanh:
‚ (+) T嘘e"8瓜 h瓜i t映 pjcpj"j挨p"j鰯n. ReLU có t嘘e"8瓜 h瓜i t映 nhanh g医p 6 l亥n Tanh[24].
Ak隠u này có th吋 do ReLU khơng b鵜 bão hồ 荏 4"8亥w"pj逢"Ukioqkf"x "Vcpj0
‚ (+) V pj"vqƒp"pjcpj"j挨p0"Vcpj"x "Ukioqkf"u穎 d映ng hàm exp và công th泳c ph泳c t衣r"j挨p" ReLU r医t nhi隠u do v壱y s胤 t嘘n nhi隠w"ejk"rj "j挨p"8吋 tính tốn.
‚ (-) Vw{"pjk‒p"TgNW"e pi"e„"o瓜v"pj逢嬰e"8k吋m: V噂i các node có giá tr鵜 nh臼 j挨p"2."swc"
ReLU activation s胤 thành 0, hi羽p"v逢嬰pi"8医y g丑k"n "ÐF{kpi"TgNWÐ0"P院u các node b鵜 chuy吋n thành 0 thì s胤 mj»pi"e„"#"pij c"x噂k"d逢噂c linear activation 荏 l噂p ti院p theo và các
h羽 s嘘v逢挨pi"泳ng t瑛pqfg"8医{"e pi"mj»pi"8逢嬰c c壱p nh壱t v噂i gradient descent. => Leaky
TgNW"tc"8運i.
‚ (-) Khi learning rate l噂n, các tr丑ng s嘘 (weights) có th吋 vjc{"8鰻i theo cách làm t医t c違
neuron d瑛ng vi羽c c壱p nh壱t.
26 A吋 hi吋w"t "j挨p"n#"fq"x·"ucq"TgNW"n衣k"pjcpj"j挨p"uq"x噂i các hàm khác, thơng qua hình 17 và 18, ej¿pi"vc"j«{"8嘘i sánh hình d衣ng giá tr鵜 output c栄a các hàm trên.
Nhìn k悦 vào hình 18, ta có nh壱n xét r茨pi<"j o"vcpj"8衣t giá tr鵜 bão hoà khi giá tr鵜 z >2.5 và z < -2.5 (s嘘 407"8逢嬰c ch丑p"v逢挨pi"8嘘i). Và t衣k"x́pi"˜¦˜@407."vj·"8瓜 d嘘c c栄a hàm h亥w"pj逢"i亥n pj逢"d茨ng 0, |z| càng l噂p"vj·"8瓜 d嘘c càng g亥p"2"j挨p0"X·"n#"fq"p {"p‒p"itcfkgpv"fguegpv"u胤 h瓜i t映 ch壱o0"E”p"8嘘i v噂i hàm ReLU, v噂i giá tr鵜 ¦"f逢挨pi"vj·"8瓜 d嘘c c栄a hàm khơng g亥n b茨pi"2"pj逢" j o"vcpj0"Ak隠u này giúp cho vi羽c h瓜i t映 x違y ra njcpj"j挨p0"X噂i giá tr鵜 Ư"Ôo."8 d嘘c b茨ng 0, tuy nhiên, h亥u h院t các giá tr鵜 c栄a các neural trong m衣pi"vj逢運ng có giá tr鵜 f逢挨pi."p‒p"vt逢運ng h嬰p âm ít (hi院m) khi x違y ra. ReLU hu医n luy羽p"pjcpj"j挨p"uq"x噂k"ukioqkf"e pi"d荏k"n#"fq"v逢挨pi"v詠.