hiệu là
( 1) ( ) ( )l dl xdl
W ∈R −
,l=1,2,…,L trong đĩ W(l) thể hiện các kết nối từ layer thứ l−1
tới layer thứ l (nếu ta coi input layer là layer thứ 0). Cụ thể hơn, phần tử w(l)
ij thể hiện kết nối từ node thứ i của layer thứ (l−1) tới node từ j của layer thứ (l). Các
biases của layer thứ (l) được ký hiệu là
( ) ( )l dl
b ∈R
. Khi tối ưu một MLP cho một cơng việc nào đĩ, ta cần đi tìm các weghts và biases này. Tập hợp các weights và biases lần lượt được ký hiệu là W và b.
c. Hàm kích hoạt
Phần lớn các đơn vị trong mạng nơron chuyển net input bằng cách sử dụng một hàm vơ hướng (scalar-to-scalar function) gọi là hàm kích hoạt, kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị (unit's activation).
Hàm kích hoạt f(.) là một là một hàm phi tuyến (nonlinear activation function) cĩ dạng biểu thức véc-tơ là:
( ) ( ) ( 1) ( )
a l (W l Ta l b )l
Các hàm kích hoạt thơng dụng là:
[1] Hàm đồng nhất
Hàm đồng nhất (Linear function, Indentity function) cĩ cơng thức là:
( )
f x =x
Đồ thị của hàm đồng nhất được minh họa trong hình:
Hình 2.10: Đồ thị của hàm đồng nhất
[2] Hàm sigmoid: Tác giả đã trình bày ở thuật tốn Hồi quy Logistic.
[3] Hàm tanh:
Hàm tanh cĩ dạng giống như hàm sigmoid, cơng thức là:
1 ( ) 1 x x e f x e − − − = +
Đồ thị của hàm tanh được minh họa trong hình:
[4] Hàm ReLU:
ReLU (Rectified Linear Unit) được sử dụng rợng rãi gần đây vì tính đơn giản của nĩ. Hàm cĩ cơng thức là: f x( ) max(0, )= x
. Đồ thị của hàm ReLU được minh họa trong hình:
Hình 2.12: Đồ thị của hàm ReLU