Lớp kết nối đầy đủ - FC (Fully Connected – FC)
Lớp Kết nối đầy đủ (Fully Connected - FC) tương tự với lớp trong mạng neural truyền thẳng, các giá trị ảnh được liên kết đầy đủ vào các node trong lớp tiếp theo. Sau khi ảnh được xử lý và rút trích đặc trưng từ các lớp trước đĩ, dữ liệu sẽ khơng cịn quá lớn so với mơ hình truyền thẳng để tiến hành nhận dạng. Lớp kết nối đầy đủ đĩng vai trị phân lớp dữ liệu dựa trên dữ liệu đã được xử lý trước đĩ.
Ở lớp này ta thường dùng hàm softmax để phân loại dữ liệu tương tự như trong mạng neural truyền thẳng.
Hàm softmax là một hàm kích hoạt, thường được sử dụng ở lớp cuối cùng để
36
x, ai thể hiện xác suất để dữ liệu đầu vào đĩ rơi vào lớp thứ i. Điều kiện cần là các ai phải dương và tổng của chúng phải bằng 1. Để cĩ thể thỏa mãn điều kiện này ta phải nhìn vào các zj và dựa trên quan hệ giữa zj để tính tốn các giá trị ai. Giá trị zj
càng lớn thì xác suất dữ liệu rơi vào lớp thứ i càng cao, điều này chỉ ra rằng chúng ta cần một hàm đồng biến ở đây.
Hàm softmax được định nghĩa như sau:
1 1,..., i j z i C z j e a i C e = = =
Giá trị zj cĩ thể nhận giá trị âm hoặc dương. Vì vậy hàm trơn đơn giản zi
e cĩ
thể chắc chắn biến zj thành một giá trị dương, và hơn nữa cịn là hàm đồng biến. Để
đảm bảo tổng các ai luơn bằng một, ta đem chia zi
e cho 1 j C z j e = . Từ đĩ, ta cĩ được định nghĩa về hàm softmax.
Hàm softmax, tính tất cả các ai dựa vào tất cả các zi thỏa mãn tất cả các điều kiện đã xét là dương, tổng bằng 1, và giữ được thứ tự của zi. Với định nghĩa này, khơng cĩ xác suất zi nào hồn tồn bằng 0, hoặc hồn tồn bằng 1, mặc dù chúng cĩ thể rất gần 0 hoặc 1 khi zi rất nhỏ hoặc rất lớn.
Lúc này, ta cĩ thể giả sử rằng
P(yk = i/xk ; W) = ai
Trong đĩ, P(y = i/x; W) được hiểu là xác suất để điểm dữ liệu x rơi vào lớp thứ i nếu biết tham số mơ hình W.
37