Nguồn: https://images.viblo.asia/cc4ae912-a9ce-4815-a3ca-e859999432af.png.
- Lớp kết nối đầy đủ (fully connected layer): Kiến trúc của tầng liên kết
đầy đủ tƣơng tự nhƣ kiến trúc của mạng nơ-ron nhân tạo đƣợc trình bày ở phần đầu tiên. Kết quả đầu ra của cả hai tầng tích chập và tầng tổng hợp đều là các ma trận ở dạng hai chiều hoặc 3 chiều. Trong khi đĩ, đầu ra mong muốn của hệ thống là một vector một chiều. Để giải quyết vấn đề này trong tầng liên kết đầy đủ, đầu tiên chúng ta tiến hành làm phẳng đầu ra ở lớp tổng hợp cuối cùng thành một vector và vector này chính là đầu vào của các lớp liên kết đầy đủ. Lớp cuối cùng trong tầng liên kết đầy đủ chính là đầu ra của bài tốn đƣợc quan tâm đến.
+ Hàm kích hoạt: Trong một mạng nơ-ron nhân tạo hàm kích hoạt (activation function) đĩng vai trị là thành phần phi tuyến tại đầu ra của các nơ- ron. Hàm kích hoạt mơ phỏng tỷ lệ truyền xung qua axon của một neuron thần
kinh. Sau đây nhĩm nghiên cứu sẽ trình bày chi tiết một số hàm kích hoạt đƣợc sử dụng trong các mạng trí tuệ nhân tạo và ƣu điểm và nhƣợc điểm của chúng.
+ Hàm Sigmoid: Dƣới đây là cơng thức của hàm kích hoạt Sigmoid và
Hình 1.9 trình bày đồ thị hàm Sigmoid.
Hàm Sigmoid nhận đầu vào là một số thực và chuyển thành một giá trị trong khoảng (0;1). Đầu vào là số thực âm rất nhỏ sẽ cho đầu ra tiệm cận với 0, ngƣợc lại, nếu đầu vào là một số thực dƣơng lớn sẽ cho đầu ra là một số tiệm cận với 1. Trong quá khứ hàm Sigmoid hay đƣợc dùng vì cĩ đạo hàm rất đẹp. Tuy nhiên hiện nay hàm Sigmoid rất ít đƣợc dùng vì những nhƣợc điểm sau:
* Hàm Sigmoid bão hồ và triệt tiêu gradient
* Hàm Sigmoid khơng cĩ trung tâm là 0 gây khĩ khăn cho việc hội tụ
+ Hàm Relu: Hàm ReLU đang đƣợc sử dụng khá nhiều trong những năm
gần đây khi huấn luyện các mạng nơ-ron. ReLU đơn giản lọc các giá trị < 0. Nhìn vào cơng thức chúng ta dễ dàng hiểu đƣợc cách hoạt động của nĩ.