Trong hình trên, các feature map sẽ được duỗi thành các vector đặc trưng (x1, x2, x3, x4). Với các lớp fully connected, ta kết hợp các đặc trưng này tạo thành một mô hình. Cuối cùng, ta có một hàm kích hoạt như softmax hoặc sigmoid để phân loại đầu ra.
2.5. ResNet
2.5.1. Giới thiệu
Khi xây dựng mạng CNN với nhiều lớp tích chập sẽ xảy ra hiện tượng Vanishing Gradient dẫn tới kết quả học không tốt và ResNet (Residual Network) [6] đã được phát triển để giải quyết vấn đề đó.
ResNet đã giành vị trí thứ nhất trong cuộc thi ILSVRC 2015 với tỉ lệ lỗi top 5 (chỉ 3.57%). Không những thế, nó còn đứng đầu trong cuộc thi ILSVRC and COCO 2015 với ImageNet Detection, ImageNet localization, Coco detection và Coco segmentation. Hiện tại, có rất nhiều biến thể của kiến trúc ResNet với số lớp khác nhau như ResNet-18, ResNet-34, ResNet-50, ResNet-101, ResNet-152... Với tên là ResNet theo sau là một số chỉ kiến trúc ResNet với số lớp nhất định.
27
2.5.2. Vanishing Gradient
Backpropagation Algorithm (lan truyền ngược) là một kỹ thuật thường được sử dụng trong quá trình training. Ý tưởng chung của thuật toán này là sẽ đi từ output layer đến input layer và tính tốn gradient của cost function tương ứng cho từng parameter (weight) của mạng. Gradient Descent sau đó được sử dụng để cập nhật các parameter đó. Tồn bộ q trình trên sẽ được lặp đi lặp lại cho tới khi mà các parameter của network được hội tụ. Thơng thường chúng ta sẽ có một hyperparameter (sớ Epoch – sớ lần mà training set được duyệt qua một lần và weights được cập nhật) định nghĩa cho sớ lượng vịng lặp để thực hiện q trình này. Nếu sớ lượng vịng lặp quá nhỏ thì ta gặp phải trường hợp mạng có thể sẽ khơng cho ra kết quả tốt, ngược lại, thời gian training sẽ lâu nếu sớ lượng vịng lặp q lớn.
Tuy nhiên, trong thực tế Gradients thường sẽ có giá trị nhỏ dần khi đi x́ng các layer thấp hơn. Dẫn đến kết quả là các cập nhật thực hiện bởi Gradients Descent không làm thay đổi nhiều weights của các layer đó và làm chúng không thể hội tụ và mạng sẽ không thu được kết quả tốt. Hiện tượng như vậy gọi là Vanishing Gradients.
2.5.3. Kiến trúc mạng ResNet
Tương tự với các mạng CNN truyền thống, ResNet gồm có các convolution, pooling, fully connected layer. Song, để khắc phục Vanishing Gradient, giải pháp mà ResNet đưa ra là sử dụng kết nối "tắt" đồng nhất để xuyên qua một hay nhiều lớp. Một khối như vậy được gọi là một Residual Block như hình sau: