2.3.2.3.Pooling layer
Lớp pooling thường được sử dụng ngay sau lớp convolution để làm giảm kích thước của mỗi feature map nhưng vẫn giữ lại thông tin quan trọng. Lớp pooling có thể có nhiều loại khác nhau như:
• Max Pooling: Lấy giá trị lớn nhất từ mỗi mẫu con của feature map. • Average Pooling: Lấy giá trị trung bình từ mỗi mẫu con của feature
map.
• Sum Pooling: Lấy tổng của các giá trị trong mỗi mẫu con của feature map.
15
2.3.2.4.Fully connected layer
Fully connected là cách kết nối phổ biến trong NN mà lớp phía sau kết nối đầy đủ với lớp phía trước của nó. Trong CNN, fully connected layer thực hiện duỗi ma trận đầu ra của lớp pooling trước đó thành vector đặc trưng. Cuối cùng, ta có một hàm kích hoạt như softmax hoặc sigmoid để phân loại đầu ra.
2.3.3.Residual Network 2.3.3.1.Giới thiệu 2.3.3.1.Giới thiệu
Khi xây dựng mạng CNN với nhiều lớp convolution sẽ xảy ra hiện tượng Vanishing Gradient dẫn tới kết quả học không tốt và ResNet (Residual Network) [10] đã được phát triển để giải quyết vấn đề đó.
ResNet đã giành vị trí thứ nhất trong cuộc thi ILSVRC 2015 với tỉ lệ lỗi chỉ 3.57%. Khơng những thế, nó cịn đứng đầu trong cuộc thi ILSVRC and COCO 2015 với ImageNet Detection, ImageNet localization, Coco detection và Coco segmentation. Hiện tại, có rất nhiều biến thể của kiến trúc ResNet với số lớp khác nhau như ResNet-18, ResNet-34, ResNet-50, ResNet-101, ResNet-152... các biến thể được đặt tên là ResNet theo sau là một số chỉ số lớp nhất định.
2.3.3.2.Vanishing Gradient
Backpropagation Algorithm (lan truyền ngược) là một kỹ thuật thường được sử dụng trong quá trình huấn luyện. Ý tưởng chung của thuật toán này là sẽ đi từ output layer đến input layer và tính tốn gradient của cost function tương ứng cho từng parameter (weight) của mạng. Gradient Descent sau đó được sử dụng để cập nhật các parameter đó. Tồn bộ q trình trên sẽ được lặp đi lặp lại cho tới khi các parameter của mạng được hội tụ. Thơng thường chúng ta sẽ có một hyperparameter (số Epoch – số lần mà training set được duyệt qua một lần và weight được cập nhật) định nghĩa cho số lượng vịng lặp để thực hiện q trình này. Nếu số lượng vịng lặp quá nhỏ thì ta gặp phải trường hợp mạng có thể sẽ khơng cho ra kết quả tốt, ngược lại, thời gian huấn luyện sẽ lâu nếu số lượng vòng lặp quá lớn.
16
Tuy nhiên, trong thực tế, Gradient thường sẽ có giá trị nhỏ dần khi đi xuống các layer thấp hơn. Dẫn đến kết quả là các cập nhật thực hiện bởi Gradients Descent không làm thay đổi nhiều về weight của các layer đó, làm chúng khơng thể hội tụ và mạng sẽ không thu được kết quả tốt. Hiện tượng như vậy gọi là Vanishing Gradients.
2.3.3.3.Kiến trúc mạng ResNet
Tương tự với các mạng CNN truyền thống, ResNet [10] gồm có convolution, pooling, fully connected layer. Song, để khắc phục Vanishing Gradient, giải pháp mà ResNet đưa ra là sử dụng kết nối "tắt" đồng nhất để xuyên qua một hay nhiều lớp. Một khối như vậy được gọi là một Residual Block.