3.3 .b Deformable ROI Pooling
9 Ví dụ minh họa lớp Pooling sử dụng Max Pooling và Average Pooling có
3.2.c Lớp Fully-connected (Fully-connected Layer)
Tương tự như trong mạng NN thơng thường, các neural ở lớp Fully-connected sẽ có kết nối với tất cả các neural ở lớp trước nó. Hàm kích hoạt ở các lớp này thường được tính là hàm nhân hai ma trận và cộng thêm một độ lệch bias.
3.3 Deformable Convolutional Neural Network [4]
Mạng CNN được sử dụng rộng rãi trong nhiều lĩnh vực của thị giác máy tính như nhận diên vật thể, phân lớp đối tượng, phân đoạn đối tượng,... Tuy nhiên, mạng CNN vẫn gặp phải một số hạn chế về mơ hình chuyển đổi hình học bởi vì cấu trúc hình học cố định trong các mơ đun của nó. Chính vì thế, deformable convolutional neural network được mơ tả như hình 10 ra đời với hai mơ đun là deformable convolution và deformable ROI Pooling. Hai mô đun này dựa trên ý tưởng về agumentation dữ liệu trong các mô đun bằng việc thêm các offset và học các offset này.
3.3.a Deformable Convolution
Deformable Convolution thêm vào conolution chuẩn các 2D offset. Điều này sẽ giúp quá trình lấy mẫu để tính tốn được tự do hơn. Các giá trị offset này sẽ được học từ các feature maps trước đó. Vì vậy, các input của quá trình này vừa đảm bảo tính local, mật độ thơng tin cao.
1. Lấy mẫu bằng cách sử kernel hay lưới R trượt qua bản đồ đặc trưng đầu vào. 2. Tổng hợp các giá trị lấy mẫu có đánh trọng số bởi w (weight)
3.3.b Deformable ROI Pooling
Cách thức hoạt động của lớp này diễn ra như sa:
1. RoI pooling chia RoI hay vùng đầu vào thành k x k ô và bản đồ đặc trưng đầu ra y có kích thước k x k
2. Với mỗi ơ có vị trí tọa độ (i, j) ở RoI đầu vào, ô vị trí (i, j) ở feature map đầu ra