Việc sử dụng kết nối tắt đã gỡ bỏ cản trở cho luồng gradient, qua đĩ đem lại những hệ quả quan trọng trong sự vận hành của thuật tốn lan truyền ngược. Các kết nối tắt áp dụng các hàm super-highway để kích hoạt luồng gradient, cho phép nhiều đường với độ dài đa dạng cùng tồn tại từ đầu vào đến đầu ra. Trong trường hợp như vậy, những đường đi ngắn nhất thực hiện phần lớn việc học trong khi đĩ các đường đi dài hơn được xem như là những đĩng gĩp bổ sung. Đặc tính này đem lại cho thuật tốn học máy sự linh hoạt trong quá trình chọn lọc mức độ phi tuyến thích hợp với một đầu vào cụ thể. Đầu vào được phân lớp với độ phi tuyến thấp sẽ bỏ qua rất nhiều liên kết. Những đầu vào khác ít phức tạp hơn cĩ thể truyền một lượng lớn liên kết để trích xuất các đặc tính liên quan. Vì vậy, cách tiếp cận này cũng được xem như một phương pháp học thặng dư. Nĩi cách khác, phương thức này rất phù hợp cho các trường hợp mà các khía cạnh khác nhau của ảnh cĩ độ phức tạp khác nhau.
65
2.3.4. Mạng Densenet
Densenet (Dense connected convolutional network) là một trong những netwok mới nhất cho visual object recognition. Nĩ cũng gần giống Resnet nhưng cĩ một vài điểm khác biệt. Densenet cĩ cấu trúc gồm các dense block và các transition layers. Được stack dense block- transition layers-dense block- transition layers như hình vẽ. Với CNN truyền thống nếu chúng ta cĩ L layer thì sẽ cĩ L connection, cịn trong densenet sẽ cĩ L(L+1)/2 connection. [12]
Hình 2.15. Mạng Densenet
Hãy tưởng tượng ban đầu ta cĩ 1 image size (28,28,3). Đầu tiên ta khởi tạo feature layer bằng Conv tạo ra 1layer size (28,28,24). Sau mỗi layer tiếp theo (Trong dense block) nĩ sẽ tạo thêm K= 12 feature giữa nguyên width và height. Khi đĩ output tiếp theo sẽ là (28,28,24 +12), (28,28,24 +12+12). Ở mỗi dense block sẽ cĩ normalization, nonlinearity và dropout. Để giảm size và depth của feature thì transition layer được đặt giữa các dense block, nĩ gồm Conv kernel size =1, average pooling (2x2) với stride = 2 nĩ sẽ giảm output thành (14,14,48)
66