Tương tự như Max-pooling lớp Average-Pooling cũng giúp giảm số nơ-ron đi một nửa trong ví dụ minh họa. Tuy nhiên ngày nay Average-Pooling không được sử dụng phổ biến như max-pooling do max-pooling thường đạt được kết quả tốt hơn.
c. L2-Pooling
Tính chuẩn L2 theo cơng thức
v u u t a1×a2 X i=0 |x2 i| (2.23)
Tuy nhiên chuẩn L2 khơng được dùng phổ biến trong quá trình xử lý hình ảnh cả hiện tại và trong quá khứ.
4. Kết nối đầy đủ (Full Conect)
Trong khi những tầng trước có nhiệm vụ trích xuất đặc tính của ảnh thì tầng này có nhiệm vụ phân loại những đặc tính đó thành các lớp biểu diễn cho đầu ra của toàn mạng. Tầng này thường được thiết kế sau cùng của mạng và kết hợp nhiều tầng lại với nhau. Cơ chế thiết kế và hoạt động của tầng FC giống hệt một tầng của mạng thần kinh, nơ-ron trong tầng này được kết nối với toàn bộ nơ-ron của tầng trước đó. Đầu vào của FC là dầu racủa tầng trước đó định dạng kiểu tensor, nếu tầng trước đó khơng phải là một FC thì các tensor sẽ được kéo dãn ra thành 1 vector một chiều sau đó đưa vào tầng này. Q trình kéo dãn khơng làm tăng tham số cho mạng. Những tầng nơ-ron của CNN có thể lặp lại nhiều
lần theo công thức: INPUT -> [[CONV -> RELU]*N -> POOL]*M -> [FC -> RELU]*K -> FC với N, M , K là số lần lặp lại của các cụm tầng nơ-ron để biểu diễn sự phụ thuộc của đầu vào và đầu ra tốt hơn. Đồng thời, quá trình huấn luyện sẽ thay đổi các giá trị trọng số và bộ lọc để phù hợp với mơ hình.
2.4 Nhận dạng captcha sử dụng CNN
Để nhận dạng tự động captcha bằng CNN qua quá trình thực nghiệm trong luận văn này đề xuất 2 hướng tiếp cận để nhận dạng là:
1. Tách và nhận dạng từng ký tự trong ảnh captcha: thường sử dụng với các bộ captcha có nhiễu đơn giản, các kí tự ít bị dính liền. Thơng qua các kỹ thuật tiền xử lý để tách được các ký tự trong captcha ra để nhận dạng.
2. Nhận dạng toàn bộ ký tự trong ảnh captcha: là phương pháp khắc phục điểm yếu của phương pháp trên chỉ hiệu quả với captcha có nhiễu đơn giản. Phương pháp nhận dạng tồn bộ ký tự có thể áp dụng được với hầu hết các loại captcha từ đơn giản đến phức tạp. Tuy nhiên phương pháp vẫn cón hững điểm yếu nhất định như thời gian tính tốn lâu, thực nghiệm tối ưu hóa tiền xử lý và mơ hình CNN với từng kiểu captcha khá phức tạp.