2 CÁC PHƯƠNG PHÁP TIẾP CẬN BÀI TOÁN
1.11 Lớp tổng hợp Pooling Layer (PL) Nguồn: [85]
Ví dụ như hình trên: Đầu vào là một bản đồ đặc trưng với kích thước 224x224x64 sau khi đi qua Lớp tổng hợp - Pooling Layer (PL) kích thước của bản đồ đặc trưng là 112x112x64. Ta nhận thấy kích thước không gian của bản đồ đặc trưng giảm đi một nửa trong khi đó kích thước về độ sâu được giữ nguyên.
1.4 Cơ sở lý thuyết - Mạng nơ-ron hồi quy - Re-
current Neural Network
Mạng CNN được giới thiệu phía trên có tính chất feedforward do luồng thông tin được xử lý tuần tự từ lớp đầu vào đến lớp đầu ra. Như đã phân tích, trong CNN truyền thống tất cả các đầu vào và đầu ra độc lập với nhau, đồng nghĩa với việc chúng không liên kết được thành chuỗi. Tuy nhiên trên thực tế, có rất nhiều bài toán sử dụng thông tin dạng chuỗi làm đầu vào, để giải quyết hiệu quả các bài toán này Mạng nơ-ron hồi quy - Recurrent Neural Network ra đời.
Theo định nghĩa của DeepAI.org[89], Mạng nơ-ron hồi quy - Recurrent Neural Network là một mạng nơ-ron chứa một vòng lặp bên trong nó, do đó nó cho phép thông tin được lưu trữ trong mạng. Cụ thể, RNN sử dụng một bộ nhớ để lưu lại thông tin từ những bước tính toán xử lý trước và dựa vào đó đưa ra dự đoán cho bước hiện tại. Tóm lại, khi mạng được mở rộng có khả năng quyết định dựa vào thông tin hiện tại và quá khứ thì ta gọi những mạng có tính chất vậy là Mạng nơ-ron hồi quy - Recurrent Neural Network. Với tính chất này, RNN phù hợp cho những bài toán có dữ liệu đầu vào dạng chuỗi và các sự kiện trong chuỗi có liên hệ với nhau. Hiện nay, mạng nơ-ron hồi quy đang được ứng dụng rộng rãi vào các bài toán Xử lý ngôn ngữ tự nhiên - Natural Language Processing như: Dịch máy - Machine Translation (Bahdanau et al., 2015[33]), tạo chú thích hình ảnh - Image Caption Generation (Xu et al., 2015[34]), tạo các cuộc hội thoại - Dialogue Generation (Wen et al., 2015[35]).