2 Cơ sở lý thuyết
2.2 Convolutional Neural Network (CNN)
2.2.3 Các khái niệm của mạng CNN
Input, Output Volume
CNN sẽ xem dữ liệu đầu vào được tổ chức thành khối 3D, gồm có độ rộng – chiều ngang – độ sâu. Đối với một ảnh thông thường, xác định màu sắc của ảnh dựa vào
2.2. Convolutional Neural Network (CNN)
các kênh màu Red, Green, Blue (RGB), do đó độ sâu của ảnh được biểu thị là 3.
Filter
Mỗi lớp convolutional đều yêu cầu có 1 filter (bộ lọc – ma trận kernel). Một bộ lọc thường có kích thước lẻ và di chuyển tuần tự qua toàn bộ ảnh.
Feature Map
Một feature map là một outout khi một bô loc áp dụng vào một feature map ở layer trước. Nếu có 10 bộ lọc thì sẽ có 10 feature map khác nhau do các bộ lọc có các trọng số khác nhau. Chu trình ánh xạ các inputs thành feature maps nằm trong một lớp được gọi là convolution layers.
Padding
Trong mỗi phép tính convolution thì kích thước của feature maps sau đều nhỏ hơn feature maps trước. Để feature maps sau có kích thước bằng feature maps trước thêm giá trị 0 ở viền ngoài feature maps trước. Hành động trên được gọi là padding.
Stride
Nếu feature maps sau phép tính convolutional có kích thước bằng feature maps trước thì có stride = 1. Nếu stride lớn hơn 1, feature maps sau sẽ thu giảm kích thước sau phép tính convolutional. Phép tính convolutional sẽ nhảy k bước theo chiều dọc và chiều ngang cho khi đến hết feature maps.
Vanishing Gradient
Thuật toán lan truyền ngược (backpropagation algorithm) là một kỹ thuật thường được sử dụng trong quá trình đào tạo của mạng ANN. Ý tưởng chung của thuật toán là sẽ đi từ Output Layer trở về ngược lại Input Layer và tính toán gradient của hàm mất mát (lost function) tương ứng cho từng trọng số của mạng. Quá
2.2. Convolutional Neural Network (CNN)
trình trên sẽ được lặp lại cho tới khi các trọng số của mạng hội tụ.
Hình 2.11: Minh họa Vanishing Gradient
Tuy nhiên trên thực tế, việc tính gradient thường sẽ có giá trị nhỏ dần khi xuống các lớp thấp hơn. Kết quả là các cập nhật thực hiện bởi Gradient Descent không làm thay đổi nhiều về trọng số của lớp đó. Khiến chúng không thể hội tụ và các hệ số của mạng neuron nhân tạo sẽ không học được nữa. Hiện tương như vậy gọi là Vanishing gradient.