Lớp đầy đủ Fully connected layer
Kiến trúc của tầng liên kết đầu đủ tương tự như kiến trúc của mạng nơ-ron nhân tạo được trình bày ở phần đầu tiên. Kết quả đầu ra của cả hai tầng tích chập và tầng tổng hợp đều là các ma trận ở dạng hai chiều hoặc 3 chiều. Trong khi đó, đầu ra mong muốn của hệ thống là một vector một chiều. Để giải quyết vấn đề này trong tầng liên kết đầy đủ, đầu tiên chúng ta tiến hành làm phẳng đầu ra ở lớp tổng hợp cuối cùng thành một vector và vector này chính là đầu vào của các lớp liên kết đầy đủ. Lớp cuối cùng trong tầng liên kết đầy đủ chính là đầu ra của bài tốn được quan tâm đến.
Kỹ thuật DropOut
Đây là một kỹ thuật được sử dụng để giảm Overfitting. Overfitting là trường hợp mà mơ hình được xây dựng q khít so với bộ ngữ luyện huấn luyện. Tuy nhiên, đối với các trường hợp khác ngoài các trường hợp của bộ ngữ luyện huấn luyện thì mơ hình
30
khơng dự đốn được hoặc dự đốn sai. Để giải quyết vấn đề overfitting trong quá trình xây dựng mơ hình, một ý tưởng đơn giản được tiếp cận đó là kỹ thuật dropout. Ý tưởng của kỹ thuật dropout, trong quá trình huấn luyện, ở mỗi lần lặp, một số nơ-ron tạm thời sẽ bị bỏ đi hoặc vơ hiệu hóa với một xác suất p cho trước. Các nơ-ron bị loại bỏ sẽ được liên kết lại ở mỗi bước huấn luyện, do đó, một nơ-ron bị loại bỏ ở bước huấn luyện này thì có thể hoạt động trở lại ở bước huấn luyện tiếp theo. Với cách tiếp cận này, trong quá trình huấn luyện sẽ ngăn chặn được việc mơ hình q phụ thuộc vào một số lượng nhỏ các nơron và buộc mọi nơ-ron có thể hoạt động độc lập với nhau. Hình sau đây là một ví dụ của kỹ thuật dropout trong việc xử lý trường hợp overfitting.