PHÂN LỚP CẢM XÚC BẰNG MẠNG NƠ-RON DỰA TRÊN RÚT TRÍCH ĐẶC TRƯNG
3.1. Mạng Nơ-ron 1. Giới thiệu chung
3.1.5. Kiến trúc mạng Nơ-ron
Trong bộ não con người, các tế bào thần kinh liên kết với nhau thông qua các kết nối thần kinh tạo thành những mạng lưới với kiến trúc vô cùng phức tạp và đa dạng. Đối với mạng Neuron nhân tạo, chúng ta có ba lớp kiến trúc cơ bản sau:
3.1.5.1. Các mạng tiến (FeedForward) đơn mức:
Trong một mạng Neuron phân mức, các neuron được tổ chức dưới dạng các mức. Với dạng đơn giản nhất của phân mức, chúng ta có một mức đầu vào gồm các nút nguồn chiếu trực tiếp tới các mức đầu ra gồm các neu (các nút tính toán). Như vậy, mạng thực sự là không có chu trình. Nó được minh họa trong hình 3.5 dưới cho trường hợp ba nút với cả mức đầu ra và mức đầu vào. Một mạng như vậy được gọi là mạng đơn mức. “Đơn mức” tức là chỉ có một mức, chính là mức đầu ra gồm các nút tính toán (các neuron). Chúng ta không tính mức đầu vào của các nút nguồn vì không có tính toán nào được thực hiện ở đây.
Hình 3.7. Mạng tiến với một mức Nơ-ron.
3.1.5.2. Các mạng tiến (FeedForward) đa mức:
Lớp thứ hai của một mạng Neuron tiến được phân biệt bởi sự có mặt của một hay nhiều mức ẩn, mà các nút tính tính của chúng được gọi là các neuron ẩn hay các đơn vị ẩn (thuật ngữ “ẩn” ở đây mang ý nghĩa là không tiếp xúc với môi trường).
Chức năng của các neuron ẩn là can thiệp vào giữa đầu vào và đầu ra của mạng một cách hữu hiệu. Bằng việc thêm một vài mức ẩn, mạng có khả năng rút ra được các thống kê bậc cao của tín hiệu đầu vào. Khả năng các neuron ẩn rút ra được các thống kê bậc cao đặc biệt có giá trị khi các mức đầu vào có kích thước lớn.
Các nút nguồn trong mức đầu vào của mạng cung cấp các phần tử của vector đầu vào; chúng tạo nên các tín hiệu đầu vào cho các neuron (các nút tính toán) trong mức thứ hai (mức ẩn thứ nhất). Các tín hiệu đầu ra của mức thứ hai được sử dụng như đầu vào cho các mức thứ ba, và cứ như vậy cho phần còn lại của mạng. Về cơ bản, các neuron trong mỗi mức của mạng có các đầu vào của chúng là các tín hiệu đầu ra của chỉ mức đứng liền trước nó (điều này có thể khác trong thực tế cài đặt).
Tập hợp các tín hiệu đầu ra của các neuron trong mức đầu ra của mạng tạo nên đáp ứng toàn cục của mạng đối với các vector đầu vào được cung cấp bởi các nút nguồn của mức đầu vào. Đồ thị trong hình sau là một mạng 5-3-2 tức là 5 nút nguồn, 3 neuron ẩn và 2 neuron đầu ra.
Mạng neuron trong hình dưới đây được gọi là kết nối đầy đủ với ý nghĩa là tất cả các nút trong mỗi mức của mạng được nối với tất cả các nút trong mức tiếp sau. Nếu một số kết nối synapse không tồn tại trong mạng, chúng ta nói rằng mạng là kết nối không đầy đủ.
Hình 3.8. Mạng tiến kết nối đầy đủ với một mức ẩn và một mức đầu ra.
3.1.5.3. Các mạng hồi quy (Recurrent network):
Trái với mạng nơ-ron dẫn tiến , mạng nơ-ron hồi quy là những mô hình với hai luồng dữ liệu có hướng. Trong khi mạng dẫn tiến truyền dữ liệu theo một đường thẳng thì những mạng nơ-ron quy hồi có ít nhất một phản hồi từ những nơ- ron xử lý sau quay trở lại các nơ-ron xử lý trước đó.
Hình 3.9. Mạng hồi quy không có nơ-ron ẩn và không có vòng lặp tự phản hồi.
Hình 3.10. Mạng hồi quy có các nơ-ron ẩn.
Sự có mặt của các vòng lặp phản hồi, trong cả cấu trúc hồi quy của hình 3.7 và hình 3.8, có một ảnh hưởng sâu sắc đến khả năng học của mạng và đến tính năng của nó. Hơn nữa, các vòng lặp phản hồi bao gồm việc sử dụng các nhánh đặc biệt gồm có các phần tử đơn vị trễ (ký hiệu là z-1), thể hiện một hành vi phi tuyến động theo thời gian (cùng với giả sử rằng mạng neuron bao gồm các đơn vị phi tuyến).