Là cấu trúc mạng đơn giản nhất được dùng phổ biến được dùng để giải quyết các vấn đề đơn giản về phân loại và có thể mô phỏng các hàm phức tạp tùy theo số lớp và số Neural mỗi lớp. Mô hình này dùng kỹ thuật chia không gian mẫu dựa trên khái niệm đường thẳng.
Mỗi Neural lấy tổng trọng số và ngưỡng của ngõ vào, qua hàm truyền đến ngõ ra, các Neural được sắp xếp theo các lớp tới. Hàm truyền cho các nơron là hàm truyền mức giá trị 0 hoặc 1
Lỗi trong một cấu hình cụ thể của mạng sẽ được xác định bằng cách cho chạy tất cả các trường hợp huấn luyện qua mạng, so sánh giá trị ngõ ra
của mạng với giá trị mong muốn. Lỗi này được tính theo hàm sai số của mạng. Thông thường hàm sai số là tổng bình phương lỗi (SSE – Sum Squared Error).
Mạng Tuyến Tính (Adapt Linear Neural Network):
Mạng tuyến tính (ADALINE) tương tự như mạng percepton, tuy nhiên hàm truyền của các neural là hàm tuyến tính nhiều mức giá trị hơn so với hàm mức của mạng percepton. Tuy nhiên cả mạng percepton và mạng tuyến tính chỉ cũng giải quyết được các bài toán tuyến tính, chưa giải quyết được các bài toán phi tuyến cho các ứng dụng trong thực tế. Mạng Nuôi Tuyến Lan Truyền Nguợc (Back Propagation Feed
Forward Network):
Đây là một cải tiến so với mạng percepton và mạng tuyến tính . Các hàm truyền phi tuyến của các neural rất đa dạng , do đó có thể giải quyết được những bài toán phi tuyến phức tạp của các ứng dụng thực tế. Giải thuật lan truyền ngược được sử dụng phổ biến và hoàn toàn có thể đáp ứng được những yêu cầu của các bài toán phức tạp .Việc thiết kế mạng lan truyền ngược cũng khá đơn giản, chính vì vậy , mạng lan truyền ngược đựoc sử dụng trong chương trình này. Chúng ta sẽ đề cập kĩ hơn trong các phần sau.
Radial Basis (RBF):
Mô hình này dùng kỹ thuật chia không gian mẫu dựa trên khái niệm vòng tròn hay nói một cách tổng quát hơn là siêu hình cầu.
Mạng Radial Basis đòi hỏi nhiều nơron hơn mạng nuôi tiến lan truyền ngược nhưng thường lại huấn luyện nhanh hơn so với mạng lan truyền ngược.
Mạng Kohonen :
Mạng này dùng để thiết kế chuỗi cho việc học không giám sát.
Có khả năng tự tổ chức học nhận ra các nhóm vector ngõ vào tương tự nhau nên đây là lợi điểm dùng cho các ứng dụng nhận dạng.
Tầm ứng dụng thấp, khả năng linh động kém. Mạng Tự Tổ Chức (Self Organization Network):
Mạng có thể kiểm tra mức độ thường xuyên và mối liên hệ của các đầu vào và các đáp ứng ngõ ra hợp lý tương ứng. Các neural trong mạng cạnh tranh có khả năng nhận ra các đầu vào tương tự nhau.
Mạng LVQ (Learning Vector Quantization):
Mạng này dùng để huấn luyện cho các lớp cạnh tranh trong việc học có giám sát.Một lớp học cạnh tranh sẽ tự động phân chia các vector đầu vào thành các lớp , tuy nhiên các lớp này chỉ phụ thuộc khoảng cách giữa các vector đầu vào. Nếu hai đầu vào tương tự nhau sẽ được sắp xếp vào một lớp.
5.2. Mạng hồi quy (recurrent network):
Giống mạng có cấu trúc tiến nhưng nó còn chứa các kết nối ngược trở về các Neural trước đó. Mạng có thể chạy không ổn định và dao động rất phức tạp gồm: Elman và Hopfield network.
6. Cơ sở lý thuyết và giải thuật huấn luyện cho mạng lan truyền ngược:
6.1. Cấu trúc mạng lan truyền ngược:
Các Loại Neural (Tansig , Logsig , Purelin):
Một loại neural có R ngõ vào thể hiện như sau