Cách thức kết nối các nơron trong mạng xác định kiến trúc của mạng. Các nơron trong mạng có thể kết nối đầy đủ (mỗi nơ ron đều được kết nối với tất cả các nơ ron khác), hoặc kết nối cục bộ (chỉ kết nối giữa các nơron trong các tầng khác nhau). Dựa vào kết nối này, mạng nơ ron được ra hai loại kiến trúc mạng chính là mạng tự kết hợp, các nơ ron đầu vào cũng là nơ ron đầu ra (mạng Hopfield) và mạng kết hợp khác kiểu, nơ ron đầu vào và đầu ra riêng biệt (Perceptron, Kohonen, multilayer perceptron…).
Bên cạnh đó, dựa vào các kết nối từ nơ ron đầu vào tới nơ ron đầu ra mạng nơ ron được chia làm hai loại: Mạng nơ ron truyền thẳng và mạng có kiến trúc phản hồi.
2.3.1. Mạng truyền thẳng(Feed-forward network)
Mạng truyền thẳng là kiểu kiến trúc mạng không có các kết nối ngược trở lại từ các nơ ron đầu ra về các nơ ron đầu vào; mạng không lưu lại các giá
trị output trước và các trạng thái kích hoạt của nơ ron. Các mạng nơ ron truyền thẳng cho phép tín hiệu di chuyển theo một đường duy nhất từ đầu vào tới đầu ra. Đầu ra của một tầng bất kì sẽ không ảnh hưởng tới tầng đó.
Mạng truyền thẳng thường được sử dụng trong các bài toán phân loại và bài toán dự đoán.
Hình 2.15. Mạng nơ ron truyền thẳng
- Mạng truyền thẳng có một số đặc điểm sau:
+ Các perceptron được đặt trong các lớp, lớp đầu tiên nhận dữ liệu đầu vào và lớp cuối cùng trả về dữ liệu đầu ra. Lớp ở giữa không có mối liên kết với các thành phần bên ngoài nên còn được gọi là lớp ẩn.
+ Mối perceptron trong một lớp có liên kết với perceptron ở lớp tiếp theo, thông tin được truyền thẳng theo một chiều từ lớp này sang lớp kế tiếp.
+ Các perceptron ở cùng một lớp không có liên kết với nhau.
2.3.2. Mạng kiến trúc phản hồi(Recurrent neural network)
Mạng kiến trúc phản hồi là kiểu kiến trúc mạng không chỉ truyền dữ liệu theo một chiều, mà còn truyền dữ liệu từ bước sau ngược trở lại bước trước.
Mạng có các kết nối từ nơ ron đầu ra tới nơ ron đầu vào. Mạng lưu lại các trạng thái trước đó, và trạng thái tiếp theo không chỉ phụ thuộc vào các tín hiệu đầu vào mà còn phụ thuộc vào các trạng thái trước đó của mạng. Kiến trúc mạng này được phát triển từ những năm 1980. Mạng thường được sử dụng để giải quyết các bài toán phân cụm. Một số mạng nơ ron thuộc loại này như mạng Hopfield, simple competitive network, adaptive resonance theory network (ART), Kohonen seft organizing maps (SOM).
Hình 2.16. Recurrent neural network