Khi xét mạng nơron sinh học ng−ời ta nhận thấy: các tín hiệu do các nơron tạo ra rất giống nhau và hầu nh− không thể phân biệt đ−ợc cho dù đó là nơron của loại sinh vật nào. Rõ ràng c−ờng độ tín hiệu đ−ợc tạo ra bởi các nơron có thể khác nhau phụ thuộc vào c−ờng độ kích thích nh−ng bề ngoài của các tín hiệu lại rất
f(x)
x
1.0
0.5
giống nhau. Điều đó chứng tỏ rằng việc thực hiện chức năng của bộ não không phụ thuộc quá nhiều vào vai trò của một nơron đơn lẻ mà phụ thuộc vào toàn bộ hệ thống nơron. Nghĩa là phụ thuộc vào cách liên kết giữa các nơron, hay có thể nói việc thực hiện các chức năng phụ thuộc vào cấu trúc của mạng nơron.
Trong mô hình mạng nơron nhân tạo, các nơron đ−ợc nối với nhau bởi các liên kết nơron, mỗi liên kết có một trọng số đặc tr−ng cho đặc tính kích hoạt hay ức chế giữa các nơron. Đồng thời, các nơron đ−ợc nhóm lại với nhau theo cấu trúc phân lớp, bao gồm: lớp vào (input layer), lớp ra (output layer) và lớp ẩn (hidden layer).
ắ Lớp vào: Các nút trong lớp vào gọi là các nút vào, chúng mã hoá mẫu đ−ợc đ−a vào mạng xử lý. Các nơron vào không xử lý thông tin, chỉ phân tán thông tin cho nút khác (trên biểu đồ chúng đ−ợc vẽ khác các nút ẩn và các nút ra để phân biệt giữa các nút có xử lý và không xử lý thông tin)
ắ Lớp ẩn: Các nơron trong lớp ẩn gọi là các nút ẩn vì chúng không thể quan sát đ−ợc trực tiếp. Chúng tạo thành các mô hình toán học phi tuyến cho mạng.
ắ Lớp ra: Các nơron trong lớp này gọi là các nút ra, chúng có nhiệm vụ đ−a thông tin ra thích nghi mẫu mã ng−ời sử dụng cần.
Một mạng đ−ợc gọi là kết nối đầy đủ nếu tất cả các nút của một lớp đ−ợc nối với tất cả các nút của lớp kề liền nó. Có nhiều loại kết nói khác nhau:
ắ Kết nối liên lớp là kết nối giữa các nút trong các lớp khác nhau
ắ Kết nối trong lớp là kết nối giữa các nút trong cùng một lớp.
ắ Tự kết nối là kết nối từ một nút tới chính nó.
ắ Kết nói siêu lớp là kết nối giữa các lớp cách nhau (không kề nhau).
Một kết nối bậc cao là một kết nối với nhiều nút đầu vào. Số các nút đầu vào xác định bậc kết nối và bậc kết nối của mạng là bậc của kết nối bậc cao nhất.
2.1.4.1. Phân loại mạng nơron
Một cách hình thức, có thể biểu diễn mạng nơron nh− một đồ thị có h−ớng G = (N, A). Trong đó tập đỉnh N biều diễn các phần tử xử lý, tập các cung A biểu diễn liên kết giữa các phần tử xử lý, chiều của cung chỉ h−ớng của tín hiệu xử lý.
ắ Mạng nơron truyền thẳng (feed – forward Neural Network): Trong mạng, các liên kết nơron chỉ đi theo một h−ớng từ lớp vào đến lớp ra, không tạo thành chu trình với các đỉnh là các nơron, các cung là các liên kết giữa chúng [10].
x1 x2 h2 xl h1 hm y1 y2 yn … … … x0 h0 Lớp vào Lớp ẩn Lớp ra bias bias ) 1 ( ji w (2) kj w
Hình 2.5: Mạng nơron truyền thẳng nhiều lớp (Feed-Forward Neural Network)
ắ Mạng hồi quy: cho phép các liên kết nơron tạo thành chu trình, có thông tin đ−ợc xử lý theo hai chiều. Vì các thông tin ra của các nơron đ−ợc truyền lại cho các nơron đã góp phần kích hoạt chúng nên mạng hồi quy còn có khả năng l−u giữ trạng thái trong của nó d−ới dạng các ng−ỡng kích hoạt ngoài các trọng số liên kết nơron [10]. x0 x1 h1 xl h0 y0 y1 yn … … … x0 x1 h1 xl h0 hm y0 y1 yn … … … Lớp vào Lớp ẩn Lớp ra
Hình 2.6: Mạng hồi quy (Recurrent Neural Network)
ắ Mạng kết nối đối xứng và không đối xứng: Mạng kết nối đối xứng là mạng thoả mãn nếu có một đ−ờng nối từ nút i đến nút j thì cũng có một đ−ờng nối từ nút j đến nút i và trọng số t−ơng ứng với hai đ−ờng nối này là bằng nhau: wji = wij . Mạng không thoả mãn điều kiện trên là kết nối không đối xứng.
Mạng chỉ gồm một lớp vào và một lớp ra gọi là mạng đơn lớp hay mạng một lớp. Mạng có từ một lớp ẩn trở lên đ−ợc gọi là mạng đa lớp hay mạng nhiều lớp. Một mạng đa lớp đ−ợc gọi là mạng n lớp với n là tổng số lớp ẩn và lớp ra.
Trong mô hình mạng đa lớp, đầu ra của các phần tử tính toán tại một lớp là đầu vào của lớp tiếp theo. Không cho phép các liên kết giữa các nơron trong cùng một lớp, cũng không cho phép các liên kết nơron nhảy qua một lớp trở lên.