Mạng Nơron bao gồm các Nơron và các bộ trọng liên liên các Nơron. Hoạt động của Nơron phụ thuộc phần lớn vào giao tiếp giữa các bộ trọng. Có 3 loại tầng cơ bản: tầng nhập, tầng ẩn, tầng xuất. Hai tầng Nơron liên kết nhau thông qua bộ trọng liên kết của mạng. Có 4 loại liên kết trọng: feedforward, feedback, lateral, time-delay.
Hình A.6.2.5 – 1 : Các loại liên kết của Nơron
Feedforward: dùng cho tất cả mô hình Nơron, dữ liệu từ Nơron ở tầng thấp lan
truyền tới các Nơron tầng cao hơn thông qua liên kết feedforward.
Feedback: truyền dữ liệu từ các Nơron tầng cao ngược về Nơron tầng thấp hơn.
Lateral: ví dụ điển hình là kiểu mạng người thắng lấy tất cả.
Time-delay: các thành phần có thể nhập vào các kết nối của mạng tạo thành mô
Kích thước mạng Nơron: trong mạng feedforward nhiều tầng, có nhiều tầng ẩn giữa tầng nhập và tầng xuất. Kích thước mạng phụ thuộc vào số tầng và số nút ẩn trên mỗi tầng. Số nút ẩn liên quan đến khả năng của mạng.
A.6.3 Mạng nơron RBF: [26][27][28] A.6.3.1. Cấu trúc mạng RBF :
Là mạng neuron hai lớp truyền tiến (two-layer feed-forward network). Những neuron tại lớp thứ nhất được kích hoạt bởi một hàm radial-basic, trong hầu hết các trường hợp đó là một hàm Gaussian :
φ(X) = G(X) = e-1/2[X-μ]T∑-1[X-μ]
Lớp thứ hai (lớp output) của mạng sử dụng dạng của một liên kết tuyến tính của những kết quả RBF. Do đó toàn mạng thi hành với hàm :
F(X) = ∑Mi=1wi φ(X) = ∑Mi=1wi e-1/2[X-μ]T∑-1[X-μ]
Hình A.6.3.1 - 1 : Cấu hình mạng RBF tiêu biểu.
Về phương diện hình học, mô hình những kiểu mẫu được mô tả từ một phân bố Gaussian theo kiểu chia thành một miền tập hợp đơn trong không gian mẫu. Những miền
tập hợp này, được biết trong hình dạng hyper-ellípoids, phân chia không gian mẫu thành một số không gian con. Thông thường một không gian con như thế tương xứng với miền phân bố của một lớp mẫu. Kích thước, vị trí và định hướng của những không gian con hyper-ellipsoidal được xác định duy nhất bởi các tham số μ và ∑. véc tơr μ miêu tả trung tâm không gian con của một lớp mẫu, và ma trận ∑ xác định kích cỡ và hướng của không gian con.
Khái niệm RBF là phân chia mỗi noron RBF ứng với một không gian con tập hợp của mẫu luyện.
Theo qui tắc mạng RBF được miêu tả bởi ∑ là một ma trận đường chéo, như là :
Những không gian con miêu tả loại neuron RBF là hyper-balls trong không gian mẫu đa chiều. Ta sẽ miêu tả tổng quát mạng RBF là :
Trong một không gian mẫu tổng quát, nhiều lớp mẫu có lẽ phải được miêu tả bởi những hàm phi tuyến và không liên tục, phụ thuộc vào độ phức tạp của sự phân bố trong không gian mẫu. trong nhunữg trường hợp này, những mẫu của lớp phải phân ra thành một số tập hợp riêng biệt trong không gian mẫu.Do đó một lớp mẫu có thể không biểu diễn được bằng một không gian con riêng lẻ và liên tục, mà bởi hai hay nhiều không gian con tách rời.
Hình (A.6.3.1 - 2) là ví dụ về biểu diễn không gian con và nó được ánh xạ các không gian con này lên các neuron RBF trong hình (A.6.3.1 - 3).
HìnhA.6.3.1 - 3 : Ánh xạ các tập phân lớp lên neuron RBF.
A.6.3.2. Hoạt động :
Mạng RBF dùng hàm truyền Gauss thay vì dạng S. Lợi điểm của mạng RBF là : đối với bài toán có số biến nhập hạn chế, mạng học nhanh hơn so với mạng NN 3 lớp lan truyền ngược.
Hàm ánh xạ được xây dựng từ mạng RBF khác với ánh xạ được xây dựng ở mạng 3 lớp. Khác biệt chính là ở đơn vị ẩn . Ở đây ta có thể coi như 2 lớp vì giá trị tại lớp ẩn có thể được tính từ lớp nhập mà không cần thay đổi bộ trọng từ lớp nhập đến lớp xuất.
Mỗi đơn vị ẩn có một tham số cho mỗi đầu vào. Các tham số này không phải là các trọng, mà chúng là tọa độ của tâm hàm kết xuất trong không gian nhập. Hàm kết xuất là một hình dạng chuông có chiều cao 1 ở tâm và có chiều rộng được điều khiển bởi 1 tham số bổ sung.
Giả sử mạng có I nút nhập, H nút ẩn và O nút xuất với bộ trọng W1 nối từ lớp nhập đến lớp ẩn. W2 nối từ lớp ẩn đến lớp xuất.
δj = sqrt (∑(xi – W1ij)) , i = 1,2,…,I Giả trị tại nốt ẩn thứ j :
yj = exp (-δj2 / σ j2)
Với σj là bề rộng của hàm Gauss tại noron ẩn thứ j (chọn cố định). Kết quả thu được tại nốt xuất thứ k :
Với j chạy từ 1 đến H trên lớp ẩn. k chạy từ 1 đến O trên lớp xuất. * Quá trình học :
Mạng RBF học nhanh vì chúng tách một bài toán khó thành hai mảnh dễ. Trước tiên chúng sắp xếp các đơn vị ẩn để phủ các mẫu một cách thích hợp.Rồi đặt tham số của các đơn vị xuất để cực tiểu hóa độ đo sai số bậc 2 đơn giản.
Ta có thể dùng phương pháp giảm gradient để học. * Đánh giá :
Vì mạng RBF có thể học một hàm ánh xạ bất kì nên chúng có thể quá khớp trên dữ liệu có nhiễu. Vì thế khi ứng dụng mạng RBF cơ bản vào bài toán chứng thực mặt người với bộ huấn luyện lớn sẽ không tốt vì lượng ảnh nhiễu nhiều.
Mạng RBF có thể được ứng dụng vào các bài toán có ít tập mẫu và ít có nhiễu như nhận dạng kí số, nhận dạng chữ in hoa…