MẠNG RADIAL BASIS

CHƯƠNG 6 MẠNG RADIAL BASIS Mạng Radial Basis có thể yêu cầu nhiều neuron hơn mạng backpropagation feedforward chuẩn, nhưng thường thiết kế ít tốn thời gian hơn mạng feedforward chuẩn. Mạng này sẽ hoạt động tốt khi có nhiều vector huấn luyện. Mạng Radial Basis được thiết kế bằng hàm newrbe hoặc hàm newrb. GRNN và PNN được thiết kế bằng hàm newgrnn và newpnn. 1. HÀM RADIAL BASIS 1.1 Mô hình neuron Mô hình mạng radial basis với R ngõ vào. Ngõ vào neuron của mạng này khác với ngõ vào của những mạng khác. Với mạng này, ngõ vào hàm truyền là vector khoảng cách giữa trọng số w và vector nhập p nhân với ngưỡng b. Hàm truyền cho mạng là radbas (n) = e –n ² . Hàm radial basis đạt giá trò lớn nhất là 1 khi ngõ vào bằng 0. Do đó khi khoảng cách giữa w và p tăng, thì ngõ ra giảm. Ngưỡng b cho phép điều chỉnh độ nhạy của neuron radbas. 1.2 Cấu trúc mạng Mạng radial basis có hai lớp : một lớp ẩn radial basis có S 1 neuron, và một lớp tuyến tính ngõ ra có S 2 neuron. Khối dist trong hình có ngõ vào là vector p và ma trận trọng số IW 1.1 , cho ngõ ra vector S 1 thành phần. Các thành phần này là khoảng cách giữa vector ngõ vào và vector trọng số IW 1.1 . Sau đó ngõ ra khối dist nhân với vector ngưỡng b 1 . 1.3 Thiết kế mạng a. NEWRBE Hàm newrbe tạo ra một mạng có mức sai số bằng 0 với ngõ vào là vector huấn luyện. Hàm được gọi bằng lệnh net = newrbe (P,T,SPREAD). Ngõ vào hàm là ma trận vector P, vector ngõ ra yêu cầu T và một hằng số SPREAD cho lớp radial basis; hàm trả về cho mạng trọng số và ngưỡng phù hợp. Hàm newrbe tạo số neuron radbas bằng số vector ngõ vào P. Do đó, chúng ta có một lớp các neuron radbas mà mỗi neuron nhận dạng một vector khác nhau. Mỗi ngưỡng của lớp thứ nhất được cài đặt bằng 0,8326/, sẽ cho hàm radial basis có giá trò 0.5 khi ngõ vào là ±SPREAD. Điều này xác đònh vùng trong không gian vào với mỗi neuron đáp ứng. Vì vậy SPREAD cần đủ lớn để neuron đáp ứng mạnh trên vùng không gian vào. Lớp thứ hai là lớp tuyến tính được thiết kế dựa trên lớp đầu. Do hàm newrbe tạo một mạng không có sai số trên tập vector huấn luyện. Chỉ với điều kiện SPREAD đủ lớn để vùng ngõ vào của neuron radbas có thể phủ lên nhau sao cho các neuron radbas luôn luôn có nhiều ngõ ra chính xác tại mọi thời điểm. Điều này làm cho hàm của mạng phẳng hơn và cho kết quả tổng quát hóa tốt hơn. Trở ngại của hàm newrbe là tạo nhiều neuron ẩn tương ứng số vector ngõ vào. Vì lý do này, mạng không được chọn khi cần nhiều vector ngõ vào để đònh nghóa chính xác mạng. b. NEWRB Hàm newrb chỉ tạo mạng radial basis một neuron mỗi lần lặp. Các neuron được thêm vào mạng cho đến khi tổng bình phương sai số nhỏ hơn sai số đích hoặc đã đạt được số neuron tối đa. Hàm gọi là : net = newrb ( P, T , GOAL , SPREAD ). Hàm newrb mang đối số là ma trận vector ngõ vào và vector đích (P,T) với các thông số GOAL, SPREAD, trả về mạng yêu cầu. Phương pháp thiết kế newrb tương tự newrbe, nhưng có một khác biệt là newrb tạo các neuron cùng một lúc. Mỗi lần lặp, vector ngõ vào mà cho kết quả sai số mạng nhỏ nhất sẽ được sử dụng để tạo ra một neuron radbas. Lỗi của mạng mới sẽ được kiểm tra nếu đủ nhỏ thì hàm newrb sẽ dừng, ngược lại neuron mới sẽ được cộng thêm. Thủ tục này được lặp lại cho đến khi đạt được sai số lỗi yêu cầu. Tương tự như newrbe, thông số SPREAD phải đủ lớn để các neuron radbas đáp ứng đủ phủ vùng không gian ngõ vào, nhưng nếu quá lớn thì các neuron đáp ứng tương tự nhau. Một câu hỏi đặt ra là tại sao không luôn luôn sử dụng mạng radial basis thay thế cho mạng feedforward chuẩn ? Mạng radial basis, ngay cả khi thiết kế mạng có hiệu quả cao bằng hàm newrbe, cũng có nhiều neuron hơn mạng feed-forward với neuron tansig hoặc logsig trong lớp ẩn. Câu trả lời là với mô hình mạng feddforward các neuron sigmoid có ngõ ra đáp ứng được trên một không gian rộng ngõ vào, còn mô hình mạng radial basis thì các neuron radbas chỉ có thể đáp ứng trên không gian hẹp của ngõ vào. Để đáp ứng được vùng lớn thì cần nhiều neuron radbas. Hơn nữa thiết kế một mạng radial basis cần nhiều thời gian hơn mạng sigmoid / linear. 2. MẠNG HỒI QUY TỔNG QUÁT HÓA ( GRNN) Mạng hồi quy tổng quát hóa (GRNN) thường sử dụng hàm gần đúng. Mạng gồm một lớp radial basis và một lớp tuyến tính đặc biệt. Cấu trúc mạng Mạng này có cấu trúc tương tự mạng radial basis, nhưng hơi khác ở lớp thứ hai. Khối nprod cho ra vector n 2 có S 2 thành phần. Các thành phần được chuẩn hóa bằng tổng các thành phần của a 1 . Lớp thứ nhất giống như mạng radial basis, có số neuron bằng số ngõ vào. Ngưỡng b 1 được cài đặt bằng 0,8326/SPREAD. Lớp thứ hai cũng có số neuron bằng số ngõ vào mạng. Trọng số của lớp thứ nhất được đặt là p T , còn lớp thứ hai là ma trận đích T. SPREAD lớn hơn sẽ phủ một vùng lớn hơn quanh vector vào mà các neuron lớp thứ nhất sẽ đáp ứng ở ngõ ra. Do đó nếu SPREAD nhỏ, hàm radial basis sẽ rất dốc nên neuron có vector trọng số gần nhất với ngõ vào sẽ có tác dụng lớn hơn ở ngõ ra so với các neuron khác. Mạng sẽ có khuynh hướng đáp ứng với vector đích liên kết với vector ngõ vào được thiết kế gần nhất. Khi SPREAD lớn hơn, độ dốc của hàm radial basis phẳng hơn và nhiều neuron sẽ cùng đáp ứng với vector vào. Có thể dùng hàm newgrnn để tạo mạng GRNN. 3. MẠNG XÁC SUẤT (PNN ) Mạng xác suất có thể dùng cho vấn đề phân loại. Khi có ngõ vào, lớp thứ nhất tính khoảng cách giữa vector ngõ vào và vector ngõ vào huấn luyện, mạng sẽ đưa ra vector khoảng cách đó. Lớp thứ hai tính tổng các ngõ ra lớp thứ nhất đối với mỗi nhóm ngõ vào và tạo ngõ ra mạng là vector xác suất. Cuối cùng, hàm truyền cạnh tranh ở ngõ ra của lớp thứ hai lấy thành phần có xác suất lớn nhất, và cho giá trò ngõ ra là 1 đối với lớp đó và 0 đối với tất cả các lớp khác. Cấu trúc mạng Giả sử rằng có Q cặp vector vào/vector đích. Mỗi vector đích có K thành phần. Một trong các thành phần là 1, còn lại là 0. Do đó, mỗi vector vào chỉ ứng với một trong các lớp K. Lớp thứ nhất có trọng số ngõ vào là p T . Khi có một vector vào khối dist  sẽ cho một vector ngõ ra có thành phần là vector khoảng cách giữa ngõ vào và tập huấn luyện. Các thành phần này nhân với ngưỡng và qua hàm truyền radbas. Khi ngõ vào gần với vector huấn luyện sẽ cho ngõ ra giá trò gần bằng 1 ở vector a 1 . Nếu ngõ vào gần với nhiều vector huấn luyện của một lớp đơn, nó sẽ cho ngõ ra nhiều thành phần gần bằng 1 trong a 1 . Trọng số lớp thứ hai là ma trận vector đích T. Mỗi vector chỉ bằng 1 trên hàng liên kết với lớp ngõ vào cụ thể và bằng 0 ở chỗ khác. Phần nhân Ta 1 lấy tổng các thành phần a 1 . Cuối cùng hàm truyền lớp thứ hai, hàm cạnh tranh, cho giá trò bằng 1 tương ứng với thành phần lớn nhất của N 2 và bằng 0 ở chỗ khác. Vì thế mạng đã phân loại vector ngõ vào thành một lớp trong K lớp, vì lớp đó có xác suất đúng lớn nhất. Ta có thể tạo mạng PNN bằng hàm newpnn. 4. KẾT LUẬN Mạng radial basis có thể được thiết kế rất nhanh theo hai cách khác nhau : • Phương pháp 1 dùng newrbe, tìm ra cách giải quyết chính xác. Hàm newrbe tạo mạng radial basis với số neuron radbas bằng số ngõ vào vector trong dữ liệu huấn luyện. • Phương pháp 2 dùng newrb, là mạng kích thước nhỏ nhất có thể giải quyết vấn đề với sai số cho trước. Mạng yêu cầu ít neuron hơn newrbe. Tuy nhiên do số neuron radial basis tỉ lệ với kích thước không gian ngõ vào và độ phức tạp của vấn đề nên mạng radial basis lớn hơn mạng backpropagation. Mạng neural hồi quy tổng quát hóa thường sử dụng hàm xấp xỉ. Khi có đầy đủ số neuron ẩn GRNN có thể tương ứng gần đúng một hàm liên tục với độ chính xác cao. Mạng neural xác suất được dùng cho vấn đề phân loại. Việc thiết kế mạng rõ ràng nhưng không phụ thuộc vào huấn luyện. Khi có đủ dữ liệu huấn luyện PNN được bảo đảm hội tụ tới sự phân loại Bayesian. GRNN và PNN có nhiều ưu điểm, nhưng cả hai có cùng khuyết điểm chính là hoạt động chậm, bởi vì có quá nhiều phép tính. . HÀM RADIAL BASIS 1.1 Mô hình neuron Mô hình mạng radial basis với R ngõ vào. Ngõ vào neuron của mạng này khác với ngõ vào của những mạng khác. Với mạng. sao không luôn luôn sử dụng mạng radial basis thay thế cho mạng feedforward chuẩn ? Mạng radial basis, ngay cả khi thiết kế mạng có hiệu quả cao bằng hàm