b) Phương pháp độ cao
3.3.4.2. Mạng nơron nhiều lớp truyền thẳng a) Cấu trúc của mạng
a) Cấu trúc của mạng
Mạng MLP truyền thẳng ngoài lớp đầu vào, đầu ra còn có một lớp ẩn bên trong. Mỗi nơ ron trong một lớp nhất định được nối tới mỗi nơ ron của lớp tiếp theo, không có kết quả phản hồi.
Khi đó để xây dựng một mạng ta cần phải xác định cả hai tập S và P này. Thông thường, quá trình xác định S và P phụ thuộc vào tập những dữ liệu mẫu {x(k), d(k)}, k = 1, 2, ..., p, đã được lưu trữ từ những tình huống vận hành thực tế của hệ thống. Mạng sẽ được học nhằm xây dựng một cặp S và P tốt nhất và từ đó nó có khả năng dựđoán một kết quả y khi có một đầu vào x nào đó sao cho bộ (x, y) này cũng đảm bảo được tính quy luật như tập mẫu.
Mạng MLP truyền thẳng thường dùng trong thực tế có dạng một lớp vào, một lớp ra và một lớp ẩn. Khi đó công việc xác định bộ thông số S chỉ là chỉ ra cụ thể xem lớp ẩn có bao nhiêu nơ ron. Việc thực hiện này thường được thực hiện dựa trên kinh nghiệm hoặc phép thử và sai, và thực ra cũng không có quá nhiều lựa chọn cho tham số S này. Một quy luật đơn giản có thể áp dụng để xác định số nơ ron lớp ẩn của mạng MLP này như sau:
Nếu gọi: h = số nơ ron lớp ẩn; m = kích thước của lớp vào; n = kích thước của lớp ra; p = kích thước của tập mẫu huấn luyện. Số tham số tự do (số trọng số wi của mô hình) là w = h(n+m). w cần phải nhỏ hơn kích thước của tập huấn luyện khoảng 1/5 lần. Do đó số nơ ron lớp ẩn được tính gần đúng:
h = p
(5(n m)+ (3.20)
Để xác định bộ trọng số P, một phương pháp thường áp dụng nhất đó là áp dụng thuật toán lan truyền ngược với kỹ thuật cập nhật các trọng số theo hướng giảm gradien. Hình 3.18. Mạng MLP truyền thẳng xm x1 x2 ym y1 y2 Lớp ẩn (i) Lớp vào Lớp ra