Dễ dàng nhận thấy rằng các nơron trong cùng một lớp nhận được tín hiệu từ lớp có thể xử lý song song.
e) Luật học của mạng nơron
Mạng nơron như một hệ thống thích nghi có khả năng học/huấn luyện để tinh chỉnh các trọng số liên kết cũng như cấu trúc của mình sao cho phù hợp với các mẫu học. Việc xác định cấu trúc mạng hiện nay vẫn theo kinh nghiệm còn các trọng số liên kết được xác định nhờ các luật học.
Luật học là một thủ tục sửa đổi trọng số và ngưỡng của mạng để cho mạng có thể đảm nhận được một nhiệm vụ nào đó. Nó có thể xem là thuật toán huấn luyện mạng. Luật học của mạng nơron có thể phân làm 3 loại [28]: học có giám sát (supervised learning), không giám sát (unsupervised learning) và học tăng cường (Reinforcement learning). Lớp vào Lớp ẩn Lớp ra nơron vào nơron ra
Học có giám sát
Trong học có giám sát, người ta dựa vào một tập mẫu huấn luyện: p1,t1,
p2,t2, ..., pq,tq, trong đó pq là véctơ tín hiệu vào tq là đầu ra đích tương ứng để huấn luyện mạng. Các luật học có giám sát sẽ so sánh tín hiệu ra của mạng với tín hiệu đích của tín hiệu vào tương ứng để hiệu chỉnh trọng số kết nối và các giá trị ngưỡng sao cho tín hiệu ra ngày càng gần với tín hiệu đích (chương 7-12 của [28]).
Học không giám sát
Trong học không giám sát các trọng số và ngưỡng được sửa đổi dựa vào tín hiệu vào (lấy trong tập dữ liệu huấn luyện) mà khơng biết giá trị đích. Hầu hết các thuật tốn loại này là thuật tốn phân cụm. Trong đó ta phân tập dữ liệu D thành k cụm con sao cho mỗi phần tử trong cùng một cụm thì giống nhau hơn là các phần tử khác cụm. Cách phân cụm có thể là rõ hoặc mờ, số cụm có thể biết trước hoặc khơng, chi tiết xem chương 13-16 của [28].
Học tăng cường
Học tăng cường gần giống với học có giám sát ở chỗ có thể đánh giá chất lượng mạng (cho điểm) khi biết tín hiệu vào và ra của nó. Do vậy khi đưa các tín hiệu vào và quan sát tín hiệu ra ta có thể điều chỉnh để chất lượng mạng tốt dần lên. Tuy vậy ta không biết trước giá trị đích của mỗi mẫu tương ứng. Kiểu học này hiện nay ít thơng dụng như học có giám sát. Nó thường phù hợp với những ứng dụng điều khiển hệ thống [28].
1.2.3. Mạng perceptron nhiều tầng MLP (Multi-Layer Perceptrons)
Phần này giới thiệu mạng nơron Perceptrons nhiều tầng, loại mạng thông dụng nhất trong các mạng nhiều tầng truyền tới (Feed-forward Neural network). Nó được sử dụng nhiều trong thực tế hiện nay.
a) Kiến trúc mạng
Mạng MLP là mạng truyền tới nhiều tầng bao gồm các nút nhận tín hiệu vào bằng số, một hoặc nhiều tầng nơron ẩn và tầng nơron ra, trong đó tín hiệu tầng trước được đưa tới tầng sau. Hàm tổng trong các nơron đều có dạng: s=
k i i ix w 1 , các hàm chuyển có thể có dạng khác nhau. Hình 1.12 mô tả mạng nơron 2 tầng nơron với 6 nút vào, 3 nơron tầng ẩn và 2 nơron tầng ra (có thể gọi là mạng 3 tầng ).
Tầng vào: Nếu hàm đang xét có n biến thì có n+1 nút trong đó nút đầu ứng với giá
trị x0 = -1và trọng số là ngưỡng, mỗi nút còn lại ứng với một biến của đối.
Tầng ra: Mỗi một nơron ở tầng ra sẽ ứng với một hàm. Nếu hàm cần xét xấp xỉ có
giá trị là véc tơ M chiều thì có M nơron ở tầng ra.
Tầng ẩn: Số tầng ẩn và lượng nơron của mỗi tầng tuỳ thuộc vào mục đích thiết kế.