Từ những nghiên cứu về nơron sinh vật ta có thể xây dựng mô hình nơron nhân tạo nhưhình 2.7.
2.4Học của mạng nơron
Luật học (thuật toán huấn luyện) thực hiện thuật toán để điều chỉnh các trọng và ngưỡng hoặc cấu trúc của mạng để có tín hiệu đầu ra mong muốn. Có hai thuật học cơ bản là thuật học tham số quan tâm đến việc điều chỉnh các trọng số, ngưỡng của mạng và thuật học cấu trúc tập trung vào việc điều chỉnh cấu trúc mạng bao gồm số lượng các nơron, số lớp và mối liên kết giữa chúng.
Các thuật học có thể phân thành học có tín hiệu chỉ đạo, học củng cố và học không có hướng dẫn.
Học có tín hiệu chỉ đạo là học đểđưa ra các tín hiệu bám sát các đầu ra mong muốn. Mạng được cung cấp các cặp giá trị mẫu học (p1, d1), (p2, d2),... (pk, dk) là các cặp giá trị đầu vào đầu ra mong muốn. Quá trình học là điều chỉnh trọng số và ngưỡng của mạng để giảm sai số giữa giá trị đầu ra thực tế và đầu ra mong muốn. Luật học điển hình của nhóm này là luật học Delta của Widrow dùng để xấp xỉ trọng của mạng Adaline dựa trên nguyên lý giảm Gradient. Một luật học hiệu quả và được sử dụng rộng rãi trong lĩnh vực mạng nơron là thuật toán lan truyền ngược cũng nằm trong nhóm này với các trọng số và ngưỡng được cập nhật theo luật xấp xỉ giảm dốc nhất. Ngoài ra
49
còn có luật học Perceptron. Về cơ bản luật học Perceptron giống luật học Delta. Điểm khác nhau là luật học Delta thay đổi các giá trị của trọng trong thời gian học, còn luật học Perceptron thêm hoặc bỏ trọng tuỳ theo giá trị sai sốđầu ra là dương hay âm.
Học củng cốđược thực hiện trên thông tin phản hồi hai trạng thái đúng hoặc sai và tín hiệu mang thông tin phản hồi được gọi là tín hiệu cũng cố cho quá trình học.
Quá trình học không có hướng dẫn là quá trình học không có thông tin phản hồi cho biết tín hiệu đầu ra là đúng hay không. Mạng phải tự xác định các cặp dữ liệu mẫu, các tính chất, các quan hệ và mã hóa chúng trong tín hiệu đầu ra. Luật học không có hướng dẫn điển hình là luật Hebb thường dùng cho mạng tự liên kết. Luật học LVQ thường dùng cho mạng nơron tự tổ chức. MNN W Bộ tính sai số X Y d Tín hiệu sai số Đầu ra mong muốn Đầu ra thực tế (a)- Học có tín hiệu chỉđạo MNN W Bộ nhận xét X Y d Tín hiệu nhận xét Đầu ra thực tế Đầu ra mong muốn (b)- Học củng cố MNN W X Y Đầu vào Đầu ra thực tế (c)- Học không có hướng dẫn
50
Hình 2.19 : Sơđồ khối các thuật học của mạng nơron.
Ứng với các nhóm mạng nơron khác nhau thường áp dụng một số luật học nhất định. Nếu tồn tại hàng chục loại mạng nơron khác nhau thì các luật học dùng trong mạng nơron có thể liệt kê gấp nhiều lần.
Đối với mạng nơron phản hồi thường sử dụng luật Hebb và các luật cải tiến của nó để chỉnh trọng mà không cần tín hiệu chỉđạo từ bên ngoài.
Đối với mạng nơron truyền thẳng thường sử dụng luật truyền ngược để chỉnh trọng với tín hiệu chỉđạo từ bên ngoài.
Nếu coi cấu trúc mô hình mạng là phần xương thịt, thể xác thì các luật học là phần trí tuệ thông minh của mạng nơron và các công trình nghiên cứu luật học chiếm số lượng lớn nhất trong mấy chục năm qua.