IX. THUẬT TỐN ILA (Inductive Learning Algorithm)
4. Mạng neural nhân tạo
- Mạng neural là một thuật ngữ nĩi đến một phương pháp giải quyết vấn đề - bài tốn trên máy tính mơ phỏng theo hoạt động của các tế bào thần kinh trong bộ não.
- Mạng neural nhân tạo là sự mơ phỏng cấu trúc của mạng neural sinh học. Mạng neural nhân tạo được tạo thành bởi sự nối kết giữa rất nhiều đơn vị thần kinh gọi là
perceptron. Những đơn vị này cĩ nhiệm vụ nhận các tín hiệu từ các đơn vị khác hoặc từ dữ liệu nhập. Thơng qua các mối liên kết, đơn vị sẽ tiến hành tổng hợp tín hiệu, xử lý và truyền các tính hiệu sang các đơn vị thần kinh khác hoặc đến đầu ra.
Units Input
Cung liên kết (cung trong số Wi)
Unit OutPut
Hình 3.2 cấu trúc một đơn vị thần kinh nhân tạo Trong đĩ:
- x1, …, xn là các giá trị truyền đến đơn vị thần kinh nhân tạo (giá trị này cĩ thể là giá trị xuất từ một neural khác hoặc từ đầu vào).
- w1, …, wn là các trọng số ứng với mỗi giá trị được truyền đến neural.
- Giá trị đầu ra y của một perceptron được tính bằng cơng thức sau: y = f((xnwn+ xn-1wn-1 + … + w2n2 + w1n1 + w0) - φ) .
φ được gọi là ngưỡng kích hoạch của neural
Hàm f được gọi là hàm truyền. Một hàm truyền phải cĩ những tính chất sau: Bị chặn
Đơn điệu tăng Hàm liên tục tăng
2 Các hàm truyền thống được sử dụng
- Hàm logistic (hay cịn gọi là hàm Sigma): f(x) =
- Hàm hyperbol: h(x) =
- Hàm tang-hyperbol: tanh(x) =
3 Mơ hình mạng neural nhân tạo
1 Mạng neural một lớp
- Mạng neural một lớp là một nhĩm các neural cĩ đặc điểm tương tự nhau, nghĩa là chúng nhận cùng tính hiệu đầu vào nhưng các trọng số cĩ thể khác nhau.
- Mạng neural một lớp là mạng chỉ cĩ một lớp nhận nhiệm vụ tính tốn để đưa ra kết quả.
Hình 3.3 mơ hình minh họa mạng neural 1 lớp
2 Mạng neural nhiều lớp
- Mạng neural nhiều lớp là mạng neural gồm cĩ 2 hay nhiều lớp tính tốn, nghĩa là ngồi lớp input và lớp output, cịn cĩ một số lớp xen giữa hai lớp này gọi là các lớp ẩn.
Hình 3.4 mơ hình mạng neural tổng quát
- Nguyên tắc hoạt động cơ bản của mạng neural là quá trình học qua nhiều thế hệ. Để cĩ thể học được cũng như con người ta phải cĩ những mẫu dùng để học.
- Mạng neural n lớp đều cĩ thể đưa về mạng neural 2 lớp
3 Mạng lan truyền ngược
1 Định nghĩa: Mạng lan truyền ngược là mạng neural nhiều lớp, bao gồm lớp input, lớp output và một hay nhiều lớp ẩn. Trong mạng thơng tin được truyền từ lớp này sang lớp khác theo cả hai chiều, chiều tiến và chiều ngược. Trong suốt quá trình lan truyền ngược, các bộ trọng số được cập nhật sao cho sai số giữa giá trị output và kết quả mong đợi giảm dần sau mỗi lượt lan truyền.
Lớp input
Các lớp ẩn Lớp ouput
1 nếu v 0 -1 nếu v < 0 0 0
Hình 3.4 mơ hình mạng lan truyền ngược 2 lớp ẩn
2 Nguyên tắc hoạt động của mạng lan truyền ngược
1 Tín hiệu hàm: Là tín hiệu xuất phát từ đầu vào của mạng, lan truyền theo chiều tiến, từ nơ ron này qua nơ ron kia và kết thúc tại đầu ra của mạng.
2 Tín hiệu lỗi: Là tín hiệu xuất phát từ đầu ra của mạng, lan truyền theo chiều ngược, cũng qua lần lượt các lớp ẩn, kết thúc tại đầu vào của mạng.
- Trong một ứng dụng mạng lan truyền ngược, cĩ hai quá trình tính tốn phân biệt nhau. Thứ nhất là quá trình lan truyền tiến và thứ hai là quá trình lan truyền ngược.
- Trong quá trình lan truyền tiến, tất cả các trọng số của các cung mạng khơng thay đổi, các tín hiệu hàm được tính từ trái qua phải, từ nơ ron này qua nơ ron kia.
- Trong quá trình lan truyền ngược, tính hiệu lỗi xuất phát từ lớp output lan truyền ngược về phía input. Trong khi lan truyền các trọng số được cập nhật theo chiều hướng làm cho giá trị output gần với giá trị mong muốn.
4 Mạng perceptron
1 Định nghĩa: Mạng perceptron là mạng neural được hình thành từ một nơ ron đơn với hàm truyền là hàm signum.
2 Nguyên tắc hoạt động:
- Mục đích của mạng perceptron là phân loại các tập tính hiệu đầu vào x1, x2, …, xp vào hai lớp X1, X2 dựa vào nguyên lý sau:
xj được đưa vào X1 nếu giá trị output yj là 1 xj được đưa vào X2 nếu giá trị output yj là -1
- mặt phân cách của hai lớp này được biểu diễn bởi phương trình: