PHƯƠNG PHÁP HỌC CHO MẠNG TIẾN (FEEDFORWARD) ĐA MỨC
2.1.1Quy tắc học hiệu chỉnh lỗ
Có thể kể ra nhiều quy tắc học cơ bản như: học hiệu chỉnh lỗi, học dựa trên bộ nhớ, học kiểu Heb, học cạnh tranh, học kiểu bolzman. Tuy nhiên trong bản luận
văn này, tác giả chỉ xin đề cập đến một quy tắc học phổ biến và được sử dụng làm cơ sở cho việc xây dựng phần mềm thực nghiệm, đó là quy tắc học hiệu chỉnh lỗi.
Để minh hoạ cho quy tắc học này, hãy xem xét trường hợp đơn giản của một neuron k tạo nên nút tính toán duy nhất trong mức đầu ra của một mạng neuron tiến, như được mô tả trong hình 2.1. Neuron k tiếp nhận một vector tín hiệu
x(n) được tạo ra bởi một hay nhiều mức neuron ẩn, chính chúng cũng tiếp nhận một vector đầu vào (tác nhân kích thích) từ các nút nguồn (mức đầu vào). Đối số n là thời gian rời rạc, hay chính xác hơn, là bước thời gian của một quá trình lặp nhằm điều chỉnh các trọng số synapse của neuron k. Tín hiệu đầu ra của neuron k được ký hiệu bởi yk(n). Tín hiệu đầu ra này, biểu diễn đầu ra duy nhất của mạng neuron, được so sánh với đáp ứng mong đợi hay đầu ra đích, ký hiệu bởi dk(n). Và một tín hiệu lỗi, ký hiệu bởi ek(n), được sinh ra như sau
ek(n)=dk(n)-yk(n) (2.1)
Tín hiệu lỗi là nguồn gốc một kỹ thuật điều khiển, mà mục đính của nó là áp dụng một chuỗi những sửa đổi mang tính hiệu chỉnh cho các trọng số synapse của neuron k. Những sửa đổi này là nhằm tạo ra tín hiệu đầu ra yk(n) dần tiến gần tới đáp ứng mong đợi dk(n). Mục đích này đạt được bằng cách cực tiểu hoá một hàm giá hay chỉ số tính năng, (n), được xác định theo tín hiệu lỗi như sau
)( ( 2 1 ) (n ek2 n (2.2)
Nghĩa là (n) chính là giá trị tức thời của năng lượng lỗi. Những sự điều chỉnh dần dần các trọng số synapse của neuron k tiếp tục cho tới khi hệ thống đạt tới một trạng thái ổn định (các trọng số synapse ít biến đổi). Tại thời điểm này, quá trình học kết thúc.
Quá trình học được mô tả ở đây được gọi là học hiệu chỉnh lỗi. Đặc biệt, việc cực tiểu hàm giá (n) dẫn đến một quy tắc học thường được gọi là quy tắc
delta hay quy tắc Widrow-Hoff. Đặt wkj(n) để chỉ giá trị của trọng số synapse wkj
của neuron k; synapse này được kích thích bởi thành phần xj(n) của vector tín hiệu x(n) tại bước thời gian n. Theo quy tắc delta, hiệu chỉnh wkj(n) áp dụng cho trọng số synapse wkj tại bước thời gian n được xác định như sau
) ( ) ( ) (n e n x n wkj k j (2.3)
ở đó là một hằng số dương tỷ lệ với tốc độ học khi chúng ta tiến từ bước này tới bước khác trong quá trình học. Như vậy chúng ta có thể quy cho là tham số tốc độ học. Nói cách khác quy tắc delta có thể được phát biểu như sau:
Sự điều chỉnh thực hiện cho một trọng số synapse của một neuron tỷ lệ với
tín hiệu lỗi và tín hiệu đầu vào của synapse đang xét.
Cần nhớ rằng quy tắc delta ở đây giả định trước rằng tín hiệu lỗi có thể đo được một cách trực tiếp. Để sự đo đạc này có thể thực hiện được, rõ ràng chúng ta cần một sự cung cấp đáp ứng mong muốn từ nguồn bên ngoài cho neuron k. Nói cách khác, neuron k là có thể nhìn thấy đượcđối với thế giới bên ngoài (neuron k là neuron đầu ra), như được mô tả trong hình 2.1. Từ hình này, ta thấy rằng việc học hiệu chỉnh lỗi có bản chất cục bộ. Điều này nói lên rằng những sự điều chỉnh trọng số synapse được thực hiện bởi quy tắc delta được cục bộ hoá xung quanh neuron k (chỉ liên quan tới neuron k).
Giá trị cập nhật của trọng số synapse wkjđược xác định như sau
wkj(n+1)=wkj(n)+wkj(n) (2.4)
Thực tế, wkj(n) và wkj(n+1) có thể được xem như các giá trị cũ và mới của trọng số synapse wkj. Chúng ta cũng có thể viết như sau
wkj(n)=z-1[wkj(n+1)] (2.5)
ở đó z-1 toán tử đơn vị trễ, biểu thị một phần tử lưu trữ.
Chúng ta có thể nhận thấy rằng việc học hiệu chỉnh lỗi là một ví dụ của một
ổn định của một hệ thống như vậy là do các tham số tạo nên vòng lặp phản hồi của hệ thống quyết định. Trong trường hợp của chúng ta, chỉ có một vòng lặp phản hồi đơn, và một trong các tham số như vừa nói tới là tham số tốc độ học . Do đó cần chọn một cách cẩn thận tham số để đảm bảo tính ổn định hay tính hội tụ của quá trình học. Việc chọn giá trị cho tham số này còn ảnh hưởng sâu sắc tới độ chính xác và một số khía cạnh khác của việc học.