VÀ NHỮNG ỨNG DỤNG CỦA CHÚNG TRONG ĐIỀU KHIỂN QUÁ TRÌNH
2.4.6 Giải thuật LMS (Bình phương trung bình nhỏ nhất)
Giải thuật LMS cung cấp một công thứcthích nghi hiệu quả và đơn giản cho
những trọng số của bộ kết hợp tuyến tính trong hình 2.10. Giải thuật này có
được dùng nguyên tắc nhiễu nhỏ nhất và được đề xuất bởi Widrow và Hoff(1960).
Cho wa(k)=[w0(k),…,wn(k)]T là một ước lượng của véctơ trọng số wa tại thời điểm k. Lỗi tuyến tính giữa đáp ứng mong muốn d(k) và ngõ ra tuyến tính s(k)
với ước lượng hiện thời của những trọng số wa(k) được định nghĩa như sau:
(2.28) Lỗi kế tiếp được định nghĩa là khác biệt giữa đáp ứng mong muốn d(k) và ngõ ra tuyến tính s(k) với những ước lượng kế tiếp của những trọng số wa(k+1) là:
(2.29) Có thể thấy rằng tại thời điểm k thay đổi trọng số sẽ dẫn đến những thay đổi tương ứng của lỗi:
(2.30) Công việc kế tiếp là tìm một luật cập nhật để mà lỗi el(k) sẽ hội tụ tiệm cận đến 0. Để bảo đảm rằng sự hội tụ của lỗi phụ thuộc vào cập nhật trọng số, ta giả sử
(2.31) Nghĩa là:
với là một hằng số được chọn để mà lỗi el(k) sẽ ổn định tiệm cận:
(2.32)
Như vậy ta có được:
(2.33) Nhân cả hai vế của phương trình này với xa(k) ta được
(2.34) Vì thế ,cuối cùng ta có được:
Do đó
(2.35)
Đây là một số gia. Phương trình (2.52) là luật Widrow-Hoff delta. Với một giá
trị ban đầu bất kỳ của el(0),el(k) có thể được diễn tả như sau:
(2.36)
Để bảo đảm độ hội tụ của el(k),điều kiện sau cần được thoả mãn:
Nghĩa là:
Vì thế lỗi là ổn định tiệm cận nếu hằng số được chọn như sau:
2
0 (2.37)
Để tránh sự điều chỉnh quá mức, thực tế được chọn trong khoảng
0 . 1 1 . 0 (2.38) Không giống như luật perceptron, ngõ vào của một Adaline có thể là nhị phân hay tương tự. Một Adaline có thể được dùng để nhận ra những hàm ngưỡng
bằng cách hiệu chỉnh thích hợp những trọng số. Thậm chí nếu cả hai luật học
perceptron và LMSđược dùng trong những chươngtrình sữa lỗi và có những
công thức cập nhật tương tự, chúng vẫn có những ứng xử khá khác biệt(Widrow
and Lehr 1990). Khác biệt chính giữa hai thuật toán này là luật của Rosenblatt
khai thác một lỗi lượng tử e=(d-sgn(s)) trong khi giải thuật LMSkhaithác lỗi
tuyến tính el=d-s. Điều này có nghĩa là giải thuật perceptron gồm một hàm phi tuyến của những tín hiệu qua hàm truyền bước, ngược lại giải thuật LMSlà một quá trình tuyến tính.