VÀ NHỮNG ỨNG DỤNG CỦA CHÚNG TRONG ĐIỀU KHIỂN QUÁ TRÌNH
2.4.7.2 Gải thuật bình phương tring bình nhỏ nhất LMS LMS
LMS
có thể được phát triển từ phương pháp giảm gradient truyền thống, nơi
mà việc tìm kiếm véctơ trọng số tối ưu được tím kiếm trong không gian trọng
số dọc theo hướng được cung cấp bởi gradient của một lỗi bình phương tức thời
giữa ngõ ra hiện thời và ngõ ra mong muốn. Vì nó là một hàm bình phương cùa
những trọng số, bề mặt này là lồi và có một tối thiểu toàn cục duy nhất. Từ
(2.57) gradient tức thời có thể đạt được dựa trên hàm lỗi tuyến tính tức thời như
sau:
(2.43) Vì thế, giải thuật học giảm gradient được viết như sau:
(2.44)
Đây là giải thuật LMScủa Widrow, với tốc độ học 0 quyết định độ hội tụ
của chương trình học. Theo Widrow và Lehr , phải thoả:
(2.45) Giải thuật LMS hội tụ trung bình đến w*, là cách giải Wiener tối ưu được
cho bởi (2.43).
Thể hiện hình học của luật LMSđược cho trong hình 2.11. Theo (2.44) wa(k+1) bằng với wa(k) cộng với một số gia a k mà tương ứng với véctơ đặc
tính ngõ vào xa(k). Nói cách khác, biến đổi của lỗi phụ thuộc vào biến đổi của véctơ trọng số bằng với tích âm của xa(k) và a k . Vì giải thuật LMS chọn
ka a
cộng tuyến với xa(k), tương quan lỗi mong muốn đạt được với biến đổi véctơ trọng số có biên độ ổn định. Khi việc cập nhật tương ứng hoàn hảo với đặc tính ngõ vào mới, những đáp ứng với những đặc tính huấn luyện trước đây
sẽ được cập nhật tối thiểu.
Hình 2.11. Giải thích hình học của những giải thuật LMSvà LMS
Khi so sánh hai thuật toán LMSvà LMS, điều thú vị là luật LMS là một phiên bản tự chuẩn hoá của luật LMSvì luật LMS dễ dàng được viết như sau:
(2.46) với
(2.47)
tương ứng là lỗi chuẩn hoá, đáp ứng mong muốn chuẩn hoá và những đặc tính
ngõ vào chuẩn hoá. Phương trình (2.65) là luật học LMSvới 2được thay
bởi . Vì thế, cập nhật trọng số được thiết kế bởi luật LMStương đương với
giải thuật LMSvới sự hiện diện của một tập huấn luyện khác là tập huấn
Một phiên bản thời gian liên tục của giải thuật LMS ở trên có thể dễ dàng
đạt được bằng cách tối thiểu hàm lỗi
(2.48)
là ước lượng tức thời của lỗi bình phương trung bình và wa(t) là một ước lượng
của véctơ trọng số wa tại thời điểm t. Áp dụng phương pháp giảm gradient độ
dốc lớn nhất ta được:
(2.49)
Sơ đồ khối của việc thực thi giải thuật LMS thời gian liên tục dùng những
bộ nhân và tích phân tương tự được cho trong hình 2.12