truyền ngƣợc nguyờn thủy với cỏc bộ khởi tạo trọng số ban đầu khỏc nhau.
Kỹ thuật lan truyền ngƣợc ở đõy là lan truyền ngƣợc lỗi trong mạng, hàm lỗi thƣờng chọn là hàm mà nú tối thiểu hoỏ đƣợc sai số trung bỡnh bỡnh phƣơng. Cỏch thức hiệu chỉnh trọng số của thuật toỏn là ngƣợc hƣớng với vectơ Gradient của hàm sai số trung bỡnh bỡnh phƣơng. Đối với mạng nơron nhiều lớp thỡ hàm sai số trung bỡnh bỡnh phƣơng thƣờng phức tạp và cú nhiều cực trị cục bộ. Cỏc giỏ trị khởi tạo của cỏc trọng số ảnh hƣởng rất mạnh đến lời giải cuối cựng. Nếu cỏc trọng số đƣợc khởi tạo với giỏ trị lớn thỡ ngay từ đầu tổng tớn hiệu vào đó cú giỏ trị tuyệt đối lớn và làm cho đầu ra của mạng chỉ đạt 2 giỏ trị 0 và 1. Điều này làm cho hệ thống sẽ bị tắc tại một cực tiểu cục bộ hoặc tại một vựng bằng phẳng nào đú gần ngay điểm xuất phỏt. Cỏc trọng số này thƣờng đƣợc khởi tạo bằng những số ngẫu nhiờn nhỏ. Theo nghiờn cứu của Wessels và Barnard [42], thỡ việc khởi tạo cỏc trọng số liờn kết wij nờn trong phạm vi 3 ki,3 ki với ki là số liờn kết của cỏc nơron j tới nơron i.
Hiện nay, bộ cụng cụ Neural Network Toolbox đó tớch hợp sẵn một số thuật toỏn luyện mạng và bƣớc học khỏc nhau để chỳng ta lựa chọn; cũn bộ trọng số ban đầu phục vụ cho quỏ trỡnh luyện mạng đều lấy ngẫu nhiờn trong một khoảng nào đú.
Để thấy rừ đƣợc sự ảnh hƣởng của vec-tơ khởi tạo trọng số ban đầu đến độ hội tụ của quỏ trỡnh luyện mạng nơron ta xột hai vớ dụ sau:
a). Xột hệ thống phi tuyến tĩnh cần nhận dạng cú mụ hỡnh toỏn học như sau:
y(u) = 0.6 sin(.u) + 0.3 sin(3..u) + 0.1 sin (5..u)
Chỳng ta phỏt tớn hiệu u(k) = sin(2.k/250) vào hệ thống trờn và đo tớn hiệu ra y(k). Sử dụng bộ mẫu (u(k),y(k)) này để luyện mạng.
Mạng nơron đƣợc dựng là mạng truyền thẳng 3 lớp, cú một đầu vào, một đầu ra. Lớp nhập cú 8 neural, lớp ẩn cú 8 neural, lớp ra cú 1 neural, hàm kớch hoạt của cả 3 lớp đều là hàm tansig. Sai số cho phộp để luyện mạng thành cụng là 10-5. Ta sử dụng kỹ thuật lan truyền ngƣợc với bƣớc học cố định bằng 0.2.
79 Gọi IW1,1 là ma trận trọng số lớp nhập, ma trận cú 1 hàng 8 cột. Gọi LW2,1 là ma trận trọng số lớp ẩn, ma trận cú 8 hàng, 8 cột. Gọi LW3,2
là ma trận trọng số lớp ra, ma trận cú 8 hàng, 1 cột. Với mỗi lần luyện mạng khỏc nhau tức với bộ trọng số ban đầu [IW1,1, LW2,1, LW3,2] lựa chọn ngẫu nhiờn khỏc nhau chỳng ta lại thu đƣợc một bộ trọng số tối ƣu khỏc nhau, số kỷ nguyờn luyện mạng (KNLM) cũng khỏc nhau. Cụ thể: Bảng 3.1 TT KNLM Sai số (10-6) TT KNLM Sai số (10-6) 1 66 9.8065 8 24 9.9681 2 11 5.8464 9 45 9.1789 3 28 9.8923 10 62 9.5743 4 22 9.4931 11 55 9.2574 5 46 9.9981 12 37 9.6842 6 29 9.9062 13 29 7.1969 7 207 9.5439 14 60 9.2586
Căn cứ vào bảng 3.1 ta thấy với một thuật toỏn khụng đổi, cấu trỳc, tham số của mạng chọn nhƣ nhau thỡ kết quả của quỏ trỡnh luyện mạng phụ thuộc vào bộ khởi tạo trọng số ban đầu.
b). Xột hệ thống động học phi tuyến cần nhận dạng cú mụ hỡnh toỏn học như sau:
y = 0.00005 - 0.05y - 0.0005u – 0.5uy
Chỳng ta phỏt một tớn hiệu ngẫu nhiờn cú giới hạn về biờn độ từ 0 đến 2L/sec với thời gian lấy mẫu là 0.1s vào hệ thống trờn và đo tớn hiệu ra. Lấy tập mẫu vào, ra này để luyện mạng, Tổng thời gian đặt là 100 s, do đú sẽ tạo ra đƣợc 1000 bộ mẫu vào ra dƣới dạng một mảng dữ liệu.
Cấu trỳc mạng nơron đƣợc chọn nhƣ sau:
Mạng gồm cú hai lớp: Lớp vào cú 4 nơron, hàm kớch hoạt là hàm tansig; lớp ra cú 1 nơron, hàm kớch hoạt là hàm purelin.
80 IW1,1 là ma trận trọng số lớp nhập, ma trận cú 1 hàng 4 cột.
LW2,1 là ma trận trọng số lớp ẩn, ma trận cú 4 hàng, 1 cột.
LW1,2 là ma trận trọng số mạch vũng phản hồi từ đầu ra trở lại đầu vào, ma trận cú 1 hàng, 4 cột. Ta sử dụng kỹ thuật lan truyền ngƣợc với bƣớc học cố định bằng 0.2. Sai số cho phộp để luyện mạng thành cụng là 10-12
.
Với mỗi lần luyện mạng khỏc nhau tức với bộ trọng số ban đầu [IW1,1, LW2,1, LW1,2] lựa chọn ngẫu nhiờn khỏc nhau chỳng ta lại thu đƣợc một bộ trọng số tối ƣu khỏc nhau, số kỷ nguyờn luyện mạng (KNLM) cũng khỏc nhau. Cụ thể:
Bảng 3.2: TT KNLM Sai số (10-12) TT KNLM Sai số (10-12) 1 210 9.2147 8 301 8.9754 2 151 9.6782 9 229 9.2367 3 234 8.6745 10 234 9.2476 4 193 9.3657 11 167 9.9874 5 271 9.2486 12 205 9.5789 6 146 7.6842 13 212 9.3487 7 231 8.6575 14 203 9.3578
Căn cứ vào bảng 3.2 ta thấy với một thuật toỏn khụng đổi, cấu trỳc, tham số của mạng chọn nhƣ nhau thỡ kết quả của quỏ trỡnh luyện mạng phụ thuộc vào bộ khởi tạo trọng số ban đầu.