b) Thuật toán huấn luyện cho mạng LDRN
2.9.1Phép nội suy và ngoại suy.
Chúng ta đã biết mạng nhiều lớp có khả năng làm xấp xỉ gần đúng các hàm bất kỳ, nhưng chúng ta chưa đề cập đến vấn đề tính chọn số nơron và số lớp cần thiết đểđạt được một độ chính xác nhất định nào đó, chúng ta chưa đề cập đến vấn đề huấn luyện theo dữ liệu mẫu phải được chọn như thế nào. Môt bí quyết xác định đủ số lượng nơron để đạt được mức độ phức tạp của hàm biên mà không cần quan tâm đến quá trình huấn luyện dữ liệu đó là trong trường hợp không cập nhật trạng thái mới. Nếu không, chúng ta cần phải có đủ quá trình huấn luyện dữ liệu để mô tả tương xứng hàm biên. Để minh hoạ cho việc chúng ta có thể huấn luyện mạng, ta xét ví dụ tổng quát dưới đây.Quá trình huấn luyện mạng được khái quát hoá theo biểu thức (2.38):
tq = g(pq) + eq (2.38) Trong đó pq là tập hợp các đầu vào; g( ) là hàm biên mà chúng ta muốn xấp xỉ gần đúng; eq là sai số đo của nhiễu và tq là tập hợp các đầu ra (đáp ứng của mạng). Trên hình vẽ cho biết : Hàm biên g( ) (có nét đậm), Giá trị đích của quá trình học là tq (các vòng tròn ), đáp ứng đầu ra thực tương ứng vớp các đầu vào là aq (vòng tròn nhỏ có gạch chéo bên trong) và đáp ứng toàn bộ của quá trình huấn luyện là đường nét mảnh.
Hình 2.26b
Đáp ứng của mạng khi sử dụng thuật toán bình phương sai lệch cực Hình 2.26a
Đáp ứng của mạng khi sử
dụng thuật toán bình phương sai lệch
49
Trong ví dụ trên hình vẽ 2.26a, đó là quá trình huấn luyện cho một mạng cỡ lớn sử dụng phương pháp bình phương sai lệch cực tiểu. Quá trình học dựa trên 15 mẫu cho trước, chúng ta có thể thấy được độ chính xác với giá trịđích tại mỗi điểm trong quá trình học. Tuy nhiên, đáp ứng toàn bộ của mạng lại không có khả năng đạt được tới đường biên. Điều đó có 2 nguyên nhân chủ yếu là:
Thứ nhất do mạng có lượng quá điều chỉnh trong quá trình huấn luyện, đáp ứng của mạng quá phức tạp vì mạng có nhiều thông sốđộc lập.
Vấn đề thứ hai là trong quá trình huấn luyện không nhận giá trị p< 0, nên các nơron ( bao gồm cả dữ lệu cơ sở và các phương pháp xấp xỉ ) không thểđáp ứng được yêu cầu ngoại suy chính xác.
Nếu một đầu vào mạng mà nằm ngoài phạm vi bao phủ của dữ liệu huấn luyện thì đáp ứng của mạng sẽ luôn bị sai.
Rất ít khi chúng ta làm cho mạng biển diễn ra ngoài phạm vi của dữ liệu học, chúng ta có thể làm cho mạng có khả năng nội suy giữa các điểm dữ liệu. Quá trình khái quát hoá có thể đạt được sự đa dạng của các phương pháp kỹ thuật. Một phương pháp được gọi là sự dừng sớm, nhiệm vụ của chúng ta là phân chia dữ liệu huấn luyện theo biến dữ liệu đặt. Sự biểu diễn mạng dựa trên biến đặt sẽ được đo đạo trong suốt quá trình học. Trong giai đoạn đầu của quá trình huấn luyện thì biến sai lệch giảm, khi bắt đầu có lượng quá điều chỉnh thì biến sai lệch cũng bắt đầu tăng và tại các điểm quá trình huấn luyện được dừng lại. Thêm một phương pháp kỹ thuật nữa làm cho mạng tổng quát hoá được gọi là sự làm đúng theo quy tắc. Với phương pháp biểu diễn chỉ số so sánh làm thay đổi đến số hạng đem đến sự phức tạp cho mạng, số hạng bất lợi đó là tổng bình phương của các hàm trọng số: ( )2 , 1 ( ) . . w Q T k q q i j q F x e e ρ = =∑ + ∑ (2.39)
Một bí quyết của phương pháp trên là sự lựa chọn đúng thông sốρ. Nếu giá trị của nó lớn thì đáp ứng của mạng sẽ bằng phẳng và sẽ xấp xỉ không chính xác được hàm biên. Nếu giá trị của ρ quá nhỏ thì mạng có sự quá điều chỉnh. Một trong
50
các phương pháp thành công nhất trong việc lựa chọn ρ tốt nhất là quy tắc Bayesian ([Mack 92] và [FoHa 97]).
Trên hình 2.26b. cho thấy đáp ứng của mạng khi mạng được huấn luyện theo quy tắc Bayesian. Chú ý rằng đáp ứng của mạng có độ chính xác phù hợp không dài hơn các điểm dữ liệu huấn luyện. Nhưng nhìn chung đặc tính đầu ra của mạng lại sát vào nhau hơn so với hàm biên trong phạm vi của dữ liệu huấn luyện.
Tuy nhiên, với quy tắc Bayesian đáp ứng của mạng không tính toán được ngoài phạm vi dữ liệu huấn luyện. Như chúng ta đã đề cập trước đây là chúng ta không thểđòi hỏi mạng tính toán ngoại suy. Nếu chúng ta muốn đáp ứng của mạng chính xác từ đầu đến cuối thì ta cần phải cung cấp dữ liệu huấn luyện trong suốt phạm vi đó. Điều đó sẽ khó khăn hơn đối với trường hợp mạng có nhiều đầu vào