Chúng ta đã biết mạng nhiều lớp có khả năng làm xấp xỉ gần đúng các hàm bất kỳ, nhƣng chúng ta chƣa đề cập đến vấn đề tính chọn số nơ ron và số
lớp cần thiết để đạt đƣợc một độ chính xác nhất định nào đó, chúng ta chƣa đề cập đến vấn đề huấn luyện theo dữ liệu mẫu phải đƣợc chọn nhƣ thế nàọ Môt bí quyết xác định đủ số lƣợng nơ ron để đạt đƣợc mức độ phức tạp của hàm biên mà không cần quan tâm đến quá trình huấn luyện dữ liệu đó là trong trƣờng hợp không cập nhật trạng thái mớị Nếu không, chúng ta cần phải có đủ quá trình huấn luyện dữ liệu để mô tả tƣơng xứng hàm biên. Để minh hoạ cho việc chúng ta có thể huấn luyện mạng, ta xét ví dụ tổng quát dƣới đâỵQuá trình huấn luyện mạng đƣợc khái quát hoá theo biểu thức (1.40):
tq = g(pq) + eq (1.42)
Trong đó pq là tập hợp các đầu vào; g( ) là hàm biên mà chúng ta muốn xấp xỉ gần đúng; eq là sai số đo của nhiễu và tq là tập hợp các đầu ra (đáp ứng của mạng).
Trên hình vẽ cho biết : Hàm biên g(. ) (có nét đậm), Giá trị đích của quá trình học là tq (các vòng tròn ), đáp ứng đầu ra thực tƣơng ứng vớp các đầu vào là aq (vòng tròn nhỏ có gạch chéo bên trong) và đáp ứng toàn bộ của quá trình huấn luyện là đƣờng nét mảnh.
Trong ví dụ trên hình vẽ 1.16a, đó là quá trình huấn luyện cho một mạng cỡ lớn sử dụng phƣơng pháp bình phƣơng sai lệch cực tiểụ Quá trình
Hình 1.16ạ
Đáp ứng của mạng khi sử dụng thuật toán bình phƣơng sai lệch cực tiểu
Hình 1.16b.
Đáp ứng của mạng khi sử dụng thuật toán Bayesian
học dựa trên 15 mẫu cho trƣớc, chúng ta có thể thấy đƣợc độ chính xác với giá trị đích tại mỗi điểm trong quá trình học. Tuy nhiên, đáp ứng toàn bộ của mạng lại không có khả năng đạt đƣợc tới đƣờng biên. Điều đó có 2 nguyên nhân chủ yếu là:
Thứ nhất do mạng có lƣợng quá điều chỉnh trong quá trình huấn luyện, đáp ứng của mạng quá phức tạp vì mạng có nhiều thông số độc lập.
Vấn đề thứ hai ở đây là trong quá trình huấn luyện không nhận giá trị p< 0, nên các nơ ron( bao gồm cả dữ lệu cơ sở và các phƣơng pháp xấp xỉ ) không thể đáp ứng đƣợc yêu cầu ngoại suy chính xác.
Nếu một đầu vào mạng mà nằm ngoài phạm vi bao phủ của dữ liệu huấn luyện thì đáp ứng của mạng sẽ luôn bị saị
Rất ít khi chúng ta làm cho mạng biển diễn ra ngoài phạm vi của dữ liệu học, chúng ta có thể làm cho mạng có khả năng nội suy giữa các điểm dữ liệụ Quá trình khái quát hoá có thể đạt đƣợc sự đa dạng của các phƣơng pháp kỹ thuật. Một phƣơng pháp đƣợc gọi là sự dừng sớm, nhiệm vụ của chúng ta là phân chia dữ liệu huấn luyện theo biến dữ liệu đặt. Sự biểu diễn mạng dựa trên biến đặt sẽ đƣợc chỉ đạo trong suốt quá trình học. Trong giai đoạn đầu của quá trình huấn luyện thì biến sai lệch giảm, khi bắt đầu có lƣợng quá điều chỉnh thì biến sai lệch cũng bắt đầu tăng và tại các điểm quá trình huấn luyện đƣợc dừng lạị
Thêm một phƣơng pháp kỹ thuật nữa làm cho mạng tổng quát hoá đƣợc gọi là sự làm đúng theo quy tắc. Với phƣơng pháp biểu diễn chỉ số so sánh làm thay đổi đến số hạng đem đến sự phức tạp cho mạng, số hạng bất lợi đó là tổng bình phƣơng của các hàm trọng lƣợng: F(x)= 2 , 1 ) ( ikj Q q q T q e w e (1.43)
Một bí quyết của phƣơng pháp trên là sự lựa chọn đúng thông số ρ. Nếu giá trị của nó lớn thì đáp ứng của mạng sẽ bằng phẳng và sẽ xấp xỉ không chính xác đƣợc hàm biên. Nếu giá trị của ρ quá nhỏ thì mạng có sự quá điều
chỉnh. Một trong các phƣơng pháp thành công nhất trong việc lựa chọn ρ tốt nhất là quy tắc Bayesian ([Mack 92] và [FoHa 97]).
Trên hình 1.16b. cho thấy đáp ứng của mạng khi mạng đƣợc huấn luyện theo quy tắc Bayesian. Chú ý rằng đáp ứng của mạng có độ chính xác phù hợp không dài hơn các điểm dữ liệu huấn luyện. Nhƣng nhìn chung đặc tính đầu ra của mạng lại sát vào nhau hơn so với hàm biên trong phạm vi của dữ liệu huấn luyện.
Tuy nhiên, với quy tắc Bayesian đáp ứng của mạng không tính toán đƣợc ngoài phạm vi dữ liệu huấn luyện. Nhƣ chúng ta đã đề cập trƣớc đây là chúng ta không thể đòi hỏi mạng tính toán ngoại suỵ Nếu chúng ta muốn đáp ứng của mạng chính xác từ đầu đến cuối thì ta cần phải cung cấp dữ liệu huấn luyện trong suốt phạm vi đó. Điều đó sẽ khó khăn hơn đối với trƣờng hợp mạng có nhiều đầu vàọ