QUAN ĐIỂM VÀ BẰNG CHỨNG THỰC NGHIỆM VIỆC ỨNG DỤNG MƠ HÌNH MẠNG THẦN KINH NHÂN TẠO TRONG
1.3.2. Mơ hình mạng truyền thẳng đa lớp (Multilayer Feedforward Networks)
Việc thiết lập nhiều lớp ẩn hơn sẽ làm cho cấu trúc của mơ hình mạng trở nên phức tạp hơn. Hình 1.5 minh họa một mạng lưới truyền thẳng với hai lớp ẩn và 2 neuron ở mỗi lớp.
Biến đầu vào x Số neuron lớp Số neuron lớp Biến đầu ra y
ẩn 1 n ẩn 2 p x1 n1 p1 x2 y n2 p2 x3
Nguồn: Neural Networks in Finance gaining predictive edge in the market của Paul D. Mc Nelis
Mơ hình đó được diễn đạt dưới dạng hệ thống phương trình tốn học với i* biến đầu vào; k* neuron ở lớp ẩn đầu tiên và l* neuron ở lớp ẩn thứ hai:
Điều dễ thấy là khi thêm một lớp ẩn thứ hai thì số hệ số cần phải ước lượng sẽ tăng một lượng là (k* + 1)(l* 1) + (l* + 1); Vì với mạng truyền thẳng một lớp, i* biến đầu vào và k* neuron, ta sẽ có (i* + 1)k* + (k* + 1) hệ số, trong khi đó, khi thêm một lớp ẩn với l* neuron thì số hệ số bây giờ sẽ là (i* + 1)k* + (k* + 1)l* + (l* + 1).
Mạng truyền thẳng đa lớp sẽ làm cho mơ hình trở nên phức tạp hơn. Với mơ hình này, ta sẽ phải ước lượng nhiều hệ số hơn mà đến lượt nó sẽ khiến ta phải chịu nhiều ràng buộc hơn trong điều kiện số mẫu quan sát có giới hạn. Bên cạnh đó, mơ hình này cũng địi hỏi thời gian huấn luyện nhiều hơn. Càng nhiều hệ số thì khả năng các ước lượng hệ số rơi vào các tối ưu cục bộ, thay vì các tối ưu tồn cục, sẽ càng lớn. Tuy vậy, ta cũng để tâm đến ưu điểm của việc sử dụng nhiều lớp ẩn. Dayhoff và Deleo (2001), dựa trên nghiên cứu trước đó của Hornik, Stinchocomb và White
(1989) khi nói về vấn đề này, đã cho rằng:
Định lý về quá trình ước lượng hàm đã được chứng minh với ANN ba lớp. Kết luận này cho thấy rằng ANN hai lớp với các trọng số được huấn luyện sẽ có khả năng ước lượng được bất cứ hàm phi tuyến nào. Đây là một đặc điểm rất quan trọng và nó là nền tảng cho việc ứng dụng mơ hình ANN ở rất nhiều các lĩnh vực khác. Mơ hình ANN có thể ước lượng một hàm số đa biến bằng cách xây dựng nên hàm số đó đồng
thời điều chỉnh hàm số đó cho phù hợp. Trong khi đó, các mơ hình hồi quy phi tuyến truyền thống chỉ dừng lại ở việc cố gắng điều chỉnh cho thích hợp với một hàm số đã được định sẵn. Chính lợi thế này đã giúp cho mơ hình ANN trở nên vượt trội so với các công cụ hồi quy thống kê cổ điển khác. [Davhoff và Deleo (2001), tr 1624].