QUAN ĐIỂM VÀ BẰNG CHỨNG THỰC NGHIỆM VIỆC ỨNG DỤNG MƠ HÌNH MẠNG THẦN KINH NHÂN TẠO TRONG
1.3.3. Mơ hình mạng lặp lại (Recurrent Networks)
Một cấu trúc mạng thần kinh phổ biến khác là mạng lặp lại Elman. Mơ hình này cho phép các neuron phụ thuộc khơng chỉ vào các biến x mà cịn vào giá trị trễ của chính nó. Nói cách khác, Elman đã thêm mơ hình yếu tố “trí nhớ” của các neuron trong q trình tiến hóa. Mơ hình này có điểm tương tự với phương pháp phân tích sử dụng trung bình di động (moving average – MA). Trong phương pháp bình quân di động, biến phụ thuộc y không chỉ là một hàm theo biến đầu vào x mà còn phụ thuộc vào giá trị hiện tại và giá trị trễ của “nhiễu” . Vì vậy, ứng với bình quân di động bậc q ta sẽ có hàm y dạng:
Tập hợp hệ số q chiều được ước lượng theo phương pháp đệ quy. Quá trình ước lượng bắt đầu với việc sử dụng phương pháp bình phương nhỏ nhất thơng thường, bỏ qua phần giá trị trễ của nhiễu Sau đó, ta sử dụng chuỗi số liệu phần dư thu được từ bước hồi quy này để tính các giá trị trễ
và ước lượng các hệ số và các hệ số của các thành phần nhiễu trễ . Quá trình này tiếp tục nhiều bước cho đến khi đạt được sự hội tụ và đến khi sự lặp lại cho ra các hệ số ước lượng khác biệt ít nhất. Với ý tưởng tương tự, Elman đã đưa vào mơ hình các giá trị hiện tại và giá trị trễ của các neuron chưa được nén lại ở các lớp ẩn. Mơ hình lặp lại của Elman được thể hiện trong hình 1.6 với ba biến đầu vào, hai neuron ở một lớp ẩn và một biến đầu ra. Cả mơ hình của Elman lẫn phương pháp bình qn di động đều địi hỏi ta phải sử dụng một tiến trình ước lượng nhiều bước. Quy trình được bắt đầu với một vector cho trước của neuron trễ có được từ mơ hình mạng truyền thẳng đơn giản. Bước tiếp theo sẽ là tiến hành ước lượng hệ số và tính tốn lại vector của neuron trễ. Giá trị của hệ
số được tái ước lượng dưới dạng đệ quy. Quá trình này tiếp tục cho đến khi tiếp cận điểm hội tụ.
Lưu ý rằng các giá trị đầu vào, neuron, và đầu ra được ký hiệu là thời điểm hiện tại t, hoặc thời điểm trễ, t1. Vì vậy, mơ hình mạng Elman đặc biệt thích hợp với chuỗi dữ liệu có đặc điểm thay đổi theo thời gian. Trong khi đó, mơ hình mạng truyền thẳng sẽ thích hợp với cả dữ liệu chéo lẫn dữ liệu chuỗi thời gian.
Hệ thống phương trình sau minh họa cho mơ hình mạng lặp lại Elman.
Lưu ý rằng trong mơ hình mạng lặp lại Elman, tín hiệu từ neuron trễ truyền đến neuron hiện tại của lớp ẩn là tín hiệu trước khi được biến đổi qua hàm kích hoạt, trước khi bị nén lại. Do đó, mơ hình này sẽ có “hiệu ứng phản hồi” (feedback effect) gián tiếp thay vì trực tiếp từ neuron trễ. Trong khi đó, với mơ hình trung bình di động chuỗi thời gian, thành phần nhiễu lại có tác động hồn ngược trực tiếp lên giá trị đầu ra Đây là điểm khác biệt quan trọng giữa mơ hình mạng lặp lại Elman với mơ
hình bình quân di động chuỗi thời gian. x1 N1(t) x2 Y(t) N2(t) x3 n1(t1) n2(t1)
Nguồn: Neural Networks in Finance gaining predictive edge in the market của Paul D. Mc Nelis
Mơ hình mạng Elman là một cách tốt để nắm bắt “trí nhớ” của thị trường tài chính đặc biệt là trong dự báo đối với chuỗi dữ liệu có tần số cao như dữ liệu ngày, trong ngày hoặc kể cả tỷ suất sinh lợi trong thời gian thực trên TTCK hoặc ngoại hối. Việc nắm bắt “trí nhớ” trong quá khứ này được thể hiện qua việc sử dụng khái niệm “trễ” kết hợp với sự thay đổi theo thời gian của cấu trúc phi tuyến. Mơ hình Elman đã rất hữu ích trong việc mơ hình hóa cấu trúc trí nhớ này bằng cách là khiến cho lớp ẩn sẽ thay đổi theo thời gian do các phản hồi từ neuron quá khứ.
Mạng Elman là một mơ hình mạng động (explicit dynamic network). Mạng truyền thẳng được xem là một mạng tĩnh mà trong đó với một tập hợp biến đầu vào tại thời điểm t sẽ được sử dụng để dự báo một biến đầu ra cũng tại thời điểm t. Tất nhiên, mơ hình mạng truyền thẳng cũng có thể đưa vào trong đó giá trị trễ của biến đầu vào. Khi đó, mơ hình mạng truyền thẳng sẽ mang tính “động”. Tuy nhiên, mơ hình Elman đã hình thành nên một cấu trúc động khác chứ không chỉ giới hạn trong việc đưa
thêm vào mơ hình các giá trị trễ của biến phụ thuộc, . Bên cạnh đó, Mandic và Chambers (2001) đã chỉ ra rằng, cấu trúc động của mơ hình mạng truyền thẳng thực hiện bằng cách gia tăng thêm biến đầu vào sẽ dẫn đến việc gia tăng số hệ số phải ước lượng một cách khơng cần thiết. Trong khi đó, mơ hình mạng lặp lại Elman có thể đạt được cùng mức hiệu quả như vậy chỉ với việc thêm vào một biến trễ. Kết quả là, mơ hình sẽ có ít hệ số hơn và quá trình ước lượng cũng như huấn luyện cũng sẽ diễn ra nhanh hơn.