Một mô hình Mạng thần kinh phức tạp hơn của Mạng thần kinh truyền thẳng bao gồm một hay một vài lớp nằm giữa lớp vào và lớp ra. Các lớp này làm tăng khả năng học tập của mô hình, được gọi là các lớp ẩn. Các lớp này đóng vai trò trung gian kết nối giữa các nơ-ron đầu vào và nơ-ron đầu ra, tạo mối quan hệ gián tiếp giữa các biến đầu vào và biến đầu ra. Thông tin nhận được từ lớp đầu vào, đầu tiên sẽ được xử lý trong các lớp ẩn, và sau đó được truyền sang các lớp đầu ra. Mạng này còn gọi là Mạng thần kinh truyền thẳng đa lớp (Multilayer Perceptron - MLPs).
Hình 2.5: Mô hình Mạng thần kinh truyền thẳng đa lớp
Thật vậy, hầu hết các mối quan hệ trong kinh tế và tài chính là quan hệ gián tiếp. Vì vậy, nhờ các lớp ẩn mà ta có thể thể hiện mối quan hệ gián tiếp giữa các biến đầu vào và biến đầu ra. Chẳng hạn như, mối quan hệ gián tiếp giữa cung tiền và đầu tư theo lý thuyết kinh tế. Cung tiền ảnh hưởng đến đầu tư thông qua sự thay đổi lãi suất. Khi cung tiền tăng, lãi suất ngắn hạn có thể giảm dẫn đến sự gia tăng trong đầu tư. Trong ví dụ này, lãi suất đóng vai trò giống như là lớp ẩn.
Giá trị của các nơ-ron lớp ẩn được tính toán tương tự như tính giá trị của nơ-ron đầu ra trong hệ thống đầu vào – đầu ra đã được trình bày ở trên. Vì các lớp ẩn nhận tín hiệu trực tiếp từ các nơ-ron đầu vào nên giá trị các nơ-ron ẩn được tính như sau:
(∑
) Với
Hj là Giá trị của nơ-ron ẩn thứ j.
Xi là Giá trị đầu vào của biến đầu vào thứ i.
Wji là trọng số kết nối nơ-ron ẩn j và biến đầu vào thứ i. H( ) là hàm truyền hay hàm kích hoạt của nơ-ron lớp ẩn.
Tương tự, giá trị của nơ-ron đầu ra cũng chính là giá trị biến đầu ra của mạng, được tính toán:
(∑
)
Với:
Hj là giá trị của nơ-ron ẩn thứ j.
kzj là trọng số kết nối nơ-ron đầu ra thứ z với nơ-ron ẩn thứ j. f( ) là hàm truyền hay hàm kích hoạt của nơ-ron đầu ra. Từ (2) và (3), ta có giá trị biến đầu ra của mạng:
(∑ ∑
)
Như đã nói ở trên, một mô hình có quá nhiều lớp ẩn sẽ dẫn đến tình trạng quá vừa khít với dữ liệu và cho kết quả không chính xác khi dự báo ngoài mẫu. Do đó, trong thực tế người ta chỉ sử dụng mô hình với một hoặc hai lớp ẩn. Mô hình với hai lớp ẩn thông thường được sử dụng trong kỹ thuật và khoa học máy tính vì khả năng học hỏi vượt trội của nó. Hơn nữa, hầu hết các mô hình này đều có hơn một biến đầu ra nên thích hợp với mô hình có hơn một lớp ẩn. Mô hình có một lớp ẩn được ưa chuộng hơn trong lĩnh vực kinh tế và tài chính, và thường chứa một biến đầu ra duy nhất.