Như đã trình bày ở phần trước, mạng thần kinh truyền thẳng không cho phép sự phản hồi thông tin nội bộ, tức là giá trị đầu ra của nơ-ron không truyền ngược trở lại các nơ- ron của lớp trước đó. Tuy nhiên, hầu hết các biến trong lĩnh vực kinh tế và tài chính thường phụ thuộc vào thời gian, nghĩa là giá trị đầu ra hiện tại có liên quan đến các giá trị đầu ra trong quá khứ. Tức là, giá trị đầu ra tại thời điểm t nhận giá trị đầu ra ở thời điểm (t – 1) như là một tín hiệu đầu vào trong quá trình xử lý. Vì vậy, mạng phải nhớ các giá trị đầu ra trong quá khứ để đưa vào tính toán giá trị đầu ra tại thời điểm t. Mạng thần kinh truyền thẳng có thể giải quyết vấn đề này bằng cách bổ sung các giá trị có độ trễ của biến đầu vào và các giá trị có độ trễ của biến đầu ra vào lớp đầu vào của mạng. Vấn đề này cũng có thể được giải quyết bằng cách sử dụng Mạng thần kinh hồi tiếp (Recurrent Neural Networks - RNN).
Khác với Mạng thần kinh truyền thẳng, Mạng thần kinh hồi tiếp có chứa các liên kết ngược, tức là cho phép thông tin phản hồi nội bộ. Đối với mạng này, tín hiệu đầu ra của một nơ-ron có thể được truyền ngược lại làm tín hiệu vào cho các nơ-ron các lớp trước hoặc truyền cho các nơ-ron trong cùng một lớp với các trọng số kết nối tương ứng, đồng thời chúng có thể kèm theo một độ trễ nhất định. Như vậy, Mạng thần kinh hồi tiếp chứa đựng toàn bộ giá trị quá khứ và giá trị hiện tại của biến vào và biến ra của mạng.
Hình 2.7: Mô hình Mạng thần kinh nhân tạo hồi tiếp
Thông tin được phản hồi về các lớp trước đó làm gia tăng số lượng các biến đầu vào và các trọng số của mạng. Điều này làm cho việc tính toán các trọng số tối ưu diễn ra
phức tạp hơn. Hơn nữa, việc xây dựng và đánh giá mô hình sẽ mất rất nhiều thời gian và nguồn lực, làm cho Mạng thần kinh hồi tiếp không thực tế trong nhiều nghiên cứu mang tính hệ thống. Để ứng dụng mô hình này, đòi hỏi phải sử dụng các phần mềm tiên tiến hơn trong việc tính toán các thông số.
Có hai loại mạng thần kinh hồi tiếp cơ bản: Mạng thần kinh hồi tiếp Jordan (Jordan Recurrent Neural Networks – JRNN) và Mạng thần kinh hồi tiếp Elman (Elman Recurrent Neural Networks – ERNN).