Một phần mạng LDRN giống mạng LFFN nhưng nó thêm thời gian trễ (tapped delay line –TDL) như được chỉ ra dưới hình . Đầu ra của TDL là vector chứa cả giá trị hiện tại và trước đó của TDL input.
Hình 2.13 Đường dây trễ có rẽ nhánh- Tapped delay line
Ởđây chúng ta thấy cách viết tắt đại điện cho TDL. Ở trường hợp bên trái là có vecto đầu ra có chứa tín hiệu đầu vào không trễ còn ở bên phải thì không có.
Hình 2.13 là ví dụ về mạng LDRN. Giống như mạng LFFN mạng LDRN cũng gồm nhiều lớp. Ngoài các ma trận trọng số weight matrices, tham số bù bias, toán tử tổng summing function và hàm truyền transfer function giống mạng LFFN
28
thì các lớp của LDRN còn gồm TDL xuất hiện ở đầu vào ma trận trọng số. Ở đây lớp 1 chứa LW1,2 và TDL ở tín hiệu đầu vào. Chú ý rằng tất cả đầu ra ở các lớp và đầu vào thực net inputs ở mạng LDRN đều hoàn toàn là hàm của thời gian.
Đầu ra của TDL ở hình trên kí hiệu là av2,2( )t điều đó chỉ ra rằng vector
được tạo thành từ giá trị trễ của đầu ra mạng con Subnet 2 (chữ số viết lên trên thứ 2) và đầu vào là mạng con subnet 2 (chữ số viết lên trên thứ 1). Đầu ra của những TDL là những giá trị quan trọng trong thuật toán huấn luyện của LDRN.
Hình 2.14 Ví dụ về mạng hồi quy LDRN
Ở mạng LDRN, tín hiệu phản hồi được thêm vào LFFN. Do đó không giống như mạng LFFN, đầu ra của mạng không chỉ làm hàm của trọng số w, tham số bù b, đầu vào thực network input mà còn là hàm của đầu ra của các lớp mạng ở thời điểm trước. Vì thế việc tính giá trị gradient của đầu ra mạng không còn đơn giản. Bởi vì trọng số w và tham số bù b có 2 ảnh hưởng đến đầu ra của mạng. Ảnh hưởng thứ 1 là ảnh hưởng trực tiếp được tính như sử dụng thuật lan truyền ngược backpropagation tiêu chuẩn. Ảnh hưởng thứ 2 là ảnh hưởng gián tiếp từ những đầu vào của mạng giống như av2,2( )t cũng là hàm của trọng số w and tham số dịch
chuyển b.