Trong mạng hồi quy tín hiệu ra của một nơron có thể đƣợc truyền nguợc lại làm tín hiệu vào cho các noron ở các lớp trƣớc, hoặc các nơron trong cùng một lớp. Phần này sẽ trình bày mô hình mạng tiêu biểu thuộc lớp mạng hồi quy, đó là mạng Hopfield.
Mạng Hopfield đƣợc bắt đầu nghiên cứu từ năm 1982. Đây là mạng một lớp với thông tin và quá trình xử lý có nối ngƣợc. Công trình của Hopfield có rất nhiều ứng dụng, đặc biệt trong bộ nhớ liên kết và trong các bài toán tối ƣu điển hình nhƣ bài toán lập lộ trình di chuyển cho robot.
Giả sử mạng đƣợc xây dựng dƣới dạng mạng một lớp, mỗi nơron đƣợc truyền ngƣợc lại làm tín hiệu vào cho các nơron khác nhƣng bản thân các
2
nơron không tự liên kết với chính nó. Khi đó mô hình mạng Hopfield đƣợc biểu diễn nhƣ hình 1.7.
Tín hiệu ra của nơron j nào đó đƣợc truyền ngƣợc lại làm tín hiệu vào cho các nơron khác trong mạng một cách đầy đủ thông qua trọng số tuơng ứng. X1 Y1 Đầu X2 vào XN Y2 Đầu ra YM Hình 1.7. Mô hình mạng Hopfiled.
Ký hiệu wij là liên kết giữa hai nơron i và j (wij = wji), Vi là đầu ra của nơron i. Ta coi véc tơ (V1, V2, ..., Vn) là trạng thái của mạng. Tại mỗi thời điểm t mỗi nơron i tổng hợp các tín hiệu Vj từ các nơron khác và tín hiệu từ bên ngoài (bias).
U i =∑WijV j ( t ) +
I i
i
(1.13)
Tuỳ theo từng hàm kích hoạt fi mà nơron i cho đầu ra là Vi(t+1)= fi(Vi(t)).
Mạng đạt trạng thái cân bằng nếu: Vi(t)= Vi(t+1), ∀i. Ta định nghĩa hàm năng lƣợng của mạng là:
1 n n n E =E( V1 ,...,Vn ) =− ∑ ∑WijViV j −∑ I iVi (1.14) i =1 j =1 i ≠j i =1
∑
Tuỳ theo phƣơng thức hoạt động của mạng mà ngƣời ta phân mạng Hopfield thành mạng Hopfield rời rạc và mạng Hopfield liên tục.