Năm 1982, nhà vật lý người Mỹ J.J. Hopfield đã đề xuất mô hình mạng nơron một lớp cho phép tạo ánh xạ dữ liệu từ tín hiệu vào sang tin hiệu ra theo kiểu tự kết hợp (autoassociation) tức là
nếu tín hiệu vào là X thuộc miền giá trị D nào đó
thì kết quả ra Y =Tinh(X,NN) cũng thuộc vào miền D nào đó.
Nhờ vậy, một vectơ tín hiệu vào X bị thiếu thông tin hoặc biến dạng có thể được phục hồi dạng nguyên bản của mình.
Trong ứng dụng, mạng Hopfield đã mô phỏng được khả năng tự kết hợp (hồi tưởng) của bộ não con ngườị Ngoài ra, với một số cải biên mạng Hopfield còn được dùng giải quyết các bài toán tối ưu, bài toán xử lý dữ liệu trong điều khiển tự động.
2.1. Kiến trúc mạng
Mạng Hopfield có một lớp ra, với số nơron bằng số tín hiệu vàọ Các liên kết nơron là đầy đủ.
Hình 2.6 : Cấu trúc mạng Hopfield
Nếu có m tín hiệu vào thì ma trận trọng số W sẽ có kích thước mxm, W=(wij) trong đó wij là trọng số liên kết nơron thứ j ở lớp vào sang nơron thứ i ở lớp rạ
Mạng nơron Hopfield yêu cầu các tín hiệu vào có giá trị lưỡng cực -1 và 1. Trường hợp đầu vào x nhị phân có thể dùng hàm biến đổi x’ =2x - 1
m i i ji j
j sign Net sign w x out
1
(2.3)
Hàm kích hoạt được dùng tại các nơron là hàm dấu
2.2. Huấn luyện mạng
Mạng Hopfield (HF) học dựa trên nguyên tắc có giám sát. Giả sử có p mẫu học tương ứng với các vectơ tín hiệu vào Xs, s=1,…,p. Mạng sẽ xác định bộ trọng số W sao cho
Xs=Tinh(Xs, W) với mọi s=1,…,p (2.4)
Ta xây dựng trọng số W như sau: W=(wij) với
Ở đây Xs = (xs1,…,xsm)
Một cách trực quan, trọng số liên kết wji sẽ tăng thêm một lượng là 1 (tương ứng với số hạng xsj,xsi), nếu cả hai thành phần thứ i và thứ j của mẫu học Xs bằng nhaụ Khi có mẫu học mới Xp+1 ta chỉ cần xét các thành phần thứ i và thứ j của nó để cập nhật giá trị cho wji.
Có thể chứng minh được với ma trận W được xác định như trong (2.5) ta sẽ được (2.4). Nói cách khác, mạng đã “học thuộc” các ví dụ mẫu {Xs}
2.3. Sử dụng mạng
Giả sử đưa vào mạng vectơ tín hiệu X
Sử dụng mạng để tính đầu ra tương ứng với tín hiệu vào X là quá trình lặp bao gồm các bước:
Ban đầu, đặt X(0)
= X. Gọi Y(t) là vectơ tín hiệu ra tương ứng với một lần cho X(t)lan truyền trong mạng.
Y(t) = out(t) = Tinh(HF,X(t))
Nếu Y(t) ≠ X(t) thì tiếp tục bước lặp 1 với t=t+1 và X(t+1) = Y(t) = out(t)
0 1 p s si sj ji x x w nếu i ≠j (2.5) nếu i=j
Nếu Y(t) = X(t) thì dừng khi đó X(t) được coi là kết quả xử lý của mạng khi có tín hiệu vào X .
Điểm chú ý quan trọng là ma trận W không thay đổi trong quá trình sử dụng mạng.