Mạng Hamming có ƣu điểm là không cần huấn luyện, tuy nhiên ta chỉ có một ma trận trọng số xác định trƣớc ứng với một tập vec tơ mẫu, vì vậy khó có thể làm cho mạng thích ứng đƣợc với các biến thể thuộc cùng một lớp của các vec tơ vào. Vì vậy mạng này khá “cứng”. Để khắc phục nhƣợc điểm này cần kết hợp mạng Hamming với các loại mạng khác.
2.2. Mạng Kết hợp tuyến tính
a. Kiến trúc
Mạng có S nơ ron, mỗi nơ ron nhận R tín hiệu vào. Hàm chuyển tuyến tính: a = purelin(Wp) = Wp (2.2.1) hay R 1 j j ij i w p a (2.2.2) b. Hoạt động
Nhiệm vụ của mạng bộ nhớ kết hợp là nhớ Q cặp vec tơ đầu vào, đầu ra mẫu:
{p1, t1}, {p2, t2}, …, {pQ, tQ}
Nói cách khác, nếu mạng nhận đầu vào p = pq thì đầu ra của nó phải là a = tq, với q = 1, 2, …, Q. Hơn nữa, nếu đầu vào thay đổi ít (p = pq + δ) thì đầu ra cũng chỉ thay đổi ít. (a = tq + ε)
b1) Luật học Hebb:
Phát biểu của Hebb:
“Khi nơ ron A đủ gần để kích hoạt nơ ron B và liên tục hoặc lặp lại nhiều
lần việc kích hoạt đó thì một quá trình tăng trƣởng hoặc chuyển hoá diễn ra ở một hoặc hai nơ ron dẫn đến hiệu năng của A sẽ tăng lên.”
Diễn giải phát biểu của Hebb vào mạng nơ ron:
Trọng số wij chính là khớp nối giữa đầu vào pj và đầu ra ai của một nơ ron. Phát biểu của Hebb ám chỉ rằng một pj dƣơng tạo ra một ai dƣơng sẽ làm cho trọng số wij tăng lên. Nghĩa là:
wij new
= wij
old+ α fi (aiq) gj (pjq) (2.2.3) trong đó α là tốc độ học
Nếu làm đơn giản hoá đi thì: wij
new
= wij
Luật học Hebb trên gọi là luật học không giám sát vì nó không cần thông tin về đầu ra mong muốn. Đối với luật học có giám sát thì phƣơng trình là:
wij new
= wij old
+ tiq pjq (2.2.5)
trong đó tiq là thành phần thứ i của vec tơ mẫu thứ q, tq
Do đó: