1.Mạng Hebb
Hebb, trong cuốn The organization of Behavior (1949), cho rằng
- Lặp đi lặp lại một hành vi sẽ làm tăng cường độ liên kết giữa các nơron (wij)
- wij tăng chỉ khi cả nơron i và nơron j đều hưng phấn. Theo tinh thần đó luật học của Heb như sau:
- wij tăng chỉ khi các giá trị ra của cả hai nơron xi và yj cùng dấu. Ví dụ với một nơron ra và n nơron vào trong mạng một lớp
Giải thuật học của Hebb
Bước 0. khởi tạo: b = 0, wi = 0, i = 1 … n
Bước 1. Với từng mẫu huấn luyện s:t làm các bước từ 2 - 4 /* s là mẫu vào, t đầu ra ứng với mẫu vào s */
yx x old w new w wij ij ij i ( ) ( ) y x old w new w wij ij( ) ij( ) i or,
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Bước 2. xi := si, i = 1 … n /* Đưa s vào nơron vào */ Bước 3. y := t /* Gán cho y giá trị ra ra mong muốn */ Bước 4. wi := wi + xi * y, i = 1 … n /* Cập nhật trọng số */ b := b + xi * y /* Cập nhật độ dịch */
Chú ý: 1) a = 1,
2) Mỗi mẫu học chỉ được dùng một lần. Ví dụ: Hàm AND: Giá trị vào là (1, 0)
– Giá trị vào là (1, -1)
- Sẽ cho kết quả sai nếu học x1 ^ x2 ^ x3, cho dù hàm này được phân chia tuyến tính.
- Như vậy cần có một luật học mạnh hơn.
• Làm giảm lỗi: Với mỗi mẫu s:t, tính y từ s theo W và b hiện tại, sau đó so sánh y và t
• Lặp lại với các mẫu học, và mỗi lần trọng số chỉ thay đổi nhẹ (a << 1) • Các phương pháp Perceptron và Adaline là các ví dụ tốt cho tư tưởng trên. 2. Perceptrons • Do Rosenblatt đề nghị (1962) : (x1, x2, 1) y=t w1 w2 b (1, 1, 1) 1 1 1 1 (1, 0, 1) 0 1 1 1 (0, 1, 1) 0 1 1 1 (0, 0, 1) 0 1 1 1 Biên chưa chính xác: 1 + x1 + x2 = 0 được thay đổi sau mỗi lần mẫu học được đưa vào (x1, x2, 1) y=t w1 w2 b (1, 1, 1) 1 1 1 1 (1, -1, 1) -1 0 2 0 (-1, 1, 1) -1 1 1 -1 (-1, -1, 1) -1 2 2 -2 A correct boundary -1 + x1 + x2 = 0 is successfully learned
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
– Mô hình trực quan
– 3 lớp: Lớp vào, lớp ẩn và lớp ra
– Mục đích học chỉ là thay đổi trọng số giữa lớp A và lớp R (Các trọng số từ lớp S tới lớp A được cố định).
– Một nơron đơn lẻ của lớp các nơron R nhận tín hiệu vào từ n nơron của lớp các nơron A (Giống như với kiến trúc một lớp)
– Với mỗi mẫu học s:t, trọng số chỉ thay đổi nếu giá trị ra thực tế khác với giá trị ra mong muốn
Giải thuật học Perceptron:
Bước 0. Khởi tạo: b = 0, wi = 0, i = 1 … n
Bước 1. Khi điều kiện dừng chưa thỏa thực hiện các bước từ 2 đến 5 . Bước 2. Với mỗi mẫu học s:t thực hiện các bước từ 3 đến5
Bước 3. xi := si, i = 1 … n Bước 4. Tính y Bước 5. Nếu y ≠ t wi := wi + a * xi * t , i = 1 … n b := b + a * t Chú ý:
- Quá trình học chỉ diễn ra với các mẫu mà y ≠ t
- Khi hoàn thành một lượt đưa bộ mẫu học vào (mỗi mẫu chỉ được dùng một lần) ta bước sang một giai đoạn mới.
Điều kiện dừng
- Tới một giai đoạn mà không có trọng số nào được thay đổi. Hoặc - Đạt đến số giai đoạn đã được qui ước từ trước.
Chứng minh phi hình thức: Với y = 1 và t = -1
- Để làm cho y dần đạt tới t, w1 cần phải làm giảm net_y - Nếu xi = 1, xi * t < 0, cần giảm w1 (xi*w1 giảm)
- Nếu xi = -1, xi * t >0 cần tăng w1 (xi*w1 giảm) • Định lý hội tụ cho giải thuật học Perceptron
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Phi hình thức: Bất kỳ bài toán nào có thể biểu diễn bởi mạng perceptron đều có thể học theo giải thuật học Perceptron