PPt2 - Single Layer pps

1 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Supervised Learning  Qúa trình dạy và dữ liệu test  Dữ liệu dạy cho mạng (training set) có dạng (input,target) 1 2 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Perceptron: kiến trúc  Xét mạng neural feed-forward một lớp và chỉ có một neuron: 2 M M 3 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Perceptron một lớp  Tổng quát hóa cho các mạng perceptron một lớp với nhiều neurons: 3 M M • Các neuron có đầu ra độc lập với nhau • Mỗi weight chỉ tác động lên một trong các đầu ra 4 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Perceptron: Mô hình neuron  McCulloch-Pitts perceptron là NN 1 lớp với hàm activation phi tuyến ϕ(.) là hàm thể hiện dấu (sign function) 4 x 1 x 2 x n w 2 w 1 w n b (bias) v y ϕ (v)    <− ≥+ = 0 if 1 0 if 1 )( v v vϕ 5 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Perceptron dùng để phân loại  Perceptron này được dùng để phân.  Với các mẫu thuộc các lớp C 1 , C 2 , dùng các mẫu này dạy cho mạng perceptron để mạng phân loại chính xác các nhóm mẫu:  Nếu đầu ra là +1 thì đầu vào được gán vào nhóm C 1  Nếu đầu ra là -1 thì đầu vào được gán vào nhóm C 2 5 6 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Dạy cho mạng Perceptron  Dạy để mạng có thể thực hiện nhiệm vụ phân loại dữ liệu đưa vào; thực tế là tìm các giá trị phù hợp cho weights.  Xét về mặt hình học, đó là tìm ra hyper-plane dùng để phân biệt nhóm dữ liệu vào. 6 7 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Perceptron xét theo hình học Biểu thức: 7 0 wxw 0 2 1i ii =+ ∑ = x 2 C 1 C 2 x 1 decision boundary w 1 x 1 + w 2 x 2 + w 0 = 0 decision region for C1 w 1 x 1 + w 2 x 2 + w 0 >= 0 Đầu vào gồm các vector giá trị thực 2 chiều. Mặt phẳng phân tách không gian đầu vào thành hai miền, mỗi miền ứng với một lớp: 8 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Ví dụ chức năng AND  Hàm AND được biểu diễn như dưới đây:  Điểm trắng ứng với false, và đen ứng với true ở đầu ra  -1 có nghĩa là false, +1 nghĩa là true đối với đầu vào 8 -1 AND -1 = false -1 AND +1 = false +1 AND -1 = false +1 AND +1 = true 9 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Ví dụ về chức năng AND, cont.  Phân biệt true và false theo hình dưới 9 10 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Ví dụ về chức năng AND, cont.  Xem perceptron học để trở thành hàm AND: 10 [...]... về nhận dạng -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 +1 -1 -1 -1 -1 +1 -1 -1 +1 -1 +1 -1 -1 +1 -1 -1 +1 -1 +1 -1 -1 +1 -1 -1 +1 +1 +1 +1 +1 +1 -1 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 13 13 Ví dụ về nhận dạng, cont  Dạy cho perceptron như thế nào để nhận dạng được số 3 này?  Gán -1 cho các weights có... bằng -1 , và gán +1 cho các weights có giá trị đầu vào bằng +1, và gán –63 cho bias  Sau đó đầu ra sẽ bằng 1 khi được biểu diễn với số 3 đúng, và bằng –1 đối với các mẫu khác Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 14 14 Ví dụ về nhận dạng, cont -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 +1 -1 -1 -1 -1 +1 -1 -1 -1 -1 +1 -1 -1 +1 -1 +1 -1 -1 +1 -1 -1 +1 -1 +1 -1 -1 +1 -1 -1 ... 1, 1) (1, 1, -1 ) (1,0, -1 ) (-1 , 1, 1) (-1 , 1, -1 ) (-1 ,0, -1 ) (-1 , 2, 0) (-1 , 2, 0) (-1 , 2, 0) (0, 2, -1 ) (0, 2, -1 ) (0,2, -1 ) w(n) x(n) 1 1 -1 1 3 1 Update? No No Yes No No No New weight (-1 , 2, 0) (-1 , 2, 0) (0, 2, -1 ) (0, 2, -1 ) (0, 2, -1 ) (0, 2, -1 ) End epoch 2 Ở epoch 3, không có thay đổi weight (tự kiểm tra lại) ⇒ Kết thúc thuật toán weight vector nhận được cuối cùng là: W=(0, 2, -1 ) ⇒ decision... w(1)=(1,0,0), η =1, và các đầu vào (1, 1, 1), (1, 1, -1 ), (1,0, -1 ), (-1 ,1, 1), (-1 ,1, -1 ), (-1 ,0, -1 ) Adjusted pattern Weight applied (1, 1, 1) (1, 0, 0) (1, 1, -1 ) (1, 0, 0) (1,0, -1 ) (1, 0, 0) (-1 ,1, 1) (1, 0, 0) (-1 ,1, -1 ) (0, 1, 1) (-1 ,0, -1 ) (-1 , 2, 0) w(n) x(n) 1 1 1 -1 0 1 Update? No No No Yes Yes No New weight (1, 0, 0) (1, 0, 0) (1, 0, 0) (0, 1, 1) (-1 , 2, 0) (-1 , 2, 0) End epoch 1 Faculty of Electronics... -1 +1 -1 -1 +1 -1 +1 -1 -1 +1 -1 -1 +1 +1 +1 +1 +1 +1 -1 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 15 15 Ví dụ về nhận dạng, cont  Điều gì nếu có sự khác chút xíu so với số 3 được nhận dạng, giống như trong hình trên?  Số 3 với một bit bị hỏng tạo ra tổng bằng -1  Nếu bias được set ở –63 thì mọi số 3 bị hỏng 1 bit... D={,< (-1 ,-1 ),1>, ,< (-1 ,1) ,-1 >} (w1,w2) (w1+∆w1,w2 +∆w2) Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 34 34 Gradient Descent  Dạy cho các wi sao cho chúng tối thiểu hoá bình phương sai số E[w1,…,wm] = ½ Σ d∈ D (td-od)2 Gradient: ∇E[w]=[∂E/∂w0,… ∂E/∂wm] ∆w =- ∇E[w] ∆wi =- ∂E/∂wi = - ∂/∂wi 1/2Σ d(td-od)2 = - ∂/∂wi 1/2Σ d(td-Σ i wi xi)2 = - Σ d(td- od)(-xi)... decision hyperplane là 2x1 - x2 = 0 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 22 22 Kết quả - x2 - 1 + Decision boundary: 2x1 - x2 = 0 C2 -1 - 1/2 + -1 1 2 w + Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 x1 C1 23 23 Kết thúc giải thuật học Giả sử các lớp C1, C2 là có thể tách tuyến tính, tức là tồn tại hyper-plane phân biệt chúng Giải... mẫu) Lấy một mẫu vào (x(n),d(n)) w(n+1) = w(n) + ηd(n)x(n); n = n+1; end-while; η Là một số thực Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 18 18 Ví dụ về nhận dạng, cont Xét tập mẫu dùng để dạy C1 ∪ C2, C1 = {(1,1), (1, -1 ), (0, -1 )} lớp này có nhãn 1 C2 = { (-1 ,-1 ), (-1 ,1), (0,1)} lớp này có nhãn -1 Dạy cho perceptron trên tập C1 ∪ C2 Faculty of Electronics and Telecommunications,... sau: -1 XOR -1 = false -1 XOR +1 = true +1 XOR -1 = true +1 XOR +1 = false Perceptron không thể học các hàm không thể phân biệt tuyến tính Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 11 11 Ví dụ về chức năng XOR, cont  Quan sát perceptron cố gắng học cho hàm XOR Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 12 12 Ví dụ về nhận dạng -1 -1 ... HUT Bangkok, Jun 14 – 23, 2006 19 19 Việc thực hiện Xem xét tập dùng để dạy C’1 ∪ C’2, với thành phần đầu tiên cố định bằng 1 (bias như extra weight): (1, 1, 1), (1, 1, -1 ), (1, 0, -1 ) ,(1 ,-1 , -1 ), (1 ,-1 , 1), (1,0,1) Thay thế x bằng -x cho tất cả x ∈ C2’ và dùng luật update sau: w(n) + η x(n) if wT (n) x (n) ≤ 0 w(n + 1) =  Epoch = áp dụng w(n)update vào mỗi mẫu của tập  luật otherwise dạy Quá trình . dạng 13 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 +1 +1 +1 +1 -1 -1 -1 -1 -1 -1 -1 +1 -1 -1 -1 -1 -1 +1 +1 +1 -1 -1 -1 -1 -1 -1 -1 +1 -1 -1 -1 -1 -1 -1 - 1 +1 -1 -1 -1 -1 +1 +1 +1 +1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 . cont. 15 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 +1 +1 +1 +1 -1 -1 -1 -1 -1 -1 -1 +1 -1 -1 -1 -1 -1 +1 +1 +1 -1 -1 -1 +1 -1 -1 -1 +1 -1 -1 -1 -1 -1 -1 - 1 +1 -1 -1 -1 -1 +1 +1 +1 +1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 . cont. 19 Xét tập mẫu dùng để dạy C 1 ∪ C 2 , C 1 = {(1,1), (1, -1 ), (0, -1 )} lớp này có nhãn 1 C 2 = { (-1 ,-1 ), (-1 ,1), (0,1)} lớp này có nhãn -1 Dạy cho perceptron trên tập C 1 ∪ C 2 20 Faculty