mạng truyền thẳng và học có giám sát

Mạng truyền thẳng và học có giám sát 1. Mạng Perceptron đơn. 2. Mạng nơ ron truyền thẳng nhiều lớp. 3. Giới thiệu một số mạng truyền thẳng khác. Mạng Perceptron đơn  Mô hình neuron  Kiến trúc mạng Perceptron  Quy tắc học Perceptron Mô hình một neuron ∑ . . . x 1 x 2 x R b 1 f w 1,1 w 1,2 w 1,R a n 0 n a 1 -1    < ≥ === 00 01 )lim()( n n nhardnfa bwxwxwxn RR ++++= ,12,121,11 bwxn R i ii +=⇒ ∑ =1 ,1 . Perceptron (tiếp)  Perceptron phân lớp đầu vào thành 2 vùng như hình vẽ. Ví dụ minh họa x 1 x 2 x 1 AND x 2 0 0 0 0 1 0 1 0 0 1 1 1 x 1 x 2 1 1 1 0 L = W.x + b ∑ W f x 1 x 2 b 1 w 1,1 w 2,1 a n [ ] 005.1. 2 2 =+       b       = 2 2 W 3 −= b Kiến trúc mạng Perceptron  Mạng Perceptron có 1 lớp gồm S Perceptron neurons kết nối với R đầu vào thống qua tập trọng số w i,j. ∑ ∑ ∑ f f f . . . . . . x 1 x 2 x R n 1 n 2 n S a 1 a 2 a S . . . w 1,1 w S,R w 2,1 w S,1 w 1,R w 2,R ∑ = += R j ijjii bxwn 1 , . )( ii nfa = Si , ,2,1 = )( ii nfa = Si , ,2,1 = b 2 b 1 b S Quy tắc học Perceptron ebbbb oldoldnew +=∇+= Toldoldnew xeWWWW . +=∇+= ate −= Ví dụ minh họa ∑ f n 1 w 1,1 w 1,2 a x 2 x 1 b 0=b ]8.01[ 0 −=W ]21[ = x 1=t Lần 1: a = hardlim(x 1 .w 1,1 +x 2 .w 1,2 +b) = hardlim(1x1 + (-0.8).2 + 0) = hardlim(-0.6) =0 e = t – a = 1 – 0 = 1 W new = W old + e.x = [1 -0.8] + [1 2] = [2 1.2] b new = b old + e = 0 + 1 = 1 Lần 2: … Bài tập ∑ ∑ f f x 1 1 w 1,1 w 2,1 w 2,2 w 1,2 b 1 b 2 1 x 2 a 1 a 2 n 2 n 1             =       = 0 0 , 2 1 22 tX             =       = 0 0 , 1 1 11 tX             =       − = 1 0 , 1 2 33 tX             =       = 1 0 , 0 2 44 tX             =       − = 0 1 , 2 1 55 tX             =       − = 0 1 , 1 2 66 tX             =       − − = 1 1 , 1 1 77 tX             =       − − = 1 1 , 2 2 88 tX       = 11 01 )0(W       = 1 1 )0(b Mạng ADLINE (Adaptive linear neural)  Mô hình một nơ ron ADLINE ∑ . . . x 1 x 2 x R f 1 n a nnfa == )( n a 1 1 0 ∑ = += R i ii bwxn 1 ,1 . b w 1,R w 1,2 w 1,1 a= purelin(n) [...]... +e Giải thuật lan truyền ngược Back propagation algorithm  Giải thuật lan truyền ngược là luật học có giám sát → cần có dữ liệu huấn luyện {x1 , t1}, {x2 , t 2 }, , {xQ , tQ }  Giải thuật lan truyền ngược điều chỉnh trọng số và bias của các nơ ron trong mạng để cực tiểu hóa sai số trung bình bình phương 1 Q 1 Q mse = ∑ e(k ) 2 = ∑ (t (k ) − a (k )) 2 Q k =1 Q k =1 Giải thuật lan truyền ngược (tiếp)...ADLINE (tiếp)  Một nơ ron ADLINE có thể phân đầu vào thành 2 lớp Mạng ADLINE w1,1 x1 w2,1 wS,1 ∑ ∑ w1,R xR n2 1 w2,R wS,R a1 f a2 b2 ∑ bS 1 f b1 1 x2 n1 f ni = ∑ wi , j x j + bi j =1 ai = f (ni ) = ni nS R aS i = 1,2 , S LMS (Least Mean Square error)  Sai số trung bình bình phường (mean square error)  LMS là giải thuật học có giám sát → dữ liệu huấn luyện {x1 , t1}, {x2 , t 2... = 0.36 + 2 × 0.2 × (−2.04) = −0.456 Mạng nơ ron truyền thẳng nhiều lớp w1,1 x1 ∑ w2,1 w1,2 x2 w2,2 n1 f1 a1 w3,1 ∑ b1 1 ∑ n2 f1 a2 w3,2 n3 f2 a3 b3 1 b2 1 n1 = w1,1.x1 + w1, 2 x2 + b1 a1 = f1 (n1 ) n2 = w2,1.x1 + w2, 2 x2 + b2 a2 = f1 (n2 ) n3 = w3,1.a1 + w3, 2 a2 + b3 a3 = f 2 (n3 ) Hàm truyền   Hàm truyền của lớp ẩn thướng là sigmoid hoặc tangent sigmoid Hàm truyền của lớp ra thường là linear,... (k ) + f 2' (n3 (k )).a2 (k ) Thuật toán lan truyền ngược tổng quát     Xét mạng nơ ron có M lớp ký hiệu từ 1 đến M Số nơ ron trong một lớp ký hiệu là Si Trong đó i là số hiệu lớp Trọng số của nơ ron thứ i ứng với đầu vào j của lớp m ký hiệu là wi,jm Bias của nơ ron thứ i thuộc lớp m ký hiệu là bim Thuật toán lan truyền ngược tổng quát (tiếp)  Ta có xấp xỉ sai số trung bình bình phương SM F =... 1) = w (k ) − α m ∂wi , j (k ) m i, j m i, j ∂F b (k + 1) = b (k ) − α m ∂bi (k ) m i  m i α là tốc độ học (learning rate) Thuật toán lan truyền ngược tổng quát (tiếp) m +1 i a = f m +1 Sm (∑ w j =1 m +1 i, j m +1 i a + b m j i = 1,2,3, , S a = xi 0 i ) m +1 m = 0,1,2, M − 1 Thuật toán lan truyền ngược tổng quát (tiếp) S m−1 ∂F ∂F ∂n = m m ∂wi , j ∂ni ∂w m i m i, j = ∂ ( ∑ w a k =1 m i ,k ∂w m −1... LMS là giải thuật học có giám sát → dữ liệu huấn luyện {x1 , t1}, {x2 , t 2 }, , {xQ , tQ } 1 Q 1 Q mse = ∑ e(k ) 2 = ∑ (t (k ) − a (k )) 2 Q k =1 Q k =1 • Giải thuật LMS là điều chỉnh trọng số và bias của mạng ADALINE sao cho sai số trung bình bình phương là nhỏ nhất LMS (tiếp) ∂e 2 (k ) ∂e(k ) ∇w1, j = = 2.e(k ) ∂w1, j ∂w1, j ∂e (k ) ∂e(k ) ∇b = = 2.e(k ) ∂b ∂b j = 1,2, , R 2 ∂e(k ) ∂ (t (k ) −... m −1 k m i, j ∂F ∂F ∂n ∂F = m = m m ∂bi ∂ni ∂b ∂ni m i m i +b ) m i ∂F m ∂ni Thuật toán lan truyền ngược tổng quát (tiếp) ∂F s = m ∂ni m i Đặt ∂F m = si m ∂bi ∂F m −1 m = a j si m ∂wi , j w (k + 1) = w (k ) − α a m i, j m i, j m −1 j (k ).s (k ) b (k + 1) = b (k ) − α s (k ) m i m i m i m i Thuật toán lan truyền ngược tổng quát (tiếp) Biểu diễn dưới dạng ma trận W (k + 1) = W (k ) − α s (a m m m b... m−1 −1 ] Thuật toán lan truyền ngược tổng quát (tiếp) Biểu diễn dưới dạng ma trận m +1 m +1 ∂F ∂F ∂n m +1 ∂n s = m = m +1 =s m m ∂n ∂n ∂n ∂n m ∂n m +1 ∂n m  ∂n1m +1  ∂n1m  m  ∂n2 +1 =  ∂n1m    m  ∂nS m+1 +1  ∂n1m   ∂n1m +1 m ∂n2 m ∂n2 +1 m ∂n2  m ∂nS m+1 +1 ∂n m 2     ∂n1m +1  m  ∂nS m  m ∂n2 +1  m  ∂nS m    m ∂nS m+1  +1 m  ∂nS m   Thuật toán lan truyền ngược tổng quát... truyền ngược tổng quát (tiếp) Tính một phần tử bất kỳ tại hàng i và cột j như sau: S m+1 m +1 i m j ∂n ∂n m +1 = m ∂( ∑wimk+1.ak + bim +1 ) , k =1 ∂n m j ∂n = F (n m ).W m +1 ∂n m • m m +1 i, j = f (n ).w m j • m • m m  f (n1 )  • m F (n m ) =  0     0  0  • m m f ( n2 )    0   0   0     • m m f ( nS m   Thuật toán lan truyền ngược tổng quát (tiếp) • m s = F (n ).(W m s si M M →s... ∂w1, j ∂ (−[∑ w1,i xi (k ) + b]) i =1 ∂b = − x j (k ) = −1 LMS (tiếp) w1, j (k + 1) = w1, j (k ) − α∇w1, j (k ) = w1, j (k ) + 2α e(k ).x j (k ) b(k + 1) = b(k ) − α∇b(k ) = b(k ) + 2α e(k ) α là tốc độ học (learning rate) 0