PPt3 - Feedforward potx

1 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Multi layer feed-forward NN (FFNN) Neural Networks NN 3 1 Input layer Output layer Hidden Layer • Xét mạng có lớp neuron nằm giữa lớp đầu vào và ra như hình sau. Lớp nằm giữa được gọi là hidden layer, nó ko đưa đầu ra trực tiếp đến đầu ra của mạng. FFNN khắc phục hạn chế của mạng đơn lớp: thực hiện với non- linearly saparable 2 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Vấn đ ề với XOR Neural Networks NN 3 2 x 1 x 2 x 1 xor x 2 -1 -1 -1 -1 1 1 1 -1 1 1 1 -1 Một ví dụ điển hình của hàm non-linearly saparable là XOR. Hàm này nhận 2 biến vào với các giá trị thuộc {-1,1} và trả về một đầu ra trong {-1,1}, như được chỉ ra dưới đây: Nếu xem -1 và 1 như là false và true 3 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Vấn đ ề với XOR Neural Networks NN 3 3 1 1 -1 -1 x 2 x 1 x 1 x 2 -1 +1 +1 +1 +1 -1 -1 -1 0.1 Graph sau đây cho thấy đầu ra 1 và -1 được diễn tả với các vòng màu xanh và đỏ. Có hai lớp (green và red) không thể tách nếu dùng đường tuyến tính, nhưng với 2 đường thì có thể tách Mạng NN dưới đây với hai hidden nodes thực hiện việc tách, mỗi hidden node biểu diễn một trong hai đường xanh. NN này dùng hàm activation sign. Mỗi mũi tên xanh chỉ ra bởi weights của một trong 2 hidden node. Nó chỉ ra hướng vuông góc với đường thẳng tương ứng. Mũi tên chỉ về nơi có đầu ra của neuron bằng 1. Node đầu ra được dùng để hình thành đầu ra của hai hidden nodes. 4 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Các loại miền Neural Networks NN 3 4 0 22110 >++ ξωξωω 0 22110 <++ ξωξωω x1 1 x2 w2 w1 w0 Convex region L1 L2 L3 L4 -3.5 Mạng có 1 node Mạng có 1 lớp hidden neurons thực hiện vùng lồi: mỗi hidden node thực hiện các đường biên bao quanh vùng lồi. P1 P2 P3 1 1 1 1 1 x1 x2 1 1.5 Mạng hai lớp hidden layer thực hiện hợp ba vùng lồi: mỗi box biểu diễn một mạng có 1 lớp hidden thực hiện một vùng lồi 1 1 1 1 x1 x2 1 5 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 5 Các vấn đề Non-Linearly Separable khác nhau Kiến trúc Các loại vùng decision Exclusive-OR Problem Các lớp có vùng chồng lấn Các dạng vùng chung Single-Layer Two-Layer Three-Layer Chỉ bao được một nửa mặt phẳng Vùng lồi đóng hoặc mở Bất kỳ (mức độ phức tạp hục thuộc số nodes) A AB B A AB B A AB B B A B A B A 6 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Mô hình của Neuron  Thuật học của FFNN được dựa trên phư ơng pháp gradient descent. Với lý do này, hàm activation đư ợc dùng trong FFNN là các hàm liên tục của các weight, có đạo hàm ở mọi nơi.  Một hàm activation điển hình có thể đư ợc thấy như là xấp xỉ liên tục của các hàm bước với các ngưỡng là hàm Sigmoid Function. Hàm sigmoid cho node j là:  Khi hướng đến vô cùng thì ϕ hướng tới hàm bậc 0 with)(v 1 1 j >= − + α ε ϕ αϖ ϕ -10 -8 -6 -4 -2 2 4 6 8 10 j v )( j v ϕ 1 Increasing a iyj iw yw i node ofoutput and node to node fromlink of weight with vwhere i ji ijij ∑ = 7 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Neural Networks NN 3 7 Feed forward NN Feed forward NN Idea : Credit assignment problem • Problem of assigning ‘credit’ or ‘blame’ to individual elements involving in forming overall response of a learning system (hidden units) • In neural networks, problem relates to distributing the network error to the weights. 8 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Quá trình dạy: thuật tóan Backprop  Backprop algorithm tìm kiếm các giá trị của weight để tối thiểu sai số của mạng trên tập các mẫu học (training set).  Backprop lặp đi lặp lại của 2 quá trình:  Forward pass: trong bước này, mạng làm việc với 1 mẫu và sai số của (mỗi neuron) lớp đầu ra được tính tóan.  Backward pass: bước này dùng sai số của mạng để update các weights. Quá trình này phức tạp hơn thuật LMS algorithm cho Adaline, bởi vì các hidden nodes liên quan tới lỗi không trực tiếp mà thông qua các node của lớp tiếp theo. Do đó, bắt đầu từ lớp đầu ra, sai số được lan truyền ngược qua mạng qua từng lớp. Điều này hoàn thành bởi quá trình tính toán hồi quy local gradient cho mỗi neuron. Neural Networks NN 3 8 9 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Backprop  Thuật dạy Back-propagation được mô tả như sau:  Backprop chỉnh các weights của mạng để tối thiểu sai số trung bình bình phương ủa toàn mạng Neural Networks NN 3 9 Tính toán sai lệch của mạng- Bước thuận Lan truyền sai số-Bước ngược 10 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Sai số bình phương trung bình  Sai số ở neuron đầu ra j sau khi thực hiện dạy dùng mẫu thứ n-th là:  Sai số của toàn mạng (network error) là tổng của sai số bình phương của các neuron đầu ra:  Tổng sai số trung bình bình phương là trung bình của các sai số mạng trên các mẫu dùng để dạy Neural Networks NN 3 10 (n)y-(n)d(n)e jjj = (n)eE(n) nodeoutput j 2 j 2 1 ∑ = ∑ = = N 1n N 1 AV (n)EE ))(),(( ndnx [...]... mode (off-line or per -epoch) Weights updated after all the patterns are presented Neural Networks Faculty of Electronics NN 3 and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 22 22 Backprop algorithm incremental-mode n=1; initialize w(n) randomly; while (stopping criterion not satisfied and n . – 23, 2006 Vấn đ ề với XOR Neural Networks NN 3 3 1 1 -1 -1 x 2 x 1 x 1 x 2 -1 +1 +1 +1 +1 -1 -1 -1 0.1 Graph sau đây cho thấy đầu ra 1 và -1 được diễn tả với các vòng màu xanh và đỏ. Có hai. non- linearly saparable 2 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Vấn đ ề với XOR Neural Networks NN 3 2 x 1 x 2 x 1 xor x 2 -1 -1 -1 -1 1 1 1 -1 1 1. 1 -1 Một ví dụ điển hình của hàm non-linearly saparable là XOR. Hàm này nhận 2 biến vào với các giá trị thuộc {-1 ,1} và trả về một đầu ra trong {-1 ,1}, như được chỉ ra dưới đây: Nếu xem -1