Neurol Networks and applications ppsx

1 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Neural Networks and Applications Người hướng dẫn: TS. Hoàng Mạnh Thắng hmt@mail.hut.edu.vn or thang@ieee.org http://fet.hut.edu.vn/SIP-LAB 2 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Nội dung môn học Gồm lý thuyết và thực hành: 1. Lý thuyết đưa ra các chủ đề về neural network và ứng dụng vào quá trình học có/không có giám sát (supervised/unsupervised learning) 2. Thực hành với Matlab và ứng dụng của thuật toán học trong neural network. 3. Các ứng dụng của Neural Networks trong lĩnh vực điện tử-viễn thông 3 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Neural Network là gì ?  Là mạng của các phần tử tính toán đơn giản (gọi là neuron)  Nhấn mạnh đến quá trình học (pattern recognition)  Vấn đề tính toán của các phần tử (neurons)  NN được mô tả dựa theo mạng neuron sinh học 4 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Lịch sử Nguồn gốc của NN bắt nguồn từ:  Các nghiên cứu về thần kinh sinh học (cách đây cả thế kỷ): Từ những kích thích thần kinh, và ngưỡng kích thích bằng bao nhiêu thì có đáp ứng? etc  Từ các nghiên cứu về tâm lý học: Làm thế nào để động vật có thể học được…  Từ vật lý về tâm lý thực nghiệm giúp các nhà khoa học hiểu các neuron và nhóm các neuron làm việc như thế nào.  McCulloch và Pitts lần đầu tiên đưa ra mô hình toán của neuron đơn và nó được ứng dụng cho các nghiên cứu sau này. 5 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Lịch sử, cont Tiền sử:  Golgi and Ramony Cajal nghiên cứu các hệ thống thần kinh và phát hiện ra các neuron (cuối thế kỷ 19) Tóm tắt qua các mốc thời gian:  McCulloch và Pitts (1943): NN đầu tiên với các neuron binary  Hebb (1949): quá trình học khi các neuron nối với nhau  Minsky (1954): NN cho quá trình reinforcement learning  Taylor (1956): associative memory  Rosenblatt (1958): perceptron, một neuron với các quá trình học có và ko có giám sát 6 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Lịch sử, cont  Widrow and Hoff (1960): Adaline (adaptive linear neuron)  Minsky and Papert (1969): đưa ra các hạn chế của perceptron một lớp và đưa đến perceptron nhiều lớp Ngừng trệ trong thập kỷ 70:  Các nhà nghiên cứu độc lập tiếp tục nghiên cứu  von der Marlsburg (1973): đưa ra quá trình học competitive learning và self-organization NN phát triển cực manh ở thập niên 80's  Grossberg: adaptive resonance theory (ART)  Hopfield: Hopfield network  Kohonen: self-organising map (SOM) 7 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Lịch sử, cont  Oja: phân tích thành phần độc lập(PCA)  Ackley, Hinton and Sejnowski: Máy Boltzmann  Rumelhart, Hinton and Williams: backpropagation Sự đa dạng hóa trong thập niên 90's:  Machine learning: Phương pháp toán, Bayesian các phương pháp, lý thuyết thông tin, support vector machines (công cụ mạnh hiện nay),  Computational neurosciences: làm việc với hầu hết các phần của hệ thống của não và được hiểu ở mức nào đó. Nghiên cứu từ các mô hình mức thấp của các neuron đến các mô hình bộ não. 8 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Phân loại các giải thuật học Learning Tasks Supervised Unsupervised Data: Labeled examples (input , desired output) Tasks: classification pattern recognition Regression NN models: perceptron adaline feed-forward NN radial basis function support vector machines Data: Unlabeled examples (different realizations of the input) Tasks: clustering content addressable memory NN models: self-organizing maps (SOM) Hopfield networks 9 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 NNs: mục đích và thiết kế  Học được thực hiện với tập các mẫu (dataset) và được gọi là training examples.  Một NN được quan tâm theo 3 khía cạnh:  Kiến trúc của mạng: Các neuron và liên kết giữa chúng với nhau. Mỗi liên kết có một trọng số, gọi là weight,  Mô hình của Neuron: liên quan đến số đầu vào và hàm kích hoạt,  Thuật tóan học: dùng để dạy NN thông qua điều chỉnh các weight để có đầu ra như mong muốn.  Mục đích cuối cùng là có được NN có thể nhận ra được những thông tin được đưa vào trong quá trình nó làm việc 10 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Ví dụ: Alvinn Tự động lái ở tốc độ 110 Km/h Camera image Đầu vào là các ảnh 30x32 pixels 30 đầu ra 30x32 weights Cho 1 trong 4 hidden neuron 4 hidden Neurons [...]... of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 24 Ứng dụng Radial basis function networks Feed-forward networks Non-linear classifiers Supervised learning Support vector machines Linear classifiers Perceptron Adaline Self-organizing maps K-means Clustering Unsupervised learning Content addressable memories Optimization Hopfield networks Faculty of Electronics and Telecommunications,... Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 31 Matrices An×m  a11 a  21 = a31    an1  Sum: a12 a22 a32  an 2  a1m   a2 m    a3m      anm   Cn×m = An×m + Bn×m cij = aij + bij A and B must have the same dimensions Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 32 Matrices Product: Cn× p = An×m Bm× p m cij = ∑ aik bkj k =1 A and B... y2 ) = ( x1 + y1 , x2 + y2 ) v V+w w Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 28 Scalar Product av = a ( x1 , x2 ) = (ax1 , ax2 ) av v Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 29 Operations on vectors  sum  max, min, mean, sort, …  Pointwise: ^ Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 30... Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 Output layer of neurons 13 Multi layer feed-forward 3-4-2 Network Output layer Input layer Hidden Layer Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 14 Recurrent network Recurrent Network có các hidden neuron: phần tử làm trễ z-1 được dùng input hidden output z-1 z-1 z-1 Faculty of Electronics and Telecommunications,... Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 33 Matrices Transpose: Cm×n = AT n×m ( A + B)T = AT + B T cij = a ji If AT = A ( AB)T = B T AT A is symmetric Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 34 Matrices Inverse: A must be square An×n A−1n×n = A−1n×n An×n = I  a11 a  21 −1 a12  1 = a22  a11a22 − a21a12  Faculty of Electronics and Telecommunications,... ứng dụng Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 11 Các kiến trúc mạng neuron  Có 3 loại kiến trúc  single-layer feed-forward Các neuron được nối với nhau  multi-layer feed-forward không tạo ra vòng (acyclic)  Recurrent neural network  kiến trúc của NN có liên hệ với giải thuật học được dùng để dạy cho mạng Faculty of Electronics and Telecommunications, HUT Bangkok,... Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 25 Ứng dụng Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 26 Các vấn đề cơ bản về Vectors  Tập các số có thứ tự: (1,2,3,4)  Ví dụ: hệ trục tọa độ (x,y,z) của các điểm trong không gian 3 chiều Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 v = ( x , x , , x ) 1 2 n n x2 ∑i i =1... dạy Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 17 Neuron  Neuron là phần tử xử lý thông tin cơ bản của NN Nó gồm:  Một tập các liên kết, các đầu vào, và weights w1, w2, …, wm  Hàm cộng thực hiện cộng tuyến tính: m j j j= 1 u = ∑w x  Hàm kích hoạt (Activation function) thành đầu ra dựa trên ϕ (.) hình y = ϕ (u + b) Faculty of Electronics and Telecommunications, HUT... x1-x2=0 u = − x2 x1 x1-x2= 1 x1 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 19 Bias as extra input • Bias có thể được xem như một đầu vào m x0 = +1 x1 Input signal v = ∑wj xj w0 j =0 w0 = b w1 x2 ∑ w2 v Activation function ϕ (− ) Output y Summing function ………… xm Local Field wm Synaptic weights Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006...  1 ϕ (v ) = exp −     2 σ   2π σ   Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 22 Các giải thuật học Phụ thuộc vào kiến trúc của mạng:  Error correcting learning (dùng cho perceptron)  Delta rule (AdaLine, Backprop.)  Competitive Learning (Self Organizing Maps) Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 23 Ứng dụng  . 1 Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Neural Networks and Applications Người hướng dẫn: TS. Hoàng Mạnh Thắng hmt@mail.hut.edu.vn. Faculty of Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Lịch sử, cont  Widrow and Hoff (1960): Adaline (adaptive linear neuron)  Minsky and Papert (1969): đưa ra. Electronics and Telecommunications, HUT Bangkok, Jun. 14 – 23, 2006 Lịch sử, cont  Oja: phân tích thành phần độc lập(PCA)  Ackley, Hinton and Sejnowski: Máy Boltzmann  Rumelhart, Hinton and Williams: