dieu khien thong minh huynh thai hoang chuong04 mang than kinh cuuduongthancong com

Môn học NH P MƠN I U KHI N THƠNG MINH Gi ng viên: PGS.TS Hu nh Thái Hoàng B môn i u Khi n T ng Khoa i n – i n T i h c Bách Khoa TP.HCM Email: hthoang@hcmut.edu.vn Homepage: http://www4.hcmut.edu.vn/~hthoang 19 August 2014 © H T Hoàng - ÐHBK TPHCM Ch ng M NG G TH N KINH 19 August 2014 © H T Hoàng - ÐHBK TPHCM N i dung  Khái ni m v m ng th n kinh  Các c u trúc m ng gi i thu t hu n luy n  Perceptron  Adaline  M ng truy n th ng nhi u l p  Gi i thi u Neural Network Toolbox c a Matlab 19 August 2014 © H T Hồng - ÐHBK TPHCM M NG TH N KINH 19 August 2014 © H T Hoàng - ÐHBK TPHCM B não  B não ã ng i h th h ng x lý thông hô tin i ph h c h p, phi n song song có kh n ng h c, ghi nh , t ng quát hóa x lý l ii 19 August 2014 © H T Hoàng - ÐHBK TPHCM M ng th n kinh sinh h c  B não ng i g m kho ng 1011 t bào th n kinh liê k t v i liên h thành h m ng 19 August 2014 © H T Hoàng - ÐHBK TPHCM T bào th n kinh sinh h c  T bào th n kinh g m: thân t bào (soma), đ u dây th n kinh vào (dendrite), kh p n i (synapse), s i t c (axon) tr ( ) đ u dây dâ th n kinh ki h 19 August 2014 © H T Hồng - ÐHBK TPHCM T bào th n kinh x  x1 x2  xm  w  w1 w  wm  19 August 2014 T vector tín hiệu vào tế bào thần T kinh vector tr ng s te tế bao bào than thần kinh © H T Hồng - ÐHBK TPHCM Hàm tích h p ngõ vào t bào th n kinh  Hàm t n tính (linear function): f nction)  m f  net    w j x j     w T x    j 1   Hàm toàn p ph ng g (q (quadratic function): ) m 2 f  net    w j x j     j 1   Hàm c u ((spherical p function): )  2 m 2 f  net     ( x j  w j )      2 ( x  w )T ( x  w )   j 1   19 August 2014 © H T Hoàng - ÐHBK TPHCM Hàm tác đ ng     Hàm n c (step): 1 if f  a( f )   0 if f  Hàm d u (sign):  if f  a( f )   - if f  Hàm d c bão hòa: 1  a( f )   f 0  Hàm n tính bão hịa: 19 August 2014 f  neáu  f  neu neáu f  neu f 1 1  a( f )   f neáu  f   nếáu f  1  © H T Hồng - ÐHBK TPHCM 10 Ví d tính ngõ c a m ng MLP  Gi i: 19 August 2014 © H T Hồng - ÐHBK TPHCM 35 Cơng th c tính sai s  Sai s gi a ngõ c a m ng d li u mong mu n hàm ph thu c vào tr ng s c a m ng: n E ( w, v )   d i  yi i 1    n   d i  ao ( neti ) i 1 2 l n é ù æ ửữ ổ l ửữự 1 n ộờ ỗ ỳ = d i - ao ỗỗỗồ wqi zq )ữữỳỳ = d i - ao ỗỗồ wqi ah ( netq )÷÷÷ú i=1 êë ÷øú è q=1 øúû i=1 êë è q=1 û m é ỉ l ư÷ù = å êê d i - ao ỗỗỗồ wqi ah ( v jq x j )÷÷úú i=1 êë è q=1 ø÷úû j=1 n 19 August 2014 © H T Hồng - ÐHBK TPHCM 36 Thu t toán suy gi m đ d c c p nh t tr ng s  Bi u th c c p nh t tr ng s l p ra: E ( k ) wi ( k  1)  wi ( k )   wi E ( k )  E ( k )   yi   neti     net   w  wi y  i  i  i    [ ( d i ( k )  y i ( k ))][ ao ( net i ( k ))][ z ( k )]  oi (k )  wi ( k  1)  wi ( k )   oi ( k ) z 19 August 2014 © H T Hồng - ÐHBK TPHCM 37 Thu t toán suy gi m đ d c c p nh t tr ng s  Bi u th c c p nhh t tr t ng s l p n: E ( k ) v q ( k  1)  v q ( k )   v q E ( k )  E ( k )   zi   net q      v q  z q   net q   v q   n      ( d i ( k )  yi ( k ))ao ( neti ( k )) wiqq ( k )[a h ( net q ( k ))][ x j ( k )]  i 1   oi (k )  hq (k )  v q ( k  1)  v q ( k )   hq ( k ) x 19 August 2014 © H T Hồng - ÐHBK TPHCM 38 Thu t toán lan truy n ng B c (Back propagation) c 1: Ch n ; gán k=1, k=1 E=0; kh i đ ng ng u nhiên tr ng s l p n l p vq(k), wi(k) (1ql, 1in) B c 2: (truy n thu n d li u) Tính ngõ c a m ng v i tín hi u vào x(k) (1jm) : L p n: net q ( k )  v qT ( k ) x ( k ) (1  q  l ) z q ( k )  a h net q ( k )  L p ra: neti ( k )  wiT ( k ) z ( k ) (1  i  n ) yi ( k )  ao neti ( k )  19 August 2014 © H T Hồng - ÐHBK TPHCM 39 Thu t toán lan truy n ng c (Back propagation) B c 3: (Lan truy n ng c sai s ) C p nh t tr ng s : L p ra:  oi ( k )  [( d i ( k )  yi ( k ))][ ao ( neti ( k ))] (1  i  n ) wi ( k  1)  wi ( k )   oi ( k ) z ( k ) n  L p n:  hqq ( k )    oi ( k ) wiqq ( k ) a h ( net q ( k )) (1  q  l )  i 1  v q ( k  1)  v q ( k )   hq ( k ) x ( k ) n  B c 4: Tính sai s tích l y: E  E   [d i ( k )  y i ( k )] i 1 B c 5: N u k  gán gán k =1, E =0 tr l i b c B 19 August 2014 © H T Hoàng - ÐHBK TPHCM 40 o hàm c a hàm tác đ ng d ng S  Hàm Hà sigmoid i id đ n c c (logsig): (l i ) a( f )   e f  a ( f )  e f 1  e  f      e f  a ( f )  a ( f )  a ( f ) 19 August 2014 1  e  f  © H T Hoàng - ÐHBK TPHCM 41 o hàm c a hàm tác đ ng d ng S  Hàm Hà sigmoid i id l ng c c (tansig): (t i )  e f a( f )  1  f 1 e  e f 2e  f (1  e  f )  (1  e  f )  a ( f )   f 2 (1  e ) (1  e  f )  a ( f )  19 August 2014  1  a2 ( f )  © H T Hồng - ÐHBK TPHCM 42 Ví d : X p x hàm dùng m ng truy n th ng nhi u l p  Bài toán: t X p x hàm hà phi hi t n: y  e  x sin(10 x ) (0  x  2) dùng m ng neuron  C u trúc m ng:    ngõ vào x, ngõ y S t bào th n kinh l p n N N Thí d kh o sát kh n ng x p x c a m ng tr ng h p N b ng 6, 8, 10, 12 Hàm kích ho t l p n tansig, l p n tính 19 August 2014 © H T Hồng - ÐHBK TPHCM 43 Ví d : X p x hàm dùng m ng truy n th ng nhi u l p (tt)  T p d li u hu h n luy l n m ng g m 300 m u 19 August 2014 © H T Hồng - ÐHBK TPHCM 44 Ví d : X p x hàm dùng m ng truy n th ng nhi u l p (tt)  K t qu hu n luy n m ng 19 August 2014 © H T Hồng - ÐHBK TPHCM 45 ng d ng x p x hàm 19 August 2014 © H T Hồng - ÐHBK TPHCM 46 Bài t p y l2 2 l1 1 x  x  l1 cos 1  l2 cos((1   )   y  l1 sin 1  l2 sin(1   )  Hu n luy n m ng n -ron gi i toán đ ng h c thu n robot 19 August 2014 © H T Hoàng - ÐHBK TPHCM 47 GI I THI U NEURAL NETWORKS TOOLBOX 19 August 2014 © H T Hoàng - ÐHBK TPHCM 48 Các hàm c b n c a NN Toolbox >> mynet mynet=newff(X newff(X,D,N,{ D N {‘tansig’ tansig ‘purelin’}); purelin }); % khai báo m ng neuron l p % s ngõ vào s hàng c a X; s ngõ s hàng c a D % s n ron l p n N % hàm tác đ ng l p n tansig, l p purelin >> mynet=perceptron %khai báo m t perceptron >> mynet=train(mynet,X,D); % hu n luy n m ng mynet v i d li u vào X, X d li u D % s c t c a X = s c t c a D = s m u d li u hu n luy n >> Y=sim(mynet,X); Y sim(mynet,X); % tính ngõ c a m ng mynet ngõ vào X % s c t c a X s m u d li u c n tính >> help nnet 19 August 2014 % xem đ y đ hàm c a NN Toolbox © H T Hồng - ÐHBK TPHCM 49 ... TPHCM M ng th n kinh sinh h c  B não ng i g m kho ng 1011 t bào th n kinh liê k t v i liên h thành h m ng 19 August 2014 © H T Hồng - ÐHBK TPHCM T bào th n kinh sinh h c  T bào th n kinh g m: thân... August 2014 T vector tín hiệu vào tế bào thần T kinh vector tr ng s te tế bao bào than thần kinh © H T Hồng - ÐHBK TPHCM Hàm tích h p ngõ vào t bào th n kinh  Hàm t n tính (linear function): f nction)... t bào (soma), đ u dây th n kinh vào (dendrite), kh p n i (synapse), s i t c (axon) tr ( ) đ u dây dâ th n kinh ki h 19 August 2014 © H T Hồng - ÐHBK TPHCM T bào th n kinh x  x1 x2  xm  w 