Môn học NH P MƠN I U KHI N THƠNG MINH Gi ng viên: PGS.TS Hu nh Thái Hoàng B môn i u Khi n T ng Khoa i n – i n T i h c Bách Khoa TP.HCM Email: hthoang@hcmut.edu.vn Homepage: http://www4.hcmut.edu.vn/~hthoang 19 August 2014 © H T Hoàng - ÐHBK TPHCM Ch ng M NG G TH N KINH 19 August 2014 © H T Hoàng - ÐHBK TPHCM N i dung Khái ni m v m ng th n kinh Các c u trúc m ng gi i thu t hu n luy n Perceptron Adaline M ng truy n th ng nhi u l p Gi i thi u Neural Network Toolbox c a Matlab 19 August 2014 © H T Hồng - ÐHBK TPHCM M NG TH N KINH 19 August 2014 © H T Hoàng - ÐHBK TPHCM B não B não ã ng i h th h ng x lý thông hô tin i ph h c h p, phi n song song có kh n ng h c, ghi nh , t ng quát hóa x lý l ii 19 August 2014 © H T Hoàng - ÐHBK TPHCM M ng th n kinh sinh h c B não ng i g m kho ng 1011 t bào th n kinh liê k t v i liên h thành h m ng 19 August 2014 © H T Hoàng - ÐHBK TPHCM T bào th n kinh sinh h c T bào th n kinh g m: thân t bào (soma), đ u dây th n kinh vào (dendrite), kh p n i (synapse), s i t c (axon) tr ( ) đ u dây dâ th n kinh ki h 19 August 2014 © H T Hồng - ÐHBK TPHCM T bào th n kinh x x1 x2 xm w w1 w wm 19 August 2014 T vector tín hiệu vào tế bào thần T kinh vector tr ng s te tế bao bào than thần kinh © H T Hồng - ÐHBK TPHCM Hàm tích h p ngõ vào t bào th n kinh Hàm t n tính (linear function): f nction) m f net w j x j w T x j 1 Hàm toàn p ph ng g (q (quadratic function): ) m 2 f net w j x j j 1 Hàm c u ((spherical p function): ) 2 m 2 f net ( x j w j ) 2 ( x w )T ( x w ) j 1 19 August 2014 © H T Hoàng - ÐHBK TPHCM Hàm tác đ ng Hàm n c (step): 1 if f a( f ) 0 if f Hàm d u (sign): if f a( f ) - if f Hàm d c bão hòa: 1 a( f ) f 0 Hàm n tính bão hịa: 19 August 2014 f neáu f neu neáu f neu f 1 1 a( f ) f neáu f nếáu f 1 © H T Hồng - ÐHBK TPHCM 10 Ví d tính ngõ c a m ng MLP Gi i: 19 August 2014 © H T Hồng - ÐHBK TPHCM 35 Cơng th c tính sai s Sai s gi a ngõ c a m ng d li u mong mu n hàm ph thu c vào tr ng s c a m ng: n E ( w, v ) d i yi i 1 n d i ao ( neti ) i 1 2 l n é ù æ ửữ ổ l ửữự 1 n ộờ ỗ ỳ = d i - ao ỗỗỗồ wqi zq )ữữỳỳ = d i - ao ỗỗồ wqi ah ( netq )÷÷÷ú i=1 êë ÷øú è q=1 øúû i=1 êë è q=1 û m é ỉ l ư÷ù = å êê d i - ao ỗỗỗồ wqi ah ( v jq x j )÷÷úú i=1 êë è q=1 ø÷úû j=1 n 19 August 2014 © H T Hồng - ÐHBK TPHCM 36 Thu t toán suy gi m đ d c c p nh t tr ng s Bi u th c c p nh t tr ng s l p ra: E ( k ) wi ( k 1) wi ( k ) wi E ( k ) E ( k ) yi neti net w wi y i i i [ ( d i ( k ) y i ( k ))][ ao ( net i ( k ))][ z ( k )] oi (k ) wi ( k 1) wi ( k ) oi ( k ) z 19 August 2014 © H T Hồng - ÐHBK TPHCM 37 Thu t toán suy gi m đ d c c p nh t tr ng s Bi u th c c p nhh t tr t ng s l p n: E ( k ) v q ( k 1) v q ( k ) v q E ( k ) E ( k ) zi net q v q z q net q v q n ( d i ( k ) yi ( k ))ao ( neti ( k )) wiqq ( k )[a h ( net q ( k ))][ x j ( k )] i 1 oi (k ) hq (k ) v q ( k 1) v q ( k ) hq ( k ) x 19 August 2014 © H T Hồng - ÐHBK TPHCM 38 Thu t toán lan truy n ng B c (Back propagation) c 1: Ch n ; gán k=1, k=1 E=0; kh i đ ng ng u nhiên tr ng s l p n l p vq(k), wi(k) (1ql, 1in) B c 2: (truy n thu n d li u) Tính ngõ c a m ng v i tín hi u vào x(k) (1jm) : L p n: net q ( k ) v qT ( k ) x ( k ) (1 q l ) z q ( k ) a h net q ( k ) L p ra: neti ( k ) wiT ( k ) z ( k ) (1 i n ) yi ( k ) ao neti ( k ) 19 August 2014 © H T Hồng - ÐHBK TPHCM 39 Thu t toán lan truy n ng c (Back propagation) B c 3: (Lan truy n ng c sai s ) C p nh t tr ng s : L p ra: oi ( k ) [( d i ( k ) yi ( k ))][ ao ( neti ( k ))] (1 i n ) wi ( k 1) wi ( k ) oi ( k ) z ( k ) n L p n: hqq ( k ) oi ( k ) wiqq ( k ) a h ( net q ( k )) (1 q l ) i 1 v q ( k 1) v q ( k ) hq ( k ) x ( k ) n B c 4: Tính sai s tích l y: E E [d i ( k ) y i ( k )] i 1 B c 5: N u k gán gán k =1, E =0 tr l i b c B 19 August 2014 © H T Hoàng - ÐHBK TPHCM 40 o hàm c a hàm tác đ ng d ng S Hàm Hà sigmoid i id đ n c c (logsig): (l i ) a( f ) e f a ( f ) e f 1 e f e f a ( f ) a ( f ) a ( f ) 19 August 2014 1 e f © H T Hoàng - ÐHBK TPHCM 41 o hàm c a hàm tác đ ng d ng S Hàm Hà sigmoid i id l ng c c (tansig): (t i ) e f a( f ) 1 f 1 e e f 2e f (1 e f ) (1 e f ) a ( f ) f 2 (1 e ) (1 e f ) a ( f ) 19 August 2014 1 a2 ( f ) © H T Hồng - ÐHBK TPHCM 42 Ví d : X p x hàm dùng m ng truy n th ng nhi u l p Bài toán: t X p x hàm hà phi hi t n: y e x sin(10 x ) (0 x 2) dùng m ng neuron C u trúc m ng: ngõ vào x, ngõ y S t bào th n kinh l p n N N Thí d kh o sát kh n ng x p x c a m ng tr ng h p N b ng 6, 8, 10, 12 Hàm kích ho t l p n tansig, l p n tính 19 August 2014 © H T Hồng - ÐHBK TPHCM 43 Ví d : X p x hàm dùng m ng truy n th ng nhi u l p (tt) T p d li u hu h n luy l n m ng g m 300 m u 19 August 2014 © H T Hồng - ÐHBK TPHCM 44 Ví d : X p x hàm dùng m ng truy n th ng nhi u l p (tt) K t qu hu n luy n m ng 19 August 2014 © H T Hồng - ÐHBK TPHCM 45 ng d ng x p x hàm 19 August 2014 © H T Hồng - ÐHBK TPHCM 46 Bài t p y l2 2 l1 1 x x l1 cos 1 l2 cos((1 ) y l1 sin 1 l2 sin(1 ) Hu n luy n m ng n -ron gi i toán đ ng h c thu n robot 19 August 2014 © H T Hoàng - ÐHBK TPHCM 47 GI I THI U NEURAL NETWORKS TOOLBOX 19 August 2014 © H T Hoàng - ÐHBK TPHCM 48 Các hàm c b n c a NN Toolbox >> mynet mynet=newff(X newff(X,D,N,{ D N {‘tansig’ tansig ‘purelin’}); purelin }); % khai báo m ng neuron l p % s ngõ vào s hàng c a X; s ngõ s hàng c a D % s n ron l p n N % hàm tác đ ng l p n tansig, l p purelin >> mynet=perceptron %khai báo m t perceptron >> mynet=train(mynet,X,D); % hu n luy n m ng mynet v i d li u vào X, X d li u D % s c t c a X = s c t c a D = s m u d li u hu n luy n >> Y=sim(mynet,X); Y sim(mynet,X); % tính ngõ c a m ng mynet ngõ vào X % s c t c a X s m u d li u c n tính >> help nnet 19 August 2014 % xem đ y đ hàm c a NN Toolbox © H T Hồng - ÐHBK TPHCM 49 ... TPHCM M ng th n kinh sinh h c B não ng i g m kho ng 1011 t bào th n kinh liê k t v i liên h thành h m ng 19 August 2014 © H T Hồng - ÐHBK TPHCM T bào th n kinh sinh h c T bào th n kinh g m: thân... August 2014 T vector tín hiệu vào tế bào thần T kinh vector tr ng s te tế bao bào than thần kinh © H T Hồng - ÐHBK TPHCM Hàm tích h p ngõ vào t bào th n kinh Hàm t n tính (linear function): f nction)... t bào (soma), đ u dây th n kinh vào (dendrite), kh p n i (synapse), s i t c (axon) tr ( ) đ u dây dâ th n kinh ki h 19 August 2014 © H T Hồng - ÐHBK TPHCM T bào th n kinh x x1 x2 xm w