MẠNG RBF VÀ TÌM HIỂU ỨNG DỤNG TRONG BÀI TÓAN NỘI SUY

MC LC LI CM N _ Error! Bookmark not defined LI NểI U DANH MC HèNH V _ CHNG NRON SINH HC V MNG NRON NHN TO _ 1.1 Nron sinh hc v b nóo ngi _ 1.1.1 Cu to v hot ng ca mt nron 1.1.2 Cu to v mt s kh nng ca nóo 1.1.3 So sỏnh kh nng lm vic ca b nóo v mỏy tớnh _ 1.2 Mụ hỡnh nron v mng nron nhõn to _ 10 1.2.1 Mụ hỡnh nron _ 10 1.2.2 Khỏi nim mng nron nhõn to 12 1.2.3 c trng ca mụ hỡnh mng nron _ 12 1.2.4 Phõn loi mng nron 13 1.2.5 Mt s vớ d n gin 22 1.3 Cỏch nhỡn v mng nron nhõn to _ 22 1.3.1 Mng nron nh mt cụng c tớnh toỏn _ 22 1.3.2 Mng nron nh l mt h thng t thớch nghi _ 23 1.4 Kt lun _ 25 1.4.1.u v nhc im ca mng nron 25 1.4.2 Mt s lnh vc ng dng ó bit _ 25 CHNG _ 27 MNG RBF V PHNG PHP TP HUN MNG 27 2.1 Hm c s xuyờn tõm 27 2.2 Cu trỳc mng RBF 28 2.2.1 Tng n _ 28 2.2.2 Tng _ 30 2.3 Mụ hỡnh mng RBF 30 2.3.1 Mụ hỡnh toỏn hc _ 30 2.3.2 Mụ hỡnh mng RBF Gaussian 32 2.4 Mt s phng phỏp hun cho mng RBF 33 2.4.1 La chn cỏc tõm c nh ngu nhiờn 33 2.4.2.La chn cỏc tõm t sp xp _ 35 2.4.3 Chn cỏc tõm cú giỏm sỏt _ 37 2.5 Thut toỏn lai cho mng RBF 38 2.5.1 Cỏc v phõn nhúm 39 2.5.2 Mng RBF vi cỏc kt ni u vo tuyn tớnh 41 2.5.3 Thut toỏn lai to mi 42 2.6 Mt s mụ hỡnh mng RBF 47 2.6.1 Mng hi quy ó tng quỏt húa _ 47 2.6.2 Mng xỏc sut 48 CHNG _ 51 NG DNG MNG RBF TRONG BI TON NI SUY 51 3.1 Bi toỏn ni suy _ 51 3.2 Mt s phng phỏp ni suy ó bit _ 51 3.2.1 a thc ni suy Lagrange _ 51 3.2.2 Ni suy hm s trờn li u 52 3.2.3 Ni suy hm s trờn li khụng u _ 53 3.2.4 Kt qu ci t _ 56 3.3 Mng RBF v bi toỏn ni suy _ 56 3.4 Phng phỏp lp hun luyn mng ni suy RBF _ 60 3.4.1 Bi toỏn ni suy a bin v cỏch tip cn RBF _ 61 3.4.2 Kin trỳc mng ni suy RBF v c im hun luyn 62 3.4.3 Thut toỏn hun luyn lp _ 63 3.5 Kt lun _ 67 KT LUN 68 TI LIU THAM KHO 69 PH LC _ 70 LI NểI U Ngy khụng cú th ph nhn vai trũ cc k quan trng ca mỏy tớnh nghiờn cu khoa hc k thut cng nh i sng Mỏy tớnh ó lm c nhng iu k diu v gii c nhng tng chng nh nan gii Tuy nhiờn, mt mỏy tớnh dự cú mnh n õu cng u phi lm vic theo mt chng trỡnh chớnh xỏc ó c hoch nh trc bi cỏc chuyờn gia Bi toỏn cng phc thỡ vic lp trỡnh cng cụng phu Con ngi lm vic bng cỏch hc tp, rốn luyn v lm vic ngi cú kh nng liờn tng, kt ni s vic ny vi s vic khỏc, v quan trng hn ht l h cú th sỏng to T lõu cỏc nh khoa hc ó nhn thy nhng u im ca b úc ngi v tỡm cỏch bt chc thc hin cho mỏy tớnh cú kh nng hc tp, nhn dng v phõn loi Cỏc mng nron nhõn to ó i t nhng n lc ú Cỏch tip cn mng nron nhõn to cú ý ngha thc tin rt ln, nú cho phộp to cỏc thit b cú th kt hp kh nng song song cao ca b nóo vi tc tớnh toỏn cao ca mỏy tớnh Trong nhng nm gn õy mng nron nhõn to ó c nghiờn cu v ng dng cỏc lnh vc nh y hc, iu khin v c bit c ng dng nhiu lnh vc Cụng ngh thụng tin T nhng nm 80 hm c s xuyờn tõm c xem nh l mt bin th ca mng nron nhõn to Tuy nhiờn, ngun gc ca chỳng l da vo cỏc cụng ngh nhn dng mu c cú hm kh nng, sp xp, hm xp x, phộp ni suy v cỏc mụ hỡnh hỗn hợp Mng nron s dng hm c s xuyờn tõm ó c nghiờn cu rt nhiu nhng nm gn õy v c s dng nhiu gii bi toỏn ni suy loi mng ny cú kh nng xp x ton cc rt tt Nhn thc c trờn v cựng vi s nh hng ca cụ giỏo o Th Thu em ó mnh dn chn ti: MNG RBF V TèM HIU NG DNG TRONG BI TON NI SUY Hy vng bỏo cỏo ỏn ny cú th giỳp mi ngi nm c phn no nhng kin thc c bn v mng nron nhõn to núi chung, mng RBF núi riờng v ng dng ca mng RBF vo bi toỏn ni suy Bỏo cỏo ỏn gm chng: + Chng 1: Nron sinh hc v mng nron nhõn to Gii thiu v cu to nron sinh hoc, mụ hỡnh nron, mng nron nhõn to, cỏch nhỡn v mng nron v gii thiu mt s lnh vc ng dng ca mng nron nhõn to + Chng 2: Mng RBF v phng phỏp hun mng Trỡnh by v cu trỳc, mụ hỡnh v mt s loi mng RBF c bn ng thi tỡm hiu cỏc phng phỏp hun v thut toỏn lai cho mng RBF + Chng 3: ng dng mng RBF bi toỏn ni suy nh ngha bi toỏn ni suy, trỡnh by mt s phng phỏp ni suy ó bit nh a thc ni suy Lagrange, ni suy trờn li, ng thi tỡm hiu v bi toỏn ni suy a bin v phng phỏp lp hun luyn mng ni suy RBF Trong quỏ trỡnh lm ỏn em khụng trỏnh nhng thiu sút Vy em kớnh mong nhn c s ch bo, úng gúp ý kin ca cỏc thy cụ giỏo v cỏc bn bi bỏo cỏo c hon thin hn Thỏi Nguyờn, thỏng 05/2008 DANH MC HèNH V (1) Hỡnh 1.1 Hỡnh nh nron nóo ngi (2) Hỡnh 1.2 Hỡnh nh ca t bo nron nóo ngi (3) Hỡnh 1.3 Mụ hỡnh nron nhõn to (4) Hỡnh 1.4 Liờn kt hai chiu gia nron i v nron j (5) Hỡnh 1.5 Mng nron cú mt u vo (6) Hỡnh 1.6 Hm bin i Hardlimit (7) Hỡnh 1.7 Hm bin i Linear (8) Hỡnh 1.8 Hm bin i Log Sigmoid (9) Hỡnh 1.9 Mụ hỡnh mng nron nhiu u vo (10) Hỡnh 1.10 Mụ hỡnh tng quỏt ca mng nron nhiu u vo (11) Hỡnh 1.11 Mụ hỡnh mng nron mt lp (12) Hỡnh 1.12 Mụ hỡnh tng quỏt ca mng nron mt lp (13) Hỡnh 1.13 Mụ hỡnh mng nron lp (14) Hỡnh 1.14 Mụ hỡnh mng nron nhiu lp (15) Hỡnh 1.15 Mụ hỡnh mng nron hi quy (16) Hỡnh 1.16 S hun tham s cú giỏm sỏt (17) Hỡnh 1.17 S hun tham s khụng cú giỏm sỏt (18) Hỡnh 1.18 S hun tng cng (19) Hỡnh 2.1 Cu trỳc mng RBF chun (20) Hỡnh 2.2 Hm Gaussian tng ng gia hi v d i trờn R1 (21) Hỡnh 2.3 Hm Gaussian biu din tng ng trờn R2 (22) Hỡnh 2.4 S biu din mng RBF (23) Hỡnh 2.5 Hm c s xuyờn tõm Gaussian (24) Hỡnh 2.6 S mụ hỡnh mng RBF Gaussian (25) Hỡnh 2.7 Mng RBF vi cỏc kt ni u vo tuyn tớnh (26) Hỡnh 2.8 Cu trỳc mng GRNN (27) Hỡnh 2.9 Cu trỳc mng PNN (28) Hỡnh 3.1 Giao din ci t (29) Hỡnh 3.2 Mụ hỡnh mng RBF gii quyt bi toỏn XOR bin (30) Hỡnh 3.3 Minh d liu vo (31) Hỡnh 3.4 Kt qu hun luyn ni suy hm s (32) Hỡnh 3.5 Kin trỳc mng ni suy RBF cho hm f: R6>R (33) Hỡnh 3.6 c t th tc lp hun luyn mng CHNG NRON SINH HC V MNG NRON NHN TO 1.1 Nron sinh hc v b nóo ngi 1.1.1 Cu to v hot ng ca mt nron Cỏc nh nghiờn cu sinh hc v b nóo cho ta thy rng cỏc t bo thn kinh (nron) l n v c s m nhim nhng chc nng x lý nht nh h thn kinh, bao gm nóo, ty sng v cỏc dõy thn kinh Mi nron cú phn thõn v nhõn bờn (gi l soma), mt u thn kinh (gi l si trc axon) v mt h thng dng cõy cỏc dõy thn kinh vo (gi l dendrite) Cỏc dõy thn kinh vo to thnh mt li dy c xung quanh thõn t bo, chim din tớch khong 0,25 mm2, cũn dõy thn kinh to thnh trc di cú th t cm cho n hng ng kớnh ca nhõn t bo thng ch l 10-4 m Trc dõy thn kinh cng cú th phõn nhỏnh theo dng cõy ni vi cỏc dõy thn kinh vo hoc trc tip vi nhõn t bo ca cỏc nron khỏc thụng qua cỏc khp ni (gi l synapse) Thụng thng, mi nron cú th gm vi chc cho ti hng trm ngn khp ni ni vi cỏc nron khỏc Ngi ta c lng rng cỏc dõy thn kinh cựng vi cỏc khp ni bao ph din tớch khong 90% b mt nron Hỡnh 1.1: Hỡnh nh nron nóo ngi Mt s cu trỳc nron thn kinh c hỡnh thnh t lỳc bm sinh, mt s khỏc c phỏt trin thụng qua quỏ trỡnh hc õy l s liờn kt, to v mt i Quỏ trỡnh phỏt trin ny l iu ỏng chỳ ý nht thi k u tiờn ca cuc sng Cu trỳc nron c liờn tc thay i hon thin theo xu hng thớch nghi vi iu kin sng Cỏc tớn hiu truyn cỏc dõy thn kinh vo v dõy thn kinh ca cỏc nron l tớn hiu in, c thc hin thụng qua cỏc quỏ trỡnh phn ng v gii phúng cỏc cht hu c Cỏc cht ny c phỏt t cỏc khp ni dn ti cỏc dõy thn kinh vo s lm tng hay gim in th ca nhõn t bo Khi in th ny t ti mt ngng no ú, s to mt xung in dn ti trc dõy thn kinh Xung ny c truyn theo trc, ti cỏc nhỏnh r chm ti cỏc khp ni vi cỏc n ron khỏc s gii phúng cỏc cht truyn in Ngi ta chia lm hai loi khp ni: khp ni kớch thớch (excitatory) v khp ni c ch (inhibitory) 1.1.2 Cu to v mt s kh nng ca nóo Nóo l t chc vt lý cao cp, cú cu to vụ cựng phc tp, dy c cỏc mi liờn kt gia cỏc nron nhng x lý thụng tin rt linh hot mt mụi trng bt nh Trong b nóo cú khong 1011 - 1012 nron v mi nron cú th liờn kt vi 104 nron khỏc qua cỏc khp ni Nhng kớch hot hoc c ch ny c truyn qua trc nron (axon) n cỏc nron khỏc Hỡnh 1.2: Hỡnh nh ca t bo nron nóo ngi Phỏt hin quan trng nht ngnh nghiờn cu v b nóo l cỏc liờn kt khp thn kinh khỏ mm do, cú th bin ng v chnh i theo thi gian tu thuc vo cỏc dng kớch thớch Hn na, cỏc nron cú th sn sinh cỏc liờn kt mi vi cỏc nron khỏc v ụi li cỏc nron cú th chuyn t vựng ny sang vựng khỏc b nóo Cỏc nh khoa hc cho rng õy chớnh l c s quan trng gii thớch c ch hc ca b nóo Phn ln cỏc quỏ trỡnh x lý thụng tin u xy trờn v nóo Ton b v nóo c bao ph bi mng cỏc t chc c s cú dng hỡnh tr trũn vi ng kớnh khong 0,5mm, cao 4mm Mi n v c s ny cha khong 2000 nron Cỏc nron nóo rt n gin c ch lm vic, chỳng cú th liờn kt vi nhau, cú kh nng tớnh toỏn, suy ngh, ghi nh v iu khin Cú th im qua nhng chc nng c bn ca b nóo nh sau: - B nh c t chc theo cỏc bú thụng tin v truy nhp theo ni dung (Cú th truy xut thụng tin da theo giỏ tr cỏc thuc tớnh ca i tng) - B nóo cú kh nng tng quỏt hoỏ, cú th truy xut cỏc tri thc hay cỏc mi liờn kt chung ca cỏc i tng tng ng vi mt khỏi nim chung no ú - B nóo cú kh nng phỏn oỏn theo ngha cú th iu chnh hoc tip tc thc hin cú nhng sai lch thụng tin b thiu hay khụng chớnh xỏc Ngoi ra, b nóo cũn cú th phỏt hin v phc hi cỏc thụng tin b mt da trờn s tng t gia cỏc i tng - B nóo cú th b xung cp nhng li cú kh nng thay th dn dn Khi cú nhng trc trc ti cỏc vựng nóo (do bnh, chn thng) hoc bt gp nhng thụng tin hon ton mi l, b nóo cú th tip tc lm vic - B nóo cú kh nng hc 1.1.3 So sỏnh kh nng lm vic ca b nóo v mỏy tớnh Ngi ta thy rng b nóo ngi cú th lu gi nhiu thụng tin hn cỏc mỏy tớnh hin i Tuy nhiờn iu ny khụng phi ỳng mói mói, bi l s tin húa ca b nóo chm, ú nh nhng tin b cụng ngh vi in t, b nh mỏy tớnh c nõng cp rt nhanh Hn na, s hn kộm v b nh l khụng quan trng so vi s khỏc bit v tc tớnh toỏn v kh nng x lý song song Cỏc b vi x lý cú th tớnh 108 lnh/s, ú mng nron x lý chm hn, cn khong vi miligiõy kớch hot Tuy nhiờn, b nóo cú th kớch hot hu nh cựng mt lỳc ti rt nhiu nron v khp ni, ú c mỏy tớnh hin i cng ch cú mt s lng hn ch cỏc b vi x lý song song Nu chy mt mng nron nhõn to trờn mỏy tớnh, phi tn hng trm lnh mỏy kim tra mt nron cú c kớch hot hay khụng (tiờu phớ khong 10-8 x102 giõy/nron) Do ú, dự b vi x lý cú th tớnh toỏn nhanh hn hng triu ln so vi cỏc nron b nóo, nhng xột tng th b nóo li tớnh toỏn nhanh hn hng t ln Khi ngi ta nhỡn nóo t gúc tớnh toỏn, chỳng ta d dng phỏt hin cỏch thc tớnh toỏn ca nóo khỏc xa vi tớnh toỏn thut toỏn v chng trỡnh chỳng ta thng lm vi s tr giỳp ca mỏy tớnh S khỏc bit c bn trc tiờn l hai im rt quan trng sau: - Quỏ trỡnh tớnh toỏn c tin hnh song song v gn nh ng thi c phõn tỏn trờn nhiu nron - Tớnh toỏn thc cht l quỏ trỡnh hc ch khụng phi theo s nh sn t trc Cỏch tip cn mng nron nhõn to cú ý ngha thc tin rt ln cho phộp to cỏc thit b cú th kt hp kh nng song song cao ca b nóo vi tc tớnh toỏn cao ca mỏy tớnh Tuy vy, cn phi cú mt khong thi gian di na cỏc mng nron nhõn to cú th mụ phng c cỏc hnh vi sỏng to ca b nóo ngi Chng hn, b nóo cú th thc hin mt nhim v khỏ phc nh nhn khuụn mt ngi quen sau khụng quỏ giõy, ú mt mỏy tớnh tun t phi thc hin hng t phộp tớnh (khong 10 giõy) thc hin cựng thao tỏc ú, nhng vi cht lng kộm hn nhiu, c bit trng hp thụng tin khụng chớnh xỏc, khụng y 1.2 Mụ hỡnh nron v mng nron nhõn to 1.2.1 Mụ hỡnh nron Khai thỏc nhn xột v nron sinh hc, bt chc nóo, cỏc nh khoa hc ó phỏt hin mụ hỡnh tớnh toỏn mi: ú l mụ hỡnh nron nhõn to Mt nron nhõn to phn ỏnh cỏc tớnh cht c bn ca nron sinh hc v c mụ phng di dng sau: 10 Cú ngha l: 2 2 2 2 2 2 w1 w2 w3 w4 2 w1 w4 Gii c: w w Vớ d minh cho ni suy: Cho X = [-1 -.9 -.8 -.7 -.6 -.5 -.4 -.3 -.2 -.1 1] Y =[-.9602 -.5770 -.0729 3771 6405 6600 4609 1336 -.2013 -.4344 -.5000 -.3930 -.1647 0988 3072 3960 3449 1816 -.0312 -.2189 -.3201] Hỡnh 3.3: Minh d liu vo Chỳng ta s i tỡm mt hm thớch hp cho 21 im ó cho, bng vic s dng mng RBF Nh ta ó bit mt mng RBF bao gm hai lp, mt lp n s dng hm c s xuyờn tõm v mt lp tuyn tớnh, õy ta cú th s dng hm Gaussian cho lp n Cỏc trng s v sai s ca mi nron lp n xỏc nh v trớ v rng hm RBF Mi mt nron tuyn tớnh u tỡm tng trng s 59 ca hm ny, vi mi giỏ tr trng s v sai s mi lp, s nron lp n, mng cú th tỡm mt hm thớch hp vi chớnh xỏc cao Kt qu sau mng hun luyn, ta c dng th ca hm s Hỡnh 3.4: Kt qu hun luyn ni suy hm s 3.4 Phng phỏp lp hun luyn mng ni suy RBF Phng phỏp ni suy RBF hin l mt cụng c ni suy v xp x hm nhiu bin v c ng dng rng rói Phng phỏp ny tỡm hm ni suy di M dng ( x) w h( x v k , ) w cho (xk) = yk, k k k k = 1, 2, , N, N ú x k k l cỏc vector khụng gian n- chiu (c gi l cỏc mc ni suy) v yk = f(xk) l giỏ tr o c ca hm f cn ni suy; hm thc h( x v k , ) c gi l hm c s bỏn kớnh vi tõm vk (M N); wk v k l k cỏc giỏ tr tham s cn tỡm Dng hm bỏn kớnh thụng dng nht l hm 2 Gaussian: h(u, ) = e u / v tõm l cỏc mc ni suy (khi ú M=N) Hm ni suy ny cú u im l tng cỏc bỡnh phng sai s ca nú khụng cú cc tiu a phng nờn n cỏc thut toỏn hun luyn mng thng theo hng tỡm cc 60 tiu sai s tng bng cỏch gii lp h phng trỡnh ni suy Pha th nht cỏc bỏn kớnh k c xỏc nh nh cõn bng gia tc h t v tớnh tng quỏt húa Cỏc trng s wk ca tng c xỏc nh nh tỡm im bt ng ca ỏnh x co bng phng phỏp lp pha sau 3.4.1 Bi toỏn ni suy a bin v cỏch tip cn RBF * Bi toỏn ni suy a bin N Xột hm nhiu bin f: D ( R n ) R m cho bi mu x k , y k k cho f(xk) = yk; k = 1,, N Ta cn tỡm hm cú dng ó bit tha món: (xi) = yi, i = 1, 2, , N (3.20) Cỏc im xk s c gi l cỏc mc ni suy cũn hm c gi l hm ni suy v c dựng xp x hm f trờn D Powell (1987) xut tỡm hm ni suy nh cỏc hm c s bỏn kớnh dng Gaussian * K thut hm c s bỏn kớnh Khụng gian tng quỏt, ta xột bi toỏn ni suy vi m =1, v cỏc mc ni suy khụng quỏ nhiu ta tỡm hm di dng sau: M ( x) w ( x)) w0 , k k k x vk Trong ú ( x ) e k / k (3.21) , k 1, , N (3.22) Vi u l kớ hiu chun Euclid ca u v vk gi l tõm ca hm c s bỏn kớnh k, cỏc tham s wk v k cn tỡm tha cỏc iu kin ni suy (3.22): N ( x i ) w ( xi ) w0 y k ; i 1, , N k k k (3.23) Vi mi k, tham s k (cũn gi l tham s rng ca hm c s bỏn kớnh) dựng iu khin rng nim nh hng ca hm c s k, x x k k(x) gn trit tiờu Xột ma trn vuụng cp N: ( k ,i ) N N 61 k thỡ Trong ú (xi ) e k ,i k xi x k / k (3.24) V cỏc tham s k ó chn Michelli ó chng minh rng l ma trn kh nghch v xỏc nh dng nu cỏc mc xk khỏc Vỡ vy, vi w0 cho trc tựy ý h phng trỡnh (3.23) luụn tn ti nht nghim w1, , wN 3.4.2 Kin trỳc mng ni suy RBF v c im hun luyn Mng ni suy RBF dựng ni suy hm thc n bin f: D( R n ) R m l mt mng ba tng truyn ti Tng vo gm n nỳt cho vector tớn hiờu vo x Rn, tng n gm N nron ú nron th k cú tõm l mc ni suy xk v u ca nú l hm bỏn kớnh k(x) tng ng, tng gm m nron xỏc nh giỏ tr hm ni suy ca f(x) Hỡnh 3.5 mụ t mt mng ni suy RBF vi n = 6, m = 1: Hỡnh 3.5: Kin trỳc mng ni suy RBF cho hm f: R6 -> R Cú nhiu cỏch hun luyn mng Cú th tỏch riờng mt pha xỏc nh cỏc tham s rng k ca mi hm bỏn kớnh v sau ú tỡm cỏc tha s wk (phng phỏp hai pha) hoc hun luyn mt ln nh tỡm cc tiu sai s tng cỏc bỡnh phng: N E ( ( x k ) y k ) k (3.25) Nu dựng mt phng phỏp pha thỡ pha th hai cú th tỡm cỏc wk nh mt phng phỏp gii ỳng h phng trỡnh (3.23) nhng s mc lờn 62 n hng trm tr lờn thỡ cỏc phng phỏp ny sai s ln v khụng n nh Vỡ vy n cỏc trng s ca tng thng c tỡm nh phng phỏp Gradient hoc bin th ca nú tỡm cc tiu hm E Hm E khụng cú cc tiu a phng nờn cỏc phng phỏp ny hi t ti nghim ca (3.23), thc tin cho thy cỏc mng RBF cú thi gian hun luyn nhanh hn MLP nhiu Tuy vy cỏc phng phỏp tỡm cc tr hm nhiu bin khỏ chm s bin ln v khú iu khin tc hi t, c lng sai s v song song húa Mt khỏc, cỏc tham s rng bỏn kớnh cng nh hng ln n cht lng mng v thi gian hun luyn (Haykin v Rooney cú a cỏch chn cỏc tham s ny nh hun luyn nhanh) Nu chỳng c chn thỡ cỏc im xa tõm ớt chu nh hng ca hm c s cũn ngc li thỡ tc hi t chm Sau õy chỳng ta s tỡm hiu mt thut toỏn hai pha hun luyn mng Pha th nht: Cỏc bỏn kớnh k c xỏc nh nh cõn bng gia tớnh tng quỏt húa ca mng v tc hi t ca pha sau Pha th hai: Cỏc tham s wk c xỏc nh nh tỡm im bt ng ca mt ỏnh x co 3.4.3 Thut toỏn hun luyn lp c tớnh ca mng c phỏt biu nh lý di õy l nn tng cho thut toỏn 3.4.3.1 nh lý c s Ta kớ hiu I l ma trn n v cp N; w z W , Z w z N N L vector khụng gian N chiu Rn ú: Zk = yk w0 k N (3.26) V I k , j N N (3.27) 63 k j Thỡ k , j xi xk / k2 e k j (3.28) Khi ú h phng trỡnh (3.23) tng ng vi h: W W Z (3.29) Cỏc tham s k ó chn v w0 tựy ý, h (3.23) vỏ ú h (3.29) luụn cú nht nghim W V sau ta s ly w0 l trung bỡnh cng ca cỏc giỏ tr yk : N k w y N k (3.30) Bõy gi vi mi k N, ta cú hm qk ca k xỏc nh nh sau: N q k j k , j (3.31) nh lý: Hm qk l n iu tng v vi mi s dng q[...]... năng phân lớp 1.2.4 Phân loại mạng nơron * Theo đầu vào Ta có mạng nơron một đầu vào và mạng nơron nhiều đầu vào  Mạng nơron có một đầu vào Hình 1.5: Mạng nơron có một đầu vào Một mạng nơron nhân tạo có một đầu vào được mô tả như hình trên Đầu vào p được nhân với một trọng số w được wp rồi cùng với đầu vào khác (có thể là 1) đã qua ngưỡng b được đưa đến bộ tổng Tổng các đầu vào n được truyền qua một hàm... vấn đề nội suy đa biến thực Broomhead và Lower (1988), cùng với Moody và Darken (1989) là những người đầu tiên mạo hiểm sử dụng hàm cơ sở xuyên tâm vào thiết kế mạng nơron Cấu trúc của mạng RBF trong dạng cơ bản nhất bao gồm 3 tầng hoàn toàn khác nhau (Hình 2.1) Hình 2.1: Cấu trúc mạng RBF chuẩn Tầng vào được tạo nên bởi các điểm vào, số lượng của chúng chính là kích thước N của vector đầu vào u 2.2.1... tự song song Một mạng Gaussian điển hình là một mạng có 3 tầng: tầng vào, tầng trung gian (hay còn gọi tầng ẩn) chứa các đơn vị Gaussian và tầng ra Sơ đồ khối mô hình mạng RBF Gaussian với các đầu vào – ra: Hình 2.6: Sơ đồ khối mô hình mạng RBF Gaussian 2.4 Một số phương pháp tập huấn cho mạng RBF Trong mạng RBF, các lớp khác nhau thì thực hiện các nhiệm vụ khác nhau Do đó việc sử dụng các kỹ thuật... rộng của bài toán  Nhược điểm: - Không có các quy tắc và các hướng dẫn thiết kế một cách rõ ràng đối với một ứng dụng nhất định - Không có cách tổng quát để đánh giá hoạt động bên trong của mạng - Việc tập huấn đối với mạng có thể khó (hoặc không thể ) thực hiện - Khó có thể dự đoán trước được hiệu quả của mạng trong tương lai 1.4.2 Một số lĩnh vực ứng dụng đã biết Lĩnh vực ứng dụng của mạng nơron...  woj   wij hi i 1 ; j = 1, 2, …, M (2.10) 2.3 Mô hình mạng RBF 2.3.1 Mô hình toán học Mạng RBF sử dụng hàm cơ sở xuyên tâm (Radial Basis Function – RBF) như hàm kích hoạt Hàm cơ sở xuyên tâm là một ánh xạ hàm phi tuyến đa chiều, nó phụ thuộc vào khoảng cách giữa vector vào và vector tâm Một mạng RBF với một vector đầu vào n chiều x Є Rn và một đầu ra y Є R có thể được biểu diễn bởi tổng có trọng... các kỹ thuật khác nhau là rất hữu ích trong việc tối ưu các đơn vị ẩn và các lớp ra của mạng Có nhiều phương pháp tập huấn khác nhau trong việc thiết kế một mạng RBF, và chúng phụ thuộc vào cách chúng ta gán các tâm của các hàm cơ sở xuyên tâm của mạng như thế nào Có 3 phương pháp chính thường dùng trong tập huấn mạng RBF 2.4.1 Lựa chọn các tâm cố định ngẫu nhiên Trong cách tiếp cận này, vị trí của các... số và ngưỡng kích hoạt của nó Chú ý rằng biểu tượng cho hàm hardlimit được mô tả giữa hai hình trên + Hàm Linear Đầu ra của hàm Linear bằng đầu vào của nó: a = n được mô tả như sau: Hình 1.7: Hàm biến đổi Linear Mạng nơron với hàm biến đổi như trên được sử dụng trong mạng ADALINE (Mạng có phần tử thích nghi tuyến tính) Đầu ra và đầu vào được viết tắt là a, p của một mạng nơron có một đầu vào sử dụng. .. từng ứng dụng cụ thể mà ta sử dụng mạng một lớp hay mạng nhiều lớp Chúng ta không nhất thiết phải sử dụng cùng một hàm kích hoạt tại các lớp khác nhau Việc sử dụng hàm nào phụ thuộc vào từng bài toán cụ thể * Theo liên kết nơron Ta có mạng nơron truyền thẳng (Feed – Forward Neural Network) và mạng nơron hồi quy (Recurent Neural Network) + Mạng nơron truyền thẳng Trong mạng nơron truyền thẳng, các liên... cho hình dáng vào của nó mô phỏng hoàn toàn phù hợp với môi trường đang xem xét Mạng nơron có thể học từ dữ liệu mẫu và tổng quát hóa dựa trên các dữ liệu mẫu học Trong mạng nơron, các nơron đón nhận tín hiệu vào gọi là nơron vào và các nơron đưa thông tin ra gọi là nơron ra 1.2.3 Đặc trưng của mô hình mạng nơron Những mô hình mạng nơron đã trình bày có tiềm năng tạo nên một cuộc cách mạng trong công... nhiều ứng dụng * Lĩnh vực 2: Các bài toán tối ưu Vấn đề chính ở đây là tìm những thuật toán tập huấn mạng sao cho góp phần tìm nghiệm cho nhiều lớp bài toán tối ưu Trong nhóm các thuật toán ứng dụng mạng nơron, người ta đã quan tâm tới sự kết hợp mạng nơron với các thuật toán di truyền * Lĩnh vực 3: Hồi quy và tổng quát hóa (Regression and Generalization) 25 Trước đây các bài toán hồi quy đã được tích