MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON

1 M U Tớnh cp thit ca ti Trong rt nhiu lnh vc nh iu khin, t ng húa, cụng ngh thụng tin, nhn dng c i tng l mu cht quyt nh s thnh cụng ca bi toỏn Mt nhc im dựng mng nron l cha cú phng phỏp lun chung thit k cu trỳc mng cho cỏc bi toỏn nhn dng v iu khin m phi cn ti kin thc ca chuyờn gia Mt khỏc xp x mng nron vi mt h phi tuyn s khú khn luyn mng vỡ cú th khụng tỡm c im ti u ton cc Hin nay, vic nghiờn cu cỏc thut toỏn tỡm nghim ti u ton cc luyn mng nron ó c mt s tỏc gi nghiờn cu ỏp dng Tuy nhiờn s dng mng nron xp x mt s i tng phi tuyn m mt li sinh cú dng lũng khe, vic hun luyn mng gp rt nhiu khú khn Ni dung ti s i nghiờn cu mt thut toỏn tỡm im ti u ton cc quỏ trỡnh luyn mng nron bng thut toỏn vt khe cú s kt hp vi gii thut di truyn Mc tiờu ca lun ỏn - xut mụ hỡnh kt hp thut toỏn vt khe v gii thut di truyn hun luyn mng nron - Xõy dng b cụng c phn mm luyn mng nron cho mt s bi toỏn cú mt li c bit, lm c s b sung vo Neural Toolbox Matlab Ni dung chớnh ca lun ỏn - Nghiờn cu lớ thuyt v thut toỏn vt khe v xõy dng thut toỏn tớnh bc hc vt khe - Xõy dng thut toỏn hun luyn mng nron bng k thut lan tuyn ngc kt hp vi thut toỏn vt khe - xut thut toỏn hun luyn mng nron bng k thut lan truyn ngc cú s dng gii thut di truyn kt hp vi thut toỏn vt khe - Vit v ci t chng trỡnh hun luyn mng nron trờn C++ - Vit v ci t chng trỡnh hun luyn mng nron trờn Matlab CHNG MNG NRON V QU TRèNH HC CA MNG NRON 1.1 Gii thiu v mng nron v quỏ trỡnh hc ca mng 1.1.1 nron Mng nron v cỏc phng phỏp hc Mng nron nhõn to, gi tt l mng nron, l mt mụ hỡnh x lý thụng tin phng theo cỏch thc x lý thụng tin ca cỏc h nron sinh hc Nú c to lờn t mt s lng ln cỏc phn t (gi l nron) kt ni vi thụng qua cỏc liờn kt (gi l trng s liờn kt) lm vic nh mt th thng nht gii quyt mt c th no ú Mt mng nron nhõn to c cu hỡnh cho mt ng dng c th (nhn dng mu, phõn loi d liu, ) thụng qua mt quỏ trỡnh hc t cỏc mu hun luyn V bn cht hc chớnh l quỏ trỡnh hiu chnh trng s liờn kt gia cỏc nron cho giỏ tr hm li l nh nht Cú ba phng phỏp hc ph bin l hc cú giỏm sỏt, hc khụng giỏm sỏt v hc tng cng Hc cú giỏm sỏt l phng phỏp c s dng ph bin nht, ú tiờu biu l k thut lan truyn ngc 1.1.2 ỏnh giỏ cỏc nhõn t ca quỏ trỡnh hc 1.1.2.1 Khi to cỏc trng s Do bn cht ca gii thut hc lan truyn ngc sai s l phng phỏp gim lch gradient nờn vic to cỏc giỏ tr ban u ca cỏc trng s cỏc giỏ tr nh ngu nhiờn s lm cho mng hi t v cỏc giỏ tr cc tiu khỏc 1.1.2.2 Bc hc Vic chn hng s hc ban u l rt quan trng Vi mi bi toỏn ta li cú phng ỏn chn h s hc khỏc Khi mt quỏ trỡnh hun luyn theo k thut lan truyn ngc hi t, ta cha th khng nh c nú ó hi t n phng ỏn ti u Ta cn phi th vi mt s iu kin ban u m bo thu c phng ỏn ti u 1.2 Nhn dng h thng s dng mng nron 1.2.1 Nhn dng h thng 1.2.1.1 Ti phi nhn dng Bi toỏn nhn dng l mt t lờn hng u nhiu cỏc lnh vc khỏc nh: in t y sinh, in t vin thụng, h thng in, t ng húa v iu khin Vớ d nh: nhn dng võn tay, nhn dng ký t, nh, ting núi, phỏt hin v chn oỏn bnh 1.2.2 Nhn dng h thng s dng mng nron 1.2.2.1 Kh nng s dng mng nron nhn dng Xột trng hp i tng phi tuyn cú phc cao, nu s dng phng phỏp gii tớch thụng thng nhn dng s rt khú khn, thm khụng thc hin c s hiu bit nghốo nn v i tng Vỡ vy cỏc nh khoa hc ó a ý tng l s dng cụng c tớnh toỏn mm nh h m, mng nron, i s gia t xp x chớnh l nhn dng i tng Mng nron l mt nhng cụng c hu hiu nhn dng mụ hỡnh i tng, bng phng phỏp ny ta khụng bit c mụ hỡnh toỏn thc s ca i tng nhng hon ton cú th s dng kt qu xp x thay th i tng 1.2.2.2 Mụ hỡnh nhn dng h thng s dng mng nron Nhn dng gm: nhn dng mụ hỡnh v nhn dng tham s Nhn dng mụ hỡnh l quỏ trỡnh xỏc nh mụ hỡnh ca i tng v thụng s trờn c s u vo v u ca i tng Mụ hỡnh thu c sau nhn dng gi l tt nu nú th hin c ỳng i tng Nh vy cú th s dng mụ hỡnh thay cho i tng d bỏo, kim tra v iu khin Mng nron c hun luyn mụ hỡnh húa quan h vo i tng y u ca i tng Nh vy quy Mng nron trỡnh nhn dng mụ hỡnh cú - y bn cht l thut toỏn luyn Hỡnh 1.2: Mụ hỡnh nhn dng c bn mng Cu trỳc mng nron gii bi toỏn nhn dng mụ hỡnh rt a dng, tựy thuc vo tng bi toỏn c th Nhn dng tham s chớnh l hun luyn mng, c biu din trờn Hỡnh 1.2 Tớn hiu sai s e y y l c s cho quỏ trỡnh luyn mng Mng nron õy cú th l mng nhiu lp hoc cỏc dng khỏc v cú th s dng nhiu thut luyn mng khỏc 1.2.2.3 Nhn dng h thng s dng mng nron Nhn dng h thng cn hai giai on l la chn mụ hỡnh v ti u tham s i vi mng nron la chn s nỳt n, s lp n (cu trỳc ca mng) tng ng vi mụ hỡnh la chn Mng cú th c hun luyn theo kiu giỏm sỏt vi k thut lan truyn ngc, da vo lut hc sai s hiu chnh Tớn hiu sai s c lan truyn ngc qua mng K thut lan truyn ngc s dng phng phỏp gim gradient xỏc nh cỏc trng ca mng vỡ vy tng ng vi ti u tham s 1.3 Mt li c bit luyn mng nron 1.3.1 Mt li c bit luyn mng nron Hỡnh 1.3: Mt sai s dng lũng khe e Hỡnh 1.3 mụ t mt mt sai s, cú mt vi iu c bit cn chỳ ý i vi mt sai s ny: dc bin i mt cỏch mnh m trờn khụng gian tham s Vỡ lý ú, nú s khú m la chn mt tc hc phự hp cho thut toỏn gim dc nht 1.3.2 Vớ d v bi toỏn dn n mt li c bit Đặc điểm khe toán tối -u hoá ngành nhiệt[28] S dng mng nron nhn dng i tng Vi cỏc h thng cú phi tuyn cao thỡ lm th no nhn dng i tng luụn l mt cõu hi t vi chỳng ta Vỡ tớnh phi tuyn ca cỏc mng nron (hm kớch hot phi tuyn), chỳng c dựng mụ t cỏc h thng phi tuyn phc Luyn mng nron cú hai quỏ trỡnh, quỏ trỡnh ỏnh x v quỏ trỡnh hc Hc thc cht l quỏ trỡnh lan truyn ngc Thc hin k thut lan truyn ngc chớnh l gii bi toỏn ti u tnh vi hm mc tiờu l mt sai s Hỡnh dng ca mt sai s ph thuc vo s lp nron v loi hm kớch hot Trong mt sai s vi mng tuyn tớnh mt lp cú mt cc tiu n v dc khụng i, mt sai s vi mng nhiu lp cú th cú nhiu im cc tiu cc b, cú th b kộo di, un cong to thnh khe, trc khe v dc cú th thay i mt di rng cỏc vựng khỏc ca khụng gian tham s Thc t, vic chn hm kớch hot nh th no, chn s lp mng nron bng bao nhiờu ph thuc vo i tng cn xp x Nh vy, phc ca i tng cn xp x khỏc nờn hm mc tiờu rt khỏc v dn n quỏ trỡnh hc (gii bi toỏn ti u) cú th rt phc c bit i tng cn xp x dn n hm mc tiờu cú dng lũng khe (vớ d nh i tng nhit) thỡ quỏ trỡnh hc rt khú khn thm khụng hi t nu ta s dng cỏc b cụng c cú Toolbox ca Matlab Mụ phng quỏ trỡnh luyn mng nron s dng 1.4 Toolbox ca Matlab 1.4.1 Mụ phng hun luyn mng nron cú mt li bỡnh thng Xét hệ thống phi tuyến cần nhận dạng có mô hình toán học sau: f (u) = 0.6 sin( u) + 0.3 sin(3 .u) + 0.1 sin (5 .u) Tín hiệu vào: u (k) = sin(2 k/250) Mạng nơron sử dụng mạng truyền Hình 1.4: Kỷ nguyên luyện mạng ví dụ thẳng lớp có đầu vào đầu 1.4.2 Mụ phng hun luyn mng nron cú mt li c bit minh ha, tỏc gi xut cu trỳc mng n ron nhn dng cỏc ch s: 0, 1, 2, ,9 Trong ú hm sigmoid c s dng lm hm kớch hot f / (1 exp(-x)) Hỡnh 1.5: Cu trỳc mng nron cho nhn dng ch Hỡnh 1.6 trỡnh by kt qu ca quỏ trỡnh luyn mng cho bi toỏn nhn dng ch vi cỏc k thut lan truyn ngc sai s theo phng phỏp Batch Gradient Descent (traingd), Batch Gradient Descent with Momentum (traingdm), Variable Learning Rate (traingda, traingdx) Cỏc phng phỏp ny u c tớch hp trờn Neural Network Toolbox ca Matlab Nhỡn chung cỏc phng phỏp u cho kt qu khỏ tt, nhiờn t c chớnh xỏc nh mong mun thỡ thi gian cn thit cho luyn mng l khỏ ln Thm cú trng hp tớn hiu li hu nh thay i rt ớt qua cỏc chu k luyn mng Hỡnh 1.6: Cỏc kt qu luyn mng n ron vi cỏc phng phỏp lan truyn ngc khỏc (traingd, traingdm, traindx, trainda) 1.5 Tng quan v tỡnh hỡnh nghiờn cu v ngoi nc 1.6 Kt lun chng Trong chng 1, tỏc gi ó phõn tớch cỏc nhõn t quỏ trỡnh hc ca mng nron Tỏc gi nhn thy rng, kt qu luyn mng nron ph thuc rt ln vo giỏ tr ban u ca vec-t trng s v bc hc Vic mng s hi t n im ti u ton cc hay khụng nhiu cũn ph thuc vo s may mn vic chn giỏ tr to l ngu nhiờn Thờm na, vic la chn bc hc s bng bao nhiờu cú th hi t hay ớt nht l tng tc hi t l mt cõu hi cng c t ra, c bit mt li cú dng c bit minh chng cho iu ú tỏc gi ó a vớ d: vớ d 1, mt li dng bỡnh thng, s dng b cụng c Toolbox ca Matlab luyn mng, mng ó luyn thnh cụng sau 65 bc tớnh n vớ d th v nhn dng ch vit tay thỡ thi gian luyn mng lõu hn rt nhiu, thm tớn hiu li cũn thay i rt ớt qua cỏc chu k luyn mng gii quyt ny, cn thit phi tỡm mt thut toỏn hiu chnh cỏc bc hc nhm rỳt ngn thi gian hi t ca mng ng thi cng trỏnh c cc tr a phng CHNG 2: THUT TON VT KHE TRONG QU TRèNH LUYN MNG NRON 2.1 Thut toỏn vt khe Cho bi toỏn ti u v gii bi toỏn ti u khụng iu kin: MinJ(u) u En (2.1) u l vec-t khụng gian Euclide n chiu Cụng thc lp bc th k: uk+1 = uk+ k sk, k = 0,1,(2.2) ú: u : vect bin ca hm Hỡnh 2.2: Hm khe mc tiờu J(u) ti bc lp th k; k l di bc ca hm theo hng chuyn ng sk Hng chuyn ng sk l hon ton xỏc nh ti mi bc lp k Hm khe l hm m mt ng mc ca nú c kộo di v kt qu l to mt khe di, hỡnh 2.2 Trờn c hai phớa ca khe, gradient ca hm mc tiờu cú hng ngc li Xột im X t vo mt phớa ca khe v Y trờn phớa khỏc Hu ht trng hp cỏc im X v Y u tho bt ng thc sau: J s' ( X ) T J s' (Y ) hk' k hk' J s' u k (2.4) T S k ' s J u k T S k (2.9) D thy rng bt phng trỡnh (2.9) l tng ng vi (2.4) nu Sk-1 = Sk, uk-1 = X, uk = Y iu kin (2.9) ũi hi ti mi bc lp chuyn ng ca hm mc tiờu, c gi l nguyờn lý vt khe" m bo tớnh n iu ca hm mc tiờu quỏ trỡnh ti u hoỏ, di bc k phi tho bt phng trỡnh sau: J(uk+ k v * (2.10) ti mi bc lp Sk) < J(uk) arg h , h v h* h0 h* (2.15) Trong ú, < < c gi l h s vt h* h * ; h h Xỏc nh bc vt khe Hỡnh 2.4: Lu thut toỏn tớnh bc vt khe 2.2 ng dng thut toỏn vt khe quỏ trỡnh luyn mng nron Hỡnh 2.7 mụ t thut toỏn hun luyn mng nron MLP bng thut hc lan truyn ngc vi bc hc vt khe Thut toỏn tớnh bc hc vt khe c trỡnh by trờn hỡnh 2.4 10 Hỡnh 2.7: Lu thut toỏn hun luyn mng nron MLP vi bc hc vt khe 2.3 Minh thut toỏn Bi toỏn vớ d minh cho thut toỏn hun luyn vi bc hc vt khe nh sau: Cho mt vec-t u vo ti u vo mng, mng nron phi tr li cho chỳng ta bit u vo y l cỏi gỡ 2.3.1 Cụng tỏc chun b 2.3.1.1 iu chnh trng s lp Gi: b: trng s lp ra; z: u ca nron lp t: giỏ tr ớch mong mun; yj: u ca nron lp n 14 -2.769717 +1.312588 -4.664436 -2.827789 +2.371747 -0.364274 +2.201062 -3.916823 -3.320487 -4.069728 -1.782830 -4.044702 +3.170280 -4.158247 -3.187445 -6.282814 +0.281494 -1.669756 +1.434243 +1.132807 -2.987375 -3.486474 -0.478021 -4.107324 +4.076324 -1.912957 -2.763546 -3.092701 +1.134861 +2.352585 -5.310641 +3.295428 +0.162167 -2.746308 -2.727656 -2.506175 -2.950514 +0.563975 +2.650147 -2.085773 -2.361584 -0.225960 -4.947299 +3.709565 -3.014404 FINISH 2.3.4.2 So sỏnh cỏc phng ỏn Bng 2.2: Tp h s mu u vo {0 9} TT Bc hc c nh 0.2 Tht bi 7902 (bc lp) Bc hc gim dn t Tht bi 3634 (bc lp) Bc vt khe Tht bi 23 (bc lp) 7210 2416 50 12370 2908 34 Tht bi 2748 31 9700 3169 42 Tht bi 2315 43 10073 2375 33 11465 Tht bi 34 10 8410 2820 33 11 10330 2618 32 12 Tht bi 2327 39 13 Tht bi 3238 44 14 9652 2653 15 11980 2652 Tht bi 31 15 Tht bi 53 Tht bi 2792 31 18 8165 2322 42 19 10130 2913 42 20 Tht bi 2689 33 16 12607 17 Tng TB: 10000 bc lp, TB: 2740 bc lp, TB: 37 bc lp, kt tht bi/20 tht bi/20 tht bi/20 Vi bc hc c nh, ta thy rng s bc lp cn cú mng c hun luyn thnh cụng l rt ln, trung bỡnh l 10000 chu k, nguyờn nhõn cú th bc hc chn l (0.2) Tuy nhiờn, nu th chn bc hc ln hn (0.3) thỡ kt qu l s ln luyn mng tht bi nhiu hn Nh bng 2.2 thng kờ thỡ ó by ln tht bi tng s 20 ln luyn mng vi bc hc l 0.2 Vi bc hc gim dn t thỡ ba ln tht bi, s bc lp luyn mng thnh cụng khỏ n inh, nhiờn chỳng ta cng thy rng, theo bng 2.2 ó thng kờ thỡ vi bc hc tớnh theo nguyờn lý vt khe, tc hi t cao hn vi trung bỡnh 37 bc lp ta ó luyn mng xong, s ln tht bi luyn mng cng c gim i Mt nhc im ca phng ỏn tớnh bc hc vt khe l chi phớ thi gian mỏy tớnh x lý tớnh toỏn bc hc mi bc lp ln ta nh ngha hng s FD=1-e4 nh, thut toỏn s phi lp nhiu ln thoỏt iu kin ny (bc ca thut toỏn vt khe) Tuy nhiờn, v tng chi phớ thi gian luyn mng thỡ cú li hn 2.4 Kt lun chng Trong chng 2, tỏc gi ó gii thiu v mt thut toỏn mi tỡm bc hc, phự hp cho mt li cú dng khe l thut toỏn vt khe cú th tỡm c li gii ti u cho bi toỏn s dng mng nron cú mt li dng lũng khe, tỏc gi ó a mụ hỡnh kt hp 16 thut toỏn vt khe v lan truyn ngc ú l c s ci t thnh cụng th tc hun luyn mng theo phng phỏp vt khe kt hp vi k thut lan truyn ngc i tỡm b trng s ti u chng minh cho xut ny tỏc gi ó a mt vớ d v nhn dng ch vit tay v cú s so sỏnh gia bc hc vt khe vi cỏc bc hc khỏc thng hay c s dng Toolbox ca Matlab Cỏc kt qu mụ phng cho thy s ỳng n ca xut ny CHNG 3: XUT Mễ HèNH KT HP GII THUT DI TRUYN V THUT TON VT KHE CI TIN QU TRèNH HC CA MNG NRON MLP Cể MT LI C BIT t 3.1 Trong quỏ trỡnh luyn mng nron, b trng s to ban u, cú nh hng c th th no n kt qu ca luyn mng nron, c bit mt li cú dng lũng khe ỏnh giỏ nhõn t ny, tỏc gi th i luyn mng nron mt s trng hp sau: 3.1.1 Kho sỏt hi t ca quỏ trỡnh luyn mng nron bng k thut lan truyn ngc nguyờn thy vi cỏc b to trng s ban u khỏc thy rừ c s nh hng ca vec-t to trng s ban u n hi t ca quỏ trỡnh luyn mng nron ta xột hai vớ d sau: a) Xột h thng phi tuyn tnh cn nhn dng cú mụ hỡnh toỏn hc nh sau: y(u) = 0.6 sin( u) + 0.3 sin(3 .u) + 0.1 sin (5 .u) Chỳng ta phỏt tớn hiu u(k) = sin(2 k/250) vo h thng trờn v o tớn hiu y(k) S dng b mu (u(k),y(k)) ny luyn mng Mng nron c dựng l mng truyn thng lp, cú mt u vo, mt u Lp nhp cú neural, lp n cú neural, lp cú neural, hm kớch hot ca c lp u l hm tansig Sai s cho phộp luyn mng thnh cụng l 10-5 Ta s dng k thut lan truyn 17 ngc vi bc hc c nh bng 0.2 B trng s to ban u l ngu nhiờn Bng 3.1 TT KNLM Sai s (10-6) TT KNLM Sai s (10-6) 66 9.8065 24 9.9681 11 5.8464 45 9.1789 28 9.8923 10 62 9.5743 22 9.4931 11 55 9.2574 46 9.9981 12 37 9.6842 29 9.9062 13 29 7.1969 207 9.5439 14 60 9.2586 Cn c vo bng 3.1 ta thy vi mt thut toỏn khụng i, cu trỳc, tham s ca mng chn nh thỡ kt qu ca quỏ trỡnh luyn mng ph thuc vo b to trng s ban u b) Xột h thng ng hc phi tuyn cn nhn dng cú mụ hỡnh toỏn hc nh sau: y = 0.00005 - 0.05y - 0.0005u 0.5uy Phỏt mt tớn hiu ngu nhiờn cú gii hn v biờn t n 2L/sec vi thi gian ly mu l 0.1s vo h thng trờn v o tớn hiu Ly mu vo, ny luyn mng, Tng thi gian t l 100s, ú s to c 1000 b mu vo di dng mt mng d liu Cu trỳc mng nron: Mng gm cú hai lp: Lp vo cú nron, hm kớch hot l hm tansig; lp cú nron, hm kớch hot l hm purelin Ta s dng k thut lan truyn ngc vi bc hc c nh bng 0.2 Sai s cho phộp luyn mng thnh cụng l 10-12 Bng 3.2: TT KNLM Sai s (10-12) TT KNLM Sai s (10-12) 210 9.2147 301 8.9754 18 151 9.6782 229 9.2367 234 8.6745 10 234 9.2476 193 9.3657 11 167 9.9874 271 9.2486 12 205 9.5789 146 7.6842 13 212 9.3487 231 8.6575 14 203 9.3578 Cn c vo bng 3.2 ta thy vi mt thut toỏn khụng i, cu trỳc, tham s ca mng chn nh thỡ kt qu ca quỏ trỡnh luyn mng ph thuc vo b to trng s ban u 3.1.2 Kho sỏt hi t ca quỏ trỡnh luyn mng nron cú mt li c bit bng k thut lan truyn ngc kt hp thut toỏn vt khe vi cỏc b to trng s ban u khỏc Trong phn ny, s dng k thut lan truyn ngc kt hp vi thut toỏn vt khe luyn mng nron cú mt li dng lũng khe, tỏc gi s i ỏnh giỏ s nh hng ca b to trng s ban u n tỡm nghim ti u ton cc minh ha, nhúm tỏc gi xut cu trỳc mng n ron nhn dng cỏc ch s: 0, 1, 2, ,9 Trong ú hm sigmoid c s dng vi mc ớch sinh mt sai s cú dng lũng khe biu din cỏc ch s, ta s dng cu trỳc mng nh hỡnh1.5 B trng s to ban u vi mng lp gm cú ma trn trng s lp n cú kớch thc l 35ì5 v ma trn trng s lp cú kớch thc l 5ì10 c ly l mt s ngu nhiờn xung quanh im 0.5 l trung im ca hm kớch hot sigmoid Sau lp trỡnh v cho luyn mng 14 ln ta cú c bng 3.3 Bng 3.3 TT KNLM TT KNLM TT KNLM 19 37 28 11 38 Tht bi 44 12 39 42 35 13 Tht bi 33 29 14 30 35 10 46 Cn c vo bng 3.3 ta thy vi mt thut toỏn khụng i, cu trỳc, tham s ca mng chn nh nhau; kt qu ca quỏ trỡnh luyn mng ph thuc vo b to trng s ban u, thm cũn cú ln luyn mng tht bi tng s 14 ln luyn mng iu ú c gii thớch: bn cht ca gii thut hc lan truyn ngc sai s l phng phỏp gim lch gradient nờn vic to giỏ tr ban u ca b trng s cỏc giỏ tr nh ngu nhiờn s lm cho mng hi t v cỏc giỏ tr cc tiu khỏc Nu gp may thỡ mng s hi t c v giỏ tr cc tiu tng th, cũn nu khụng mng cú th ri vo cc tr a phng v khụng thoỏt c dn n luyn mng tht bi Nh vy, thụng qua vic nghiờn cu v thc nghim trờn mỏy tớnh cho ta thy: Vi cỏc mt li thụng thng vic to b trng s ban u ngu nhiờn mt khong no ú ch nh hng n thi gian luyn mng; cũn vi mt li c bit cú nhiu cc tr v dng lũng khe, nú cũn cú th lm cho quỏ trỡnh luyn mng tht bi ri vo cc tr cc b vỡ xut phỏt t vựng khụng cha cc tr ton cc õy l mt kt lun quan trng, lm tin cho vic xut phng phỏp tớnh toỏn b to trng s ban u thay cho vic to ngu nhiờn, t ú tng chớnh xỏc v tc hi t ca quỏ trỡnh luyn mng nron 3.2 Mụ hỡnh kt hp gii thut di truyn v thut toỏn vt khe quỏ trỡnh luyn mng nron 3.2.1 t 20 Xu th hin ca cụng ngh thụng tin l kt hp u im ca cỏc k thut riờng l Cỏc k thut mng nron, thut gii di truyn, logic m, ang c kt hp vi hỡnh thnh cụng ngh tớnh toỏn mm Cỏc nghiờn cu v GA kt hp vi ANN bt u bi Montana and Davis Nm 1989 cỏc ụng ó cú bỏo cỏo v vic ng dng thnh cụng GA mng ANN H ó chng minh c rng GA tỡm c b trng s ti u tt hn BP mt s trng hp T ú n ny cỏc nghiờn cu v s kt hp ny ó chng minh c tớnh u vit ca nú so sỏnh gii thut di truyn v lan truyn ngc sai s, ta s dng li bi toỏn nhn dng ch vit ó trỡnh by cỏc chng trc, chn tham s chung cho c hai phng phỏp: - Mng nron s dng l mng mt lp n - S neural lp n: - Ngng sai s dng lp: 0.1 hoc quỏ 20000 vũng lp Tham s ca thut lan truyn ngc sai s: - Bc hc: 0.2 Tham s ca gii thut di truyn: - S lng qun th: 20 - Xỏc sut lai: 0.46 - Xỏc sut t bin: 0.1 Sau õy l bng thng kờ s bc lp mng hi t vi mi phng ỏn 20 ln th nghim khỏc (-) : mng khụng hi t (s ln lp ln hn 20000) Bng 3.4: So sỏnh GA v BP vi sai s l 0.1 TT GA BP TT GA BP 1356 - 12 865 1890 729 3156 13 - 2348 21 1042 2578 14 758 - 1783 3640 15 - 2647 - - 16 968 3378 879 - 17 1034 - 1102 2102 18 779 3018 - 2671 19 890 2781 891 - 20 904 2585 10 902 2470 TB: TB: 728 3018 tht bi tht bi 11 Ta thy rng gii thut di truyn cú kh nng t c yờu cu v hi t (sai s 0.1) tc tỡm vựng cha cc tr ton cc d dng hn so vi k thut lan truyn ngc sai s Hay núi cỏch khỏc k thut lan truyn ngc sai s d ri vo vựng cha cc tiu cc b hn gii thut di truyn Trong 20 ln chy, GA ch cú ln khụng tỡm c cc tr ton cc ú BP l ln Vn bi toỏn trờn ta thay i ngng sai s dng lp l 0.001 ta c bng sau: Bng 3.5: So sỏnh GA v BP vi sai s l 0.001 TT GA BP TT GA BP - 8019 12 3012 - - 9190 13 - 8601 3021 - 14 - 11032 - 8701 15 - 9963 - - 16 - 3378 2371 10923 17 - 9021 - 8971 18 - - 9801 19 - - - - 20 - 10914 22 10 - - TB: 15 tht TB tht 11 2038 7781 bi bi Qua kt qu ny cú th nhn thy rng ch rt ớt trng hp GA t c giỏ tr sai s mong mun Kt hp kt qu bng 3.4 v 3.5 ta cú bng so sỏnh kh nng hi t ca mng nron thay i sai s dng lp Bng 3.6: So sỏnh GA v BP vi sai s khỏc Sai s dng S ln hi t 20 ln luyn mng lp GA BP 0.1 16 14 0.001 13 Nhn xột 1: Nh c ch tỡm kim tri rng, ngu nghiờn v mang tớnh chn lc t nhiờn nờn: GA thng tỡm c vựng cha cc tr ton cc, nhng khú t c cc tr ton cc Mt mt ta mun GA trỡ s a dng qun th trỏnh hi t sm n cc tr cc b; mt khỏc, ó khoanh vựng c cc tr ton cc, ta mun GA thu hp vựng tỡm kim ch c cc tr ton cc Mc tiờu th nht thng d t c bng cỏch chn hm thớch nghi v phng phỏp tỏi to qun th phự hp t c mc tiờu th hai ũi hi chỳng ta phi chia quỏ trỡnh tin húa thnh hai giai on, giai on hai ta phi chnh li: cỏc toỏn t lai, t bin, tỏi to; phng phỏp chn lc; ỏnh giỏ thớch nghi; cng nh chnh sa li cỏc tham s ca quỏ trỡnh tin húa cú th n cc tr ton cc Vic thc thi mt mụ hỡnh nh th s rt phc Do ú, cn phi kt hp GA vi cỏc phng phỏp ti u cc b khỏc Nhn xột 2: Cỏc phng phỏp hc ANN thc hin vic tỡm kim cc b khụng gian trng s (da trờn thụng tin v o hm ca li) nờn cú hai nhc im Th nht b trng s thu c 23 thng khụng l ti u ton cc Th hai quỏ trỡnh hc cú th khụng hi t hoc hi t rt chm Do ú, cn phi kt hp cỏc phng phỏp hc mang tớnh cc b ca ANN vi cỏc thut gii mang tớnh ton cc nh thut gii di truyn T nhn xột v 2, ta thy rng cú th kt hp GA v ANN nhm nõng cao hiu qu ca ANN GA s khoanh vựng cha cc tiu ton cc ca hm li, sau ú ANN xut phỏt t b trng s ny tin n cc tiu ton cc Trong phn ny s trỡnh by v gii thut di truyn (GA) kt hp vi thut toỏn vt khe ch ng qu o v rỳt ngn thi gian ca quỏ trỡnh tỡm kim ti u vi mt sai s phc dng lũng khe 3.2.2 Thut toỏn Cú nhiu cỏch kt hp gii thut di truyn vo mng nron nhng cỏch n gin v khỏ hiu qu l ta thc hin lai ghộp hai gii thut ni tip Vi mt cu trỳc mng cho trc, ta xut phỏt bng gii thut di truyn, i tỡm cỏc trng s tt nht i vi mng Mt qun th N chui c to ngu nhiờn Mi chui l mt bn mó hoỏ ca mt trng s ca mng Sau G th h tin hoỏ, 5% cỏc cỏ th tt nht G th h s c lu gi li Cỏc cỏ th ny sau ú s c gii mó v c a vo mng nron xõy nờn cỏc mụ hỡnh hc Sau quỏ trỡnh hc, trng s no cho kt qu d bỏo tt nht s c gi li lm thụng s ca mng nron cho vic d bỏo ú Thut toỏn kt hp gii thut vt khe v gii thut di truyn cho mng MLP c xut hỡnh 3.1 Nú bao gm hai giai on luyn mng Giai on u tiờn s dng thut toỏn di truyn vi bc truyn thng nhm y nhanh ton b quỏ trỡnh luyn mng Thut toỏn di truyn thc hin tỡm kim ton cc v tỡm kim ti u gn im ban u (trng lng vec-t) cho 24 giai on th hai Trong ú, mi nhim sc th c s dng mó húa cỏc trng s ca mng nron Hm thớch nghi (hm mc tiờu) cho cỏc thut toỏn di truyn c xỏc nh l tng bỡnh phng li (TSSE) ca mng nron tng ng Do ú, bi toỏn s tr thnh ti u húa khụng gii hn nhm tỡm mt hp cỏc bin quyt nh gim thiu hm mc tiờu Trong giai on th s s dng k thut lan truyn ngc vi cỏc bc hc c thay i theo thut toỏn vt khe ó c xut hỡnh 2.4 Hỡnh 3.1: S thut toỏn kt hp gii thut vt khe v di truyn cho luyn mng MP 3.3 p dng mụ hỡnh kt hp gii thut di truyn v thut toỏn vt khe quỏ trỡnh luyn mng nron vo bi toỏn nhn dng 25 Tr li vớ d v nhn dng ch vit tay 0,1,2, Ci t thut toỏn c thc hin trờn Matlab Cỏc kt qu thc nghim luyn mng MLP kt hp gii thut vt khe v di truyn Mng MLP c luyn vi b cỏc ký t mu ch vi kớch thc x Cỏc giỏ tr ban u nh s u vo (35), s lng lp n (1), s nron lp n (5), cỏc k thut luyn mng khỏc nhau, mó húa u vo v u nhm to cỏc trng s ó c cp trờn Cỏc tham s luyn mng: Kớch thc qun th = 20 Xỏc sut lai to = 0.46 Mó húa bng s thc di nhim sc th = 225 chớnh xỏc mong mun = 90% S th h: 20 Li h thng mong mun=0.06 Kt qu luyn mng nh sau: S th h 10 15 20 Tng thớch nghi 9.5563 8.1638 6.1383 5.724 5.697 S chu k 10 15 20 33 T l li 93.33% 60.33% 40.67% 37.33% 0% TSSE 0.4956 0.3274 0.1387 0.0864 0.0589 luyn Nh vy, sau 20 th h ó t n yờu cu ca bi toỏn Giỏ tr thớch nghi trung bỡnh t c l 5.679 Kt qu ca giai on c s dng to trng s cho giai on Vi s thay i bc hc theo gii thut vt khe, sau 33 Hỡnh 3.2: Hot ng ca mng MLP ci tin 26 chu k luyn mng li h thng ó t n mc ớch 0.0589 v chớnh xỏc ca quỏ trỡnh nhn dng l 100% Hot ng ca mng MLP cú kt hp gii thut vt khe v di truyn cho nhn dng ch c th hin trờn hỡnh 3.2 3.4 Kt lun chng Trong chng ny, tỏc gi xut vic s dng gii thut di truyn kt hp vi thut toỏn vt khe ci tin quỏ trỡnh luyn mng nron cú mt li c bit v minh thụng qua ng dng nhn dng ch Cú th ỏnh giỏ c rng phng phỏp ny ó tng kh nng v tc hi t ca mng nron cú mt li dng lũng khe KT LUN CHUNG V XUT HNG NGHIấN CU * So sỏnh luyn mng nron cú mt li c bit vi cỏc phng phỏp khỏc Qua vic nghiờn cu v thc nghim trờn mỏy tớnh cho ta thy: vi nhng cu trỳc mng n ron m mt li cú dng lũng khe, s dng k thut lan truyn ngc nhng vic ỏp dng gii thut di truyn kt hp vi thut toỏn vt khe luyn mng s cho ta chớnh xỏc v tc hi t nhanh hn nhiu so vi phng phỏp gradient Kt qu nghiờn cu ny c gii thớch nh sau: - Kt qu luyn mng nron ph thuc rt ln vo giỏ tr ban u ca vec-t trng s Vic s dng gii thut di truyn thc hin quỏ trỡnh tỡm kim ton cc cho phộp cú c vec-t trng s ban u tt cho giai on sau ca quỏ trỡnh luyn mng - Khi mt li c bit cú dng lũng khe, nu luyn mng bng thut toỏn gradien liờn hp hay thut toỏn Levenberg Marquardt s chm hi t v gp phi cc tr a phng Thut toỏn vt khe nhm tỡm kim cỏc bc hc ti u giai on ca quỏ trỡnh 27 luyn mng nờn ó khc phc cỏc nhc im ny v ú lm tng tc hi t cng nh chớnh xỏc ca quỏ trỡnh luyn mng Vic s dng gii thut di truyn kt hp vi thut toỏn vt khe cú th ng dng luyn mt s cu trỳc mng n ron m cú mt li c bit khỏc Vỡ vy, kt qu nghiờn cu ny cú th ng dng cho nhiu bi toỏn khỏc lnh vc vin thụng, iu khin, v cụng ngh thụng tin * Nhng úng gúp chớnh ca lun ỏn - xut mt dng thut toỏn vt khe gii bi toỏn ti u vi hm mc tiờu cú dng c bit, dng lũng khe - Phõn tớch, ỏnh giỏ hi t ca quỏ trỡnh luyn mng nron ph thuc vo b trng s to ban u v bc hc - xut mụ hỡnh kt hp gii thut di truyn v thut toỏn vt khe quỏ trỡnh luyn mng nron cú mt li c bit Trong ú gii thut di truyn cú vai trũ thc hin quỏ trỡnh tỡm kim ton cc cú c vec-t trng s ban u tt cho giai on sau ca quỏ trỡnh luyn mng Cũn thut toỏn vt khe l tỡm bc hc ti u, lm tng tc hi t cng nh chớnh xỏc ca quỏ trỡnh luyn mng - kim chng kt qu nghiờn cu, mt vớ d v nhn dng ch vit tay ó c a luyn mng vi nhng phng phỏp khỏc * xut hng nghiờn cu - B sung vo Toolbox Matlab mt la chn tớnh bc hc mi: bc hc vt khe - ng dng thut toỏn ny cho mt s bi toỏn lnh vc iu khin, t ng húa v k thut in t - Phỏt trin mụ hỡnh kt hp cho cỏc bi toỏn ti u cú hm mc tiờu phc khỏc 28 CC CễNG TRèNH CễNG B Reseach and Development of an adaptive control system for extremal systems; Cong Nguyen Huu, Dung Nguyen Tien, Nga Nguyen Thi Thanh, The 2009 international forum on strategic technologies (IFOST 2009), October 21-23, 2009, Ho Chi Minh city, Vietnam; page 235-238 2.Nghiờn cu ng dng mng hi quy thi gian liờn tc nhn dng v iu khin h thng x lý nc thi; Nguyn Hu Cụng, Nguyn Th Thanh Nga, Phm Vn Hng; Tp khoa hc cụng ngh i hc Thỏi Nguyờn s 12 74 nm 2010; trang 4-8 3.Research on the application of genetic algorithm combined with the cleftoverstep algorithm for improving learning process of MLP neural network with special error surface.; Cong Nguyen Huu, Nga Nguyen Thi Thanh, Huy Nguyen Phng; The 7th International Conference on Natural Computation (ICNC'11) and the 8th International Conference on Fuzzy Systems and Knowledge Discovery (FSKD'11), 26-28 July, Shanghai, China, 2011; page 222-227 4. ti nghiờn cu khoa hc cp b Nghiờn cu thut toỏn tỡm nghim ti u ton cc quỏ trỡnh luyn mng nron - ng dng nhn dng, iu khin i tng ng hc phi tuyn Ch nhim ti: Nguyn Th Thanh Nga, Nghim thu chớnh thc nm 2011 5.Research to improve a learning algorithm of neural networks; Cong Nguyen Huu, Nga Nguyen Thi Thanh,Ngoc Van Dong; Tp Khoa hc Cụng ngh - i hc Thỏi Nguyờn, thỏng nm 2012; page 53-58 6.The Influence of Initial Weights During Neural Network Training; Cong Nguyen Huu, Nga Nguyen Thi Thanh, Huy Vu Ngoc, Anh Bui Tuan; Tp Khoa hc Cụng ngh cỏc Trng i hc K thut, No.95 (2013); page 18-25 Trong tng s 06 cụng trỡnh tỏc gi ó cụng b, tiờu biu cú: bi bỏo s 03 c nm danh sỏch ISI, v ti NCKH cp b s 04 m tỏc gi lm ch nhim ti