MỘT SỐ PHƯƠNG PHÁP DÒ TÌM NGẪU NHIÊN VÀ ỨNG DỤNG

MỘT SỐ PHƯƠNG PHÁP DÒ TÌM NGẪU NHIÊN VÀ ỨNG DỤNG

 GIÁO DC VÀ ÀO TO TRNG I HC À LT TRNG CHÍ TÍN T S PHNG PHÁP DÒ TÌM NGU NHIÊN VÀ NG DNG  TÀI KHOA HC CP B (B2005-29-34) À LT, 2006  GIÁO DC VÀ ÀO TO TRNG I HC À LT T S PHNG PHÁP DÒ TÌM NGU NHIÊN VÀ NG DNG  TÀI KHOA HC CP B (B2005-29-34) Ch nhim  tài: Trng Chí Tín Các thành viên: ng Phc Huy Trn Ngc Anh À LT, 2006 C LC i mu _______________________________________________________ 1 PHN I. Mt s kt qu v thut gii di truyn và mng nron ____________ 4 1. ng dng chin lc ng trong thut gii di truyn gii mt lp bài toán i u toàn cc … ……………………………………………………… 5 2. Ci thin kh nng hc ca mng n ron truyn thng nhiu lp ……… 19 PHN II. Mt s kt qu v nung luyn mô phng ___________________ 30 1. S hi t ca thut toán nung luyn mô phng trong trng hp ri rc …………………………………………………………………………. 31 2. Nung luyn mô phng: mt s nhn xét v s hi t ca xích Metropolis …………………………………………………………………………. 51 3. Áp dng phng pháp nung luyn mô phng vào bài toán lp lch dòng công vic ………………………………………………………………. 63 t lun _______________________________________________________ 97 1. Các kt qu chính v lý thuyt, ng dng và sn phm ca  tài ………… . 97 2. Các hng m rng ca  tài ……………………………………………… 99 1 i Mu Thut gii di truyn (Genetic Algorithms - GA) và nung luyn mô phng (Simulated Annealing - SA) là hai trong s các phng pháp tìm kim ngu nhiên khá hiu qu và c ng dng rt nhiu trong thc t. T nhng nm 50, th k XX, A.S. Fraser ã a ra ý nim v thut gii di truyn da trên s tin hóa và di truyn ca sinh vt. Nhng phi n nhng nm 70, th k XX, J. H. Holland mi trin khai thành công ý tng và phng thc gii quyt vn  bng thut gii di truyn. Sau ó, ngày càng nhiu kt qut n tng lý thuyt cho GA t c bi các tác gi khác nh Kenneth De Jong, David E. Goldberg, … Cho n nay, GA c áp dng trong rt nhiu lnh vc, c bit là trong khoa hc t nhiên và k thut. t trong nhng ng dng ca GA là bài toán ti u hoá. Khi áp dng các thut gii di truyn cn vào bài toán ti u hoá toàn cc, ta thng gp hn ch là tc  hi t và  chính xác ca li gii ti u không cao. Vic ci tin các thut gii di truyn  tng tc  hi t và  chính xác ca li gii, c bit khi  chiu không gian tìm kim ln, là rt có ý ngha thc t.  khc phc hn ch trên, trc ht, chúng tôi i tin phng pháp lai o ng theo xác sut và ng quát hóa phng pháp hiu chnh tuyn tính ca D. E. Goldberg trong GA nhm nghiên cu t s tính cht hi t ca phân phi xác sut chn cá th  bin hóa (lai hoc t bin) hoc tái to qun th mi. Trên c ó, chúng tôi áp dng chin lc ng vào GA, ngha là vic bin hoá và chn cá th s thc hin theo các cách khác nhau tùy thuc vào tui ca th h tin hoá i các xác sut thích hp, tùy vào mc tiêu khoanh vùng cc tr toàn cc hay tng c  hi tn li gii ti u toàn cc ó. Cui cùng,  tng hn na tc  hi  và  chính xác ca li gii ti u, chúng tôi áp dng phng pháp leo i trên nhng lân cn bé dn ca li gii ti u ca bc trc. Các kt qu thc nghim trên mt lp các bài toán ti u toàn cc, vi c trng có rt nhiu cc tra phng, cho thy thut gii di truyn ng (Dynamic Genetic Algorithms - DGA) ci tin có tc  hi t và  chính xác ca li gii cao hn hn thut gii di truyn cn. Ngoài ra, chúng tôi còn so sánh vic áp dng GA và DGA vào bài toán hc lut qua mng nron nhân to (Artificial Neural Network - ANN), sau khi i tin thut toán hc các tham s trong mng n ron. Trên bài toán mi, chúng tôi cng thu c các kt qu tng t nh trên. Phng pháp dò tìm ngu nhiên th hai chúng tôi  cp trong  tài này là nung luyn mô phng - SA. ây là các thut toán ti u toàn cc ngu nhiên c xây dng t vic bin th ca các thut toán mô phng kiu Metropolis da vào các tham su khin bin thiên theo chu trình tin hóa ca thut toán. Thut toán c gii thiu mt cách c lp bi S. Kirkpatrich, C. D. Gellatt, M. P. Vecchi (1983) và Cerny (1985). Tên gi “simulated annealing” xut phát t s 2 ng t vi quá trình nung luyn ca c th trong mt b nhit ca vt lý cht n. Các tên gi khác cho thut toán, chng hn là: nung luyn Monte Carlo (Monte Carlo annealing- Jepsen và Gelatt, 1983), thut toán xác sut leo i (Probabilistic hill climbing- Romeo và Sangiovanni- Vincentelli, 1985), làm ngui thng kê (Statistical cooling- Aarts và Van Laarhoven, 1985; Storer, Becker và Nicas, 1985) .  nhng nm u ca thp niên 80 ca th k 20 cho n nay, thut toán SA ã và ang thu hút s quan tâm ca nhiu ngi nghiên cu c v lý thuyt và ng dng. S phát trin v lý thuyt ca thut toán gn vi các công trình ca các tác gi nh: B. Gidas (1985), S. Anily và A. Federgruen (1985, 1986), D. Mitra, F. Romeo và A. Sangiovanni- Vincentelli (1986), B. Hajek (1988), C. R. Hwang và S. J. Sheu (1987, 1992), R. Holley, S. Kusuoka và D. Stroock (1989), O. Catoni (1992, 1998), D. Marquez (1997), P.D. Moral và L. Miclo (1999) . . Bên cnh ó SA cng ã c áp dng  gii nhiu bài toán ti u t hp c ln thuc lp NP - khó, các bài toán thc trong công ngh và kinh t - xã hi. Trong các áp dng ca SA vào các bài toán thc tin, có nhng áp dng th hin tính hiu qu ca phng pháp SA nhng cng có không ít các áp dng SA không em li hiu qu mt cách áng k. Tình hung u thng xy ra i vi các th hin bài toán mà u kin áp dng kh thi là phù hp vi các u kin lý thuyt cho s hi t. Tình hung sau phn ln là do c thù riêng ca các bài toán không hi  các u kin  vn dng c các kt qu hi tã bit. Vic áp ng thut toán thun túy là da vào các phán oán rút ra t s phân tích d liu thc nghim mà cha  bo m lý thuyt cho s hi t ca thut toán. Qua ó cho thy nhiu vn  v s hi t ca SA cn phi c tip tc nghiên cu. Góp phn vào các vn  quan tâm  trên i vi SA, trong phm vi  tài này, chúng tôi tp trung nghiên cu  hi t ca thut toán nung luyn mô phng trong trng hp ri rc. C th, chúng tôi trình bày mt s kt qu liên quan n  hi t ca thut toán SA thun nht vi các hàm xác sut sinh và chp nhn có ng tng quát. Nghiên cu nh hng ca tham sóng vai trò nhit  trong quy trình nung luyn và tác ng ca vic gim nhanh nhit  vào s hi t ca thut toán SA. Mt s khía cnh v tc  hi tn trng thái cân bng, xem xét dáng u tim cn n phân b cân bng và vic xp x tùy ý gn phân b cân ng i vi các xích nung luyn thun nht. M rng kt qu ca D. Mitra, F. Romeo và A. Sangiovanni-Vincentelli v tính ergodic yu ca thut toán nung luyn không thun nht  nhn c các kt qu v s hi t ca thut toán không thun nht. Nhm th nghim, chúng tôi ã áp dng thut toán SA vào mt p bài toán ti u t hp n hình là lp “bài toán lp lch thc hin công vic- JSS”. i dung chính ca  tài: Phn I trình bày mt s kt qu lý thuyt và ng dng ca thut gii di truyn ci tin theo xác sut ng ph thuc vào th h tin hoá (DGA) và mng ron (ANN). 3 Phn II trình bày mt s kt qu lý thuyt v phng pháp nung luyn mô phng (SA) và ng dng ca SA vào bài toán lp lch dòng công vic. Nhng thiu sót v mt hình thc ln ni dung trong tp báo cáo tng kt  tài này s khó tránh khi. Nhóm tác gi rt mong c s góp ý ca ngi c và trân trng cm n. Chúng tôi cm n trng i hc à Lt, Khoa Toán - Tin ã to nhiu u kin thun li  chúng tôi tin hành và hoàn thành  tài này. à Lt, tháng 3 nm 2007 Nhóm tác gi 4 PHN I t s kt qu v thut gii di truyn và mng nron 5 ng dng chin lc ng trong thut gii di truyn gii mt lp bài toán ti u toàn cc Trng Chí Tín, Trn Ngc Anh Khoa Toán  Tin, i hc à Lt E-mail:chitin@hcm.vnn.vn Tóm tt: Khi áp dng các thut gii di truyn (GA) cn cho bài toán ti u toàn cc, quá trình tìm kim li gii ti u thng gp hn ch là tc  hi t chm và  chính xác ca li gii không cao.  khc phc hn chó, chúng tôi  ngh áp dng chin lc ng theo xác sut vào phép lai ci tin và phng pháp hiu chnh tuyn tính a D.E Goldberg c tng quát hóa. Kt qu thc nghim, khi gii t lp bài toán ti u toàn cc vi c trng có rt nhiu cc tra phng, cho thy phng pháp mi có u m ni bt là tc  hi  nhanh và  chính xác ca li gii ti u rt cao.  khóa: i u toàn cc, GA, hiu chnh tuyn tính, lai. 1. MU Trong bài này chúng tôi áp dng chin lc ng vào toán t lai và vào phân phi xác sut chn tp con  bin hóa và tái to qun th mi trong thut gii di truyn nhm gii bài toán ti u toàn cc sau ây: Bài toán: Cho hàm s n bin thc f : D → R, vi ∏ = = n i ii baD 1 ],[ ⊆ R n . Tìm x opt ∈D: f(x opt ) = min{f(x), x ∈ D}. Khi áp dng các phép bin hoá (lai, t bin) và phân phi xác sut chn tp con  bin hóa và tái to qun th mi cn trc ây thng gp hn ch là c  hi tn li gii ti u chm và cho  chính xác ca li gii không cao.  khc phc hn chó, chúng tôi áp dng chin lc ng vào phép lai to và phng pháp hiu chnh tuyn tính ca D. E. Goldberg ([GOL]) c tng quát hoá cho phân phi xác sut chn tp con  bin hóa và tái to qun th mi, nhm c tiêu khoanh vùng cc tr toàn cc  giai n u tin hoá và tng tc  hi n li gii ti u  giai n cui theo tui ca th h tin hoá. 2. CHIN LC NG TRONG THUT GII DI TRUYN 2.1. Toán t lai to ng 6 i t, T ln lt là th h hin ti và th h cui cùng ca q trình tin hố; F 0 : D → [0; 1] là hàm thích nghi chun hóa ca cá th. Cho 2 cá th tin bi p 1 , p 2 ∈ D, khơng gim tng qt, ta có th g s p 1 là cá th tri (p 1 có  thích nghi F 0 cao hn p 2 : F 0 (p 1 ) ≥ F 0 (p 2 )). Trong phép lai cn theo kiu s hc thì: ch 1 = p 1 + *δ’, (2.0) ch 2 = p 1 + (1-)*δ’, trong ó: δ’ = (p 2 – p 1 ),  = random(0;1) là mt s ngu nhiên thuc khong (0; 1). Chúng tơi  ngh tốn t lai ng theo xác sut s to ra 2 cá th con ch 1 , ch 2 nh sau: ch 1 = p 1 + θ(t)*δ(t) (2.1) ch 2 = p 2 - θ(t)*δ(t) i:    − = )(p,),'min().( )(p-1,' )( 021 tppsign t t suấtxácvới suấtxácvới δδ δ δ (2.2) trong ó: δ’ = (p 2 – p 1 ),    ≤− >− = 121 121 0 if, if, pppb ppap δ a = (a 1 , …, a n ), b = (b 1 , …, b n ), δ’ = (δ’ 1 , …, δ’ n ), p(t) = End_pLai_Dong + θ(t)*(Beg_pLai_Dong - End_pLai_Dong), θ(t) = g(t, r), (2.3) Beg_pLai_Dong và End_pLai_Dong thuc [0; 1], p(t) là xác sut ng lai ngồi n tin bi, r = random(0; 1) là mt s ngu nhiên thuc khong (0; 1); các phép tốn “+”, “-”, min và quan h hai ngơi “>” trên các vectc thc hin theo các phép tốn và quan h tng ng trên tng ta . Hàm g: [0; T]x[0; 1] →[0;1], ph thuc tui tin hố t, c chn sao cho: g(t, .) ↓ 0 khi t → T, chng hn ta thng chn: g(t, r) = r*(1 – t/T) γ hoc γ t/T)-(1 r-1r)g(t, = nh trong [2], vi γ là hng  dng nào ó. Khi ó: ch 1 , ch 2 ln lt s gn cá th tri hoc ln tng ng khi t → T (giai n cui ca q trình tin hóa). 2.2. Phng pháp hiu chnh tuyn tính ng Gi s qun th ban u gm N cá th. F 0 = { } N i i F 1 ,0 = là  thích nghi chun hố ca các cá th th i (i = 1 n): 1 1 .0 = ∑ = N i i F , do ó { } N i i F 1 ,0 = là mt phân phi xác sut (PPXS). i P là  thích nghi chun hố mi (hoc PPXS mi) bng cách hiu chnh tuyn tính (HCTT)  thích nghi chun hố F 0 : P = a*F 0 + b, (2.4) sao cho: E(P) = E(F 0 ): (E là tốn t trung bình) (2.5) 7 P Max = C*E(F 0 ), (2.6) i C ∈ (1; C 0 ], C 0 là mt hng s ln hn 1 (trong phng pháp HCTT truyn thng, D.E. Goldberg ln chn C 0 ng 2), a và b là các hng s. Trong phn này, chúng tơi s kho sát tính cht co, giãn ca PPXS mi P so vi PPXS c F 0 ph thuc vào tham s C 0 tng qt. Gi s dãy { } N i i F 1 ,0 = không đồng nhất là hằng, gi: ., 1 ,1, )1( , 11 }, 1,min{}, 1,{ min2 0 0 ,1 min min 0 min0 1 .0,0min,0 0 0 F C FCF FF FF F F A C FCF TB N F N FNiFFNiFMaxF Max C MaxMaxMax C N i iiiMax −= − − = − − =∆≤=< −+ = ====== ∑ = ββ (2.7) Chn      ≥ < = )B(if, )(if, 0 00 2 ,1 caseTBF AcaseTBF C CC β β β . (2.8)  dàng chng minh hai khng nh sau: nh  1: Gi s dãy { } N i i F 1 ,0 = không đồng nhất là hằng. (2.9) Nu chn: )( β+ = F F a , b = aβ, (2.10) thì PPXS mi P xác nh theo (2.4) s tha các u kin (2.5) và (2.6). n t ra là nu áp dng liên tip phép HCTT (2.4) qua các th h tin hóa, thì vi các u kin xác nh nào, dãy các PPXS mi s hi tn PPXS gii n ? t:    =≥∀+== ≡≡ −− NimbYaYFY FXY m i m i m i iii 1,1,.)( )1()1()( ,0 )0( (2.11)  nay v sau, ta ln gi s các gi thit (2.9) và (2.10) ca mnh  1 c tha mãn. nh  2 di ây ch ra mi liên quan gia vic chn các h s a, β vi tính cht co hoc giãn ca PPXS mi. nh  2: Vi mi m > 0, a) Nu a > 1 ⇔ β < 0 [...]... F nào ó vào các thành ph n khác ( u vào) Ta th ng khơng bi t quy lu t F mà ch bi t các th hi n c a nó thơng qua t p m u ã có Bài tốn t ra là tìm m t quy lu t G x p x quy lu t F a vào t p m u S và dùng các tiêu chu n phù h p ánh giá t t, tin c y a G Trong tốn h c, ng i ta th ng dùng các ph ng pháp n i suy hay th ng kê tìm G M t c m chung th ng th y trong các ph ng pháp này là ta áp t tr c m t d ng quy... MPN) th ng c s d ng tìm quy lu t G i v i các t p d li u có mi n tr u ra v a ph i, quy lu t G tìm c b ng MPN th ng có kh n ng d báo t t Tuy nhiên, i v i các t p d li u có mi n tr u ra l n, quy lu t tìm c khơng có kh n ng d báo th t t t và th i gian h c c a MPN th ng r t l n kh c ph c h n ch ó, chúng tơi ngh các ph ng pháp sau c i thi n kh n ng h c c a m ng n ron: (1) áp d ng ph ng pháp h c các tham s... cao và c i t nhanh n h n so v i thu t gi i di truy n c n; khi áp d ng thêm ph ng pháp leo i vào giai n cu i c a q trình gi i, chính xác c a l i gi i s r t cao và t c r t nhanh; - Áp d ng thu t gi i DGA i u hố s b các tham s trong m ng n ron, tr c khi q trình h c c a m ng c b t u; 97 Các t qu th c nghi m cho th y các ph ng pháp c i ti n và t ng qt hố nêu trong tài có u m h n h n so v i các ph ng pháp. .. 4.0), t là th h hi n t i và T là th h ti n hóa t i a; các phép tốn “+”, “-”, min và quan h hai ngơi “>” trên 26 các vect c th c hi n theo các phép tốn và quan h t ng ng trên t ng t a dây, chúng tơi áp d ng hai mơ hình GA khác nhau vào MPN: dùng phép lai s h c (GA-SH) và phép lai ng c i ti n (GA-L ) * t bi n: t bi n thay i (có h ng: t ng, gi m; ho c vơ h ng: t ng, gi m ng u nhiên) các n-v (là tham s... ph ng pháp h c tham s c a hàm nén thơng tin Ph n 2.3 ngh ph ng pháp co phi tuy n mi n tr u ra b ng hàm l y th a Ph n 3 áp d ng GA tìm tham s ban u cho MPN Ph n 4 a ra k t q a th nghi m 2 H C THAM S C A HÀM NÉN THƠNG TIN VÀ CO L Y TH A MI N TR U RA n Cho t p S g m m b d li u m u {< x1n , , xDimIn, y n >}m=1 , DimIn là s chi u n u vào c a m u d li u 2.1 Mơ hình MPN p nh p X(0) nh n các giá tr u vào trên... pháp nung luy n mơ ph ng vào bài tốn l p l ch dòng cơng vi c’, s g i ng t p chí Tốn ng d ng, Vi t Nam C ch ng trình th nghi m các k t qu lý thuy t 98 2 M t s h ng m r ng c a tài - M t s k t qu v lý thuy t c a tài ch m i c ch ng minh trên m t tính ch t, khía c nh và ch ng t có hi u qu qua k t qu th c nghi m trên m t l p bài tốn Tuy nhiên, m t s khía c nh quan tr ng khác v m t tốn h c c a các ph ng pháp. .. chính v lý thuy t, ng d ng và s n ph m c a tài 1.1 Lý thuy t A Thu t gi i di truy n (GA) và m ng n ron (ANN) i ti n phép lai n biên a mi n tr theo ng xác su t ng (ph thu c vào tu i th h c a q trình ti n hóa) trong GA nh m ch ng u khi n vi c khoanh vùng c c tr tồn c c trong giai n u và t ng t c h it nl i gi i t i u trong giai n cu i c a q trình ti n hóa; - ng qt hố ph ng pháp hi u ch nh tuy n tính c... trình nung luy n và tác ng c a vi c gi m nhanh nhi t vào s h i t c a thu t tốn SA Trình bày m t s khía c nh v t c h it n tr ng thái cân b ng c a thu t tốn Metropolis và cho m t ánh giá v dáng u ti m c n n phân b cân b ng và vi c x p x tùy ý g n phân b cân b ng i v i các xích nung luy n thu n nh t; t s k t qu liên quan n s h i t c a thu t tốn SA thu n nh t v i các hàm xác su t sinh và ch p nh n có d... i