GIÁO D C VÀ ÀO T O TR NG I H C À L T TR NG CHÍ TÍN T S PH NG PHÁP DÒ TÌM NG U NHIÊN VÀ NG D NG TÀI KHOA H C C P B (B2005 29 34) À L T, 2006 GIÁO D C VÀ ÀO T O TR NG I H C À L T T S PH NG PHÁP DÒ TÌM N[.]
GIÁO D C VÀ ÀO T O TR NG TR TS PH IH C ÀL T NG CHÍ TÍN NG PHÁP DỊ TÌM NG U NHIÊN VÀ NG D NG TÀI KHOA H C C P B (B2005-29-34) À L T, 2006 GIÁO D C VÀ ÀO T O TR TS PH NG IH C ÀL T NG PHÁP DÒ TÌM NG U NHIÊN VÀ NG D NG TÀI KHOA H C C P B (B2005-29-34) Ch nhi m tài: Tr ng Chí Tín Các thành viên: ng Ph c Huy Tr n Ng c Anh À L T, 2006 CL C im u _ PH N I M t s k t qu v thu t gi i di truy n m ng n ron ng d ng chi n l c ng thu t gi i di truy n gi i m t l p toán i u toàn c c … ……………………………………………………… C i thi n kh n ng h c c a m ng n ron truy n th ng nhi u l p ……… 19 PH N II M t s k t qu v nung luy n mô ph ng _ 30 S h i t c a thu t toán nung luy n mô ph ng tr ng h p r i r c ………………………………………………………………………… 31 Nung luy n mô ph ng: m t s nh n xét v s h i t c a xích Metropolis ………………………………………………………………………… 51 Áp d ng ph ng pháp nung luy n mơ ph ng vào tốn l p l ch dịng cơng vi c ……………………………………………………………… 63 t lu n _ 97 Các k t qu v lý thuy t, ng d ng s n ph m c a tài ………… 97 Các h ng m r ng c a tài ……………………………………………… 99 iM u Thu t gi i di truy n (Genetic Algorithms - GA) nung luy n mô ph ng (Simulated Annealing - SA) hai s ph ng pháp tìm ki m ng u nhiên hi u qu c ng d ng r t nhi u th c t T nh ng n m 50, th k XX, A.S Fraser ã a ý ni m v thu t gi i di truy n d a s ti n hóa di truy n c a sinh v t Nh ng ph i n nh ng n m 70, th k XX, J H Holland m i tri n khai thành công ý t ng ph ng th c gi i quy t v n b ng thu t gi i di truy n Sau ó, ngày nhi u k t qu t n t ng lý thuy t cho GA t c b i tác gi khác nh Kenneth De Jong, David E Goldberg, … Cho n nay, GA c áp d ng r t nhi u l nh v c, c bi t khoa h c t nhiên k thu t t nh ng ng d ng c a GA toán t i u hoá Khi áp d ng thu t gi i di truy n c n vào toán t i u hoá toàn c c, ta th ng g p h n ch t c h i t xác c a l i gi i t i u không cao Vi c c i ti n thu t gi i di truy n t ng t c h i t xác c a l i gi i, c bi t chi u khơng gian tìm ki m l n, r t có ý ngh a th c t kh c ph c h n ch trên, tr c h t, i ti n ph ng pháp lai o ng theo xác su t ng quát hóa ph ng pháp hi u ch nh n tính c a D E Goldberg GA nh m nghiên c u t s tính ch t h i t c a phân ph i xác su t ch n cá th bi n hóa (lai ho c t bi n) ho c tái t o qu n th m i Trên c ó, áp d ng chi n l c ng vào GA, ngh a vi c bi n hoá ch n cá th s th c hi n theo cách khác tùy thu c vào tu i c a th h ti n hoá i xác su t thích h p, tùy vào m c tiêu khoanh vùng c c tr toàn c c hay t ng c h it n l i gi i t i u tồn c c ó Cu i cùng, t ng h n n a t c h i xác c a l i gi i t i u, áp d ng ph ng pháp leo i nh ng lân c n bé d n c a l i gi i t i u c a b c tr c Các k t qu th c nghi m m t l p tốn t i u tồn c c, v i c tr ng có r t nhi u c c tr a ph ng, cho th y thu t gi i di truy n ng (Dynamic Genetic Algorithms - DGA) c i ti n có t c h i t xác c a l i gi i cao h n h n thu t gi i di truy n c n Ngồi ra, chúng tơi cịn so sánh vi c áp d ng GA DGA vào toán h c lu t qua m ng n ron nhân t o (Artificial Neural Network - ANN), sau i ti n thu t toán h c tham s m ng n ron Trên toán m i, c ng thu c k t qu t ng t nh Ph ng pháp dò tìm ng u nhiên th hai chúng tơi c p tài nung luy n mô ph ng - SA ây thu t toán t i u toàn c c ng u nhiên c xây d ng t vi c bi n th c a thu t tốn mơ ph ng ki u Metropolis d a vào tham s u n bi n thiên theo chu trình ti n hóa c a thu t toán Thu t toán c gi i thi u m t cách c l p b i S Kirkpatrich, C D Gellatt, M P Vecchi (1983) Cerny (1985) Tên g i “simulated annealing” xu t phát t s ng t v i trình nung luy n c a c th m t b nhi t c a v t lý ch t n Các tên g i khác cho thu t toán, ch ng h n là: nung luy n Monte Carlo (Monte Carlo annealing- Jepsen Gelatt, 1983), thu t toán xác su t leo i (Probabilistic hill climbing- Romeo Sangiovanni- Vincentelli, 1985), làm ngu i th ng kê (Statistical cooling- Aarts Van Laarhoven, 1985; Storer, Becker Nicas, 1985) nh ng n m u c a th p niên 80 c a th k 20 cho n nay, thu t toán SA ã ang thu hút s quan tâm c a nhi u ng i nghiên c u c v lý thuy t ng d ng S phát tri n v lý thuy t c a thu t tốn g n v i cơng trình c a tác gi nh : B Gidas (1985), S Anily A Federgruen (1985, 1986), D Mitra, F Romeo A Sangiovanni- Vincentelli (1986), B Hajek (1988), C R Hwang S J Sheu (1987, 1992), R Holley, S Kusuoka D Stroock (1989), O Catoni (1992, 1998), D Marquez (1997), P.D Moral L Miclo (1999) Bên c nh ó SA c ng ã c áp d ng gi i nhi u toán t i u t h p c l n thu c l p NP - khó, tốn th c cơng ngh kinh t - xã h i Trong áp d ng c a SA vào toán th c ti n, có nh ng áp d ng th hi n tính hi u qu c a ph ng pháp SA nh ng c ng có khơng áp d ng SA không em l i hi u qu m t cách k Tình hu ng u th ng x y i v i th hi n toán mà u ki n áp d ng kh thi phù h p v i u ki n lý thuy t cho s h i t Tình hu ng sau ph n l n c thù riêng c a tốn khơng h i u ki n v n d ng c k t qu h i t ã bi t Vi c áp ng thu t toán thu n túy d a vào phán oán rút t s phân tích d li u th c nghi m mà ch a b o m lý thuy t cho s h i t c a thu t tốn Qua ó cho th y nhi u v n v s h i t c a SA c n ph i c ti p t c nghiên c u Góp ph n vào v n quan tâm i v i SA, ph m vi tài này, t p trung nghiên c u h i t c a thu t toán nung luy n mô ph ng tr ng h p r i r c C th , chúng tơi trình bày m t s k t qu liên quan n h i t c a thu t toán SA thu n nh t v i hàm xác su t sinh ch p nh n có ng t ng quát Nghiên c u nh h ng c a tham s óng vai trị nhi t quy trình nung luy n tác ng c a vi c gi m nhanh nhi t vào s h i t c a thu t tốn SA M t s khía c nh v t c h it n tr ng thái cân b ng, xem xét dáng u ti m c n n phân b cân b ng vi c x p x tùy ý g n phân b cân ng i v i xích nung luy n thu n nh t M r ng k t qu c a D Mitra, F Romeo A Sangiovanni-Vincentelli v tính ergodic y u c a thu t toán nung luy n không thu n nh t nh n c k t qu v s h i t c a thu t tốn khơng thu n nh t Nh m th nghi m, ã áp d ng thu t toán SA vào m t p toán t i u t h p n hình l p “bài tốn l p l ch th c hi n cơng vi cJSS” i dung c a tài: Ph n I trình bày m t s k t qu lý thuy t ng d ng c a thu t gi i di truy n c i ti n theo xác su t ng ph thu c vào th h ti n hoá (DGA) m ng ron (ANN) Ph n II trình bày m t s k t qu lý thuy t v ph ng pháp nung luy n mô ph ng (SA) ng d ng c a SA vào tốn l p l ch dịng cơng vi c Nh ng thi u sót v m t hình th c l n n i dung t p báo cáo t ng k t tài s khó tránh kh i Nhóm tác gi r t mong c s góp ý c a ng i c trân tr ng c m n Chúng c m n tr ng i h c L t, Khoa Toán - Tin ã t o nhi u u ki n thu n l i ti n hành hoàn thành tài L t, tháng n m 2007 Nhóm tác gi PH N I t s k t qu v thu t gi i di truy n m ng n ron ng d ng chi n l c ng thu t gi i di truy n gi i m t l p tốn t i u tồn c c Tr ng Chí Tín, Tr n Ng c Anh Khoa Tốn Tin, i h c L t E-mail:chitin@hcm.vnn.vn Tóm t t: Khi áp d ng thu t gi i di truy n (GA) c n cho toán t i u tồn c c, q trình tìm ki m l i gi i t i u th ng g p h n ch t c h i t ch m xác c a l i gi i không cao kh c ph c h n ch ó, chúng tơi ngh áp d ng chi n l c ng theo xác su t vào phép lai c i ti n ph ng pháp hi u ch nh n tính a D.E Goldberg c t ng quát hóa K t qu th c nghi m, gi i t l p toán t i u tồn c c v i c tr ng có r t nhi u c c tr a ph ng, cho th y ph ng pháp m i có u m n i b t t c h i nhanh xác c a l i gi i t i u r t cao khóa: i u tồn c c, GA, hi u ch nh n tính, lai M U Trong áp d ng chi n l c ng vào toán t lai vào phân ph i xác su t ch n t p bi n hóa tái t o qu n th m i thu t gi i di truy n nh m gi i toán t i u toàn c c sau ây: n Bài toán: Cho hàm s n bi n th c f : D → R, v i D = ∏ [ai , bi ] ⊆ Rn Tìm xopt∈D: f(xopt) = min{f(x), x ∈ D} i =1 Khi áp d ng phép bi n hoá (lai, t bi n) phân ph i xác su t ch n t p bi n hóa tái t o qu n th m i c n tr c ây th ng g p h n ch c h it n l i gi i t i u ch m cho xác c a l i gi i khơng cao kh c ph c h n ch ó, chúng tơi áp d ng chi n l c ng vào phép lai t o ph ng pháp hi u ch nh n tính c a D E Goldberg ([GOL]) c t ng quát hoá cho phân ph i xác su t ch n t p bi n hóa tái t o qu n th m i, nh m c tiêu khoanh vùng c c tr toàn c c giai n u ti n hoá t ng t c h i n l i gi i t i u giai n cu i theo tu i c a th h ti n hoá CHI N L C NG TRONG THU T GI I DI TRUY N 2.1 Toán t lai t o ng i t, T l n l t th h hi n t i th h cu i c a q trình ti n hố; F0: D → [0; 1] hàm thích nghi chu n hóa c a cá th Cho cá th ti n b i p1, p2 ∈ D, không gi m t ng quát, ta có th g s p1 cá th tr i (p1 có thích nghi F0 cao h n p2: F0(p1) ≥ F0(p2)) Trong phép lai c n theo ki u s h c thì: ch1 = p1 + *δ’, (2.0) ch2 = p1 + (1- )*δ’, ó: δ’ = (p2 – p1), = random(0;1) m t s ng u nhiên thu c kho ng (0; 1) Chúng tơi ch2 nh sau: ngh tốn t lai ng theo xác su t s t o cá th ch1, ch1 = p1 + θ(t)*δ(t) ch2 = p2 - θ(t)*δ(t) (2.1) i: ó: với xác suất - p(t ) δ ' , δ (t ) = sign( p1 − p ) min( δ ' , δ ), với xác suất p(t ) p − a , if p2 > p1 δ’ = (p2 – p1), δ = b − p1 , if p2 ≤ p1 (2.2) a = (a1, …, an), b = (b1, …, bn), δ’ = (δ’1, …, δ’n), p(t) = End_pLai_Dong + θ(t)*(Beg_pLai_Dong - End_pLai_Dong), θ(t) = g(t, r), (2.3) Beg_pLai_Dong End_pLai_Dong thu c [0; 1], p(t) xác su t ng lai n ti n b i, r = random(0; 1) m t s ng u nhiên thu c kho ng (0; 1); phép toán “+”, “-”, quan h hai “>” vect c th c hi n theo phép toán quan h t ng ng t ng t a Hàm g: [0; T]x[0; 1] →[0;1], ph thu c tu i ti n hoá t, c ch n cho: g(t, ) ↓ t → T, ch ng h n ta th ng ch n: g(t, r) = r*(1 – t/T)γ ho c g(t, r) = - r (1-t/T) nh [2], v i γ h ng d ng ó Khi ó: ch1, ch2 l n l t s g n cá th tr i ho c l n t ng ng t → T (giai n cu i c a q trình ti n hóa) γ 2.2 Ph ng pháp hi u ch nh n tính ng Gi s qu n th ban u g m N cá th F0 = {F0,i }iN=1 N hoá c a cá th th i (i = n): ∑F i =1 0.i thích nghi chu n = , ó {F0,i }i =1 m t phân ph i xác N su t (PPXS) i P thích nghi chu n hố m i (ho c PPXS m i) b ng cách hi u ch nh n tính (HCTT) thích nghi chu n hoá F0: P = a*F0 + b, (2.4) cho: E(P) = E(F0): (E tốn t trung bình) (2.5) PMax = C*E(F0), (2.6) i C ∈ (1; C0], C0 m t h ng s l n h n (trong ph ng pháp HCTT truy n th ng, D.E Goldberg ch n C0 ng 2), a b h ng s Trong ph n này, chúng tơi s kh o sát tính ch t co, giãn c a PPXS m i P so v i PPXS c F0 ph thu c vào tham s C0 t ng quát Gi s daõy {F0,i }iN=1 không đồng hằng, g i: FMax = Max{F0,i , i = N }, Fmin = min{ F0,i , i = N }, F = N TBC0 = FMax + (C − 1) Fmin F F − Fmin ,1 < A = Max ≤ ∆ = Max , C0 F F − Fmin β1,C = FMax − C F , β = − Fmin C0 − N ∑F i =1 0.i = , N β 1,C0 , if F < TBC (case A) β , if F ≥ TBC0 (case B) Ch n β = nh (2.8) dàng ch ng minh hai kh ng nh sau: 1: Gi s dãy {F0,i }iN=1 không đồng N u ch n: a = F , b = aβ, (F + β ) PPXS m i P xác nh theo (2.4) s th a (2.7) (2.9) (2.10) u ki n (2.5) (2.6) n t n u áp d ng liên ti p phép HCTT (2.4) qua th h ti n hóa, v i u ki n xác nh nào, dãy PPXS m i s h i t n PPXS gi i n? Yi (0 ) ≡ X i ≡ F0,i t: (m) ( m −1) ) = a.Yi ( m −1) + b, ∀m ≥ 1, i = N Yi = F (Yi (2.11) v sau, ta gi s gi thi t (2.9) (2.10) c a m nh c th a mãn nh d i ây ch m i liên quan gi a vi c ch n h s a, β v i tính ch t co ho c giãn c a PPXS m i nh 2: V i m i m > 0, a) N u a > ⇔ β < i thi n kh n ng h c c a ng n ron truy n th ng nhi u l p Tr n Ng c Anh, Tr ng Chí Tín Khoa Toán Tin, i h c L t E-mail: ngocanhdalat@yahoo.com , chitin@hcm.vnn.vn Tóm t t: Khi áp d ng m ng n ron truy n th ng nhi u l p vào tốn tìm quy lu t G x p x quy lu t F mà ta c m giác di n t m i liên h ph thu c gi a m t s thành ph n vào m t s thành ph n khác m t t p li u S l n cho tr c, ta th ng g p h n ch quy lu t G thu c có kh ng d báo (trên th hi n m i S c a F t ng lai) không cao th i gian cho m ng h c th ng r t l n, c bi t mi n tr u l n kh c ph c h n ch ó, chúng tơi ngh ph ng pháp sau c i thi n kh n ng h c c a m ng n ron: (1) áp d ng ph ng pháp h c tham s c a hàm nén thông tin (hàm logistic) k t h p v i vi c co phi n (thay co n tính nh truy n th ng) mi n tr u (b ng hàm l y th a); (2) dùng thu t gi i di truy n v i phép lai ng c i ti n t i u hóa qu n th tham s c a m ng n ron, sau ó ch n b tham s t t nh t cho ng h c K t qu th c nghi m cho th y quy lu t tìm c áp d ng ngh t t h n so v i ph ng pháp truy n th ng (riêng k thu t h c tham s c a hàm nén thông tin co phi n mi n tr u giúp ng n ron h c nhanh h n) GI I THI U Trên th c t ta th ng g p t p S m u d li u, m i m u u có thành ph n Khi s l ng m u c a t p l n, ta th ng có c m giác m t s thành ph n ( u ra) có m t i liên h ph thu c F ó vào thành ph n khác ( u vào) Ta th ng không bi t quy lu t F mà ch bi t th hi n c a thơng qua t p m u ã có Bài tốn t tìm m t quy lu t G x p x quy lu t F a vào t p m u S dùng tiêu chu n phù h p ánh giá t t, tin c y a G Trong toán h c, ng i ta th ng dùng ph ng pháp n i suy hay th ng kê tìm G M t c m chung th ng th y ph ng pháp ta áp t tr c m t d ng quy lu t ó (ch ng h n hàm a th c v i ph ng pháp n i suy a th c hay hàm n tính v i h i quy n tính, …) x p x F a vào t p u S M t khác, ý ngh a th c t c a toán d báo t t t p 19 th hi n m i S c a F t ng lai ch không ch x p x t p S ã bi t Thơng th ng x y tình hu ng d ng lu t G p x r t t t S nh ng l i v p ph i sai s l n t p th hi n m i S’ c a F M t nh ng lý gây nên tình hu ng ó d ng lu t G áp t tr c khác r t xa d ng c a F Trong tin h c, ng n ron truy n th ng nhi u l p (Multilayer Propagation neural Network – MPN) th ng c s d ng tìm quy lu t G i v i t p d li u có mi n tr u v a ph i, quy lu t G tìm c b ng MPN th ng có kh n ng d báo t t Tuy nhiên, i v i t p d li u có mi n tr u l n, quy lu t tìm c khơng có kh n ng d báo th t t t th i gian h c c a MPN th ng r t l n kh c ph c h n ch ó, chúng tơi ngh ph ng pháp sau c i thi n kh n ng h c c a m ng n ron: (1) áp d ng ph ng pháp h c tham s a hàm nén thông tin (hàm logistic) k t h p v i vi c co phi n (thay co n tính nh truy n th ng) mi n tr u b ng hàm l y th a; (2) dùng thu t gi i di truy n (v i phép lai s h c truy n th ng phép lai ng c i ti n) ti n hóa qu n th b tham s c a m ng n ron, sau ó ch n b tham s t t nh t cho m ng h c Ph n 2.1 a mơ hình MPN v i hàm tích h p thơng tin, nén thơng tin có ng t ng qt Ph n 2.2 ch cơng th c quy tính o hàm hàm l i theo tham s c a hàm tích h p thơng tin hàm nén thơng tin Trên c s ó, chúng tơi a ph ng pháp h c tham s c a hàm nén thông tin Ph n 2.3 ngh ph ng pháp co phi n mi n tr u b ng hàm l y th a Ph n áp d ng GA tìm tham s ban u cho MPN Ph n a k t q a th nghi m H C THAM S C A HÀM NÉN THÔNG TIN VÀ CO L Y TH A MI N TR U RA n , y n >}mn=1 , DimIn s chi u Cho t p S g m m b d li u m u {< x1n , , xDimIn u vào c a m u d li u 2.1 Mơ hình MPN p nh p X(0) nh n giá tr u vào d li u (sau c x lý thô (i) ng hàm T_In) L p n X (i = 1, , N) ch a H[i] n ron, ký hi u X ij n ron th j c a X(i) (hình 1) X ij t ng h p thông tin S ij : R H [i −1] → R n t ( X(i-1) thơng qua phép tích h p thơng tin ) s ij = S ij ParS ij , x i −1 (1) 20 i ParS ij , tham s c a hàm tích h p thơng tin gi thi t hàm S ij c ng tính i v i t ng thành ph n x ki −1 : S ij ({x ik−1 ; k = H[i - 1]}, Par_Sij ) = X(0) X(1) X X(i-1) H[i-1] ∑Q k =1 X(i) i jk (2) ( X ki −1 , Par_Sij ) X(N+1) Y T_Out-1 Xi-1k T_In (i) ParS j,k S sij Z F Z_Out T_Out ParFij Xử lý thô liệu đầu vào Xử lý thô liệu đầu Hình 1: Mơ hình MPN Sau ó, s ij c bi n i b ng hàm nén thông tin F ji : R → R1 x ij = F ji (s ij , Par _ F ji ) , (3) v i Par _ F ji tham s c a hàm nén thông tin p n X(N+1) ch ch a m t n ron t ng h p bi n cho k t xu t Z c a MPN i m u d li u th n cho tr u d li u y n Z_Outn n , y n >, ta ti n hành bi n c < x1n , , xDimIn o b i hàm l i e n = e(Z n , Z_Out n ) (ch ng h n, có th n N+1, N, , n t XN i thô ng hàm T_Out: Z _ Outn = T _ Out( y n ) Sai s gi a Zn n Z - Z_Out n , ó chu n Euclide) ph i thông tin c lan truy n ng l y e hàm c l i l p c p nh t tham s ( Par _ S ij , Par _ F ji ) c a MPN b ng ng pháp h c thích nghi [2] 21 2.2 Cơng th c quy tính o hàm hàm l i theo tham s c a hàm tích h p thơng tin hàm nén thơng tin có d ng t ng quát Sau ây a công th c quy tính o hàm hàm l i i i u th n theo tham s ParS jk , ParF jk t ng ng v i hàm tích h p thơng tin S ij hàm nén thơng tin F ji có d ng t ng qt ch a tham s c nêu u c a m u b ng Không gi m t ng quát, ta có th gi s s chi u 2.2.1 Cơng th c tính nh o hàm hàm l i theo tham s Par_F c a hàm F 1: Ta có cơng th c sai s ( n) i, j d_F a vào =δ _F (n) i, j ∂Fji (s ij , Par _ Fji ) ∂Par _ F ji δ _ FN( n+)1, j = Khi i = N 1: δ _ Fi ,( nj ) = o hàm hàm l i d _ F th n , δ _ Fi,(n)j ≡ th c truy h i lùi theo i = N+1 Khi i = N+1: ( n) i, j tính e n m u luy n ∀i = 1, , N + 1, ∀j = 1, , H [i], ∀k = 0, , H[i − 1] : a trên: theo tham ∂e n = ∂Par _ F ji Par _ F ji , s ∂e n ∂X ji (4) tính δ _ Fi ,( nj ) nh sau: ∂e(Z n , Z_Out n ) ∂Z nj H [i +1] ∑ δ _ Fi +(n1,)p p =1 (5) ∂Fpi +1 ( s ip+1 ) ∂S ip+1 ( X ij ) ∂s ip+1 (6) ∂X ij Ch ng minh: Do e n ph thu c vào Par _ F ji thông qua: X ij = F ij (s ij , Par_Fji ) , nên: d_F ∂X ji ∂X ji ∂e n ∂e n ∂e n (n) (n) δ δ F F ≡ = = ≡ _ , _ , i = N + i, j i, j ∂Par _ F ji ∂X ji ∂Par _ F ji ∂Par _ F ji ∂X ji Ta s a công th c truy h i lùi theo i =N+1 (n) i, j tính δ _ Fi ,( nj ) • Khi i =N+1, ta có: δ _ FN( n+)1, j = H[N +1] ∂e n ∂e(Z n , Z_Out n ) ∂X mN +1 ∂e(Z n , Z_Out n ) = = ∑ ∂X Nj +1 ∂Z nm ∂X Nj +1 ∂Z nj m =1 • Khi i =N 1, ta th y X mN +1 ph thu c vào X ij thông qua X ip+1 X i +1 p =F i +1 p i +1 p i +1 p (s , Par_F ) = F i +1 p i +1 p i +1 pr b c sau: i +1 p (S (X , Par_S ; r = H[i]), Par_F ), p = H[i + 1] i r 22 Theo gi thi t, S ip+1 ({ X ri ; r = H[i]},{Par_Sipr+1 ; r = H[i]}) thành ph n Xir nên: ∂X ip+1 ∂X ij H[i] =∑ ∂F pi +1 ( s ip+1 ) ∂S ip+1 ( X ri ) ∂s ip+1 r =1 ∂X ij = ng tính i v i t ng ∂F pi +1 ( s ip+1 ) ∂S ip+1 ( X ij ) ∂s ip+1 ∂X ij M t khác: δ _ Fi ,( nj ) ≡ ∂e n H[N +1] ∂e(Z n , Z_Out n ) ∂X mN +1 = ∑ ∂Z nm ∂X ij ∂X ij m =1 (a) Vì v y: i +1 i +1 i +1 i +1 i H[i +1] ∂X mN +1 H[i +1] ∂X mN +1 ∂X p ∂X mN +1 ∂F p (s p ) ∂S p ( X j ) = ∑ = ∑ i +1 i +1 ∂X ij ∂X ij ∂s ip+1 ∂X ij p =1 ∂X p p =1 ∂X p (b) (a) (b) ta suy ra: δ _ Fi ,( nj ) = 2.2.2 Cơng th c tính nh H [i +1] ∑ δ _ Fi +(n1,)p ∂Fpi +1 ( s ip+1 ) ∂S ip+1 ( X ij ) p =1 ∂s ip+1 ∂X ij o hàm hàm l i theo tham s Par_S c a hàm S 2: Ta có cơng th c tính o hàm hàm l i d _ S i(,nj), k = ∂e n ∂Par _ S ijk a sai s e n m u luy n th n theo tham s Par _ S ijk : d_S ( n) i, j ,k i ∂S ij ∂S ji ∂e n ∂e n ∂e n ∂Fj ≡ = = ∂Par _ S ijk ∂s ij ∂Par _ S ijk ∂X ji ∂s ij ∂Par _ S ijk = δ _ Fi,(n) j ó: δ _ Fi,(n)j 2.2.3 Các tr ∂Fji ∂S ji (7) ∂s ij ∂Par _ S ijk c tính theo cơng th c truy h i lùi (5)-(6) ng h p c bi t th • Hàm sai s có d ng bình ph ng g p ng: e n (Par_S, Par_F) = e(Z n , Z_Out n ) = H[N +1] ∑ (Z nj - Z_Out nj ) 2.H[N + 1] j=1 Khi ó: 23 ∂e(Z n , Z_Out n ) = (Z nj - Z_Out nj )/H[N + 1] n ∂Z j N u u c a m u d li u m t chi u (H[N+1]=1) thì: ∂e(Z n , Z_Out n ) = Z n - Z_Out n ∂Z n (8) • Hàm t ng h p thơng tin có d ng afin: qu 1: Gi s hàm t ng h p thông tin có d ng afin s (ji ) = S (j i ) ( X ( i −1) , Par _ S (j i ) ) = X i -1 ≡ 1, W ≡ Par _ S i jk H [ i −1] ∑ W jki X ik-1 + W ji0 = k =1 H [ i −1] ∑W k =0 i jk X ik-1 , (9) (i ) jk Khi ó: ∂S ij ∂Par _ S i jk ∂S ip+1 ( X i ) ∂X • Hàm bi n i j = X ki −1 , i = N + = W pji +1 , i = N i thơng tin có d ng ch S ho c n tính: a- Hàm logistic (trong m ng n ron truy n th ng): F(u, α ) = 1 + e −αu (10) Khi ó: ∂F ji ( s ij ) ∂s ∂F ji ( s ij ) ∂α i j = α X ij (1 − X ij ), ∀i = N + = s ij X ij (1 − X ij ) = Fu−1 ( X ij , α ).X ij (1 − X ij ), ∀i = N + v i: Fu-1 (v, α ) = v ln α 1- v b- Hàm logistic t ng quát: qu 2: Gi s hàm logistic t ng quát: F ji (u ,α ij , β ij , a ij ) = a ij β ij + e −α ij u (11) Khi ó: ∂X ij ∂s i j = ∂F ji ( s ij ) ∂s i j = α ij X ij (1 − β ij X ij / aij ), ∀i = N + 24 ∂F ji ( s ij ) ∂α ij ∂F ji ( s ij ) ∂β ij ∂F ji ( s ij ) ∂a ij = s ij X ij (1 − β ij X ij / aij ) = ( F ji ) u−1 ( X ij , α ij ).X ij (1 − β ij X ij / aij ), ∀i = N + = −[X ij ] / aij , ∀i = N + i: ( F ji ) u−1 (v,α ij ) = = X ij / a ij , ∀i = N + , v ln α ij a ij - β ij v Thay ch n th công tham s aij , α ij , β ij , ta cho m ng MPN t ng c thêm c tham s nh m gi m nhanh sai s hàm l i t q a a vi c ct ng tham s s nh h ng t ng h p n n ron l p tr c s làm cho trình h c c a m ng MPN nhanh h n c- Hàm n tính ch l p cu i c a m ng: ôi khi, i v i l p xu t cu i (l p N+1) c a m ng, ta có th thay F ji b i hàm n tính m ng có th h c hi u qu h n k (gi m sai s nhi u l n so v i m ng truy n th ng) nhi u tr ng h p: F ji (u , aij ) = a ij u, i = N + (12) F ji (u ,α ij , β ij , a ij ) = a ij β ij + e −α ij u , i = N Khi ó: ∂F ji ∂s i j = α ij X ij (1 − β ij X ij / a ij ), ∀i = N ∂F ji ∂s ij 2.3 Co phi n mi n tr Gi s mi n tr tính v = a ij , i ∈ {0; N + 1} u b ng hàm l y th a u d li u Theo truy n th ng, n [0, 1]: T _ Out ( y ) = u d li u s y (max − min) n [min, max] có c bi n dài l n i b ng phép co n (13) u c a MPN z c ng thu c [0, 1] (mi n tr u c a hàm logistic truy n th ng theo (12)) MPN th ng h c ch m có tính d báo khơng cao 25 Trong báo này, co mi n [min, max] l n v m t mi n trung gian v a ph i [lower, upper] b ng hàm l y th a (v i k c ch n thích h p): T _ Out ( y ) = y k sign ( y ), k > (14) Dùng hàm logistic t ng quát theo (13) cho MPN h c tr c ti p mi n trung gian [lower, upper] Trên mi n này, MPN th ng h c xác nhanh n c bi t mi n tr u l n ng d ng GA vào vi c t i u hoá tham s c a m ng n ron Thu t gi i di truy n (GA) m t nh ng ph ng pháp ng u nhiên tìm ki m t i u tồn c c c áp d ng r ng rãi Trong này, chúng tơi áp d ng GA ti n hóa qu n th b tham s c a MPN qua m t s th h , sau ó ch n b tham s t t nh t cho MPN h c t cá th mã hóa t p tham s (ParS nút theo nhóm s p theo th t liên ti p nút l p c a MPN) b ng m t dãy s th c nh sau: N +1 N +1 {ParS 11, , , ParS 11, DimIn ; ; ParS 1H [1], , , ParS 1H [1], DimIn ; ;ParS ; 1,0 , , ParS 1, H [ N ] } * Lai t o: Theo truy n th ng, vi c lai ghép gi a hai cá th p1, p2 di n theo c ch lai s h c t o hai ch1, ch2 nh sau: chi = p1 + ri *(p2 p1), ri = rand(0; 1), i = 1,2 (15) Trong [3] xu t ph ng pháp lai ng c i ti n lai ghép cá th s th c K t q a lai ghép gi a hai cá th p1, p2 (gi s p1 thích nghi cao n p2) o hai ch1, ch2 nh sau: ch1 = p1 + θ(t)*δ ch2 = p2 - θ(t)*δ (16) i: , với xác suất - p δ' δ = sign ( p1 − p ) min( δ ' , δ ), với xác suất p p − a , if p2 > p1 δ’ = (p2 – p1), δ = b − p1 , if p2 ≤ p1 (17) a = (a1, …, an), b = (b1, …, bn), δ’ = (δ’1, …, δ’n), θ(t) = r*(1 – t/T)γ, ó: p = 0.5, r = rand(0, 1), γ = 5.0 (ho c γ = 4.0), t th h hi n t i T th h ti n hóa t i a; phép tốn “+”, “-”, quan h hai ngơi “>” 26 vect c th c hi n theo phép toán quan h t ng ng t ng t a dây, áp d ng hai mơ hình GA khác vào MPN: dùng phép lai s h c (GA-SH) phép lai ng c i ti n (GA-L ) * t bi n: t bi n thay i (có h ng: t ng, gi m; ho c vô h ng: t ng, gi m ng u nhiên) n-v (là tham s ho c nút t ng ng MPN) m t l ng ng u nhiên delta = rand [a, b], 0