TT KNLM TT KNLM 1 37 8 35 2 Thất b i 9 29 3 42 10 46 4 33 11 38 5 35 12 39 6 28 13 Thất b i 7 44 14 30
Căn М ЯƠo bảng 3.3 ta thấв Я i m t thu t toпn khụng đổi, Мấu trỳМ, tham s М a m ng Мh n nh nhau thỡ k t quả М a quп trỡnh luв n m ng ph thu М ЯƠo b kh i t o tr ng s ban đầu, th m Мhớ Мũn Мú 2 lần luв n m ng thất b i trong tổng s 14 lần luв n m ng. Đi u đú đ М giải thớМh: Нo bản Мhất М a giải thu t h М lan truв n ng М sai s lƠ ph ng phпp giảm đ l Мh graНient nờn Яi М kh i t o giп tr ban đầu М a b tr ng s МпМ giп tr nh ng u nhiờn s lƠm Мho m ng h i t Я МпМ giп tr МựМ ti u khпМ nhau. N u gặp maв thỡ m ng s h i t đ М Я giп tr МựМ ti u tổng th , Мũn n u khụng m ng Мú th r i ЯƠo МựМ tr đ a ph ng ЯƠ khụng thoпt ra đ М Н n đ n luв n m ng thất b i.
Nh Я в, tпМ giả đƣ đi phơn tớМh sự ảnh h ng М a ЯeМ-t kh i t o tr ng s ban đầu trong quп trỡnh luв n m ng n ron. Sự ảnh h ng đú đ М đпnh giỏ trong 3 Яớ Н đặМ tr ng Мho Яi М бấp бỉ МпМ đ i t ng khпМ nhau: phi tuв n tĩnh, đ ng h М phi tuв n ЯƠ phi tuв n đặМ bi t. Thụng qua Яi М nghiờn М u ЯƠ thựМ nghi m trờn mпв tớnh Мho ta thấв: V i МпМ mặt lỗi thụng th ng Яi М kh i t o b tr ng s ban đầu ng u nhiờn trong m t khoảng nƠo đú Мhỉ ảnh h ng đ n th i gian luв n m ng; Мũn Я i mặt lỗi đặМ bi t Мú nhi u МựМ tr ЯƠ Н ng lũng khe, nú Мũn Мú th lƠm Мho
83
quп trỡnh luв n m ng thất b i Нo r i ЯƠo МựМ tr М М b Яỡ бuất phпt từ Яựng khụng Мh a МựМ tr toƠn М М. Đơв lƠ m t k t lu n quan tr ng, lƠm ti n đ Мho Яi М đ бuất ph ng phпp tớnh toпn b kh i t o tr ng s ban đầu thaв Мho Яi М kh i t o ng u nhiờn, từ đú tăng đ Мhớnh бпМ ЯƠ t М đ h i t М a quп trỡnh luв n m ng n ron.
3.2. Đ xu t mụ hỡnh k t h p gi i thu t di truy n vƠ thu t toỏn v t khe trong quỏ trỡnh luy n m ng n ron
3.2.1. Đ t v n đ
Quп trỡnh luв n m ng n ron thựМ Мhất lƠ giải bƠi toпn t i u nhằm М p nh t МпМ tr ng s sao Мho hƠm lỗi đ t МựМ ti u, hoặМ nh h n m t giп tr Мho phцp nƠo đú.
Thu t toỏn hi n naв th ng đ М s Н ng trong quп trỡnh luв n m ng n ron lƠ thu t toпn graНien liờn h p haв thu t toпn LeЯenberg - MarquarНt Я i kỹ thu t lan truв n ng М ЯƠ Мũn Мú th g i lƠ kỹ thu t lan truв n ng М.
Kỹ thu t lan truв n ng М h i t đ n m t giải phпp mƠ nú t i thi u hoп đ М sai s trung bỡnh bỡnh ph ng Яỡ МпМh th М hi u Мhỉnh tr ng s ЯƠ h s bias М a thu t toпn lƠ ng М h ng Я i ЯeМt GraНient М a hƠm sai s trung bỡnh bỡnh ph ng đ i Я i tr ng s . Tuв nhiờn, đ i Я i m ng MLP Мú mặt Мhất l ng Н ng lũng khe thỡ hƠm sai s trung bỡnh bỡnh ph ng th ng ph М t p ЯƠ Мú nhi u МựМ tr М М b , Яỡ th МпМ phцp lặp huấn luв n m ng Мú th Мhỉ đ t đ М đ n МựМ tr М М b М a hƠm sai s trung bỡnh bỡnh ph ng mƠ khụng đ t đ n đ М МựМ tr tổng th . CпМ giп tr kh i t o М a МпМ tr ng s ảnh h ng rất m nh đ n l i giải Мu i Мựng. CпМ tr ng s nƠв th ng đ М kh i t o bằng nh ng s ng u nhiờn nh . Vi М kh i t o tất Мả МпМ tr ng s bằng nhau s lƠm Мho m ng h М khụng t t. N u МпМ tr ng s đ М kh i t o Я i giп tr l n thỡ ngaв từ đầu tổng tớn hi u ЯƠo đƣ Мú giп tr tuв t đ i l n ЯƠ lƠm Мho hƠm sigmoiН Мhỉ đ t 2 giп tr 0 ЯƠ 1. Đi u nƠв lƠm Мho h th ng s b tắМ ngaв t i m t МựМ ti u М М b hoặМ t i m t Яựng bằng phẳng nƠo đú gần ngaв t i đi m бuất phпt. Giп tr kh i đ ng ban đầu М a МпМ tr ng s trờn l p th l М a m ng s đ М Мh n ng u nhiờn nh trong khoảng [-1/n, 1/n], trong đú n lƠ s tr ng s n i t i l p l. Do bản Мhất М a giải thu t h М lan truв n ng М sai s lƠ ph ng phпp giảm đ l Мh graНient nờn Яi М kh i đ ng МпМ giп tr ban đầu М a МпМ tr ng s МпМ giп tr nh ng u
84
nhiờn s lƠm Мho m ng h i t Я МпМ giп tr МựМ ti u khпМ nhau. N u gặp maв thỡ m ng s h i t đ М Я giп tr МựМ ti u tổng th .
Xu th hi n naв М a Мụng ngh thụng tin lƠ k t h p u đi m М a МпМ kỹ thu t riờng lẻ. CпМ kỹ thu t m ng n ron, thu t giải Нi truв n, logiМ m , … đang đ М k t h p Я i nhau đ hỡnh thƠnh Мụng ngh tớnh toпn m m.
CпМ nghiờn М u Я GA k t h p Я i ANN bắt đầu b i Montana anН DaЯis. Năm 1989 МпМ ụng đƣ Мú bпo Мпo Я Яi М ng Н ng thƠnh Мụng GA trong m ng ANN. H đƣ Мh ng minh đ М rằng GA tỡm đ М b tr ng s t i u t t h n BP trong m t s tr ng h p. Từ đú đ n nƠв МпМ nghiờn М u Я sự k t h p nƠв đƣ Мh ng minh đ М tớnh u Яi t М a nú.
CпМ nghiờn М u k t h p GA ЯƠ ANN (xem thờm trong [14]) g m: - Dựng GA đ ti n б lý đầu ЯƠo Мho ANN:
+ Ch n Н li u (ph ng phпp bi u Нi n Н li u, rỳt g n Н li u) t i u khi khụng Мú nhi u thụng tin Я Н li u, …
+ Kh i t o b tr ng Мho ANN
- Dựng GA đ h u б lý đầu ra Мho m t hoặМ nhi u ANN: tỡm b tr ng s tổng h p k t quả t i u từ k t quả М a МпМ mụ hỡnh ANN thƠnh Яiờn (đƣ huấn luв n) trong ki n trỳМ tổng h p giỳp ra quв t đ nh, …
- GA Нựng trong МпМ mụ đun đ М l p tпМ đ ng đ n k t quả М a ANN: thaв th kỹ thu t lan truв n ng М.
- Dựng GA đ бпМ đ nh: ki n trỳМ, МпМ tham s đi u khi n ANN, …
Đ so sпnh giải thu t Нi truв n ЯƠ lan truв n ng М sai s , ta s Н ng l i bƠi toпn nh n Н ng Мh Яi t đƣ trỡnh bƠв trong МпМ Мh ng tr М, Мh n tham s Мhung Мho Мả hai ph ng phпp:
- M ng n rons Н ng lƠ m ng m t l p ẩn - S neural trong l p ẩn: 5
85
Tham s М a thu t lan truв n ng М sai s : - B М h М: 0.2
Tham s М a giải thu t Нi truв n: - S l ng quần th : 20 - XпМ suất lai: 0.46 - XпМ suất đ t bi n: 0.1
Sau đơв lƠ bảng th ng kờ s b М lặp đ m ng h i t Я i mỗi ph ng пn trong 20 lần th nghi m khпМ nhau.
(-) : m ng khụng h i t (s lần lặp l n h n 20000) Bảng 3.4: So sỏnh GA và BP với sai số là 0.1 TT GA BP TT GA BP 1 1356 - 12 865 1890 2 729 3156 13 - 2348 3 1042 2578 14 758 - 4 1783 3640 15 - 2647 5 - - 16 968 3378 6 879 - 17 1034 - 7 1102 2102 18 779 3018 8 - 2671 19 890 2781 9 891 - 20 904 2585 10 902 2470 TB: 4 thất b i TB: 6 thất b i 11 728 3018
Ta thấв rằng giải thu t Нitruв n Мú khả năng đ t đ М вờu Мầu Я h i t (sai s ≤ 0.1) t М tỡm Яựng Мh a МựМ tr toƠn М М Н НƠng h n so Я i kỹ thu t lan truв n ng М sai s . Haв núi МпМh khпМ kỹ thu t lan truв n ng М sai s Н r i ЯƠo Яựng
86
Мh a МựМ ti u М М b h n giải thu t Нi truв n. Trong 20 lần Мh в, GA Мhỉ Мú 4 lần khụng tỡm đ М МựМ tr toƠn М М trong khi đú BP lƠ 6lần.
V n bƠi toпn trờn ta thaв đổi ng ng sai s Нừng lặp lƠ 0.001 ta đ М bảng sau:
Bảng 3.5: So sỏnh GA và BP với sai số là 0.001TT GA BP TT GA BP TT GA BP TT GA BP 1 - 8019 12 3012 - 2 - 9190 13 - 8601 3 3021 - 14 - 11032 4 - 8701 15 - 9963 5 - - 16 - 3378 6 2371 10923 17 - 9021 7 - 8971 18 - 8 - 9801 19 - - 9 - - 20 - 10914 10 - - TB: 15 thất b i TB 7 thất b i 11 2038 7781
Qua k t quả nƠв Мú th nh n thấв rằng Мhỉ rất ớt tr ng h p GA đ t đ М giп tr sai s mong mu n. K t h p k t quả trong bảng 3.4 và 3.5 ta Мú bảng so sпnh khả năng h i t М a m ng n ronkhi thaв đổi sai s Нừng lặp.
Bảng 3.6: So sỏnh GA và BP với sai số khỏc nhau
Sai s Нừng lặp S lần h i t trong 20 lần luв n m ng
GA BP
0.1 16 14
87
Nh n бцt 1: Nh М Мh tỡm ki m trải r ng, ng u nghiờn ЯƠ mang tớnh Мh n l М tự nhiờn nờn: GA th ng tỡm ra đ М Яựng Мh a МựМ tr toƠn М М, nh ng khú đ t đ М МựМ tr toƠn М М. M t mặt ta mu n GA Нuв trỡ sự đa Н ng quần th (trải r ng khụng gian tỡm ki m) đ trпnh h i t s m đ n МựМ tr М М b ; mặt khпМ, khi “đó khoanh vựng được cực trị toàn cục”, ta mu n GA thu hẹp Яựng tỡm ki m đ “chỉ ra được cực trị toàn cục”. M М tiờu th nhất th ng Н đ t đ М bằng МпМh Мh n hƠm
thớМh nghi ЯƠ ph ng phпp tпi t o quần th phự h p. Đ đ t đ М m М tiờu th hai đũi h i Мhỳng ta phải Мhia quп trỡnh ti n húa thƠnh hai giai đo n, trong giai đo n hai ta phải Мhỉnh l i: МпМ toпn t lai, đ t bi n, tпi t o; ph ng phпp Мh n l М; đпnh giп đ thớМh nghi; Мũng nh Мhỉnh s a l i МпМ tham s М a quп trỡnh ti n húa đ Мú th đ n МựМ tr toƠn М М. Vi М thựМ thi m t mụ hỡnh nh th s rất ph М t p. Do đú, Мần phải k t h p GA Я i МпМ ph ng phпp t i u М М b khпМ.
Nh n бцt 2: CпМ ph ng phпp h М trong ANN thựМ hi n Яi М “tỡm ki m М М b ” trong khụng gian tr ng s (Нựa trờn thụng tin Я đ o hƠm М a lỗi) nờn Мú hai nh М đi m. Th nhất b tr ng s thu đ М th ng khụng lƠ t i u toƠn М М. Th hai quп trỡnh h М Мú th khụng h i t hoặМ h i t rất Мh m. Do đú, Мần phải k t h p МпМ ph ng phпp h М “mang tớnh cục bộ” М a ANN Я i МпМ thu t giải “mang tớnh toàn
cục”nh thu t giải Нi truв n.
Từ nh n бцt 1 ЯƠ 2, ta thấв rằng Мú th k t h p GA ЯƠ ANN nhằm nơng Мao hi u quả М a ANN. GA s khoanh Яựng Мh a МựМ ti u toƠn М М М a hƠm lỗi, sau đú ANN бuất phпt từ b tr ng s nƠв đ ti n đ n МựМ ti u toƠn М М.
Trong phần nƠв s trỡnh bƠв Я giải thu t Нi truв n (GA) k t h p Я i thu t toпn “Я t khe” đ Мh ngự quỹ đ o ЯƠ rỳt ngắn th i gian М a quп trỡnh tỡm ki m t i u Я i mặt sai s ph М t p Н ng lũng khe.
3.2.2. Thu t toỏn
Cú nhi u МпМh đ k t h p giải thu t Нi truв n ЯƠo m ng n ron nh ng МпМh đ n giản ЯƠ khп hi u quả lƠ ta thựМ hi n lai ghцp hai giải thu t n i ti p nhau.
V i m t Мấu trỳМ m ng Мho tr М, ta бuất phпt bằng giải thu t Нi truв n, đi tỡm t p МпМ tr ng s t t nhất đ i Я i m ng. M t quần th N Мhuỗi đ М kh i t o
88
ng u nhiờn. Mỗi Мhuỗi lƠ m t bản mƣ hoп М a m t t p tr ng s М a m ng. Sau G th h ti n hoп, 5% МпМ Мп th t t nhất trong G th h s đ М l u gi l i. CпМ Мп th nƠв sau đú s đ М giải mƣ ЯƠ đ М đ a ЯƠo m ng n ron бơв nờn МпМ mụ hỡnh đ h М. Sau quп trỡnh h М, t p tr ng s nƠo Мho k t quả Нự bпo t t nhất s đ М gi l i lƠm thụng s М a m ng n ronМho Яi М Нự bпo đú.
1. Kh i t o ng u nhiờn t o m tquần th ban đầu 0 0 0 0 1 2
( , ,...., ) P a a a
2. Tớnh toпn giп tr thớМh nghi f a( )it М amỗi nhi m sắМ th t i
a trong quần th
t
P hi n t i.
3. Căn М ЯƠo giп tr thớМh nghi t o ra МпМ nhi m sắМ th m i bằng МпМh Мh n l М МпМ nhi m sắМ th Мha mẹ, пp Н ng МпМ thu t toпn lai t o ЯƠ đ t bi n.
4. Lo i b nhi m sắМ th Мú đ thớМh nghi kцm đ t o Мhỗ Мho quần th m i. 5. Tớnh toпn МпМ giп tr thớМh nghi М a МпМ nhi m sắМ th m i '
( t)
i
f a chốn vào quần th .
6. Tăng s l ng cỏc th h n uМh a đ t đ n đi u ki n k t thỳМ và lặp l i từ b М 3. Khi đ t đ n đi u ki n k t thỳМ thỡ Нừng l i ЯƠ đ a ra nhi m sắМ th t t nhất.
CпМ phцp toпn Нi truв n s Н ng trong МпМ thựМ nghi m đ М trỡnh bƠв nh sau:
Khởi tạo quần thể:
Quп trỡnh nƠв t o ra ng u nhiờn m t b gen (lƠ kớМh th М М a quần th ), mƣ húa МпМ gen theo s thựМ ta đ М đ НƠi nhi m sắМ th lƠ L, t p h p nhi m sắМ th nƠв s t o thƠnh m t quần th ban đầu.
Hàm thớch nghi:
HƠm thớМh nghi đ М s Н ng đơв Мú Н ng nh sau:
ij ij 1 1 s m i j TSSE f t z (3.1)
Trong đú s lƠ tổng s МпМ m u h М, m lƠ s l ng МпМ n ron l p ra, G lƠ tổng bỡnh ph ng lỗi М a S m u ЯƠ zijlƠ đầu ra М a m ng n ron.
89
Chọn lọc
CпМ giп tr thớМh nghi đ М tớnh toпn và thựМ hi n phộp Мh n l М bằng ph ng phỏp lựa Мh n bỏnh xe roulette. K t quả lƠ МпМ Мп th Я i đ thớМh nghi Мao đ М Мh n ЯƠo th h k ti p М a quần th .
Lai tạo
Phцp lai t o k t h p МпМ đặМ đi m Мú trong Мп th Мha mẹ hỡnh thƠnh nờn Мп th Мon bằng МпМh ph i ghцp МпМ đo n t ng ng từ МпМ th Мha mẹ. V trớ lai t o đ М lựa Мh n tựв theo đ thớМh nghi trong mỗi th h theo ph ng trỡnh sau:
[ ( , ) ] [0..... ] r fit
C ROUND F i j L L (3.2) V i ROUND(.) lƠ hƠm бпМ đ nh s nguвờn gần nhất th a mƣn. N u Я trớ lai t o МƠng l n МпМ th Мon s Мh a nhi u đặМ đi m trong Мп th mẹ.
Đột biến
Đ trпnh r i ЯƠo МпМ đi m t i u М М b , МпМ Мп th đ М thaв đổi m t МпМh ng u nhiờn Я i Я trớ đ t bi n Mr nh sau:
[( ) / ] 0...
r r b b
M ROUND L C M L M (3.3)
V i Mb lƠ gi i h n trờn М a Я trớ đ t bi n. Theo th i gian, đ thớМh nghi s Нần tăng ЯƠ МпМ phцp lai t o đ t bi n Мũng đ М thựМ hi n. Quп trỡnh ti n húa s đ c thựМ hi n Мho đ n khi đ t đ n đ thớМh nghi mong mu n.
V i Яi М lai ghцp nƠв, giải thu t lan truв n ng М sai s l М b đi m t s b М sau:
- Khụng kh i t o МпМ giп tr tr ng s ban đầu Яỡ t p tr ng s đƣ đ М lấв từ k t quả М a giải thu t Нi truв n.
- ThƠnh phần quпn tớnh trong МпМ ph ng trỡnh hi u Мhỉnh tr ng s lƠ khụng Мần thi t Яỡ t p tr ng s бuất phпt đƣ khп gần l i giải; tпМ Н ng Мh ng Нao đ ng ЯƠ