CH NG 1 : M N GN RON VÀ QUÁ TRèNH HC C AM N GN RON
3.2.2. Th ut toỏn
Cú nhi u МпМh đ k t h p giải thu t Нi truв n ЯƠo m ng n ron nh ng МпМh đ n giản ЯƠ khп hi u quả lƠ ta thựМ hi n lai ghцp hai giải thu t n i ti p nhau.
V i m t Мấu trỳМ m ng Мho tr М, ta бuất phпt bằng giải thu t Нi truв n, đi tỡm t p МпМ tr ng s t t nhất đ i Я i m ng. M t quần th N Мhuỗi đ М kh i t o
88
ng u nhiờn. Mỗi Мhuỗi lƠ m t bản mƣ hoп М a m t t p tr ng s М a m ng. Sau G th h ti n hoп, 5% МпМ Мп th t t nhất trong G th h s đ М l u gi l i. CпМ Мп th nƠв sau đú s đ М giải mƣ ЯƠ đ М đ a ЯƠo m ng n ron бơв nờn МпМ mụ hỡnh đ h М. Sau quп trỡnh h М, t p tr ng s nƠo Мho k t quả Нự bпo t t nhất s đ М gi l i lƠm thụng s М a m ng n ronМho Яi М Нự bпo đú.
1. Kh i t o ng u nhiờn t o m tquần th ban đầu 0 0 0 0 1 2
( , ,...., ) P a a a
2. Tớnh toпn giп tr thớМh nghi f a( )it М amỗi nhi m sắМ th t i
a trong quần th
t
P hi n t i.
3. Căn М ЯƠo giп tr thớМh nghi t o ra МпМ nhi m sắМ th m i bằng МпМh Мh n l М МпМ nhi m sắМ th Мha mẹ, пp Н ng МпМ thu t toпn lai t o ЯƠ đ t bi n.
4. Lo i b nhi m sắМ th Мú đ thớМh nghi kцm đ t o Мhỗ Мho quần th m i. 5. Tớnh toпn МпМ giп tr thớМh nghi М a МпМ nhi m sắМ th m i '
( t)
i
f a chốn vào quần th .
6. Tăng s l ng cỏc th h n uМh a đ t đ n đi u ki n k t thỳМ và lặp l i từ b М 3. Khi đ t đ n đi u ki n k t thỳМ thỡ Нừng l i ЯƠ đ a ra nhi m sắМ th t t nhất.
CпМ phцp toпn Нi truв n s Н ng trong МпМ thựМ nghi m đ М trỡnh bƠв nh sau:
Khởi tạo quần thể:
Quп trỡnh nƠв t o ra ng u nhiờn m t b gen (lƠ kớМh th М М a quần th ), mƣ húa МпМ gen theo s thựМ ta đ М đ НƠi nhi m sắМ th lƠ L, t p h p nhi m sắМ th nƠв s t o thƠnh m t quần th ban đầu.
Hàm thớch nghi:
HƠm thớМh nghi đ М s Н ng đơв Мú Н ng nh sau:
ij ij 1 1 s m i j TSSE f t z (3.1)
Trong đú s lƠ tổng s МпМ m u h М, m lƠ s l ng МпМ n ron l p ra, G lƠ tổng bỡnh ph ng lỗi М a S m u ЯƠ zijlƠ đầu ra М a m ng n ron.
89
Chọn lọc
CпМ giп tr thớМh nghi đ М tớnh toпn và thựМ hi n phộp Мh n l М bằng ph ng phỏp lựa Мh n bỏnh xe roulette. K t quả lƠ МпМ Мп th Я i đ thớМh nghi Мao đ М Мh n ЯƠo th h k ti p М a quần th .
Lai tạo
Phцp lai t o k t h p МпМ đặМ đi m Мú trong Мп th Мha mẹ hỡnh thƠnh nờn Мп th Мon bằng МпМh ph i ghцp МпМ đo n t ng ng từ МпМ th Мha mẹ. V trớ lai t o đ М lựa Мh n tựв theo đ thớМh nghi trong mỗi th h theo ph ng trỡnh sau:
[ ( , ) ] [0..... ] r fit
C ROUND F i j L L (3.2) V i ROUND(.) lƠ hƠm бпМ đ nh s nguвờn gần nhất th a mƣn. N u Я trớ lai t o МƠng l n МпМ th Мon s Мh a nhi u đặМ đi m trong Мп th mẹ.
Đột biến
Đ trпnh r i ЯƠo МпМ đi m t i u М М b , МпМ Мп th đ М thaв đổi m t МпМh ng u nhiờn Я i Я trớ đ t bi n Mr nh sau:
[( ) / ] 0...
r r b b
M ROUND L C M L M (3.3)
V i Mb lƠ gi i h n trờn М a Я trớ đ t bi n. Theo th i gian, đ thớМh nghi s Нần tăng ЯƠ МпМ phцp lai t o đ t bi n Мũng đ М thựМ hi n. Quп trỡnh ti n húa s đ c thựМ hi n Мho đ n khi đ t đ n đ thớМh nghi mong mu n.
V i Яi М lai ghцp nƠв, giải thu t lan truв n ng М sai s l М b đi m t s b М sau:
- Khụng kh i t o МпМ giп tr tr ng s ban đầu Яỡ t p tr ng s đƣ đ М lấв từ k t quả М a giải thu t Нi truв n.
- ThƠnh phần quпn tớnh trong МпМ ph ng trỡnh hi u Мhỉnh tr ng s lƠ khụng Мần thi t Яỡ t p tr ng s бuất phпt đƣ khп gần l i giải; tпМ Н ng Мh ng Нao đ ng ЯƠ thaв đổi đ t ng t МпМ tr ng s theo h ng khпМ Я i h ng М a l i giải tr nờn khụng Мần thi t.
90
Thu t toпn k t h p giải thu t Я t khe ЯƠ giải thu t Нi truв n Мho m ng MLP đ М đ бuất trong hỡnh 3.1. Nú bao g m hai giai đo n luв n m ng. Giai đo n đầu tiờn s Н ng thu t toпn Нi truв n Я i b М truв n thẳng nhằm đẩв nhanh toƠn b quỏ trỡnh luв n m ng. Thu t toпnНi truв nthựМ hi ntỡm ki m toƠn М М và tỡm ki m t i ugần đi m ban đầu (tr ng l ng vec-t ) cho giai đo n th hai. Trong đú, mỗi nhi m sắМ th đ М s Н ng đ mó húa cỏc tr ng s М a m ng n ron. Hàm thớch nghi (hàm m М tiờu) Мho МпМ thu t toỏn Нi truв nđ М бпМ đ nh lƠtổngbỡnh ph ng lỗi (TSSE) М a m ng n ron t ng ng. Do đú, bài toỏn s tr thƠnh t i u húa khụng gi i h nnhằm tỡm m t t p h p МпМbi nquв t đ nh giảm thi uhƠm m М tiờu. Trong giai đo n th 2 s s Н ng kỹ thu t lan truв n ng МЯ i МпМ b М h М đ М thaв đổi theo thu t toпn Я t khe đƣ đ М đ бuất hỡnh 2.4.
Hỡnh 3.1: Sơ đồ thuật toỏn kết hợp giải thuật vượt khe và di truyền cho
91
3.3. Áp d ng mụ hỡnh k t h p gi i thu t di truy n vƠ thu t toỏn v t khe trong quỏ trỡnh luy n m ng n ron vƠo bƠi toỏn nh n d ng
Tr l i Яớ Н Я nh n Н ng Мh Яi t taв 0,1,2,… 9.
Vi М МƠi đặt thu t toпn trờn Matlab đ М ti n hƠnh nh sau:
/* Giai đo n 1*/
Kh i t o МпМ nhi m sắМ th m t МпМh ng u nhiờn Мho th h hi n t i, kh i t o МпМ tham s lƠm Яi М ЯƠ đặt nhi m sắМ th đầu tiờn lƠ nhi m sắМ th t t nhất best_chromosome.
a- Lặp từ i=1 đ n kớМh th М quần th , thựМ hi n Мụng Яi М sau:
- Kh i t o sub_total_fitness bằng 0 ЯƠ
sub_best_chromosome lƠ rỗng
b- Lặp từ j=1 đ n đ НƠi М a nhi m sắМ th , thựМ hi n МпМ Мụng Яi М sau: - ThựМ hi n th t М truв n thẳng Мho m ng MLP (s Н ng hƠm ho t húa là sigmoid).
- Tớnh toỏn hàm m М tiờu (lỗi h th ng М a m ng n ron)
- Tớnh toпn lỗi tổng М ng total_fitness bằng МпМh tớМh lũв sub_total_fitness
c- L u best_chromosome vào sub_best_chromosome
d- So sỏnh cỏc sub_best_chromosome Я i nhau ЯƠ đặt sub_best_chromosome l n nhất lƠ best_chromosome.
e- Lặp từ i=0 đ n kớМh th М quần th /2, thựМ hi n МпМ th t М sau:
- Kh i t o sub_total_fitness bằng 0 ЯƠ sub_best_chromosome lƠ rỗng - Lặp từ j=1 t i đ НƠi nhi m sắМ th , thựМ hi n МпМ Мụng Яi М sau: * Ch n МпМ nhi m sắМ th Мha mẹ s Н ng ph ng phпp lựa Мh n theo bỏnh xe roulette
92
* Áp Н ng МпМ phцp lai t o ЯƠ đ t bi n
- Lặp từ k=1 đ n đ НƠi nhi m sắМ th , thựМ hi n МпМ Мụng Яi М sau: * ThựМ hi n th t М truв n thẳng Мho m ng MLP
* Tớnh toпn МпМ giп tr hƠm m М tiờu Мho МпМ nhi m sắМ th Мha mẹ. - Tớnh toỏn sub_total_fitness bằng МпМh tớМh lũв giп tr hƠm m М tiờu М a mỗi nhi m sắМ th .
- L u best_chromosome vào sub_best_chromosome
g- Thaв th th h Мũ bằng th h m i n u th a mƣn đi u ki n Нừng.
/* Giai đo n 2 */
- Đặt best_chromosome lƠ ЯцМ t tr ng s kh i t o, thi t l p Мấu trỳМ m ng n ron MLP.
- Tớnh toпn đầu ra thựМ t М a m ng MLP truв n thẳng. - Tớnh toпn lỗi gi a đầu ra thựМ t ЯƠ đầu ra mong mu n.
- C p nh t МпМ tr ng s bằng kỹ thu t lan truв n ng М, М p nh t МпМ h s h М bằng thu t toпn Я t khe.
END
Cỏc k t qu thực nghi m khi luy n m ng MLP k t h p gi i thu t v t khe vƠ di truy n.
M ng MLP đ М luв n Я i b МпМ ký tự m u Мh Я i kớМh th М 7 б 5 đ М trỡnh bƠв trờn. CпМ giп tr ban đầu nh s đầu ЯƠo (35), s l ng l p ẩn (1), s n ron l p ẩn (5), МпМ kỹ thu t luв n m ng khпМ nhau, mƣ húa đầu ЯƠo ЯƠ đầu ra nhằm kh i t o МпМ tr ng s đƣ đ М đ М p trờn. Đ ki m tra khả năng М a m ng Мho quп trỡnh nh n Н ng Мh , Мhỳng tụi đ бuất m t tham s đпnh giп Мhất l ng М am ng lƠ tỷ l lỗi nh n Н ng đ М tớnh theo Мụng th М:
93
Cỏc tham số luyện mạng:
KớМh th М quần th = 20 XпМ suất lai t o = 0.46 Mƣ húa bằng s thựМ Đ НƠi nhi m sắМ th = 225Đ Мhớnh бпМ mong mu n = 90% S th h : 20 Lỗi h th ng mong mu n=0.06
Kết quả luyện mạng như sau:
S th h 1 5 10 15 20
Tổng thớМh nghi 9.5563 8.1638 6.1383 5.724 5.697
S Мhu kỳ luв n 5 10 15 20 33
Tỷ l lỗi 93.33% 60.33% 40.67% 37.33% 0%
TSSE 0.4956 0.3274 0.1387 0.0864 0.0589
Nh Я в, sau 20 th h đƣ đ t đ n вờu Мầu М a bƠi toпn. Giп tr thớМh nghi trung bỡnh đ t đ М lƠ 5.679. K t quả М a giai đo n 1 đ М s Н ng đ kh i t o tr ng s Мho giai đo n 2. V i sự thaв đổi b М h М theo giải thu t Я t khe, sau 33 Мhu kỳ luв n m ng lỗi h th ng đƣ đ t đ n m М đớМh 0.0589 ЯƠ đ Мhớnh бпМ М a quп trỡnh nh n Н ng lƠ 100%. Ho t đ ng М a m ng MLP Мú k t h p giải thu t Я t khe ЯƠ Нi truв n Мho nh n Н ng Мh đ М th hi n trờn hỡnh 3.2
94
3.4. K t lu n ch ng 3
Trong Мh ng 3 Мhỳng ta đƣ nghiờn М u cỏc vớ d c th đ thấy sự ảnh h ng c a vec-t kh i t o tr ng s ban đầu đ n k t quả c a quỏ trỡnh luy n m ng. Đ ng th i Мũng đi phơn tớМh đпnh giп u nh М đi m c a giải thu t di truy n và thu t h c lan truy n ng c sai s trong bài toỏn nh n d ng. Giải thu t di truy n đ c bi t đ n nh m t giải thu t tỡm ki m dựa trờn h c thuy t v ch n l c tự nhiờn ЯƠ nú Мho phцp ta đ t đ c t i cực tr toàn c М. Do đú, пp Н ng giải thu t di truy n vào bài toỏn t i u hoп tr ng s m ng n ron nhơn t o là m t cỏch ti p c n ti m năng.
Trong Мh ng nƠв, tпМ giả đ бuất Яi М s Н ng giải thu t Нi truв n k t h p Я i thu t toпn “Я t khe” đ Мải ti n quп trỡnh luв n m ng n ronМú mặt lỗi đặМ bi t ЯƠ minh h a thụng qua ng Н ng nh n Н ng Мh . Cú th đпnh giп đ М rằng ph ng phпp nƠв đƣ tăng khả năng ЯƠ t М đ h i t М a m ng n ron Мú mặt lỗi Н ng “lũng khe”.
95
K T LU N CHUNG VÀ Đ XU T H NG NGHIểN C U
So sỏnh luy n m ng n roncú m t l iđ c bi t v i cỏc ph ng phỏp khỏc
nhau
Đ thấв đ М hi u quả М a Яi М пp Н ng giải thu t Нi truв n Я i thu t toпn Я t khe trong quп trỡnh luв n m ng n ron s Н ng kỹ thu t lan truв n ng М, tпМ giả đƣ đ a ra m t Яớ Н trong su t МпМ Мh ng М a lu n пn lƠ bƠi toпn nh n Н ng Мh Яi t tay.
Мh ng 2, bƠi toпn nh n Н ng Мh Яi t đ М l p trỡnh trờn phần m m C++. Trong Яớ Н m ng n ronđ М luв n Я i 3 ph ng phпp cú b М h М khпМ nhau lần l t lƠ b М h М М đ nh, b М h М giảm Нần ЯƠ b М h М Я t khe.
V i b М h М М đ nh, ta thấв rằng s b М lặp Мần Мú đ m ng đ М huấn luв n thƠnh Мụng lƠ rất l n, trung bỡnh lƠ 10000 Мhu kỳ, nguвờn nhơn Мú th Нo b М h М Мh n lƠ bц (0.2). Tuв nhiờn, n u th Мh n b М h М l n h n (0.3) thỡ k t quả lƠ s lần luв n m ng thất b i nhi u h n. Nh trong bảng 2.2th ng kờ thỡ đƣ bảв lần thất b i trong tổng s 20 lần luв n m ng Я i b М h М lƠ 0.2.
V i b М h М tớnh theo Мụng th М (2.20) thỡ ba lần thất b i, s b М lặp đ luв n m ng thƠnh Мụng khп ổn đinh, tuв nhiờn Мhỳng ta Мũng thấв rằng, theo bảng 2.2 đƣ th ng kờ thỡ Я i b М h М tớnh theo nguвờn lý Я t khe, t М đ h i t Мao h n Я i trung bỡnh 37 b М lặp ta đƣ luв n m ng бong, s lần thất b i khi luв n m ng Мũng đ М giảm đi.
Мh ng 1 ЯƠ Мh ng 3 bƠi toпn nh n Н ng Мh Яi t đ М l p trỡnh trờn Matlab. Trong Мh ng 1 b Мụng М Neural Network Toolboб đ М s Н ng đ luв n m ng.
Cỏc tham số luyện mạng:
KớМh th М ký tự = 5 б 7 S đầu ra = 10 S đầu ЯƠo = 35
S n ron l p ẩn = 5 Đ Мhớnh бпМ mong mu n = 90% Tỷ l h М: 0.6 Lỗi h th ng mong mu n=0.06
96
Kết quả luyện mạng như sau:
S Мhu kỳ luв n 20 60 100 130 200
Tỷ l lỗi 93.33% 60.33% 40.67% 37.33% 0%
TSSE 0.8136 0.6848 0.2834 0.2823 0.06
Trong Мh ng 3, m ng n ronđ М luв n Я i sự k t h p М a thu t toпn Я t khe ЯƠ giải thu t Нi truв n
Cỏc tham số luyện mạng:
KớМh th М quần th = 20 XпМ suất lai t o = 0.46 Mƣ húa bằng s thựМ Đ НƠi nhi m sắМ th = 225Đ Мhớnh бпМ mong mu n = 90% S th h : 20 Lỗi h th ng mong mu n=0.06
Kết quả luyện mạng như sau:
S th h 1 5 10 15 20
Tổng thớМh nghi 9.5563 8.1638 6.1383 5.724 5.697
S Мhu kỳ luв n 5 10 15 20 33
Tỷ l lỗi 93.33% 60.33% 40.67% 37.33% 0%
TSSE 0.4956 0.3274 0.1387 0.0864 0.0589
Nh Я в, lỗi h th ng test 1 khi s Н ng luв n m ng MLP bằng giải thu t BG thuần tỳв lƠ 0.06 sau 200 Мhu kỳ luв n m ng. Đ i Я i test 2, sau 20 th h đƣ đ t đ n вờu Мầu М a bƠi toпn. Giп tr thớМh nghi trung bỡnh đ t đ М lƠ 5.679. K t quả М a giai đo n 1 đ М s Н ng đ kh i t o tr ng s Мho giai đo n 2. V i sự thaв đổi b М h М theo giải thu t Я t khe, sau 33 Мhu kỳ luв n m ng lỗi h th ng đƣ đ t đ n m М đớМh 0.0589 ЯƠ đ Мhớnh бпМ М a quп trỡnh nh n Н ng lƠ 100%. Ho t đ ng М a m ng MLP thuần tỳв ЯƠ m ng MLP Мú k t h p giải thu t Я t khe ЯƠ Нi truв n Мho nh n Н ng Мh đ М th hi n trờn hỡnh a
97
Qua Яi М nghiờn М u ЯƠ thựМ nghi m trờn mпв tớnh Мho ta thấв: Я i nh ng Мấu trỳМ m ng n ron mƠ mặt lỗi Мú Н ng lũng khe, Я n s Н ng kỹ thu t lan truв n ng М nh ng Яi М пp Н ng giải thu t Нi truв n k t h p Я i thu t toпn “Я t khe” đ luв n m ng s Мho ta đ Мhớnh бпМ ЯƠ t М đ h i t nhanh h n nhi u so Я i ph ng phỏp gradient.
K t quả nghiờn М u nƠв đ М giải thớМh nh sau:
- K t quả luв n m ng n ron ph thu М rất l n ЯƠo giп tr ban đầu М a vec-t tr ng s . Vi М s Н ng giải thu t Нi truв n thựМ hi n quп trỡnh tỡm ki m toƠn М М Мho phцp Мú đ М vec-t tr ng s ban đầu t t Мho giai đo n sau М a quп