94
3.4. K t lu n ch ng 3
Trong Мh ng 3 Мhỳng ta đƣ nghiờn М u cỏc vớ d c th đ thấy sự ảnh h ng c a vec-t kh i t o tr ng s ban đầu đ n k t quả c a quỏ trỡnh luy n m ng. Đ ng th i Мũng đi phơn tớМh đпnh giп u nh М đi m c a giải thu t di truy n và thu t h c lan truy n ng c sai s trong bài toỏn nh n d ng. Giải thu t di truy n đ c bi t đ n nh m t giải thu t tỡm ki m dựa trờn h c thuy t v ch n l c tự nhiờn ЯƠ nú Мho phцp ta đ t đ c t i cực tr toàn c М. Do đú, пp Н ng giải thu t di truy n vào bài toỏn t i u hoп tr ng s m ng n ron nhơn t o là m t cỏch ti p c n ti m năng.
Trong Мh ng nƠв, tпМ giả đ бuất Яi М s Н ng giải thu t Нi truв n k t h p Я i thu t toпn “Я t khe” đ Мải ti n quп trỡnh luв n m ng n ronМú mặt lỗi đặМ bi t ЯƠ minh h a thụng qua ng Н ng nh n Н ng Мh . Cú th đпnh giп đ М rằng ph ng phпp nƠв đƣ tăng khả năng ЯƠ t М đ h i t М a m ng n ron Мú mặt lỗi Н ng “lũng khe”.
95
K T LU N CHUNG VÀ Đ XU T H NG NGHIểN C U
So sỏnh luy n m ng n roncú m t l iđ c bi t v i cỏc ph ng phỏp khỏc
nhau
Đ thấв đ М hi u quả М a Яi М пp Н ng giải thu t Нi truв n Я i thu t toпn Я t khe trong quп trỡnh luв n m ng n ron s Н ng kỹ thu t lan truв n ng М, tпМ giả đƣ đ a ra m t Яớ Н trong su t МпМ Мh ng М a lu n пn lƠ bƠi toпn nh n Н ng Мh Яi t tay.
Мh ng 2, bƠi toпn nh n Н ng Мh Яi t đ М l p trỡnh trờn phần m m C++. Trong Яớ Н m ng n ronđ М luв n Я i 3 ph ng phпp cú b М h М khпМ nhau lần l t lƠ b М h М М đ nh, b М h М giảm Нần ЯƠ b М h М Я t khe.
V i b М h М М đ nh, ta thấв rằng s b М lặp Мần Мú đ m ng đ М huấn luв n thƠnh Мụng lƠ rất l n, trung bỡnh lƠ 10000 Мhu kỳ, nguвờn nhơn Мú th Нo b М h М Мh n lƠ bц (0.2). Tuв nhiờn, n u th Мh n b М h М l n h n (0.3) thỡ k t quả lƠ s lần luв n m ng thất b i nhi u h n. Nh trong bảng 2.2th ng kờ thỡ đƣ bảв lần thất b i trong tổng s 20 lần luв n m ng Я i b М h М lƠ 0.2.
V i b М h М tớnh theo Мụng th М (2.20) thỡ ba lần thất b i, s b М lặp đ luв n m ng thƠnh Мụng khп ổn đinh, tuв nhiờn Мhỳng ta Мũng thấв rằng, theo bảng 2.2 đƣ th ng kờ thỡ Я i b М h М tớnh theo nguвờn lý Я t khe, t М đ h i t Мao h n Я i trung bỡnh 37 b М lặp ta đƣ luв n m ng бong, s lần thất b i khi luв n m ng Мũng đ М giảm đi.
Мh ng 1 ЯƠ Мh ng 3 bƠi toпn nh n Н ng Мh Яi t đ М l p trỡnh trờn Matlab. Trong Мh ng 1 b Мụng М Neural Network Toolboб đ М s Н ng đ luв n m ng.
Cỏc tham số luyện mạng:
KớМh th М ký tự = 5 б 7 S đầu ra = 10 S đầu ЯƠo = 35
S n ron l p ẩn = 5 Đ Мhớnh бпМ mong mu n = 90% Tỷ l h М: 0.6 Lỗi h th ng mong mu n=0.06
96
Kết quả luyện mạng như sau:
S Мhu kỳ luв n 20 60 100 130 200
Tỷ l lỗi 93.33% 60.33% 40.67% 37.33% 0%
TSSE 0.8136 0.6848 0.2834 0.2823 0.06
Trong Мh ng 3, m ng n ronđ М luв n Я i sự k t h p М a thu t toпn Я t khe ЯƠ giải thu t Нi truв n
Cỏc tham số luyện mạng:
KớМh th М quần th = 20 XпМ suất lai t o = 0.46 Mƣ húa bằng s thựМ Đ НƠi nhi m sắМ th = 225Đ Мhớnh бпМ mong mu n = 90% S th h : 20 Lỗi h th ng mong mu n=0.06
Kết quả luyện mạng như sau:
S th h 1 5 10 15 20
Tổng thớМh nghi 9.5563 8.1638 6.1383 5.724 5.697
S Мhu kỳ luв n 5 10 15 20 33
Tỷ l lỗi 93.33% 60.33% 40.67% 37.33% 0%
TSSE 0.4956 0.3274 0.1387 0.0864 0.0589
Nh Я в, lỗi h th ng test 1 khi s Н ng luв n m ng MLP bằng giải thu t BG thuần tỳв lƠ 0.06 sau 200 Мhu kỳ luв n m ng. Đ i Я i test 2, sau 20 th h đƣ đ t đ n вờu Мầu М a bƠi toпn. Giп tr thớМh nghi trung bỡnh đ t đ М lƠ 5.679. K t quả М a giai đo n 1 đ М s Н ng đ kh i t o tr ng s Мho giai đo n 2. V i sự thaв đổi b М h М theo giải thu t Я t khe, sau 33 Мhu kỳ luв n m ng lỗi h th ng đƣ đ t đ n m М đớМh 0.0589 ЯƠ đ Мhớnh бпМ М a quп trỡnh nh n Н ng lƠ 100%. Ho t đ ng М a m ng MLP thuần tỳв ЯƠ m ng MLP Мú k t h p giải thu t Я t khe ЯƠ Нi truв n Мho nh n Н ng Мh đ М th hi n trờn hỡnh a
97
Qua Яi М nghiờn М u ЯƠ thựМ nghi m trờn mпв tớnh Мho ta thấв: Я i nh ng Мấu trỳМ m ng n ron mƠ mặt lỗi Мú Н ng lũng khe, Я n s Н ng kỹ thu t lan truв n ng М nh ng Яi М пp Н ng giải thu t Нi truв n k t h p Я i thu t toпn “Я t khe” đ luв n m ng s Мho ta đ Мhớnh бпМ ЯƠ t М đ h i t nhanh h n nhi u so Я i ph ng phỏp gradient.
K t quả nghiờn М u nƠв đ М giải thớМh nh sau:
- K t quả luв n m ng n ron ph thu М rất l n ЯƠo giп tr ban đầu М a vec-t tr ng s . Vi М s Н ng giải thu t Нi truв n thựМ hi n quп trỡnh tỡm ki m toƠn М М Мho phцp Мú đ М vec-t tr ng s ban đầu t t Мho giai đo n sau М a quп trỡnh luв n m ng.
- Khi mặt lỗi đặМ bi t Мú Н ng lũng khe, n u luв n m ng bằng thu t toпn graНien liờn h p haв thu t toпn LeЯenberg ậ Marquardt s Мh m h i t ЯƠ gặp phải Яấn đ МựМ tr đ a ph ng. Thu t toпn “Я t khe” nhằm tỡm ki m МпМ b М h М t i u trong giai đo n 2 М a quп trỡnh luв n m ng nờn đƣ khắМ ph М МпМ nh М đi m nƠв ЯƠ Нo đú lƠm tăng t М đ h i t Мũng nh đ Мhớnh бпМ М a quп trỡnh luв n m ng.
Vi М s Н ng giải thu t Нi truв n k t h p Я i thu t toпn “Я t khe” Мú th ng Н ng đ luв n m t s Мấu trỳМ m ng n ron mƠ Мú mặt lỗi đặМ bi t khпМ. Vỡ Я в, k t quả nghiờn М u nƠв Мú th ng Н ng Мho nhi u bƠi toпn khпМ trong lĩnh ЯựМ Яi n thụng, đi u khi n, ЯƠ Мụng ngh thụng tin.