Giải thuật GA có thể tìm ra vùng chứa cực trị toàn cục, song nó không có khả năng leo lên đỉnh của cực trị đó. Nói cách khác, giải thuật GA không bảo đảm sự hội tụ. Trái lại, giải thuật BP đảm bảo cho sự hội tụ nh−ng không có khả năng tìm kiếm cực trị toàn cục. Do đó, việc kết hợp hai giải thuật trên trong một giải thuật lai là lẽ tự nhiên.
Đối với một cấu trúc mạng cho tr−ớc, xuất phát bằng giải thuật GA với việc khởi động một quần thể ban đầu gồm N chuỗi nhị phân (N cá thể). Mỗi chuỗi là một bản mã nhị phân của một tập trọng số của một cấu trúc mạng đã cho. Giải thuật GA tiến hành tiến hóa quần thể ban đầu bằng cách sử dụng các toán tử chọn lọc, lai ghép và đột biến. Sau G thế hệ, 5% cá thể tốt nhất trong G đ−ợc l−u trữ lại. Nh− vậy, đầu vào của giải thuật GA là một cấu trúc mạng và tập huấn luyện, đầu ra là 0.05*N tập
trọng số. Các tập trọng số này lần l−ợt đ−ợc giải thuật BP luyện đến bão hòa. Kết quả của quá trình luyện bằng giải thuật BP là 0.05*N tập trọng số mới. Tập trọng số cho kết quả tốt nhất (giá trị hàm giá nhỏ nhất) trong 0.05*N tập trọng số này đ−ợc giữ lại là kết quả của giải thuật lai GA - BP. Giải thuật BP trong giải thuật lai này là giải thuật BP đã trình bày ở phần 3.1 với:
• Các giá trị trọng số ban đầu không cần phải khởi động mà tiếp nhận tập trọng số là kết quả từ giải thuật GA nh− tập trọng số ban đầu.
• Giải thuật BP sử dụng hằng số học biến đổi để đảm bảo giá trị của các hàm giá 3.3 luôn giảm. Nói một cách khác, làm tăng tốc độ hội tụ của giải thuật. Hình 3.4 là sơ đồ khối tổng thể của giải thuật lai GA - BP. Giải thuật lai này đ−ợc dùng trong thủ tục huấn luyện mạng nơ ron truyền thẳng nhiều lớp.
Hình 3.4: Sơ đồ của giải thuật lai
Kết luận ch−ơng 3
Ch−ơng 3 mô tả giải thuật BP và các vấn đề khi sử dụng giải thuật BP trong huấn luyện mạng nơron truyền thẳng nhiều lớp nh− lựa chon cấu trúc mạng, hàm kích hoạt, xây dựng hàm giá, khởi tạo tập trọng số ban đầu, ... Ch−ơng 3 cũng trình bầy giải pháp tích hợp giải thuật GA và BP thành một giải thuật lai để học tham số cho mạng nơron. Một cấu trúc mạng Giải thuật GA 5% quần thể tốt nhất đ−ợc l−u trữ Giải thuật BP Một tập trọng số
Cùng với thực tế mạng nơron đ−ợc ứng dụng rộng rãi trong lĩnh vực dự báo dữ liệu, đặc biệt là các bài toán dự báo tiêu thụ năng l−ợng, dự báo kinh tế, dự báo các hiện t−ợng tự nhiên.... Ch−ơng 4 của luận văn sẽ thực hiện cài đặt thử nghiệm ch−ơng trình dự báo lũ trên sông Trà Khúc sử dụng mạng nơ ron truyền thẳng huấn luyện bằng giải thuật lai GA – BP.
Ch−ơng 4:
ứng dụng trong bài toán dự báo dữ liệu