Cú nhiều cỏch để kết hợp giải thuật di truyền vào mạng nơron nhƣng cỏch đơn giản và khỏ hiệu quả là ta thực hiện lai ghộp hai giải thuật nối tiếp nhau.
Với một cấu trỳc mạng cho trƣớc, ta xuất phỏt bằng giải thuật di truyền, đi tỡm tập cỏc trọng số tốt nhất đối với mạng. Một quần thể N chuỗi đƣợc khởi tạo
88 ngẫu nhiờn. Mỗi chuỗi là một bản mó hoỏ của một tập trọng số của mạng. Sau G thế hệ tiến hoỏ, 5% cỏc cỏ thể tốt nhất trong G thế hệ sẽ đƣợc lƣu giữ lại. Cỏc cỏ thể này sau đú sẽ đƣợc giải mó và đƣợc đƣa vào mạng nơron xõy nờn cỏc mụ hỡnh để học. Sau quỏ trỡnh học, tập trọng số nào cho kết quả dự bỏo tốt nhất sẽ đƣợc giữ lại làm thụng số của mạng nơron cho việc dự bỏo đú.
1. Khởi tạo ngẫu nhiờn tạo một quần thể ban đầu 0 0 0 0 1 2
( , ,...., )
P a a a
2. Tớnh toỏn giỏ trị thớch nghi f a( )it của mỗi nhiễm sắc thể t i
a trong quần thể
t
P hiện tại.
3. Căn cứ vào giỏ trị thớch nghi tạo ra cỏc nhiễm sắc thể mới bằng cỏch chọn lọc cỏc nhiễm sắc thể cha mẹ, ỏp dụng cỏc thuật toỏn lai tạo và đột biến.
4. Loại bỏ nhiễm sắc thể cú độ thớch nghi kộm để tạo chỗ cho quần thể mới.
5. Tớnh toỏn cỏc giỏ trị thớch nghi của cỏc nhiễm sắc thể mới ' ( t)
i
f a chốn vào quần thể.
6. Tăng số lƣợng cỏc thế hệ nếu chƣa đạt đến điều kiện kết thỳc và lặp lại từ bƣớc 3. Khi đạt đến điều kiện kết thỳc thỡ dừng lại và đƣa ra nhiễm sắc thể tốt nhất.
Cỏc phộp toỏn di truyền sử dụng trong cỏc thực nghiệm đƣợc trỡnh bày nhƣ sau:
Khởi tạo quần thể:
Quỏ trỡnh này tạo ra ngẫu nhiờn một bộ gen (là kớch thƣớc của quần thể), mó húa cỏc gen theo số thực ta đƣợc độ dài nhiễm sắc thể là L, tập hợp nhiễm sắc thể này sẽ tạo thành một quần thể ban đầu.
Hàm thớch nghi:
Hàm thớch nghi đƣợc sử dụng ở đõy cú dạng nhƣ sau:
ij ij 1 1 s m i j TSSE f t z (3.1)
Trong đú s là tổng số cỏc mẫu học, m là số lƣợng cỏc nơ ron lớp ra, G là tổng bỡnh phƣơng lỗi của S mẫu và zij là đầu ra của mạng nơron.
89
Chọn lọc
Cỏc giỏ trị thớch nghi đƣợc tớnh toỏn và thực hiện phộp chọn lọc bằng phƣơng phỏp lựa chọn bỏnh xe roulette. Kết quả là cỏc cỏ thể với độ thớch nghi cao đƣợc chọn vào thế hệ kế tiếp của quần thể.
Lai tạo
Phộp lai tạo kết hợp cỏc đặc điểm cú trong cỏ thể cha mẹ hỡnh thành nờn cỏ thể con bằng cỏch phối ghộp cỏc đoạn tƣơng ứng từ cỏc thể cha mẹ. Vị trớ lai tạo đƣợc lựa chọn tựy theo độ thớch nghi trong mỗi thế hệ theo phƣơng trỡnh sau:
[ ( , ) ] [0... ]
r fit
C ROUND F i j L L (3.2)
Với ROUND(.) là hàm xỏc định số nguyờn gần nhất thỏa món. Nếu vị trớ lai tạo càng lớn cỏc thể con sẽ chứa nhiều đặc điểm trong cỏ thể mẹ.
Đột biến
Để trỏnh rơi vào cỏc điểm tối ƣu cục bộ, cỏc cỏ thể đƣợc thay đổi một cỏch ngẫu nhiờn với vị trớ đột biến Mr nhƣ sau:
[( ) / ] 0...
r r b b
M ROUND L C M L M (3.3)
Với Mb là giới hạn trờn của vị trớ đột biến. Theo thời gian, độ thớch nghi sẽ dần tăng và cỏc phộp lai tạo đột biến cũng đƣợc thực hiện. Quỏ trỡnh tiến húa sẽ đƣợc thực hiện cho đến khi đạt đến độ thớch nghi mong muốn.
Với việc lai ghộp này, giải thuật lan truyền ngƣợc sai số lƣợc bỏ đi một số bƣớc sau:
- Khụng khởi tạo cỏc giỏ trị trọng số ban đầu vỡ tập trọng số đó đƣợc lấy từ kết quả của giải thuật di truyền.
- Thành phần quỏn tớnh trong cỏc phƣơng trỡnh hiệu chỉnh trọng số là khụng cần thiết vỡ tập trọng số xuất phỏt đó khỏ gần lời giải; tỏc dụng chống dao động và thay đổi đột ngột cỏc trọng số theo hƣớng khỏc với hƣớng của lời giải trở nờn khụng cần thiết.
90 Thuật toỏn kết hợp giải thuật vƣợt khe và giải thuật di truyền cho mạng MLP đƣợc đề xuất trong hỡnh 3.1. Nú bao gồm hai giai đoạn luyện mạng. Giai đoạn đầu tiờn sử dụng thuật toỏn di truyền với bƣớc truyền thẳng nhằm đẩy nhanh toàn bộ quỏ trỡnh luyện mạng. Thuật toỏn di truyền thực hiện tỡm kiếm toàn cục và tỡm kiếm tối ƣu gần điểm ban đầu (trọng lƣợng vec-tơ) cho giai đoạn thứ hai. Trong đú, mỗi nhiễm sắc thể đƣợc sử dụng để mó húa cỏc trọng số của mạng nơron. Hàm thớch nghi (hàm mục tiờu) cho cỏc thuật toỏn di truyền đƣợc xỏc định là tổng bỡnh phƣơng lỗi (TSSE) của mạng nơron tƣơng ứng. Do đú, bài toỏn sẽ trở thành tối ƣu húa khụng giới hạn nhằm tỡm một tập hợp cỏc biến quyết định giảm thiểu hàm mục tiờu. Trong giai đoạn thứ 2 sẽ sử dụng kỹ thuật lan truyền ngƣợc với cỏc bƣớc học đƣợc thay đổi theo thuật toỏn vƣợt khe đó đƣợc đề xuất ở hỡnh 2.4.
Hỡnh 3.1: Sơ đồ thuật toỏn kết hợp giải thuật vượt khe và di truyền cho luyện mạng MP
91