Nhƣ chúng ta đã biết việc huấn luyện mạng nơ ron nhằm xây dựng bộ trọng số tối ƣu dựa trên tập mẫu huấn luyện có trƣớc, các giải thuật huấn luyện truyền thống đã đƣợc luận văn đề cập ở chƣơng 1, cụ thể:
Giả sử tập mẫu dùng để huấn luyện mạng gồm mẫu , k=1,2,.., thủ tục BP xây dựng một chuỗi các hàm sai số
Trong đó:
m : là số nơ ron đầu ra
là thành phần thứ j của vectơ ra mong muốn
là thành phần thứ j của vectơ ra mong muốn do lan truyền đầu vào
Các hàm sai số này lần lƣợt đƣợc tối thiểu trong không gian các trọng số. Giá trị hàm sai số đối với một mẫu đƣợc tính toán dựa trên giá trị các trọng số hiện tạị
Khi triển khai ứng dụng giải thuật di truyền để huấn luyện mạng, chúng ta vẫn tuân thủ nguyên tắc huấn luyện trên, đó là tối thiểu hóa các hàm sai số. Do đó hàm mục tiêu của giải thuật di truyền chính là các hàm sai số, trong khuôn khổ luận văn này em sử dụng hàm mục tiêu là tổng các hàm sai số:
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnụedụvn/
Trong phần nàychúng ta sử dụng giải thuật di truyền nhƣ một bộ khởi tạo trọng số cho mạng nơ ron. Sau khi khởi tạo trọng số thì tập trọng số đó đƣợc mã hóa thành các nhiễm sắc thể; bƣớc tiếp theo là chúng ta tiến hành một số các biện pháp nhƣ lai ghép, đột biến để có thể cho ra một bộ trọng số tốt nhất. Đây chính là quá trình tiến hóa trong giải thuật di truyền. Sau bƣớc này chúng ta có đƣợc những cá thể tốt nhất trong quần thể với độ thích nghi cao hơn và lấy nó làm trọng số khởi tạo cho mạng nơ ron.
Trong chƣơng 2 chúng ta đã tìm hiểu về giải thuật di truyền mã hóa số thực. Trong phần này chúng ta sẽ áp dụng giải thuật di truyền mã hóa số thực vào mã hóa trọng số của mạng nơ ron. Việc áp dụng này làm tăng khả năng tính toán chính xác, làm giảm thời gian hoạt động của mạng xuống đáng kể, một điểm đặc biệt là giảm kích thƣớc của nhiễm sắc thể so với giải thuật di truyền mã hóa nhị phân. Các nhiễm sắc thể trọng số đƣợc khởi tạo ngẫu nhiên trong đoạn [-30,30].
Kích thƣớc của mỗi gen đƣợc tính toán theo công thức: lchrom=ins*hids+hids*outs
Trong đó:
Ins: là số nơ ron lớp vào Hids: là số nơ ron lớp ẩn Outs: là số nơ ron lớp ra
Với giải thuật di truyền mã hóa số thực mà chúng ta áp dụng thì chúng ta cần áp dụng các toán tử đột biến, toán tử lai tạo nhƣ mục 2.4.1 và 2.4.2 đã giới thiệu trong chƣơng 2.
Nhiễm sắc thể(18.8834, 24.3475,-22.3808, 24.8026,7.9416,-24.1476,- 13.2901, 2.8129, 27.4504) đƣợc mã hóa và đƣa vào làm trọng số cho mạng nơ ron nhƣ hình 3.1 sau:
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnụedụvn/ Hình 3.1: Mã hóa trọng số biểu diễn thập phân trong mạng nơ ron
Các tham số của giải thuật di truyền nhƣ xác xuất lai ghép, xác xuất đột biến p_cross, p_mu đƣợc lựa chọn theo phƣơng pháp thử và với giá trị là 0.8 đƣợc xem là giá trị xuất phát tốt nhất trong các trƣờng hợp thử nghiệm.
Ở chƣơng 2 chúng ta đã tìm hiểu về giải thuật di truyền và có đƣợc thuật toán giải thuật di truyền theo sơ đồ nhƣ hình 3.2 sau:
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnụedụvn/ Hình 3.2: Sơ đồ giải thuật di truyền
Dựa vào sơ đồ giải thuật di truyền chúng ta kết hợp giải thuật di truyền vào huấn luyện mạng nơ ron. Kết thúc giải thuật di truyền chúng ta có đƣợc bộ trọng số tốt nhất cho việc huấn luyện mạng.
Với việc dùng giải thuật di truyền huấn luyện mạng nơ ron thì mạng nơ ron không tự khởi tạo trọng số mà sẽ nhận trọng số từ giải thuật di truyền.
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnụedụvn/
Giải thuật di truyền đóng vai trò khởi tạo trọng số, tiến hành đột biến, lai ghép, chọn lọc, tái tạo xây dựng lại quần thể mới tốt hơn, tối ƣu nhất rồi lấy các trọng số đó làm trọng số cho mạng nơ ron.
Độ thích nghi của các cá thể đƣợc lấy chính bằng giá chị hàm mục tiêu, có nghĩa là tổng sai số của các mẫu huấn luyện mạng đƣợc truyền thẳng qua mạng (trọng số của mạng chính là các cá thể), độ thích nghi của cá thể đƣợc xác định bởi hàm sau:
Input:
-Các trọng số của mạng (mỗi cá thể lời giải) -Tập mẫu huấn luyện {(x(k), d(k))},
Bƣớc 1. (vòng luyện): sử dụng mẫu đầu vào thứ k cho lớp nhập (q = 1)
Bƣớc 2. (Lan truyền thẳng tín hiệu): lan truyền thẳng tín hiệu qua mạng theo công thức:
Output: Tổng sai số
Nhƣ vậy kết thúc giải thuật di truyền ta sẽ xác định đƣợc cá thể có tổng sai số giữa đầu ra mạng và dữ liệu mẫu nhỏ nhất, cá thể xác định đƣợc sẽ là bộ trọng số của mạng và quá trình huấn luyện mạng kết thúc