Đây thực chất là một thuật toán tìm kiếm điểm tối ưu trong không gian của các tham số.
Thuật toán di truyền là kỹ thuật bắt chước sự chọn lọc tự nhiên và di truyền. Trong tự nhiên, các cá thể khỏe, có khả năng thích nghi tốt với môi trường sẽ được tái sinh và nhân bản trong các thế hệ sau.
Trong giải thuật di truyền, mỗi cá thể được mã hóa bởi một cấu trúc dữ liệu mô tả cấu trúcgien của mỗi cá thể đó, gọi là nhiễm sắc thể. Mỗi nhiễm sắc thể được tạo thành từ các đơn vị gọi là gien. Chẳng hạn như là một chuỗi nhị phân, tức là mỗi cá thể được biểu diễn bởi một chuỗi nhị phân.
Giải thuật di truyền sẽ làm việc trên các quần thể gồm nhiều cá thể. Một quần thể ứng với một giai đoạn phát triển được gọi là một thế hệ. Từ thế hệ đầu được tạo ra, giải thuật di truyền bắt chước chọn lọc tự nhiên và di truyền để biến đổi các thế hệ. Giải thuật di truyền sử dụng các toán tử: tái sinh (reproduction): các cá thể tốt được đưa vào thế hệ sau dựa vào độ thích nghi đối với môi trường của mỗi cá thể (xác định bởi hàm thích nghi (fitness function); toán tử lai ghép (crossover): hai cá thể cha, mẹ trao đổi các gien để tạo ra hai cá thể con; toán tử đột biến (mutation): một cá thể thay đổi một số gien để tạo thành cá thể mới. Việc áp dụng các toán tử trên đối với các quần thể là ngẫu nhiên.
Thuật toán di truyền bắt đầu bằng việc khởi tạo quần thể ban đầu, sau đó thực hiện lặp lại các bước: sinh ra thế hệ mới từ thế hệ ban đầu bằng cách áp dụng các toán tử lai ghép, đột biến, tái sinh; đánh giá thế hệ mới sinh ra; cho đến khi điều kiện kết
thúc được thỏa mãn.Khi thuật toán dừng, cá thể tốt nhất được lựa chọn làm nghiệm cần tìm.
Có thể thấy, thuật toán di truyền có liên quan đến kỹ thuật tìm kiếm điểm tối ưu. Thực chất, nó có thể coi như là một kỹ thuật khác để huấn luyện mạng nơ-ron để giải quyết các bài toán. Nó liên quan đến việc mã hóa các tham số của mạng nơ-ron bằng các nhiễm sắc thể. Các tham số ban đầu được khởi tạo ngẫu nhiên nhiều lần tạo ra quần thể ban đầu. Khi đó, hàm thích nghi của các cá thể (tập các trọng số) được xác định bằng cách tính toán lỗi đầu ra của mạng. Nếu điều kiện dừng thỏa mãn thì quá trình huấn luyện dừng lại, nếu không, sẽ thực hiện các toán tử chọn lọc, lai ghép, đột biến trên các cá thể để tạo ra quần thể mới. Các nghiên cứu cho thấy rằng thuật toán di truyền có thể được xem như một thuật toán tốt dùng để huấn luyện mạng.
Chương 3: CHƯƠNG TRÌNH THỬ NGHIỆM