٧ là hệ số chiết khấu được sử dụng để cân bằng mức độ tập trung vào hiện tại và phần thưởng trong tương lai.
4.1. Di truyền Tiến hóa
Ý tưởng về thuật tốn di truyền tiến hóa xuất phát từ thuyết tiến hóa của Darwin. Theo thuyết tiến hóa của Darwin mỗi quần thể có nhiều cá thể khác nhau, qua quá trình chọn lọc tự nhiên, những cá thể mạnh sẽ sống và sinh ra thế hệ tiếp theo còn những cá thể yếu sẽ bị loại bỏ.
Trong thuật tốn di truyền tiến hóa các thành phần có mối liên hệ với nhau: ● Quần thể: Một quần thể ban đầu sẽ có những cá thể nhất định với những đặc
tính khác nhau, những đặc tính này giúp quyết định khả năng thích nghi trong mơi trường.
● Chọn lọc tự nhiên: Theo thời gian những cá thể yếu hơn, khơng có khả năng sinh tồn sẽ bị loại bỏ. Cuối cùng sẽ cịn lại những cá thể có đặc tính ưu việt hơn sẽ được giữ lại.
● Đột biến: Cá thể con được sinh ra sẽ kế thừa đặc tính của cá thể cha trước đó và có khả năng đột biến để có đặc tính ưu việt hơn cá thể cha.
● Tiến hóa: Khơng phải cá thể đột biến nào cũng có đặc tính ưu việt hơn cá thể cha trước đó. Chọn lọc tự nhiên sẽ lọc ra những cá thể đột biến có thể sống và thích nghi tốt hơn những cá thể khác trong quần thể.
Khi sử dụng thuật tốn di truyền tiến hóa có hai điều cần phải lưu ý đó là phân biệt được cá thể vượt trội hơn so với cá thể khác và cân bằng tỷ lệ đột biến của cá thể con.
4.2. NEAT
NEAT là một thuật tốn di truyền tiến hóa tạo ra các mạng thần kinh nhân tạo. Nó được mơ phỏng dựa theo q trình tiến hóa di truyền. NEAT khơng cần dữ liệu có sẵn khi đào tạo AI.
NEAT đào tạo AI bằng cách tạo ra nhiều bộ gen, mỗi bộ gen bao gồm danh sách các gen nút và gen kết nối được kết nối với đầu vào của hệ thống và đưa ra kết