M Ở ĐẦ U
2.5.1. Thu ậ t toán gi ả luy ệ n kim (Simulated annealing)
Kỹ thuật tôi là một quá trình luyện kim, trong đó sự sắp xếp ngẫu nhiên của các phân tử
cácbon trong thép được chuyển đổi thành một kim loại có cấu trúc lớp ít giòn hơn. Quá trình này bao gồm việc nung kim loại ở một nhiệt độ rất cao và sau đó làm lạnh từ từ. Các phân tửở nhiệt độ cao có mức năng lượng cao, là cho các phân tử này chuyển động. Khi mà nhiệt độ giảm đi, các chuyển động cũng giảm đi và chúng được sắp xếp thành các lớp.
Ý tưởng này được áp dụng vào các thuật toán huấn luyện cho mạng nơron. Nhiệt độđược coi như là hệ số học được giảm dần. Ý tưởng ởđây là nếu mạng gặp phải một điểm cực trị địa phương thì nó sẽđược “rung” (shake) để có thể thoát khỏi cực trịđịa phương. Nếu như
“nhiệt độ” được giữ không đổi thì hệ sẽ chỉ chuyển từ một điểm cực trị địa phương này sang một điểm cực trị địa phương khác và khó có thể ổn định. Nếu khả năng nhảy được giảm đều thì mạng sẽ có xu hướng đạt đến được điểm cực trị toàn cục. Và một khi mạng
đạt đến điểm cực trị toàn cục thì mức rung sẽ không đủ để có thể khiến cho mạng bỏ qua nó.
Rõ ràng thuật toán giả luyện kim có dáng dấp của một thuật toán huấn luyện với hệ số học biến đổi, tuy nhiên, hệ số học trong thuật toán này được giảm dần trong khi, thuật toán huấn luyện sử dụng hệ số học biến đổi sẽ làm tăng hay giảm hệ số học tùy thuộc vào tình huống cụ thể khi sai số khi học là tăng hay giảm.