Thuật toán giả định luyện kim

Một phần của tài liệu Mạng nơ-ron nhân tạo trong kiểm soát nội dung hình ảnh (Trang 59)

Kỹ thuật giả định luyện kim (simulated annealing) là một quá trình luyện kim, trong đó sự sắp xếp ngẫu nhiên của các phân tử các bon trong thép được chuyển đổi thành một kim loại có cấu trúc lớp ít giòn hơn. Quá trình này bao gồm việc nung kim

loại ở một nhiệt độ rất cao và sau đó làm lạnh từ từ. Các phân tử ở nhiệt độ cao có mức năng lượng cao, là cho các phân tử này chuyển động. Khi mà nhiệt độ giảm đi, các chuyển động cũng giảm đi và chúng được sắp xếp thành các lớp.

Ý tưởng này được áp dụng vào các thuật toán huấn luyện cho mạng nơ-ron. Nhiệt độ được coi như là hệ số học được giảm dần. Ý tưởng ở đây là nếu mạng gặp phải một điểm cực trị địa phương thì nó sẽ được “rung” (shake) để có thể thoát khỏi cực trị địa phương. Nếu như “nhiệt độ” được giữ không đổi thì hệ sẽ chỉ chuyển từ một điểm cực trị địa phương này sang một điểm cực trị địa phương khác và khó có thể ổn định. Nếu khả năng nhảy được giảm đều thì mạng sẽ có xu hướng đạt đến được điểm cực trị toàn cục. Và một khi mạng đạt đến điểm cực trị toàn cục thì mức rung sẽ không đủ để có thể khiến cho mạng bỏ qua nó.

Rõ ràng thuật toán giả luyện kim có dáng dấp của một thuật toán huấn luyện với hệ số học biến đổi, tuy nhiên, hệ số học trong thuật toán này được giảm dần trong khi, thuật toán huấn luyện sử dụng hệ số học biến đổi sẽ làm tăng hay giảm hệ số học tùy thuộc vào tình huống cụ thể khi sai số khi học là tăng hay giảm.

Một phần của tài liệu Mạng nơ-ron nhân tạo trong kiểm soát nội dung hình ảnh (Trang 59)