cho trường Đại học
Thuật giải mạng nơ-ron Hopfield dùng mã giả như sau: Khởi tạo u ( ngẫu nhiên)
Tính v sử dụng phương trình (23) For i= 1 to descent For j=1 to lặp For k=1 to N Cập nhập uk dùng phương trình (24) Cập nhập vk dùng phương trình (25) Tăng k Tính ổn định = 1 N k k v = ∆ ∑
Nếu tiêu chuẩn ổn định đã phù hợp, thốt vịng lặp j Tăng j
Chọn một nơ-ron ngẫu nhiên, và xoay tới ngưỡng Chuẩn hĩa u (uk →1nếu uk >0;uk →0 nếu uk <0) Tăng ị
(xem [9], p293-294) Mạng nơ-ron Hopfield dạng chuẩn khi được cập nhật theo phương trình (24) và (25) ở trên sẽ cực tiểu cả hai hàm năng lượng Hopefield và hàm phạt tối ưu tương ứng. Bản chất của việc giảm thiểu này là giảm độ dốc xuống, việc này sẽ gây một vài khĩ khăn cho việc hội tụở cực trị địa phương của hàm năng lượng. Chúng ta sẽ cịn gặp nhiều khĩ khăn hơn khi xem xét bản chất của các cực trị địa phương nàỵ Vì bài tốn tối ưu hĩa được thể hiện thơng qua một chuỗi các điều kiện phạt, rất khĩ để cân bằng các điều kiện này bằng cách lựa chọn các tham số phạt, trong trường hợp này là
, , ,
α β χ γ. Nếu số hạngα quá lớn so với ba số hạng cịn lại, lời giải bài tốn
nhiều khả năng sẽ cĩ xung đột giữa các lớp học, giáo viên, phịng học hay giữa cả ba ràng buộc với nhaụ Tương tự, nếu số hạng α quá nhỏ so với ba số hạng cịn lại, lời giải sẽ gần như khơng cĩ mâu thuẫn do các điều kiện hoặc bộ ba đã bị loại bỏ để giảm mâu thuẫn. Các cực trị địa phương này sẽ dẫn tới việc lập nên một thời khĩa biểu khơng hiệu quả. Để đạt được một thời khĩa biểu tốt, cực trị tồn cục phải được duy trì, tương ứng với chi phí bỏ ra bằng khơng theo phương trình (27) hoặc (31).
Rõ ràng, nếu các tham số phạt được chọn thích hợp để cân bằng các thành phần của bài tốn tối ưu, chúng ta vẫn phải đối mặt với các vấn đề gây ra bởi thuật tốn độ dốc xuống của quy tắc cập nhật. Trong phần này, chúng tơi sẽ trình bày một số sửa đổi để tránh khỏi cực trị địa phương. Các sửa đổi của chúng tơi dựa trên việc quan sát và nhận thấy mạng nơ-ron Hopfield hoạt động tốt nhất (đo lường bằng việc giảm hàm năng lượng một cách nhanh chĩng) trong suốt vài lần lặp lại đầu tiên. Một lần lặp lại được định nghĩa là
một lần cập nhật hồn tồn của tất cả các nơ-ron N dựa theo phương trình (24) và (25). Trong vài lần lặp lại đầu tiên, hàm năng lượng giảm nhanh chĩng và cải thiện từ từ sau đĩ, cho tới sau khoảng 50 vịng lặp thì gặp phải một cực trị địa phương và mạng dao động giữa nơ-ron trạng thái và tất cả giá trị năng lượng tương tự nhaụ Do đĩ, chúng tơi chấm dứt việc cập nhật sau một số ít lần lặp lại, đưa giá trị u về 0 hoặc 1 dựa trên giá trị v hiện tại, và khởi động lại quá trình. Quá trình này được lặp đi lặp lại một vài lần. Tính ngẫu nhiên ở cuối mỗi vịng được tạo ra bằng cách chọn ngẫu nhiên một nơ-ron và cho nĩ một trạng thái v bằng 0 hoặc 1. Một ngưỡng được dùng để kiểm sốt tính ngẫu nhiên, nếu ngưỡng là 0.5 thì tất cả các nơ-ron đều sẽ cĩ cơ hội ngang nhau để trở thành 0 hoặc 1, nhưng nếu như ngưỡng được tăng lên 0.9 thì sẽ chỉ cĩ 10% cơ hội cho 1 nơ-ron trở thành 1. Để cho phép một mức giảm bất kỳ dừng lại khi xuất hiện cực trị địa phương, chúng tơi cũng giới thiệu một phương pháp được gọi là ổn định, đếm số thay đổi trạng thái của nơ-ron trong một lần lặp 1 N k k v = ∆
∑ hoặc ∆v. Nếu trạng thái ổn định đo lường này dưới giá trị được xác định trước, mạng Hopfield cĩ thể dừng độ dốc hiện tại, xoay vịng của một nơ-ron, và tiếp tục với gốc khác. Tạo một số lần lặp linh hoạt, và tổng số lần lặp cho phép được giảm đi đáng kể cĩ thể.
Vì vậy, những sửa đổi đến mạng nơ-ron linh hoạt ở trên kết hợp với thuộc tính một khả năng tìm kiếm vơ hướng trong những đoạn ngắn độ dốc xuống, dùng để điều khiển vùng ổn định và xáo trộn ngẫu nhiên để thốt khỏi cực trị địa phương. Các tham số được xác định là các tham số phạt α β χ γ, , , như sau:
1. Số lần lặp lại tại mỗi dốc 2. Số dốc xuống
3. Điều kiện ổn định để chấm dứt sớm tại mỗi lần lặp 4. Số nơ-ron cho phép xoay đến khi kết thúc mỗi lần lặp
5. Ngưỡng xác định xác suất một nơ-ron một giá trị 1 khi đã xoay 6. Tổng số bước chạy thực hiện từ khởi tạo ngẫu nhiên u và v
Mạng nơ-ron rời rạc cĩ thời gian trễ cốđịnh ở cơng thức (24) tại ∆t=1.