b. Sử dụng giải thuật
3.1.4. Một số cải tiến của giải thuật BP
Bản chất của giải thuật BP là giải thuật tìm kiếm sử dụng kỹ thuật tìm kiếm
ngợc hớng gradient. Mặc dù dễ thực thi nhng giải thuật này bộc lộ một số nhợc điểm
nh sau:
1) Tại các vùng hoặc một số hớng mà bề mặt sai số bằng phẳng, các giá trị gradient nhỏ dẫn đến tốc độ hội tụ của giải thuật chậm [22].
2) Bề mặt sai số trong đa số các bài toán thờng không “lồi” mà có nhiều vùng “lõm” khác nhau, nó phụ thuộc vào quá trình khởi tạo các trọng số ban đầu của mạng, điều đó dẫn đến giải thuật có thể bị tắc tại các cực trị địa phơng (tắc tại các vùng “lõm”).
3) Các hàm kích hoạt của nơ ron và hàm giá tính tín hiệu sai số phải khả vi [22]. Điểu này là điểm bất lợi trong các ứng dụng sử dụng các hàm ngỡng làm hàm kích hoạt do tính không khả vi của chúng.
4) Hiệu năng tìm kiếm của giải thuật phụ thuộc vào các tham số luyện nh số nơ ron trên lớp ẩn (tham số cấu trúc), giá trị các trọng số khởi tạo ban đầu, hằng số học α…Việc xác định các giá trị của chúng dễ đa tới tình thế tiến thoái lỡng lan giữa tốc độ hội tụ và sự dao động trong quá trình tìm kiếm.
Có rất nhiều các nghiên cứu đã đề xuất các cải tiến nhằm khắc phục các nhợc điểm trên nh sử dụng tham số bớc đà, sử dụng hệ số học biến đổi, sử dụng gradient kết hợp, sử dụng thuật toán giả luyện kim, sử dụng giải thuật di truyền [9, 17, 19,… 20, 23].
Luận văn nghiên cứu giải pháp tích hợp giải thuật GA với giải thuật BP nh một giải thuật lai sử dụng để huấn luyện mạng nơ ron. Do sử dụng giải pháp này mà giải thuật BP sử dụng trong giải thuật lai chỉ sử dụng phơng pháp cải tiến hệ số học biến đổi.
Phơng pháp sử dụng hệ số học biến đổi
Trong thực tế, các hàm hiệu năng có dạng biểu diễn hình học là không đồng đều, có lúc có dạng phẳng (hàm không thay đổi giá trị hoặc thay đổi rất ít) hoặc có dạng phễu (giá trị của hàm thay đổi rất nhanh khi thay đổi tham số đầu vào). Nếu ta chỉ sử dụng hệ số học cố định thì có thể sẽ tốn thời gian tại các vùng phẳng. Vì vậy, ý tởng của giải thuật BP sử dụng hệ số học biến đổi là khi gặp vùng phẳng thì tăng hệ số học lên và ngợc lại khi gặp vùng dạng phễu thì giảm hệ số học đi.
Ngời ta đã đa ra rất nhiều phơng pháp để thực hiện giải pháp trên, ở đây chỉ xin nêu ra một cách biến đổi hệ số học dựa trên hiệu năng của mạng [17]:
Bớc 1: Nếu bình phơng lỗi trên toàn bộ tập huấn luyện tăng một số phần trăm
cho trớc ξ (thông thờng là từ 1% cho đến 5%) sau một lần cập nhật trọng số thì bỏ qua việc cập nhật này, hệ số học đợc nhân với một số hạng ρ nào đó (với 0 < ρ < 1).
Bớc 2: Nếu bình phơng lỗi giảm sau một lần cập nhật trọng số, thì cập nhật
Bớc 3: Nếu bình phơng lỗi tăng một lợng < ξ thì cập nhật trọng số là chấp nhận đợc nhng hệ số học không thay đổi.
3.2. Sử dụng giải thuật di truyền kết hợp với giải thuật lan truyền ngợc của sai số trong việc huấn luyện mạng nơ ron truyền thẳng nhiều lớp