Bản chất của giải thuật BP là giải thuật tìm kiếm sử dụng kỹ thuật tìm kiếm
ng−ợc h−ớng gradient. Mặc dù dễ thực thi nh−ng giải thuật này bộc lộ một số nh−ợc điểm nh− sau:
1) Tại các vùng hoặc một số h−ớng mà bề mặt sai số bằng phẳng, các giá trị gradient nhỏ dẫn đến tốc độ hội tụ của giải thuật chậm [12].
2) Bề mặt sai số trong đa số các bài toán th−ờng không “lồi” mà có nhiều vùng “lõm” khác nhau, nó phụ thuộc vào quá trình khởi tạo các trọng số ban đầu của mạng, điều đó dẫn đến giải thuật có thể bị tắc tại các cực trị địa ph−ơng (tắc tại các vùng “lõm”).
3) Các hàm kích hoạt của nơ ron và hàm giá tính tín hiệu sai số phải khả vi [22]. Điểu này là điểm bất lợi trong các ứng dụng sử dụng các hàm ng−ỡng làm hàm kích hoạt do tính không khả vi của chúng.
4) Hiệu năng tìm kiếm của giải thuật phụ thuộc vào các tham số luyện nh− số nơ ron trên lớp ẩn (tham số cấu trúc), giá trị các trọng số khởi tạo ban đầu, hằng số học α…Việc xác định các giá trị của chúng dễ đ−a tới tình thế tiến thoái l−ỡng lan giữa tốc độ hội tụ và sự dao động trong quá trình tìm kiếm.
Có rất nhiều các nghiên cứu đã đề xuất các cải tiến nhằm khắc phục các nh−ợc điểm trên nh− sử dụng tham số b−ớc đà, sử dụng hệ số học biến đổi, sử dụng gradient kết hợp, sử dụng thuật toán giả luyện kim, sử dụng giải thuật di truyền, ...
Luận văn nghiên cứu giải pháp tích hợp giải thuật GA với giải thuật BP nh− một giải thuật lai sử dụng để huấn luyện mạng nơ ron. Do sử dụng giải pháp này mà giải thuật BP sử dụng trong giải thuật lai chỉ sử dụng ph−ơng pháp cải tiến hệ số học biến đổi.
Ph−ơng pháp sử dụng hệ số học biến đổi
Trong thực tế, các hàm hiệu năng có dạng biểu diễn hình học là không đồng đều, có lúc có dạng phẳng (hàm không thay đổi giá trị hoặc thay đổi rất ít) hoặc có dạng phễu (giá trị của hàm thay đổi rất nhanh khi thay đổi tham số đầu vào). Nếu ta chỉ sử dụng hệ số học cố định thì có thể sẽ tốn thời gian tại các vùng phẳng. Vì vậy, ý t−ởng của giải thuật BP sử dụng hệ số học biến đổi là khi gặp vùng phẳng thì tăng hệ số học lên và ng−ợc lại khi gặp vùng dạng phễu thì giảm hệ số học đi.
Ng−ời ta đã đ−a ra rất nhiều ph−ơng pháp để thực hiện giải pháp trên, ở đây chỉ xin nêu ra một cách biến đổi hệ số học dựa trên hiệu năng của mạng [8]:
B−ớc 1: Nếu bình ph−ơng lỗi trên toàn bộ tập huấn luyện tăng một số phần trăm cho tr−ớc ξ (thông th−ờng là từ 1% cho đến 5%) sau một lần cập nhật trọng số thì bỏ qua việc cập nhật này, hệ số học đ−ợc nhân với một số hạng ρ nào đó (với 0 <
ρ < 1).
B−ớc 2: Nếu bình ph−ơng lỗi giảm sau một lần cập nhật trọng số, thì cập nhật đó là chấp nhận đ−ợc và hệ số học đ−ợc nhhân với một số hạng nào đó > 1.
B−ớc 3: Nếu bình ph−ơng lỗi tăng một l−ợng < ξ thì cập nhật trọng số là chấp nhận đ−ợc nh−ng hệ số học không thay đổi.