Một mạng lưới BP được huấn luyện để sử dụng một thuật toán dộ dốc xuống nhằm tuân theo các diễn biến của bề mặt sai số bằng cách luôn luôn di chuyển xuống một độ dốc nhất. Mục tiêu của việc huấn luyện này nhằm tối thiểu tổng các sai số ước lệ, đuợc định nghĩa như sau:
E = 2 1 M h Eh = 2 1 M h N i (thi – Ohi) 2
với E là tổng sai số của tất cả các mẫu hình, Eh là sai số trên mô hình h, chỉ số h
xếp hạng toàn bộ các mô hình đầu vào, và i ám chỉ i neural đầu ra. Giá trị thay đổi
thi là giá trị đầu ra được yêu cầu cho neural đầu ra ith khi mà mô hình h được trình bày. Nguyên tắc nghiên cứu để huấn luyện trọng số giữa neural i và j được định nghĩa như sau:
hi = (thi – Ohi) Ohi (1 – Ohi) (3) hi = Ohi (1- Ohi) N k hkwjk (4) Δwij (n + 1) = ε ( δhiOhj) (5) với: n là số trình bày
δhi là sai số của neural i của mô hình h
Tỷ lệ nghiên cứu thì mang tính cân xứng cố định nhằm xác định kích cỡ của các thay đổi trọng số. Thay đổi trọng số của một neural thì cân xứng với tác động của trọng số từ neural khác trên sai số đó. Sai số của neural bên ngoài và neural ẩn được tính toán bởi Eq. (3) và (4), thường dùng.
Hình 2.3. Ví dụ đơn giản về bề mặt sai số của Neural Network
Như là một sự tương đồng đối với thuật toán kiểm nghiệm BP, một khi có thể xem xét vấn đề trong việc cố gắng ném quả banh từ điểm A đến điểm C như trong hình 2.3, mặc dù trong thực tế bề mặt sai số là nhiều thứ nguyên của một đại lượng và không thể được trình bày dưới dạng đồ thị. Lực đẩy vào trái banh thì tương tự như tỷ lệ nghiên cứu. Việc áp dụng quá nhiều lực đẩy sẽ làm cho quả banh bắn xa hơn ra ngoài mục tiêu của nó và nó có thể không bao giờ trở lại điểm A hoặc nó có thể dao động chính giữa điểm A và diểm B. Trong suốt quá trình huấn luyện, tỷ lệ nghiên cứu mà quá cao bị khám phá khi công thức sai số đang thay đổi một cách dữ dội mà đang không chỉ ra một sự cải thiện tiếp tục. Quá ít lực đẩy vào quả banh và nó không thể thoát ra khỏi điểm A như là bằng chứng trong suốt quá trình huấn luyện khi có quá ít hoặc không có sự cải thiện nào trong công thức sai số. Một tỷ lệ nghiên cứu rất nhỏ cũng yêu cầu thêm thời gian huấn luyện. Trong trường hợp này, người nghiên cứu phải huấn luyện tỷ lệ nghiên cứu trong suốt quá trình huấn luyện hoặc “ tẩy não” mạng lưới bằng cách lựa chọn ngẫu nhiên tất cả các trọng số và thay đổi tỷ lệ nghiên cứu theo cách mới thông qua cài đặt việc huấn luyện. Một phương pháp nhằm gia tăng tỷ lệ nghiên cứu và nhờ đó tốc độ làm gia tăng thời gian huấn luyện mà không cần hướng đến sự dao dộng mà bao gồm lực đẩy
trong Backpropagation quy tắc huấn luyện. Thuật ngữ momentum chỉ ra rằng các thay đổi trọng số trong quá khứ tác động như thế nào đến các thay đổi trọng số ở hiện tại. Quy tắc huấn luyện được sửa đổi BP được định nghĩa như sau:
Δwij(n + 1) = ε( δhiOhi ) + α Δwij(n) (6)
với α là thuật ngữ động lượng, và các thuật ngữ khác đã được định nghĩa ở trên. Thuật ngữ động lượng ngăn chặn sự dao động từ bên này sang bên kia bằng cách lọc ra những thay đổi có tần số xuất hiện cao. Sự tìm kiếm sự hướng dẫn mới là tổng trọng số hiện tại và độ dốc trước đó.