Có hai trường phái tư duy quan tâm về điểm mà việc huấn luyện nên được ngừng lại. Các căng thẳng đầu tiên là sự nguy hiểm của việc đánh bẫy trong các mức cực tiểu cục bộ và sự khó khăn của việc đạt đến một mức cực tiểu chung. Nhà nghiên cứu nên chỉ dừng việc huấn luyện cho đến khi không có sự cải tiến nào trong công thức sai số được dựa trên một số lượng hợp lý các trọng số ban đầu được lựa chọn ngẫu nhiên. Điểm mà mạng lưới không cải tiến được gọi là sự hội tụ. Cách nhìn thứ hai tán thành một chuỗi các gián đoạn mang tính huấn luyện. Việc huấn luyện được dừng lại sau khi một số lượng các gián đoạn được định trước và khả năng của mạng lưới là tổng quát hóa các quá trình kiểm tra đã được đánh giá và quá trình huấn luyện được tiếp tục. Việc tổng quát hóa là ý kiến mà một mô hình dựa trên vật mẫu của dữ liệu thì thích hợp cho việc dự báo tổng số lượng. Mạng lưới mà trong đó việc xếp đặt huấn luyện lỗi sai được chọn từ khi nó được cho rằng để khái quát hóa tốt nhất.
Sự phê bình các thủ tục huấn luyện – kiểm tra rằng là các gián đoạn của các quá trình huấn luyện – kiểm tra thêm vào có thể gây ra lỗi sai trong việc xếp đặt huấn luyện – kiểm tra để rời xa hơn trước khi tăng trở lại hoặc nó thậm chí có thể rơi theo đường tiệm cận. Nói một cách khác, nhà nghiên cứu không có cách nào để biết được nếu việc huấn luyện thêm có thể cải thiện khả năng khái quát hóa một cách đặc biệt của mạng lưới khi mà các trọng số ban đầu được lựa chọn ngẫn nhiên.
Cả hai trường phái đều đồng ý rằng khái quát hóa quá trình công nhận là mục tiêu cuối cùng và cả hai trường phái này đều sử dụng các tập hợp kiểm tra để đánh giá một số lượng lớn các mạng lưới. Điểm mà cả hai trường phái tiếp cận các trung tâm khởi hành với ý niệm của việc huấn luyện quá nhiều chống lại với việc “học quá mức”. Sự hội tụ tiếp cận đến các trạng thái không có huấn luyện quá mức mà chỉ có “học quá mức”. “Học quá mức” chỉ đơn giản là dấu hiệu của một mạng lưới mà có quá nhiều trọng số. Giải pháp nhằm để giảm thiểu số lượng các neural ẩn (hoặc các lớp ẩn nếu có hơn 1) và (hoặc) gia tăng kích cỡ của tập hợp huấn luyện. Việc huấn luyện – kiểm tra nhằm cố gắng để cảnh giác chống lại “học quá mức” bằng cách dừng lại việc huấn luyện dựa trên khả năng khái quát hóa của mạng lưới.
Ưu điểm của lối tiếp cận hội tụ là chúng có thể thêm tin cậy rằng mức tối thiểu chung đã được đạt đến. Sự tái tạo thì dường như khó khăn cho việc huấn luyện tiếp cận đến các trọng số ban đầu được đưa ra một cách ngẫu nhiên thường xuyên và sự tương quan có thể dao động dữ dội như các tiến trình huấn luyện. Một ưu điểm khác là nhà nghiên cứu có ít hơn hai thông số để lo lắng; cụ thể là điểm mà tại đó để dừng việc huấn luyện và phương pháp để đánh giá những gì của các huấn luyện của các mạng lưới là tối ưu. Một ưu điểm của việc tiếp cận các huấn luyện có thể là các mạng lưới với ít cấp độ tự do có thể được thi hành với sự khái quát hóa tốt hơn là sự hội tụ của việc huấn luyện mà đưa ra kết quả trong “học quá mức”. Tuy nhiên, công việc mang tính kinh nghiệm không được nhằm vào kết quả này một cách đặc biệt. Việc tiếp cận huấn luyện có thể cũng yêu cầu ít thời gian huấn luyện hơn.
Mục tiêu của sự hội tụ huấn luyện là nhằm với tới một mức tối thiểu chung. Điều đó yêu cầu việc huấn luyện cho đủ số lượng của các epoch sử dụng một số lượng hợp lý các trọng số ban đầu được chọn lựa một cách ngẫu nhiên. Thậm chí không có sự bảo đảm với một mạng lưới Backpropagation rằng mức tối thiểu chung được đạt đến từ khi nó có thể trở nên bị mắc kẹt trong mức tối thiểu địa phương. Trong thực tế, các nguồn lực có sử dụng tính toán thì bị giới hạn và các giao dịch nảy
sinh. Nhà nghiên cứu phải sắp đặt lại số lượng các kết nối bên trong có thể thay đổi được để được huấn luyện, khoảng thời gian các neural ẩn nhiều hơn của mỗi mạng lưới được huấn luyện, số lượng của các trọng số ban đầu được chọn lựa một cách ngẫu nhiên, và số lượng tối đa của các cuộc hành trình ngắn. Ví dụ như, 50 kết nối có thể biến đổi bên trong được kiểm tra nhiều hơn 3 neural tiềm ẩn khác nhau với 5 nhóm các trọng số ban đầu được chọn lựa một cách ngẫu nhiên và số lượng tối đa của quãng đường đi ngắn của 4.000 kết quả trong 3.000.000 epoch. Với cùng thời gian tính toán được yêu cầu cho 10 kết nối bên trong có thể biến đổi được kiểm tra cho hơn 6 neural ẩn với 6 nhóm các trọng số ban đầu được chọn lựa một cách ngẫu nhiên và 5.000 tỷ epoch.
Một phương pháp để xác định giá trị hợp lý cho số lượng tối đa các quãng đường đi ngắn là để vẽ sơ đồ ra sự tương quan, tổng của các sai số ước lệ, hoặc một phương pháp đo lường lỗi sai thích hợp khác cho mỗi epoch hoặc các khoảng thời gian đã được xác định trước đến một điểm mà nơi đó sự cải tiến không đáng kể (thường lên tới tối đa là 10,000 epoch). Mỗi epoch có thể được vẽ sơ đồ một cách dễ dàng nếu phần mềm mạng lưới neural tạo ra một dữ liệu thống kê hoặc, nếu như không đúng như thế, sự tương quan có thể được ghi nhận với khoảng thời gian từ 100 đến 200 từ màn hình máy vi tính. Sau khi vẽ sơ đồ sự tương quan của một số lượng các trọng số khởi đầu được chọn lựa một cách ngẫu nhiên, nhà nghiên cứu có thể chọn số lượng tối đa xu hướng được dựa trên điểm mà sự tương quan dừng việc gia tăng một cách nhanh chóng và dừng lại.
Nhiều nghiên cứu đã đề cập đến số lượng các epoch ghi nhận sự hội tụ từ 85 đến 5,000 epoch. Tuy nhiên, việc xếp loại thì rất rộng như 50,000 và 191,400 epoch và thời gian huấn luyện của 60 giờ đã được ghi nhận. Việc huấn luyện bị ảnh hưởng bởi nhiều tham số như là sự chọn lựa tỷ lệ tiếp thu kiến thức và mometum, các sự cải tiến độc quyền sở hữu đến thuật toán Backpropagation, nằm trong những cái khác nữa, mà khác nhau giữa các nghiên cứu và thật là khó khăn để xác định một giá trị chung cho số lượng tối đa các xu hướng. Ngoài ra, sự chính xác bằng số của phần mềm mạng lưới neural có thể ảnh hưởng đến việc huấn luyện bởi vì độ dốc
của các dẫn xuất sai số có thể trở nên rất nhỏ gây ra một vài chương trình mạng lưới neural để di chuyển về hướng sai nhờ vào các sai số mà có thể được tạo ra một cách nhanh chóng trong thuật toán huấn luyện có tính lặp đi lặp lại cao. Điều đó yêu cầu rằng các nhà nghiên cứu xác định số lượng các epoch được yêu cầu để đạt được sự cải tiến không đáng kể cho các vấn đề cụ thể của họ và kiểm tra càng nhiều các trọng số khởi đầu được chọn lựa một cách ngẫu nhiên càng nhiều thúc ép có sử dụng máy điện toán được cho phép