Mặc dù rất quan trọng, nhưng không có công thức thần kỳ nào trong việc lựa chọn số lượng các neuron ẩn tốt nhất. Vì thế, các nhà nghiên cứu đều sa vào các thí nghiệm. Tuy nhiên, một vài quy luật ngón tay cái phát huy lợi thế.Việc số xấp xỉ gần đúng có thể tuân theo quy luật kim tự tháp được nghiên cứu bởi Masters. Với một Network gồm 3 lớp với n neuron đầu vào và m neuron đầu ra thì sẽ có
SQRT(n x m) neuron. Con số thực sự của neuron ẩn có thể dao động từ ½ đến 2 lần giá trị có được từ quy luật kim tự tháp phụ thuộc vào tính phức tạp của vấn đề.
Baily và Thompson đề nghị số lượng các neuron ẩn trong Neural Network ba lớp nên bằng 75% số lượng neuron đầu vào. Katz chỉ ra rằng số lượng neuron ẩn tốt nhất sẽ được tìm thấy trong khoảng từ ½ đến 3 lần số neuron đầu vào. Ersoy đề nghị nên gấp đôi số lượng các neuron ẩn cho đến khi mô hình Network thể hiện tốt trong giai đoạn kiểm tra. Klimasauskas đề nghị nên có ít nhất 5 lần giai đoạn huấn luyện, để tạo giới hạn trên cho số lượng các neuron đầu vào và neuron ẩn.
Điều quan trọng là cần phải chú ý đến quy luật tính toán số lượng các neuron ẩn là bội số của số lượng các neuron đầu vào cũng đã coi như ám chỉ rằng bước huấn luyện cũng cần ít nhất hai lần số lượng trọng số và có thể lớn hơn gấp bốn lần hoặc hơn thế nữa. Nếu không trong trường hợp này, những quy luật này sau này sẽ nhanh chóng dẫn các mô hình “khít quá mức” kể từ khi số lượng các neuron ẩn phụ thuộc hoàn toàn vào số lượng các neuron đầu vào (nó sẽ lần lượt quyết định số lượng các trọng số). Cách giải quyết này hoặc gia tăng kích cỡ của bước huấn luyện, hoặc nếu nó không thể, để xác lập mức giới hạn trên của các neuron đầu vào để số lượng các trọng số ít nhất cũng được phân nửa số lượng thực tế đã huấn luyện. Việc lựa chọn các biến đầu vào trở nên cực kỳ quan trọng trong một Neural Network nhỏ từ khi sự thoải mái trong việc lựa chọn số lượng biến đầu vào quá nhiều và cho nó phớt lờ đi những cái không phù hợp đang dần biến mất ngày càng nhiều.
Lựa chọn số lượng các neuron ẩn “tốt nhất” đòi hỏi cần phải huấn luyện. Ba phương pháp thường được sử dụng là phù hợp, phát triển và cấu trúc lại. Trong cách tiếp cận phù hợp, một nhóm các Neural Network với các neuron ẩn khác nhau đã được huấn luyện và mỗi cái được đánh giá trong phần kiểm tra sử dụng số lượng hợp lý các trọng số bắt đầu được lựa chọn một cách ngẫu nhiên. Việc gia tăng số lượng các neuron ẩn có thể là một hai hoặc nhiều hơn phụ thuộc vào các tài nguyên máy tính phù hợp. Việc đưa ra các tiêu chuẩn ước lượng (ví dụ như tổng các sai lệch ) trong phần kiểm tra như là một công thức của nhiều neuron ẩn cho mỗi Neural Network một cách phổ biến sản sinh ra một đồ thị sai lệch có dạng hình cái bát. Network với sai số ít nhất được thấy ở đáy bát đã được thu thập bởi vì
có thể phổ biến tốt nhất. Cách tiếp cận này mất nhiều thời gian, nhưng hầu như đều cho kết quả tốt.
Lối tiếp cận triển khai và cấu trúc lại bao gồm việc thay đổi số lượng các neuron ẩn trong quá trình huấn luyện hơn là tạo nên những Network riêng biệt với những neuron ẩn khác nhau như trong lối phù hợp. Nhiều phần mềm đóng gói Neural Network không hỗ trợ việc thêm vào hay bớt đi các neuron ẩn trong quá trình huấn luyện. Lối tiếp cận cấu trúc bao gồm việc thêm vào các neuron ẩn cho đến khi mô hình cho thấy làm xấu đi các yếu tố ban đầu. Lối tiếp cận cấu trúc lại cũng gần vậy ngoại trừ các neuron được xóa bỏ trong quá trình huấn luyện.
Dù cho phương pháp nào được sử dụng để thu thập các neuron ẩn cho quá trình kiểm tra, nguyên tắc là luôn lựa các neuron thể hiện tốt trong giai đoạn huấn luyện với số lượng neuron ẩn ít nhất. Khi kiểm tra một loạt các neuron ẩn, rất quan trọng để giữ tất cả các biến khác nhất quán. Việc thay đổi bất kỳ biến nào trong việc tạo ra ấn tượng tốt về một mô hình Neural Network mới với bộ mặt về các sai phạm tiềm tàng khác nhau, cái có thể làm phức tạp không cần thiết việc lựa chọn số lượng tốt nhất các neuron ẩn.