Từ những lớp perceptrons đơn, là thành phần chính cho việc xây dựng những lớp phân loại tuyến tính, những hệ phân loại mạng neural mạnh hơn đã được phát triển. Mạng thông dụng nhất là Mạng nuôi tiến nhiều lớp (Multi Layer feedforward Network) huấn luyện bởi giải thuật lan truyền ngược (backpropagation). Mạng này với một lớp ẩn thì thông dụng cho những hệ phân loại, chúng có thể xấp xỉ những hàm quyết định phức tạp nếu cung cấp đủ số neural bên trong lớp ẩn .Tuy nhiên, không có quy tắc đơn giản nào cho biết như thế nào là đủ hoặc thiếu những neural lớp ẩn để học một hàm đã cho. Cách duy nhất là thử và chọn cho đến khi có một mạng tốt nhất.
Quá trình nhận dạng cổ điển được tách ra thành những bước xử lý trước và sự phân loại kế tiếp. Trong cách tiếp cận chúng ta, những thao tác xử lý trước có thể không cần thiết khi sử dụng mạng nơron vì khả năng chịu nhiễu rất tốt của nó.
Các kiểu chữ do những người khác nhau thực hiện. Những người này vẽ những chữ số thẳng góc để làm giới hạn bớt sự đa dạng lớn của những kích thước và những kiểu viết. Những chữ số được số hóa bởi một scanner: những chữ số đen và trắng nhị phân. Ngoài những sự biến đổi kiểu kích thước và ghi, vấn đề phân đoạn làm khó hơn bởi sự tồn tại của những chữ số gối lên nhau, những dấu ngang và những sự đánh dấu trên phong bì, hay các dấu gạch trên biển số xe. Bởi vậy, nhiều chữ số bị cắt một phần, bao gồm bên ngoài những sự dánh dấu hoặc những phần từ những chữ số khác, và vài chữ số không thể được phân vùng được
Tập mẫu huấn luyện và tập mẫu thử của dữ liệu mà những cơ sở chứa đựng không rõ ràng có những mẫu có thể nhận ra được tuy khó khăn có vài mẫu thì thậm chí được gán cho lớp sai trong lúc phân loại.
Sự lựa chọn hình thức trình bày dữ liệu thích hợp là một điểm khẩn yếu khi nào giải quyết một nhiệm vụ phân loại, hoặc với một có thể dạy được hoặc với một hệ phân loại không có thể dạy được. Nếu một kiểu dữ liệu có nhiễu một cách tương đối được sử dụng, thì cần phải có một tập mẫu đủ lớn để huấn luyện mới có những kết quả thỏa mãn. Bởi vì hệ phân loại trên tập hợp mẫu thử thì khá gần với những đặc tính của tập huấn luyện.
Cho một kiểu dữ liệu đã cho, một siêu phẳng tối ưu phân ra những lớp trong N-chiều nhập vào không gian có thể được tìm thấy nếu những phân phối xác suất nằm bên dưới cũng được biết hoặc đánh giá đúng đắn. Siêu phẳng này có thể được xấp xỉ bởi việc huấn luyện hệ phân loại mạng neural nào đó trên những mẫu của tập huấn luyện. Hệ phân loại có một tập hợp những tham số, những trọng số trong trường hợp của một mạng neural, phải được xác định. Với câu hỏi vừa rồi : Làm sao nhiều mẫu huấn luyện được dùng đến đạt được một độ chính xác đã cho của việc xấp xỉ? Trong khi trả lời tới câu hỏi này chắc chắn đầy đủ phụ thuộc vào sự phức tạp của vấn đề phân loại tại chỗ, nó là số mẫu cần phải có đểù đạt được một độ chính xác đã cho nó phụ thuộc vào lũy thừa với kích thước N của không gian đầu vào , đây là khó khăn đặc biệt cho việc nhận biết thế giới thực mà những vấn đề như nhiệm vụ nhận dạng chữ số sẽ bàn luận ở đây.