Đây là giai đoạn quan trọng nhất của một hệ thống nhận dạng chữ viết tay, nó quyết định độ chính xác của hệ thống. Một số phƣơng pháp huấn luyện và nhận dạng đang đƣợc áp dụng phổ biến hiện nay [3]:
Đối sánh mẫu: Đây là kỹ thuật nhận dạng đơn giản nhất dựa trên cơ sở đối sánh các mẫu (prototype) với ký tự đầu vào để nhận dạng các ký tự đó. Nội dung cốt lõi của nó là đối sánh xác định mức độ giống nhau giữa hai vector ( các điểm, hình dạng, độ cong,...) trong không gian đặc trƣng của ký tự. Phƣơng pháp này thƣờng đƣợc áp dụng trong các văn bản chuẩn và đơn giản.
Tiếp cận cấu trúc: Trong phƣơng pháp này, mỗi đối tƣợng sẽ đƣợc mô tả
bằng các khái niệm cơ bản nhƣ: đoạn thẳng, cung,... đƣợc ghép nối và liên kết với nhau để tạo thành một ký tự. Từ các định nghĩa cơ sở của ký tự, ta sẽ đối sánh định nghĩa đó với mô tả cấu trúc của ký tự cần nhận dạng và đƣa ra kết luận. Có hai phƣơng pháp mô tả chính là: phƣơng pháp ngữ pháp và phƣơng pháp đồ thị.
Mạng Nơ-ron: Một mạng nơ ron đƣợc định nghĩa nhƣ một cấu trúc tính toán bao gồm nhiều bộ xử lý nơ ron đƣợc kết nối với nhau. Một mạng nơ ron có thể chứa nhiều nút, đầu ra của một nút đƣợc sử dụng cho một nút khác ở trong mạng và hàm quyết định cuối cùng phụ thuộc vào sự tƣơng tác phức tạp giữa các nút. Mặc dùng nguyên lý khác nhau, nhƣng hầu hết các kiến trúc của mạng nơ ron đều tƣơng đƣơng với các phƣơng pháp nhận dạng chữ viết bằng mẫu thống kê.
Mô hình Markov ẩn: Đây là một mô hình xác suất hữu hạn trạng thái theo kiểu phát sinh tiến trình bằng cách định nghĩa xác suất liên kết trên các chuỗi quan sát, bắt đầu từ trạng thái khởi đầu cho đến khi thu đƣợc trạng thái kết thúc. Tại mỗi trạng thái thì một phần tử của chuỗi quan sát đƣợc phát sinh ngẫu nhiên trƣớc khi chuyển sang trạng thái tiếp theo. Các trạng thái của mô hình Markov đƣợc xem là ẩn bên trong mô hình vì tại mỗi thời điểm chỉ nhìn thấy các ký hiệu quan sát còn các trạng thái cũng nhƣ sự chuyển đổi trạng thái đƣợc vận hành ẩn bên trong mô hình.
Máy vector hỗ trợ: Đây là phƣơng pháp học máy tiên tiến đang đƣợc áp
dụng rất nhiều trong các lĩnh vực khai phá dữ liệu và thị giác máy tính... Bài toán máy vector hỗ trợ đầu tiên đƣợc thiết kế để giải bài toán phân lớp nhị phân, ý tƣởng chính của phƣơng pháp này là tìm một siêu phẳng phân cách sao cho khoảng cách lề giữa hai lớp đạt cực đại. Khoảng cách này đƣợc xác định bởi các vector hỗ trợ, các vector này đƣợc lọc ra từ tập mẫu huấn luyện bằng cách giải một bài toán tối ƣu lồi. Đây cũng là phƣơng pháp nghiên cứu chính của đề tài và đƣợc trình bày chi tiết ở chƣơng kế tiếp.
Máy vector hỗ trợ và hàm nhân: Sau khi trải qua quá trình trích chọn
đặc trƣng của một ký tự, ta sẽ thu đƣợc các vector đặc trƣng của một ký tự, các vector này đƣợc sắp xếp một cách không tuyến tính. Quá trình áp dụng máy vector hỗ trợ vào bài toán nhận dạng chữ viết tay cần phải sử dụng đến các hàm nhân để có thể phân lớp dữ liệu đƣợc tốt hơn.