Qui trình hoạt động của hệ thống được mô tả một cách chi tiết trên sơ đồ Hình 3.1. Với mỗi văn bản đầu vào, quá trình nhận dạng được chia thành 3 giai đoạn cơ bản
• Giai đoạn tiền nhận dạng, các công việc chính cần thực hiện trong giai đoạn này là: Thu nhận ảnh đầu vào (chuyển từ văn bản trên giấy sang các file ảnh văn bản thông qua một máy quét (scanner) ), tiền xử lý các file ảnh (nhằm nâng cao chất lượng ảnh đầu vào) và phân đoạn trang văn bản. Quá trình phân đoạn trang văn bản thực hiện theo nguyên tắc Top-Down – ảnh văn bản đầu vào được phân tích thành các khối nhỏ dần cho đến khi không thể phân nhỏ hơn được nữa. Trong hệ thống này, ảnh của ký tự viết tay được coi là thông tin nhỏ nhất trên ảnh đầu vào. Ở đây tác giả chỉ tập trung vào việc sử dụng sẵn các ký tự viết tay sau khi đã được khử nhiễu, và đã được tách ra khỏi từ.
• Giai đoạn nhận dạng: ảnh của các ký tự thu được sau quá trình phân đoạn trang văn bản và tách ra khỏi từ sẽ được chuyển đến để nhận dạng bởi bộ nhận dạng từ. Quá trình hoạt động của bộ nhận dạng đã được mô tả chi tiết ở chương 2. Sau khi kết thúc quá trình nhận dạng, ta sẽ thu được ký tự được nhận dạng theo giá trị tương ứng, ký tự được nhận dạng chính là ký tự có giá trị tương ứng lớn nhất.
• Giai đoạn hậu nhận dạng: Giai đoạn này được thực hiện ngay sau khi quá trình nhận dạng kết thúc. Các công việc chính được thực hiện trong giai đoạn này là: Tái tạo (khôi phục) lỗi văn bản đầu vào, hậu xử lý và lưu lại văn bản kết quả đã nhận dạng được. Ngược với quá trình phân đoạn, quá trình tái tạo lại văn bản được thực hiện theo nguyên tắc Bottom-Up: Tiến hành ghép các thành phần nhỏ nhất (các từ đã được nhận dạng) lại với nhau để tạo thành khối lớn hơn (các dòng văn bản), sau đó các khối này sẽ tiếp tục được ghép lại với nhau cho đến khi thu được toàn bộ văn bản. Sau khi toàn bộ văn bản đã được tái tạo, ta tiếp tục thực hiện quá trình hậu xử lý nhằm nâng cao chất lượng nhận dạng thông qua các thao tác soát lỗi chính tả, kiểm tra cú pháp, ngữ nghĩa của câu, v.v. Tuy nhiên, do hạn chế về mặt thời gian nên luận văn này chưa tập trung nhiều vào phần hậu xử lý.