Việc nhận diện biển số trong video có phần phức tạp hơn một chút, phụ thuộc vào tốc độ lia khung hình của máy quay. Với tốc độ chậm sẽ cho ta các khung hình rời rạc chất lượng kém, khó có thể nhận diện được chữ trong biển số.
Về cơ bản các bước xử lý và nhận diện biển kiểm soát trên từng khung hình chính là quá trình nhận diện biển kiểm soát trong một bức ảnh. Đối với một video ta sẽ có một loạt các khung hình liên tiếp. Bằng cách quan sát nhiều khung hình để đưa ra kết luận về biển số sẽ cho ta độ chính xác cao hơn và giải quyết được các vấn đề video chất lượng không tốt.
Với mỗi khung hình ta thực hiện giống như với nhận diện biển kiểm soát trong ảnh giống như đã trình bày ở trên. Kết quả các nhãn ký tự thu được sẽ được lưu lại phục vụ cho quá trình suy luận phía sau.
Với hai khung hình ta sẽ tính khoảng cách giữa 2 biển số. Nếu khoảng cách giữa 2 biển số lớn hơn một ngưỡng do ta quy định thì có thể kết luận đây là nhiễu hoặc là một biển số khác bị xen vào (ngưỡng này là một hệ số tương đối, dựa trên tốc độ thực tế của phương tiện trong video). Nếu 2 khung hình liên tiếp đảm bảo về khoảng cách, chứng tỏ đây là một biển số của một phương tiện, ta sẽ lưu giá trị biển số lại.
Ta cần cài đặt số khung hình mẫu chính là số khung hình cần đọc liên tiếp để xác định biển số của phương tiện. Số lượng mẫu lấy biển số cũng mang tính tương đối, phụ thuộc vào thông số của video. Video có số khung hình trên giây FPS (Frames per second) càng cao thì ta sẽ tăng mẫu lên để độ chính xác cao. Với video có FPS thấp ta sẽ chọn một hệ số phù hợp thấp hơn.
Sau khi lấy đủ số mẫu cần thiết, ta tiến hành lọc ra những khung hình có chất lượng tốt nhất để xử lý. Việc đánh giá chất lượng dựa vào 2 tiêu chí: Kích thước (kích thước càng lớn thì chất lượng càng cao); Độ mờ (Ảnh có độ mờ càng thấp thì chất lượng càng cao)
Những hình ảnh tốt nhất sẽ được đưa vào chương trình nhận diện ký tự đã nêu ở trên. Kết quả thu được sẽ là danh sách các nhãn biển số tương ứng với từng khung hình