Tìm hiểu về biển số xe và hệ thống nhận dạng biển số xe

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA ĐIỆN TỬ - Đề tài: Tìm hiểu biển số xe hệ thống nhận dạng biển số xe Môn học: Giảng viên : Chuyên đề xử lý tín hiệu truyền thơng Vũ Hữu Tiến i TĨM TẮT ĐỀ TÀI Hiện nay, số lượng xe cộ tham gia giao thông đường lớn dẫn đến tiêu tốn nhiều nhân lực vật lực cho việc quản lý phương tiện cá nhân bãi gửi xe Nếu khơng có cơng cụ thuận tiện việc quản lý phương tiện cá nhân thời gian, dễ gây nhầm lẫn, thiệt hay cho người sử dụng dịch vụ bãi đỗ xe Để giảm tải cho cơng việc thu tiền, bảo hiểm xe, tìm xe cộ bãi đỗ xe, giới phát triển công nghệ giám sát tự động phương tiện giao thơng, nhờ tính cá nhân biển số xe mà trở thành đối tượng sử dụng để nghiên cứu, phát triển cơng nghệ Do nhóm em muốn chọn đề tài bước việc tìm hiểu công cụ giám sát mạnh kiểm sốt xe lưu thơng đường hay nhận dạng khn mặt giới trọng lúc ii MỤC LỤC GIỚI THIỆU 1.1 Tổng quan .1 1.2 Nhiệm vụ đề tài TỔNG QUAN BÀI TOÁN NHẬN DIỆN BIỂN SỐ XE 2.1 Khái niệm biển số xe 2.2 Xử lý ảnh Open CV 2.3 Hướng giải PHÁT HIỆN VỊ TRÍ VÀ TÁCH BIỂN SỐ XE 3.1 Hướng giải 3.2 Chuyển ảnh xám 3.3 Tăng độ tương phản 3.3.1 Phép tốn hình thái học 3.3.2 Tăng độ tương phản .8 3.4 3.4.1 Nhiễu 3.4.1 Bộ lọc Gauss (Gauss filter) 3.5 Giảm nhiễu lọc Gauss .8 Nhị phân hóa với ngưỡng động (Adaptive Threshold) 10 3.5.1 Ảnh nhị phân 10 3.5.2 Nhị phân hóa 10 3.5.3 Nhị phân hóa với ngưỡng động 11 3.6 Phát cạnh Canny (Canny Edge Detection) 11 3.7 Lọc biển số với contour 14 3.7.1 Một số phương pháp tìm contour 14 3.7.2 Lọc biển số 17 PHÂN ĐOẠN KÍ TỰ 18 iii 4.1 Hướng giải 18 4.2 Xoay biển số .18 4.3 Tìm vùng đối tượng 20 4.4 Tìm tách kí tự 21 NHẬN DIỆN KÍ TỰ 21 5.1 5.1.1 AI (Artificial Intelligent) .21 5.1.2 Machine Learning .22 5.1.3 Thuật toán KNN (K - Nearest Neighbor) 24 5.2 Tổng quan lý thuyết .21 Hướng giải 27 KẾT QUẢ THỰC HIỆN 29 6.1 Cách thức đo đạc, thử nghiệm 29 6.2 Kết giải thích 29 iv DANH SÁCH HÌNH MINH HỌ Hình 2.3 - Các bước nhận dạng biển số xe 3Y Hình 3.1 - Xác định tách biển số xe Hình 3.3 - Ví dụ phần tử cấu trúc Hình 3.3 - Phép co .5 Hình 3.3 - Phép giãn nở .6 Hình 3.3 - Phép mở Hình 3.3 - Phép đóng Hình 3.3 - Phép Top Hat .7 Hình 3.3 - Phép Black Hat Hình 3.3 - Ảnh sau tăng độ tương phản Hình 3.4 - Nhiễu Hình 3.4 - Ma trận lọc Gauss .9 Hình 3.4 - Kết sử dụng lọc Gauss 10 Hình 3.5 - Nhị phân hóa ảnh ngưỡng động .11 Hình 3.6 - Loại bỏ điểm khơng phải cực đại 13 Hình 3.6 - Lọc ngưỡng .13 Hình 3.6 - Ảnh sau phát biên Canny Hình 3.7 - Thuật toán Square Tracing 15 Hình 3.7 - Thuật toán Square Tracing chạy 15 Hình 3.7 - Thuật toán Square Tracing chạy sai 15 Hình 3.7 - Thuật toán Moore - Neighbor 16 Hình 3.7 - Vẽ Contour với OpenCV 17 Hình 3.7 - Contour chưa xấp xỉ đa giác 17 v Hình 3.7 - Contour xấp xỉ đa giác 17 Y Hình 4.1 - Các bước phân đoạn kí tự Hình 4.2 - Ảnh biển số chưa xoay 19 Hình 4.2 - Ảnh biển số xoay Hình 4.3 - Ảnh nhị phân 20 Hình 4.3 - Tìm vùng đối tượng Hình 4.4 - Ảnh kí tự sau cắt Hình 5.1 - Các lớp AI .22 Hình 5.1 - Phân loại Machine Learning 23 Hình 5.1 - Ví dụ KNN 24 Hình 5.1 - Xét khả tiêu thụ xe 25 Hình 5.1 - Dữ liệu sau chuẩn hóa .26 Hình 5.1 - Sau tính khoảng cách xếp hạng Hình 5.2 - Tập liệu huấn luyện 27 Hình 5.2 - Biển số trước nhận diện 28 Hình 5.2 - Biển số sau nhận diện 28 Hình 5.2 - Biển số xe in hình gốc 28 Hình 6.2 - Khơng tìm thấy kí tự 30 Hình 6.2 - Ảnh gốc 30 Hình 6.2 - Tìm thấy kí tự .30 vi Hình 6.2 - Tìm thấy kí tự .30 Hình 6.2 - Lấy ngưỡng cao/rộng 1.5 31 Hình 6.2 - Lấy ngưỡng cao/rộng 1.4 31 Hình 6.2 - Lỗi xấp xỉ Contour 31 Hình 6.2 - Ảnh nhị phân bị đứt 31 Hình 6.2 - Đường contour bị đứt đoạn 31 Hình 6.2 - 10 Ảnh gốc nhận diện biển số 32 Hình 6.2 - 11 Biển số 33 Hình 6.2 - 12 Biển số 33 Hình 6.2 - 13 Biển số 33 Hình 6.2 - 14 Khơng khoanh vùng kí tự .33 vii DANH SÁCH BẢNG SỐ LIỆU Bảng 6.1 - Tỉ lệ tìm thấy biển số xe hình 29 Bảng 6.1 - Tỉ lệ nhận diện sai kí tự biển hàng 30 Bảng 6.1 - Tỉ lệ nhận diện sai kí tự biển hàng 30 viii GIỚI THIỆU 1.1 Tổng quan Nội dung : - Tìm hiểu biển số xe hệ thống nhận dạng biển số xe - Phát biểu toán hướng giải - Nghiên cứu số thuật tốn xử lý ảnh nhận dạng kí tự ứng dụng việc nhận dạng biển số xe 1.2 Nhiệm vụ đề tài Từ nội dung nêu trên, đề tài em bao gồm nhiệm vụ sau: - - Tìm hiểu khái quát xử lý ảnh tốn nhận dạng biển số xe Tìm hiểu thơng tin biển số xe phân loại biển số xe Việt Nam Tìm hiểu cơng đoạn toán nhận dạng biển số xe gồm khâu chính:  Phát vị trí tách biển số xe  Phân đoạn kí tự biển số xe  Nhận dạng kí tự Cài đặt thử nghiệm TỔNG QUAN BÀI TOÁN NHẬN DIỆN BIỂN SỐ XE 2.1 Khái niệm biển số xe Ở Việt Nam, biển kiểm sốt xe giới (hay cịn gọi tắt biển kiểm soát, biển số xe) biển gắn xe giới, quan công an cấp (đối với xe quân Bộ Quốc phòng cấp) mua xe chuyển nhượng xe Biển số xe làm hợp kim nhơm sắt, có dạng hình chữ nhật vng, có in số chữ (biển xe dân không dùng chữ I, J, O, Q, W Chữ R dùng cho xe rơ-moóc, sơ-mi rơ-moóc) cho biết: Vùng địa phương quản lý, số cụ thể tra máy tính cịn cho biết danh tính người chủ hay đơn vị mua nó, thời gian mua phục vụ cho cơng tác an ninh, đặc biệt cịn có hình Quốc huy Việt Nam dập Tiêu chuẩn kích thước: Ở nước thường có tiêu chuẩn kích thước định, cịn riêng Việt Nam tỉ lệ kích thước biển số gần giống Biển số xe có loại, kích thước sau: Loại biển số dài có chiều cao 110 mm, chiều dài 470 mm; loại biển số ngắn có chiều cao 200 mm, chiều dài 280 mm nên ta giới hạn tỉ lệ cao/rộng 3.5 ≤ cao/rộng ≤ 6.5 (biển hàng) 0.8 ≤ cao/rộng ≤ 1.5 (biển hai hàng) Số lượng kí tự biển số xe nằm khoảng [7,9] Chiều cao chữ số: 80mm, chiều rộng chữ số: 40mm Từ đặc điểm ta thiết lập thơng số, điều khiển để lọc chọn đối tương phù hợp mà ta cần 2.2 Xử lý ảnh Open CV Xử lý ảnh phân ngành xử lý số tín hiệu với tín hiệu xử lý ảnh Đây phân ngành khoa học phát triển năm gần Xử lý ảnh gồm lĩnh vực chính: xử lý nâng cao chất lượng ảnh, nhận dạng ảnh, nén ảnh truy vấn ảnh Sự phát triển xử lý ảnh đem lại nhiều lợi ích cho sống người Ngày xử lý ảnh áp dụng rộng rãi đời sống như: photoshop, nén ảnh, nén video, nhận dạng biển số xe, nhận dạng khuôn mặt, nhận dạng chữ viết, xử lý ảnh thiên văn, ảnh y tế, OpenCV (Open Computer Vision) thư viện mã nguồn mở hàng đầu cho xử lý thị giác máy tính, machine learning, xử lý ảnh OpenCV đươc viết C/C++, có tốc độ tính tốn nhanh, sử dụng với ứng dụng liên quan đến thời gian thực Opencv có interface cho C/C++, Python Java hỗ trợ cho Window, Linux, MacOs lẫn Android, iOS OpenCV có cộng đồng 47 nghìn người dùng số lượng download vượt triệu lần Opencv có nhiều ứng dụng như:  Nhận dạng ảnh  Xử lý hình ảnh  Phục hồi hình ảnh/video  Thực tế ảo  Các ứng dụng khác 2.3 Hướng giải Hiện giới có nhiều cách tiếp cận khác với việc nhận dạng biển số xe, nhiên phạm vi đồ án em giải vấn đề theo bước chính: Phát vị trí tách biển số xe từ hình ảnh có sẵn từ đầu vào camera Phân đoạn kí tự có biển số xe Nhận diện kí tự đưa mã ASCII ... nhiệm vụ sau: - - Tìm hiểu khái quát xử lý ảnh toán nhận dạng biển số xe Tìm hiểu thơng tin biển số xe phân loại biển số xe Việt Nam Tìm hiểu cơng đoạn tốn nhận dạng biển số xe gồm khâu chính:... quan Nội dung : - Tìm hiểu biển số xe hệ thống nhận dạng biển số xe - Phát biểu toán hướng giải - Nghiên cứu số thuật toán xử lý ảnh nhận dạng kí tự ứng dụng việc nhận dạng biển số xe 1.2 Nhiệm vụ... vị trí tách biển số xe  Phân đoạn kí tự biển số xe  Nhận dạng kí tự Cài đặt thử nghiệm TỔNG QUAN BÀI TOÁN NHẬN DIỆN BIỂN SỐ XE 2.1 Khái niệm biển số xe Ở Việt Nam, biển kiểm sốt xe giới (hay