Báo cáo tự động nhận dạng biển số đăng ký xe trong ảnh chụp từ camera

Tuyển tập Báo cáo “Hội nghị Sinh viên Nghiên cứu Khoa học” lần thứ Đại học Đà Nẵng - 2008 TỰ ĐỘNG NHẬN DẠNG BIỂN SỐ ĐĂNG KÝ XE TRONG ẢNH CHỤP TỪ CAMERA AUTOMATIC LICENSE PLATE RECOGNIZATION IN CAMERA PICTURES SVTH: DOÃN ĐẠT PHƢỚC NGUYỄN ĐỒNG HẢI PHƢƠNG Lớp: 05D1, Trường Đại học Bách Khoa GVHD: THS TRẦN THÁI ANH ÂU Khoa Điện kỹ thuật, Trường Đại học Bách Khoa TĨM TẮT Nghiên cứu trình bày cách tiếp cận việc xác định nhận dạng biển số đăng ký xe Việt Nam với liệu đầu vào ảnh chụp từ camera Để giải vấn đề này, nghiên cứu phải giải ba tốn riêng rẽ là: xác định vị trí biển số xe, tách ký tự nhận dạng ký tự Phương pháp xuyên suốt sử dụng nghiên cứu để giải toán đặt phương pháp Hình thái học Ngồi ra, để nâng cao hiệu việc xác định vị trí biến số xe, nghiên cứu sử dụng thêm Phép biến đổi Hough Nghiên cứu tiến hành thực nghiệm sở ảnh chụp biển số đăng ký xe máy Việt Nam đưa đánh giá mặt hiệu phương pháp sử đụng đồng thời đưa hướng áp dụng nghiên cứu ABSTRACT This study presents an approach to Vietnamese license plate localization and recognition in camera picture To deal with this problem, this consist three main modules: License Plate detection (LPD), License Plate Character segmentation and Optical Character Recognition (OCR) The main method used in this study to deal with modules is Morphology Besides, we also uses Hough Transformation to enhance the effect of detecting License Plate region This study does an experiment in the input database of Vietnamese License Plate pictures and evaluates the effect of the methods used in the research and also presents the application of this research Mở đầu: Cùng với phát triển khoa học kỹ thuật nhu cầu lại ngày tăng số lƣợng phƣơng tiện giao thông đƣờng ngày xuất nhiều Với số lƣợng phƣơng tiện giao thơng lớn cịn khơng ngừng tăng lên nhƣ làm nảy sinh nhiều vấn đề việc kiểm soát nhƣ quản lý phƣơng tiện Để giải vấn đề nhu cầu đặt áp dụng hệ thống tự động Một nhƣng hệ thống nhƣ hệ thống tự động nhận dạng biển số xe hệ thống có khả thu nhận hình ảnh nhƣ „đọc‟ „hiểu‟ biển số xe cách tự động Một hệ thống nhƣ đƣợc sử dụng nhiều ứng dụng chẳng hạn nhƣ: trạm cân rửa xe tự động hoàn toàn, bãi giữ xe tự động, kiểm sốt lƣu lƣợng giao thơng hay ứng dụng an ninh nhƣ tìm kiếm xe cắp… Nhƣ hệ thống tự động khác, hệ thống nhƣ yêu cầu có phần cứng lẫn phần mềm Phần cứng có phần camera có tác dụng thu nhận hình ảnh cịn phần mềm có tác dụng xử lý hình ảnh Với phát triển kỹ thuật điện tử, camera dễ dàng có khả thu nhận đƣợc hình ảnh mà vấn đề đặt vấn đề quan trọng hệ thống, định tính hiệu hệ thống xử lý ảnh nhƣ phần mềm xử lý ảnh Với vai trị nhƣ phân tích nghiên cứu tập trung vào giải vấn đề đặt xử lý ảnh để đƣa xác biển số đăng ký xe 91 Tuyển tập Báo cáo “Hội nghị Sinh viên Nghiên cứu Khoa học” lần thứ Đại học Đà Nẵng - 2008 Với phổ biến xe máy đƣờng phố Việt Nam nghiên cứu tập trung vào đối tƣợng biển số đăng ký xe máy để thu thập hình ảnh làm sở liệu cho việc xử lý Yêu cầu toán áp dụng thuật tốn thích hợp tìm vùng chứa biển số, trích vùng biển số, cách li kí tự biển số, từ máy tính có khả xử lí nhận dạng đƣợc Có thể tóm tắt yêu cầu toán theo sơ đồ nhƣ sau: ảnh đầu vào Trích vùng biển số Cách ly ký tự Xử lý kết Nhận dạng ký tự Hình 1.1: Các u cầu tốn tự động nhận dạng biển số xe Từ sơ đồ ta thấy toán tự động nhận dạng biển số xe máy chia thành tốn chính: trích biển số xe, tách ký tự xử lý ký tự Nội dung: 2.1 Trích biển số xe Mục đích: Từ ảnh chụp đƣợc bƣớc thu nhận ảnh, áp dụng thuật tốn trích đƣợc vùng ảnh nhỏ chứa biển số Các phương pháp: có nhiều phƣơng pháp khác để thực nhiệm vụ nhƣng tất qui phƣơng pháp sau đây: - Phƣơng pháp dùng chuyển đổi Hough: dựa vào đặc trƣng cạnh biên trích đƣợc, áp dụng phƣơng pháp xác định đƣờng thẳng nhƣ phép biến đổi Hough để phát cặp đƣờng thẳng gần song song ghép thành ảnh biển số - Phƣơng pháp hình thái học: dựa vào đặc trƣng hình thái biển số xe nhƣ màu sắc, độ sáng, đối xứng… để xác định trích ảnh biển số - Phƣơng pháp khớp mẫu: xem biển số đối tƣợng có khung riêng sử dụng cửa sổ dị để trích đối tƣợng đƣa qua mạng noron (neural network), trí tuệ nhân tạo (artificial intelligence) chẳng hạn để phân loại có phải vùng biển số hay khơng Nghiên cứu sử dụng kết hợp phƣơng pháp Hình thái học Chuyển đổi Hough 2.1.1 Phương pháp hình thái học Nội dung phương pháp: Dựa vào đặc trƣng quan trọng biển số xe máy có độ sáng (tức mức xám chuyển ảnh dạng xám) tƣơng đối khác so với vùng khác ảnh, nhƣ phân bố mức xám đồng biển số đƣợc nhị phân hoá, vùng biển số đối tượng có đặc thù hình thái, phân biệt với vùng khác Nhƣ bƣớc thực là: - Xác định ngƣỡng xám Thực chất khơng có phƣơng pháp chọn cho ngƣỡng xám để thực Thay vào đó, ngƣỡng xám đƣợc quét khoảng Thơng qua lƣợc đồ xám ta nhận thấy vùng biển số thƣờng có độ sáng tƣơng đối lớn (từ 130200) ta xác định lƣợc đồ xám lớn khoảng ngƣỡng xám cần chọn thuộc vùng nhờ ta giảm đƣợc thời gian lặp tìm ngƣỡng xám 92 Tuyển tập Báo cáo “Hội nghị Sinh viên Nghiên cứu Khoa học” lần thứ Hình 2.1: Ảnh xám đầu vào Đại học Đà Nẵng - 2008 Hình 2.2: Lƣợc đồ xám ảnh xám - Nhị phân hoá ảnh xám đầu vào với ngƣỡng xám xác định - Lọc nhiễu (salt and pepper noise) gây ảnh hƣởng xấu tới đối tƣợng biển số - Gắn nhãn cho đối tƣợng lại ảnh nhị phân thu đƣợc - Trích đối tƣợng ứng viên biển số theo tiêu chí cụ thể biển số xe chiều cao, chiều rộng, tỉ lệ cạnh, diện tích, trọng tâm …Cụ thể nghiên cứu chọn: 7000 pixel ≤ diện tích ≤ 150000 pixel 0,68 ≤ chiều cao/chiều rộng ≤ 0,8 Ưu điểm: - đơn giản - chọn xác vùng biển số Nhược điểm: - thời gian xử lý lớn 2.1.2 Phương pháp chuyển đổi Hough Nội dung phương pháp: gồm bước: - Dò đặc trƣng biên ngang, dọc: làm bật viền bao tất đối tƣợng ảnh có viền bao biển số Phƣơng pháp sử dụng lọc gradient để trích đƣợc đặc trƣng cạnh biên Nghiên cứu sử dụng lọc Sobel để tiến hành dò - Dùng chuyển đổi Hough tìm đoạn thẳng ngang dọc cở sở ảnh nhị phân biên cạnh thu đƣợc từ bƣớc Ở chọn đƣờng thẳng cách pixel để dò đƣờng, loại bỏ đoạn thẳng nhỏ ngƣỡng, cụ thể có 30 pixel thuộc - Tách đoạn thẳng ngang, dọc cạnh biển số - Trích ứng viên biển số: thành lập hình chữ nhật ứng viên cho biển số với tiêu chí cụ thể là: đoạn thẳng thu đƣợc qua đánh giá kích thƣớc: 80< chiều rộng