NGHIÊN CỨU GIẢI PHÁP NHẬN DẠNG BIỂN SỐ XE TRÊN CƠ SỞ CÔNG NGHỆ XỬ LÝ ẢNH

NGHIÊN CỨU GIẢI PHÁP NHẬN DẠNG BIỂN SỐ XE TRÊN CƠ SỞ CÔNG NGHỆ XỬ LÝ ẢNH Mục tiêu của luận văn là ứng dụng thuật toán phân tích phổ tần số trên cơ sở công nghệ xử lý ảnh để trích biển số xe mô tô và phân tích biểu đồ mức xám trong việc tách ký tự. Xây dựng chương trình nhận dạng trực tuyến xe mô tô hai bánh, xây dựng chương trình nhận dạng ký tự đơn trên biển số ứng dụng mạng neural dùng ngôn ngữ lập trình Csharp và thư viện AForge trong xử lý ảnh

I TRÍCH YẾU LUẬN VĂN CAO HỌC Họ và tên học viên: CAO HỮU VINH Năm sinh: 1987 Cơ quan công tác: ĐẠI HỌC GIAO THÔNG VẬN TẢI TP HỒ CHÍ MINH Khóa: K19 Chuyên ngành: Kỹ Thuật Điện Tử Mã Số : 60.52.70 Cán bộ hướng dẫn: TS. NGUYỄN THANH HẢI Bộ môn: Kỹ thuật viễn thông 1. Tên đề tài luận văn: NGHIÊN CỨU GIẢI PHÁP NHẬN DẠNG BIỂN SỐ XE TRÊN CƠ SỞ CÔNG NGHỆ XỬ LÝ ẢNH 2. Mục đích nghiên cứu của đề tài Mục tiêu của luận văn là ứng dụng thuật toán phân tích phổ tần số trên cơ sở công nghệ xử lý ảnh để trích biển số xe mô tô và phân tích biểu đồ mức xám trong việc tách ký tự. Xây dựng chương trình nhận dạng trực tuyến xe mô tô hai bánh, xây dựng chương trình nhận dạng ký tự đơn trên biển số ứng dụng mạng neural dùng ngôn ngữ lập trình Csharp và thư viện AForge trong xử lý ảnh 3. Phương pháp nghiên cứu và kết quả đạt được: Ứng dụng các thuật toán về xử lý ảnh để xử lý trích lọc biển số xe và xây dựng kết quả nghiên cứu trên nền Visual Studio Dot Net (Cshap). Ứng dụng được thư viện AForge trong xử lý ảnh và thu nhận tín hiệu video. Ứng dụng mạng neural để nhận dạng ký tự. 4. Điểm bình quân môn học: Điểm bảo vệ luận văn Xác nhận của cán bộ hướng dẫn : Học viên thực hiện Xác nhận của bộ môn : CAO HỮU VINH II LỜI NÓI ĐẦU 1. Tính cấp thiết của đề tài Cùng với sự phát triển của khoa học kỹ thuật và nhu cầu đi lại ngày càng tăng và số lượng các phương tiện giao thông trên đường xuất hiện ngày càng nhiều. Với số lượng phương tiện giao thông lớn và ngày càng tăng nhanh làm nảy sinh nhiều vấn đề trong việc quản lý và kiểm soát các phương tiện giao thông. Để giải quyết vấn đề này yêu cầu đặt ra là áp dụng các giải pháp quản lý tự động. Một trong những giải pháp như vậy là nhận dạng biển số xe trên cơ sở công nghệ xử lý ảnh. Nhận dạng và xử lý ảnh cũng là một trong những giải pháp có tầm ứng dụng to lớn. Có thể kể ra hàng loạt các lĩnh vực đã áp dụng kỹ thuật nhận dạng ảnh như: xử lý ảnh chụp vệ tinh, dự báo thời tiết, điều khiển giao thông công cộng, nhận dạng chữ viết tay, phân tích chữ ký, nhận dạng vân tay, nhận dạng mặt người,…Với mục đích ứng dụng công nghệ xử lý ảnh trong quản lý các phương tiện giao thông nên đề tài “ Nghiên cứu giải pháp nhận dạng biển số xe trên cơ sở công nghệ xử lý ảnh” được em lựa chọn với mong muốn có thể ứng dụng công nghệ vào trong vấn để quản lý các phương tiện giao thông. Ở đề tài này tôi sẽ trình bày phương pháp nhận dạng biển số xe thông qua camera, sau đó qua các quá trình xử lý ảnh, tách ký tự, nhận dạng ký tự ta sẽ nhận được kết quả của biển số xe. Giải pháp này được ứng dụng rất nhiều trong các hệ thống nhận dạng quản lý phương tiện giao thông tại các trạm thu phí, trạm cân, bãi giữ xe tự động, kiểm soát lưu lượng giao thông hay trong các ứng dụng an ninh như tìm kiếm xe bị mất cắp 2. Đối tượng nghiên cứu Xử lý ảnh số Nhận dạng và ứng dụng mạng neural trong nhận dạng ảnh Nghiên cứu các thuật toán và ngôn ngữ lập trình để xây dựng phần mềm mô phỏng. 3. Phạm vi nghiên cứu III Phân tích ảnh và nhận dạng biển số xe. 4. Mục tiêu nghiên cứu của đề tài Nghiên cứu về lý thuyết ảnh số, xử lý ảnh, mạng neural, các thuật toán trích lọc vùng chứa biển số xe, tách ký tự và nhận dạng ký tự. Xử lý ảnh từ Data có sẵn và thu ảnh trực tiếp từ camera chuyên dùng. Xây dựng phần mềm mô phỏng đề tài. 5. Phương pháp nghiên cứu Nghiên cứu lý thuyết và xây dựng phần mềm mô phỏng trên máy tính. 6. Kết cấu của luận văn Chương 1: Lý thuyết xử lý ảnh Chương 2: Công nghệ xử lý ảnh trong giao thông Chương 3: Giải pháp nhận dạng biển số xe Chương 4: Xây dựng phần mềm nhận dạng biển số xe Kết luận và hướng phát triển của đề tài. IV MỤC LỤC Trích yếu luận văn cao học I Lời nói đầu II 1. Tính cấp thiết của đề tài II 2. Đối tượng nghiên cứu II 3. Phạm vi nghiên cứu II 4. Mục tiêu nghiên cứu III 5. Phương pháp nghiên cứu III 6. Kết cấu luận văn III Mục Lục IV Danh mục các ký hiệu, thuật ngữ viết tắt VIII Danh mục các bảng biểu và hình vẽ IX Chương 1: Lý thuyết xử lý ảnh 1 1.1 Biểu diễn hệ thống ảnh 2 1.1.1 Hệ thống ảnh tuyến tính 3 1.1.2 Hệ thống ảnh phi tuyến 4 1.2 Khái niệm xử lý ảnh số 5 1.2.1 Khái niệm về phần tử ảnh 5 1.2.2 Ảnh xám 6 1.2.3 Ảnh trắng đen hay ảnh nhị phân 6 1.2.4 Ảnh màu và mô hình màu RGB 6 1.2.5 Hệ tọa độ pixel 9 1.2.6 Các định dạng ảnh 9 1.3 Các vấn đề trong quá trình xử lý ảnh 15 1.3.1 Mục đích của việc xử lý ảnh số 15 1.3.2 Kỹ thuật nâng cao chất lượng ảnh 15 1.3.3 Biến đổi lược đồ mức xám (Histogram) 16 V 1.3.3.1 Lọc tuyến tính 16 1.3.3.2 Lọc phi tuyến 16 1.3.4 Kỹ thuật tăng độ sắc nét của ảnh 17 1.3.4.1 Khái niệm biên 17 1.3.4.2 Làm nổi biên 18 1.3.4.3 Kỹ thuật tách biên 18 1.3.5 Phân vùng ảnh 29 1.3.6 Nhận dạng ảnh 29 1.4 Kết luận chương 1 30 Chương 2: Công nghệ xử lý ảnh trong giao thông 31 2.1 Ứng dụng hệ thống giao thông thông minh 31 2.2 Một số ứng dụng hệ thống giao thông thông minh ở Việt Nam 35 2.2.1 Xây dựng các trạm thu phí tự động 35 2.2.2 Hệ thống thu phí một dừng 35 2.2.3 Hệ thông thu phí mở không dừng 35 2.2.4 Hệ thống thu phí kín 36 2.2.5 Hệ thống kiểm soát trọng tải 36 2.2.6 VOV giao thông 37 2.3 Các ứng dụng hệ thống giao thông thông minh ở Việt Nam trong tương lai.37 2.3.1 Hệ thống điều khiển giao thông thông minh 37 2.3.2 Hệ thống tự động báo kẹt xe 38 2.4 Kết luận chương 2 38 Chương 3: Giải pháp nhận dạng biển số xe 39 3.1 Các phương pháp nhận dạng biển số xe 39 3.1.1 Trích biển số xe 40 3.1.2 Cách ly các ký tự 42 3.1.3 Nhận dạng ký tự 44 3.2 Xử lý ảnh và nhận dạng 44 3.2.1 Kỹ thuật chuyển ảnh sang ảnh mức xám (Gray Level) 45 VI 3.2.2 Lược đồ mức xám (Histogram) 45 3.2.3 Xử lý ảnh bằng thuật toán K-means 46 3.2.4 Lọc trung vi (Median) 48 3.2.5 Bộ lọc BlobsFiltering 49 3.3 Mạng Neural nhân tạo 50 3.3.1 Giới thiệu 50 3.3.2 Ứng dụng của Neural Network 51 3.3.3 Mô hình một Neural nhân tạo 52 3.3.4 Thiết lập mạng Neural 54 3.3.5 Các bước chuẩn bị thiết lập mạng 54 3.3.5.1 Thu thập dữ liệu để huấn luyện mạng 54 3.3.5.2 Dữ liệu số 55 3.3.5.3 Dữ liệu phi số 55 3.3.5.4 Huấn luyện 56 3.3.5.5 Các bước thiết kế 56 3.4 Phân loại cấu trúc mạng 56 3.4.1 Mạng có cấu trúc tiến 56 3.4.2 Mạng có cấu trúc lan truyền ngược 57 3.4.2.1 Các loại neural ( Tansig, Logsig, Purelin ) 57 3.4.2.2 Cấu trúc các lớp trong mạng lan truyền ngược 58 3.4.2.3 Huấn luyện cho mạng lan truyền ngược 59 3.4.2.4 Nguyên lý chung 59 3.4.2.5 Vấn đề quá khớp và năng lực của mạng 60 3.5 Ứng dụng mạng Neural trong lĩnh vực nhận dạng 61 3.5.1 Nhiệm vụ 61 3.5.2 Cách tiếp cận 62 3.6 Kết luận chương 3 63 Chương 4: Xây dựng phần mềm nhận dạng biển số xe 64 4.1Mô hình tổng quát hệ thống nhận dạng trực tuyến xe mô tô hai bánh 64 VII 4.1.1 Thu nhận ảnh 64 4.1.2 Nhận ảnh và các tham số đầu vào 64 4.2 Trích biển số, xử lý ảnh biển số và tách ký tự chữ số xe mô tô 64 4.2.1 Thuật toán trích biển số dùng phương pháp phân tích phổ tần số (Fast Fourier Transform) 65 4.2.2 Tổng kết thuật toán trích biển số 71 4.2.3 Tiền xử lý 71 4.2.4 Thuật toán tách ký tự 73 4.3 Nhận dạng ký tự đơn trên biển số bằng mạng Neural nhân tạo 76 4.3.1 Mô hình mạng 76 4.3.2 Tạo mạng 76 4.3.2.1 Mạng chữ 76 4.3.2.2 Mạng số 77 4.3.3 Khởi tạo trọng số 77 4.3.4 Huấn luyện mạng 78 4.4 Xây dựng hệ thống nhận dạng biển số 79 4.4.1 Xây dựng hệ thống 79 4.4.2 Giao diện chương trình 80 4.5 Thử nghiệm và đánh giá kết quả 81 4.5.1 Dữ liệu thử nghiệm 81 4.5.2 Kết quả thử nghiệm 82 4.5.3 Đánh giá kết quả 82 4.6 Một số kết quả minh họa thử nghiệm thuật toán 83 4.6.1 Trường hợp ảnh chụp ban ngày 83 4.6.2 Trường hợp ảnh chụp ban đem 84 4.7 Kết luận chương 4 84 Kết Luận và hướng phát triển đề tài 85 5.1 Các mặt đã đạt được 85 5.2 Các mặt còn hạn chế 85 VIII 5.3 Đề xuất hướng phát triển 85 5.4 Sử dụng một số chức năng trong thư viện Aforge 86 Lời cảm ơn 88 Tài liệu tham khảo 89 IX DANH MỤC CÁC KÝ HIỆU, THUẬT NGỮ VIẾT TẮT Chữ viết tắt Tiếng Anh Tiếng Việt RGB Red – Green - Blue Đỏ - Xanh - Lam R Red Đỏ G Green Xanh B Blue Lam TIFF Targed image file format Định dạng tập tin ảnh IFD Image file directory Thư mục tập tin hình ảnh DE Directory entry Thư mục nhập GIF Graphics interchanger format Định dạng trao đổi hình ảnh TRIP Traffic research using image processing Hệ thống đánh giá giao thông bằng phương pháp xử lý ảnh DSRC Dedicated short range communication Giao tiếp tầm ngắn chuyên dụng GPS Global Positioning System Hệ thống định vị toàn cầu GSM Global System for mobile Hệ thống thông tin di dộng toàn cầu LZW Lempel ziv weleh Phương pháp nén được phát minh bởi Lempel –Zip và Welch PST Point spread function X DANH MỤC CÁC BẢNG BIỂU VÀ HÌNH VẼ Hình 1.1 Biểu diễn hệ thống ảnh 3 Hình 1.2 Hệ thống ảnh phi tuyến 4 Hình 1.3 Ma trận số 5 Hình 1.4 Mảng hai chiều của một file ảnh 6 Hình 1.5 Mô hình màu RGB 7 Hình 1.6 Hệ tọa độ pixel 9 Hình 1.7 Lượt đồ xám 16 Hình 1.8 Hương biên 19 Hình 1.9 Ý nghĩa đạo hàm trong dò biên 22 Hình 1.10 Mô tả biến đổi Radon 25 Hình 1.11 Biểu diễn hình chiếu theo một góc  trong biến đổi Radon 26 Hình 1.12 Biểu diễn phép biến đổi Radon dưới dạng hình học 26 Hình 1.13 Biến đổi ảnh sang ảnh nhị phân 27 Hình 1.14 Hình thể hiện miền Radon 27 Hình 1.15 Hình thể hiện sự phát hiện các đường thẳng trong biển đổi Radon 28 Hình 1.16 Trường hợp các đường thẳng lệch về phía dưới 28 Hình 1.17 Trường hợp đường thẳng lệch về phía trên 29 Hình 2.1 Quan hệ giữa HTXLA và các HT khác trong giao thông 31 Hình 2.2 Dòng giao thông ở Hong Kong (Trái) và ở Hà Nội (Phải) 32 Hình 2.3 Hệ thống giao thông thông minh 35 Hình 2.4 Hệ thống thu phí mở không dừng 35 Hình 2.5 Hệ thống thu phí kín 36 Hình 3.1 Lược đồ xám của các loại ảnh 46 Hình 3.2 Phân cụm ảnh 46 Hình 3.3 Các bước của thuật toán K - means 47 Hình 3.4 Mang neural 50 Hình 3.5 Mô hình toán học tổng quát của mạng neural 50 Hình 3.6 Neural một ngõ vào 52 [...]... sử dụng kỹ thuật xử lý ảnh chụp cắt lớp cơ thể người, ảnh chụp siêu âm, ảnh chụp tế bào, nhiễm sắc thể để nhận dạng và chuẩn đoán bệnh Hay trong lĩnh vực xử lý đo lường cũng cần xử lý ảnh chụp các quá trình để nhận dạng, đo lường như mực nước ở các đập nước đo liều lượng, đo tốc độ dòng chảy, năng lượng của các hạt nguyên tử Cùng với sự phát triển mạnh mẽ của máy tính số, xử lý ảnh số với sự hỗ trợ... niệm phần tử ảnh mà ta thường gọi là pixel, nó là phần tử nhỏ nhất của ảnh Như vậy, một ảnh là một tập hợp các pixel Một ảnh số là một mảng các điểm ảnh được số hóa và đưa vào bộ nhớ của máy tính Một số nhị phân chứa trong mỗi điểm ảnh thể hiện cường độ hay bước sóng ánh sáng trong ảnh 6 Độ phân giải của một ảnh là khu vực của mỗi điểm ảnh, thông thường nó là số điểm ảnh trên mỗi hàng của ảnh, nó là... Bảng mô tả thông tin biển số xe mô tô 65 Hình 4.1 Phân tích phổ ngang cho ảnh chứa biển số 68 Hình 4.2 Tách dòng chứa biển số 68 Hình 4.3 Phân tích phổ ngang cho ảnh chứa biển số 69 Hình 4.4 Tách biển số 69 Hình 4.5 Một số ảnh sau khi tách được biển số 71 Hình 4.6 Tiền xử lý ảnh 72 Hình 4.7 Lược đồ trích ngang để tách dòng 73 Hình 4.8 Lược... qua phải và số hàng tăng dần từ trên xuống dưới Đơn vị của tọa độ là các số nguyên, các tọa độ lẻ là không có ý nghĩa trong hệ tọa độ này Hình 1.6 Hệ tọa độ pixel 1.2.6 Các định dạng ảnh Ảnh thu được sau quá trình số hóa có nhiều loại khác nhau phụ thuộc vào kỹ thuật số hóa ảnh Ở các phần trên ta đã biết ảnh được chia làm hai loại: ảnh đen trắng và ảnh màu Ảnh thu nhận được có thể lưu trữ trên tệp để... thể lưu trữ trên tệp để tiện cho các bước xử lý tiếp theo Phần bên dưới sẽ trình bày một số kiểu định dạng ảnh thông dụng hay dùng trong kỹ thuật xử lý ảnh hiện nay a Định dạng ảnh IMG Ảnh IMG là ảnh đen trắng Phần đầu của ảnh IMG có 16 byte chứa các thông tin cần biết: Sáu byte đầu dùng để đánh dấu định dạng ảnh IMG Giá trị của sáu byte này viết dưới dạng số Hexa: 0x0001 0x0008 0x0001 Hai byte tiếp... Các bước trích biển số trong trường hợp 2 84 1 CHƯƠNG 1: LÝ THUYẾT XỬ LÝ ẢNH Khái niệm: Khái niệm về ảnh số xuất hiện từ năm 1964 Chẳng bao lâu, một nhánh mới của khoa học gọi là xử lý ảnh số ra đời Kể từ đó, liên tục phát triển và tạo ra các kỹ thuật quan trọng ảnh hưởng trực tiếp đến các lĩnh vực truyền thông, truyền hình, kỹ xảo đồ họa Trong những năm gần đây, kỹ thuật xử lý ảnh ngày càng sử... neural nhận dạng ký tự chữ 77 Hình 4.12 Sơ đồ mạng neural nhận dạng ký tự số 77 Hình 4.13 Giao diện chính của chương trình 80 Hình 4.14 Chụp ảnh biển số xe 81 Hình 4.15 Nhận dạng và lưu xuống cơ sở dữ liệu 81 Bảng 4.2 Mô tả nguồn dữ liệu để text 82 Bảng 4.3 Bảng thống kê kết quả thử nghiệm trên tập dữ liệu test 82 Hình 4.16 Các bước trích biển số trong... loại: - Hình ảnh tĩnh (static image) - Hình ảnh động (dynamic image) Hình ảnh được biểu diễn theo nhiều chiều (hai hoặc ba chiều).Tất nhiên hình ảnh nhiều chiều sẽ phức tạp hơn hình ảnh một chiều khi biểu diễn và xử lý Xử lý hình ảnh là thực hiện các phép toán lên các tín hiệu số của hình ảnh Khối lượng thông tin trong một bức ảnh là rất lớn (đến vài trăm mêga bít /ảnh) Bản chất các thông số ảnh có tính... tham số này không chỉ cho biết kích thước ảnh theo pixel mà còn chỉ ra số thực thể bản đồ màu của nó Dữ liệu ảnh: chuỗi các giá trị có thứ tự của các pixel màu tạo nên ảnh Các pixel được xếp liên tục trên một dòng ảnh từ trái qua phải Các dòng ảnh được xếp từ trên xuống dưới 15 Phần kết thúc ảnh: cung cấp tính đồng bộ cho đầu cuối của ảnh GIF, cuối của ảnh sẽ xác định bởi ký tự “;" (0x3b) Định dạng. .. pixel thay vì bốn hay tám như đã nói ở trên Toàn bộ ảnh chỉ có điểm sáng và tối tương ứng giá trị 1 hoặc giá trị 0 Tỉ lệ nén của kiểu định dạng này là khá cao b Định dạng ảnh PCX Định dạng ảnh PCX là một trong những kiểu định dạng cổ điển nhất Nó sử dụng phương pháp mã loạt dài RLE (Run Length Encoded) để nén dữ liệu ảnh Quá trình nén và giải nén được thực hiện trên từng dòng ảnh Thực tế phương pháp . Bản chất các thông số ảnh có tính vectơ. Để xử lý với tốc độ nhanh, cần có yêu cầu thích hợp về dung lượng bộ nhớ. Các phương pháp mã hóa có hiệu quả, giảm độ dư thừa về thông tin trong ảnh và