Nhận dạng biển số xe dùng mạng neuron là một trong lĩnh vực nhận dạng ảnh với mục đích tự động hóa trong quá trình thu nhận thông tin dạng chữ. Cách thu nhận thông tin này mang nhiều ý nghĩa thực tiễn, có thể ứng dụng chương trình nhận dạng biển số xe này trong trạm thu phí, trong bãi giữ xe đô thị chưng cư,...
Trang MỤC LỤC CHƯƠNG1: MỞ ĐẦU 1.1 Đặt vấn đề 1.2 Khả ứng dụng giới nước .3 1.3 Lợi ích hệ thống nhận dạng biển số xe 1.4 Mục tiêu đề tài, Phương pháp thực 1.5 Cấu trúc luận văn CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VỀ ẢNH SỐ 2.1 Biểu diễn hệ thống ảnh 2.2 Hệ thống ảnh tuyến tính .9 2.3 Hệ thống ảnh phi tuyến .10 2.4 Khái niệm ảnh số 12 2.4.1 Khái niệm phần tử ảnh 12 2.4.2 nh xám .13 2.4.3 Ảnh trắng đen hay ảnh nhò phân 13 2.4.4 Ảnh màu mô hình màu RGB 13 2.5 Cơ sở lý thuyết trình thu nhận ảnh .14 2.5.1 Các thiết bò thu nhận ảnh 14 2.5.2 Lấy mẫu lượng tử hóa ảnh 16 2.5.3 Mã hóa ảnh 17 2.5.4 Các đònh dạng ảnh .17 CHƯƠNG 3: CÁC GIAI ĐOẠN ĐOẠN XỬ LÝ ẢNH 3.1 Thu nhận ảnh .25 3.2 Tiền xử lý ảnh .25 3.2.1 Chuyển đổi ảnh xám thành ảnh màu 27 Trang 3.2.2 Cân histogram 27 3.2.3 Tăng cường độ tương phản .29 3.2.4 Kỹ thuật làm trơn nhiễu – lọc nhiễu 31 3.3 Trích ảnh chứa vùng biển số xe 33 3.3.1 Biên ảnh 34 3.3.2 Làm biên 34 3.3.3 Kỹ thuật tách biên 34 3.3.4 Các phép toán Morphology .39 3.3.5 Biến đổi Radon 40 3.3.5.1 Khái niệm 40 3.3.5.2 Ứùng dụng xử lý ảnh số .41 3.3.5.3 Các bước cụ thể thực phát đường thẳng ảnh biến đổi Radon 43 3.4 Phân đoạn ảnh .46 Phân đoạn dựa ngưỡng 47 CHƯƠNG 4: NHẬN DẠNG VÀ MẠNG NEURAL TRONG NHẬN DẠNG 4.1 Nhận dạng .51 4.1.1 Một số khái niệm 51 4.1.1.1 Mẫu mô tả mẫu .51 4.1.1.2 Không gian mẫu không gian diễn dòch 52 4.1.1.3 Lớp mẫu phân lớp mẫu 52 4.1.1.4 Khoảng cách mẫu hàm phân biệt 52 4.1.1.5 Nhận dạng giám sát không giám sát 53 4.1.2 Phương pháp số nhận dạng 54 4.1.3 Phương pháp nhận dạng theo cấu trúc 56 Trang 4.1.3.1 Phương pháp sử dụng mẫu tượng trưng .56 4.1.3.2 Phương pháp phân tích cú pháp 57 4.2 Mạng Neural 4.2.1 Bộ não người Nơron sinh học 57 4.2.2 Khả làm việc não người máy tính .59 4.2.3 Mơ hình Nơron nhân tạo 60 4.2.4 Mạng Nơron nhân tạo (artificial nơron networks) 64 4.2.5 Ghép nối mạng Nơron 66 4.2.6 Huấn luyện mạng Nơron 67 4.3 Các loại mạng Nơron nhân tạo 68 4.3.1 Mạng Perceptron lớp 68 4.3.2 Mạng Perceptron đa lớp 73 4.3.3 Mạng kết hợp tuyến tính 82 4.3.4 Mạng Kohonen 85 Chương 5: THIẾT KẾ CHƯƠNG TRÌNH NHẬN DẠNG VÀ KẾT QUẢ THỰC HIỆN 5.1 Ý tưởng thiết kế 90 5.2 Các lưu đồ giải thuật 91 5.2.1 Giải thuật trích biển số xe .92 5.2.2 Giải thuật tách ký (phân đoạn) 97 5.2.3 Giải thuật nhận dạng dùng mạng neural 102 5.3 Kết minh họa .103 5.3.1 Biển số dài 103 5.3.1.1 Kết minh họa trích biển số xe 103 Trang 5.3.1.2 Kết phân tách thành ký tự .106 5.3.2 Biển số vuông 107 5.3.2.1 Kết minh họa trích biển số xe 107 5.3.2.2 Kết phân tách thành ký tự 110 5.4 Mô hình 111 CHƯƠNG 6: KẾT LUẬN 6.1 Kết luận .113 6.2 Hạn chế đề tài .113 6.3 Hướng phát triển .114 Tài liệu tham khảo Trang LIỆT KÊ CÁC HÌNH Trang Hình 2.1 Biểu diển hệ thống ảnh Hình 2.2 hệ thống ảnh phi tuyến 10 Hình 2.3 Ma trận ảnh số 12 Hình 2.4 Mô hình màu RGB 14 Hình 2.5 Lấy mẫu lượng tử hóa 16 Hình 3.1 Sơ đồ bước tiền xử lý 26 Hình 3.2 Minh họa công thức chuyển đổi ảnh xám 27 Hình 3.3 Lược đồ histogram loại ảnh khác 28 Hình 3.4 Sơ đồ khối cho giải thuật cân Histogram 29 Hình 3.5 Biểu diễn hàm dãn rộng độ tương phản 30 Hình 3.6 Hướng biên 36 Hình 3.7 Ý nghóa Đạo hàm dò biên 36 Hình 3.8 Minh họa phép toán Erode 40 Hình 3.9 Minh họa phép toán dilate 40 Hình 3.10 Mô tả biển đổi Radon 41 Hình 3.11 Hình chiếu theo góc cho trước biển đổi Radon 42 Hình 3.12 Phép biến đổi Radon dạng hình học 42 Hình 3.13 Chuyển đổi ảnh mức xám sang nhò phân 43 Hình 3.14 Hình thể miền Radon 43 Hình 3.15 Hình thể phát đường thẳng biến đổi Radon 44 Hình 3.16 Trường hợp đường thẳng lệch phía 45 Hình 3.17 Trường hợp đường thẳng lệch phía 45 Hình 3.18 Minh họa phương pháp phân đoạn ngưỡng 47 Trang Hình 3.19 Minh họa việc phân ngưỡng với nhiều mức ngưỡng 48 Hình 4.1 Ngun lý phân mẫu giám sát 55 Hình 4.2 Phân lớp ngun mẫu tượng trưng 57 Hình 4.3 Minh họa neural với ngõ vào 60 Hình 4.4 Nơron với ngõ vào vecto 61 Hình 4.5 Đồ thị hàm bước 62 Hình 4.6 Đồ thị hàm tuyến tính 62 Hình 4.7 Đồ thị hàm dấu 63 Hình 4.8 Đồ thị hàm dốc 63 Hình 4.9 Đồ thị hàm sigmoid đơn cực 63 Hình 4.10 Đồ thị hàm sigmoid lưỡng cực 64 Hình 4.11 Mơ hình Nơron McCulloch Pitts 65 Hình 4.12 Minh họa lớp Nơron 66 Hình 4.13 Minh họa mạng Nơron nhiều lớp 67 Hình 4.14 Minh họa việc học có giám sát 68 Hình 4.15 Mơ hình mạng Perceptron lớp 69 Hình 4.16 Biên định khơng gian mẫu 70 Hình 4.17 Khơng gian mẫu khả tách tuyến tính 72 Hình 4.18 Khơng gian mẫu khơng khả tách tuyến tính 72 Hình 4.19 Phân tích khơng gian mẫu với mạng Perceptron hai Nơron lớp 73 Hình 4.20 Mạng Perceptron đa lớp (MLP) 74 Hình 4.21 Phân lớp mẫu với mạng MLP ba lớp 82 Hình 4.22 Kiến trúc mạng tuyến tính 83 Hình 4.23 Quan hệ lân cận lớp Kohonen 85 Hình 4.24 Kiến trúc mạng Kohonen 86 Hình 4.25 Mã hóa vectơ đầu vào với mạng SOFM 88 Trang Chương MỞ ĐẦU Trang Chương 1: Mở Đầu Trong chương tác giả đặt vấn đề cần thiết hệ thống nhận dạng biển số xe Ngày nay, chương trình nhận dạng ứng dụng giới nước nào? Lợi ích hệ thống nhận dạng Mục tiêu đề tài phương pháp thực giới thiệu tổng quát tổ chức Luận văn 1.1 Đặt vấn đề: - Mong muốn nhà kỹ thuật làm để tạo máy móc có khả nhận thức người khả nghe hiểu hay nhìn nhận vật thể xung quanh Và mục tiêu yêu cầu quan trọng lónh vực chế tạo người máy (Robot) Ngày bùng nổ công nghiệp máy tính với phát triển sở lý thuyết lónh vực thông tin nhân tố quan trọng để giúp tới mục tiêu “người máy hóa” - Chúng ta biết người nhận thức giới xung quanh giác quan lực tư duy, trình xử lý thông tin trình tư dựa chế hoạt động não, trình phức tạp Có lẻ lâu máy móc đạt đến khả tư người Nhưng nổ lực nhà khoa học, kỹ thuật phân tích mảng thông tin phần đònh thực xử lý riêng khuôn khổ phân đònh Chính xử lý riêng biệt tạo thành công đònh việc chế tạo hệ thống kỹ thuật có lực tư người Mạng neural nổ lực nghiên cứu nhà khoa học - Nhận dạng biển số xe dùng mạng neural vấn đề nằm lónh vực nhận dạng ảnh với mục đích tự động hóa trình thu nhận thông tin dạng chữ Cách thu nhận thông tin mang nhiều ý nghóa thực tiễn, Trang ứng dụng chương trình nhận dạng biển số xe trạm thu phí, bãi giữ xe siêu thò, chung cư, phát biển số xe vi phạm … Đặc biệt tình hình giao thông Việt Nam nay, lưu lượng xe ngày tăng, hệ thống đường không ngừng nâng cấp phát triển yêu cầu đặt việc thu phí trạm phải đại hóa cho mang lại hiệu kinh tế Vì vậy, nhận dạng biển số xe giải pháp cần thiết tình hình không ngừng hoàn thiện tương lai 1.2 Khả ứng dụng giới nước Nhận dạng biển số xe áp dụng rộng rãi nước phát triển triển khai ngày nhiều nước khác Nhận dạng biển số xe không ứng dụng trạm thu phí mà áp dụng nhiều mục đích khác bãi giữ xe tự động, việc tăng an ninh, kiểm soát việc lưu thông phương tiện, kết hợp với radar phát biển số xe chủ xe chạy vượt tốc độ… Kinh nghiệm thực tế nước cho thấy ứng dụng mang lại hiệu kinh tế an ninh đáng kể Nhận dạng biển số xe Việt Nam tương đối Mặc dù năm gần đây, nước ta có đề xuất đưa công nghệ vào thực tế sống, song chưa triển khai Vì vậy, ứng dụng nhận diện biển số xe cần thiết 1.3 Lợi ích hệ thống nhận dạng: - Hệ thống nhận dạng biển số xe ứng dụng trạm thu phí, bãi giữ xe tự động, hệ thống tự động ghi biển số xe, việc tăng an ninh … Tất hệ thống mang lại lợi ích như: Giảm nhân công lao động Trang 10 Tiết kiệm thời gian Giảm tình trạng kẹt xe Thu ngân sách nhà nước Chống tiêu cực Tạo mỹ quan, nét văn minh đại 1.4 Mục tiêu đề tài phương pháp thực Luận văn nghiên cứu lý thuyết xử lý ảnh, mạng neural, đưa giải pháp thực thuật toán trích vùng chứa biển số xe, tách ký tự nhận dạng ký tự Trong đề tài không dừng lại phần nghiên cứu lý thuyết mà mô thông qua mô hình Vì vậy, đề tài thực với điều kiện sau: Dùng camera (webcam) để thu nhận ảnh nh thu ảnh màu Khoảng cách biển số camera gần không đổi Góc nghiêng biển số nhỏ 0-30 độ, cân chỉnh không chuẩn Biển số xe ôtô, xe máy không thu phí Biển số thông thường, hình chữ nhật, hình vuông, trắng chữ số đen Biển số không bẩn, mắt người nhận dễ dàng Mục tiêu đặt ra: Giải thuật gọn gàng, có tư logic nhằm đạt độ xác tuyệt đối điều kiện bình thường nhiễu không phức tạp Từng bước hướng tới đáp ứng thời gian thực Phương pháp thực hiện: Tìm hiểu ảnh số phương pháp xử lí ảnh Tìm hiểu neural tự nhiên mạng neural nhân tạo Xây dựng mô hình đơn giản giao tiếp qua cổng COM để mô trình nhận dạng tự động Trang 100 Trang 101 Giải thuật tìm vò trí cực tiểu find_valleys(t, val, offset, digit_width) Bắt đầu Tìm vò trí có giá trò< val N val = val +1 biển số dài Số vò trí < Y Vò trí cuối không thỏa vò trí cực tiểu Y Đặt vò trí đầu cuối vò trí cực tiểu để xóa mép (nếu chứa Xóa vò trí có khoảng khung ngoài) cách < ngưỡng vò trí Độ rộng ký tự > digit_width N Trang 102 5.2.3 Giải thuật nhận dạng dùng mạng neural Bắt đầu Đònh kích thước chuẩn [45 15] Chuyển sang cột Chuyển sang dạng double Sim(net, input) Tìm vò trí max Lấy ký tự dựa vào vò trí max Kết thúc Trang 103 5.3 Kết minh họa 5.3.1 Biển số dài 5.3.1.1 Kết minh họa trích biển số xe Ảnh chụp Tìm vùng biển số xe Trang 104 Lấy vùng biển số xe Xác đònh gốc nghiêng Xoay ảnh Chọn lấy vùng biển số Cắt biên thừa Cải thiện chất lượng ảnh Trang 105 Đònh kích thước chuẩn Đảo ảnh Trang 106 5.3.1.2 Kết phân tách thành ký tự Biển số xe Kết tách ký tự Trang 107 5.3.2 Biển số vuông 5.3.2.1 Kết minh họa giải thuật trích biển số xe Ảnh chụp Tìm vùng biển số xe Trang 108 Lấy vùng biển số xe Xác đònh gốc nghiêng Xoay ảnh Chọn lấy vùng biển số Trang 109 Cắt biên thừa Cải thiện chất lượng ảnh Đònh kích thước chuẩn Trang 110 Đảo ảnh 5.3.2.2 Kết phân tách thành ký tự Biển số xe Kết tách ký tự Trang 111 5.4 Mô hình Mô hình thiết kế đơn giản, dùng để thực mô trình nhận dạng cách tự động Mô hình bao gồm: 1.Webcam để bắt ảnh Giá đỡ Webcam Dây nối với cổng COM Cảm biến quang để tác động có xe qua Bộ nguồn cung cấp cho cảm biến Xe ô tô điều khiển từ xa Biển số xe ô tô Trang 112 Chương KẾT LUẬN Trang 113 6.1 Kết luận Qua thời gan thực đề tài: ‘Nhận dạng biển số xe dùng mạng neural’ tác giả hoàn thành số nội dung sau: Tìm hiểu ảnh số phương pháp xử lí ảnh để lọc nhiễu, tăng cường độ tương phản, trích vùng chứa biển số xe ảnh chụp từ camera, tách ký tự biển số xe Tìm hiểu ứng dụng mạng neural nhận dạng ký tự Tìm hiểu ứng dụng ngôn ngữ lập trình Matlab Xây dựng mô hình giao tiếp qua cổng Com để mô trình nhận dạng tự động Kết đạt từ chương trình nhận dạng biển số xe đạt khoảng 90%, chương trình nhận dạng (offline) ảnh có sẳn ổ cứng, nhận dạng ảnh chuỗi ảnh Ngoài ra, chương trình có khả nhận dạng ảnh trực tiếp từ camera (WebCam) thông qua tác động cảm biến Đối tượng nhận dạng biển số đen trắng, dài, vuông 6.2 Hạn chế đề tài - Mặc dù cố gắng nhiều tránh thiếu sót, hạn chế Chương trình nhận dạng biển số xe nhận dạng biển số đen trắng, không nhận dạng biển số màu xanh, màu đỏ Chưa dùng trình biên dòch Matlab sang C++ Vì vậy, tốc độ xử lý không nhanh, chưa đáp ứng nhu cầu thực tế Trang 114 Độ phân giải Webcam (thiết bò thu nhận ảnh) mô hình không cao, chưa đáp ứng yêu cầu thực tế, chụp xe di chuyển tốc độ chậm Không nhận dạng ảnh bò chói, sáng, tối bẩn 6.3 Hướng phát triển đề tài Qua nhữûng hạn chế nêu trên, tác giả mong muốn đề tài hoàn thiện Đề tài nhận dạng biển số xe mang ý nghóa thực tế cao.Vì vậy, tác giả kiến nghò vài hướng phát tiển để đề tài hoàn thiện ứng dụng thực tế Cải thiện tốc độ xử lý cách thay ngôn ngữ lập trình Matlab ngôn ngữ lập trình C/C++ Open CV Thay webcam camera chuyên dụng để tăng khả xử lý độ xác trình nhận dạng