Nguyễn văn toàn TTNT 3 mạng neural tính chập

TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN KHOA LÝ LUẬN CHÍNH TRỊ -*** - BÀI TẬP LỚN TRÍ TUỆ NHÂN TẠO ĐỀ BÀI : Nghiên cứu học sâu mạnh Neural tính chập ứng dụng cho toán nhận dạng biển số xe Họ tên: Nguyễn Văn Tồn Lớp: Trí tuệ nhân tạo (117)_3 Lớp chuyên ngành: CNTT56B Mã sinh viên: 11146219 Hà Nội, tháng 11 năm 2017 MỤC LỤC MỤC LỤC LỜI MỞ ĐẦU CHƯƠNG 1: MẠNG NEURAL VÀ MẠNG NEURAL TÍCH CHẬP .4 1.1 Định nghĩa mạng neural tích chập 1.2 Convolution (tích chập) 1.3 Mơ hình mạng neural tích chập .7 1.4 Xây dựng mạng neural tích chập .9 CHƯƠNG 2: TỔNG QUAN VỀ NHẬN DẠNG BIỂN SỐ XE 23 2.1 Khái niệm hệ thống nhận dạng biển số xe 23 2.1.1 Khái niệm 23 2.1.2 Lịch sử phát triển 23 2.1.3 Cách thức hoạt động hệ thống nhận dạng biển số xe 24 2.1.4 Phân loại ứng dụng nhận dạng biển số xe 24 2.1.5 Ứng dụng thực tiễn Việt Nam 25 2.1.6 Phân loại biển số xe 26 2.2 Phương pháp nhận dạng biển số xe từ ảnh chụp camera 28 2.2.1 Phương pháp chuyển đổi Hough .28 2.2.2 Phương pháp hình thái học 29 2.3 Phương pháp nhận dạng ký tự biển số xe .30 2.4 Phạm vi nghiên cứu hướng giải 31 DANH MỤC TÀI LIỆU THAM KHẢO .33 LỜI MỞ ĐẦU Deep Learning thuật toán dựa số ý tưởng từ não tới việc tiếp thu nhiều tầng biểu đạt, cụ thể lẫn trừu tượng, qua làm rõ nghĩa loại liệu Deep Learning ứng dụng nhận diện hình ảnh, nhận diện giọng nói, xử lý ngơn ngữ tự nhiên Hiện nhiều toán nhận dạng sử dụng deep learning để giải deep learning giải tốn với số lượng lớn, kích thước đầu vào lớn với hiệu độ xác vượt trội so với phương pháp phân lớp truyền thống Những năm gần đây, ta chứng kiến nhiều thành tựu vượt bậc ngành Thị giác máy tính (Computer Vision) Các hệ thống xử lý ảnh lớn Facebook, Google hay Amazon đưa vào sản phẩm chức thơng minh nhận diện khuôn mặt người dùng, phát triển xe tự lái hay drone giao hàng tự động Convolutional Neural Network (CNNs – Mạng nơ-ron tích chập) mơ hình Deep Learning tiên tiến giúp cho xây dựng hệ thống thông minh với độ xác cao Trong luận văn cao học này, em vào nghiên cứu mạng neural mạng Convolution (tích chập) ý tưởng mơ hình CNNs phân lớp ảnh (Image Classification), áp dụng việc xây dựng hệ thống nhận dạng biển số xe tự động Nội dung báo cáo bao gồm chương  Chương 1: Mạng neural mạng neural tích chập  Chương 2: Tổng quan nhận dạng biển số xe CHƯƠNG 1: MẠNG NEURAL VÀ MẠNG NEURAL TÍCH CHẬP 1.1 Định nghĩa mạng neural tích chập Những năm gần đây, ta chứng kiến nhiều thành tựu vượt bậc ngành Thị giác máy tính (Computer Vision) Các hệ thống xử lý ảnh lớn Facebook, Google hay Amazon đưa vào sản phẩm chức thơng minh nhận diện khuôn mặt người dùng, phát triển xe tự lái hay drone giao hàng tự động Convolutional Neural Network (CNNs – Mạng nơ-ron tích chập) mơ hình Deep Learning tiên tiến giúp cho xây dựng hệ thống thông minh với độ xác cao Trong luận văn này, trình bày Convolution (tích chập) ý tưởng mơ hình CNNs phân lớp chữ viết áp dụng toán nhận dạng biển số xe (Image Classification) 1.2 Convolution (tích chập) Tích chập sử dụng xử lý tín hiệu số (Signal processing) Nhờ vào nguyên lý biến đổi thông tin, nhà khoa học áp dụng kĩ thuật vào xử lý ảnh video số Để dễ hình dung, ta xem tích chập cửa sổ trượt (sliding window) áp đặt lên ma trận Bạn theo dõi chế tích chập qua hình minh họa bên Hình 1.1 Minh họa tích chập Ma trận bên trái ảnh đen trắng Mỗi giá trị ma trận tương đương với điểm ảnh (pixel), màu đen, màu trắng (nếu ảnh grayscale giá trị biến thiên từ đến 255) Sliding window có tên gọi kernel, filter hay feature detector Ở đây, ta dùng ma trận filter 3×3 nhân thành phần tương ứng (element-wise) với ma trận ảnh bên trái Gía trị đầu tích thành phần cộng lại Kết tích chập ma trận (convoled feature) sinh từ việc trượt ma trận filter thực tích chập lúc lên toàn ma trận ảnh bên trái Dưới vài ví dụ phép tốn tích chập  Ta làm mờ ảnh ban đầu cách lấy giá trị trung bình điểm ảnh xung quanh cho vị trí điểm ảnh trung tâm Hình 1.2 Ảnh mờ sau chập  Ngồi ra, ta phát biên cạnh cách tính vi phân (độ dị biệt) điểm ảnh lân cận Hình 1.3 Ảnh phát biên sau chập 1.3 Mơ hình mạng neural tích chập Bây giờ, Chúng ta biết convolution Vậy CNNs gì? CNNs đơn giản gồm vài layer convolution kết hợp với hàm kích hoạt phi tuyến (nonlinear activation function) ReLU hay để tạo thông tin trừu tượng (abstract/higher-level) cho layer Trong mơ hình Feedforward Neural Network (mạng nơ-ron truyền thẳng), layer kết nối trực tiếp với thông qua trọng số w (weighted vector) Các layer gọi có kết nối đầy đủ (fully connected layer) hay affine layer Trong mơ hình CNNs ngược lại Các layer liên kết với thông qua chế convolution Layer kết convolution từ layer trước đó, nhờ mà ta có kết nối cục Nghĩa nơ-ron layer sinh từ filter áp đặt lên vùng ảnh cục nơ-ron layer trước Mỗi layer áp đặt filter khác nhau, thông thường có vài trăm đến vài nghìn filter Một số layer khác pooling/subsampling layer dùng để chắt lọc lại thơng tin hữu ích (loại bỏ thông tin nhiễu) Tuy nhiên, ta không sâu vào khái niệm layer Trong suốt trình huấn luyện, CNNs tự động học thơng số cho filter Ví dụ tác vụ phân lớp ảnh, CNNs cố gắng tìm thông số tối ưu cho filter tương ứng theo thứ tự raw pixel > edges > shapes > facial > high-level features Layer cuối dùng để phân lớp ảnh Hình 1.4 Mơ hình mạng neural tích chập CNNs có tính bất biến tính kết hợp cục (Location Invariance and Compositionality) Với đối tượng, đối tượng chiếu theo gốc độ khác (translation, rotation, scaling) độ xác thuật toán bị ảnh hưởng đáng kể Pooling layer cho bạn tính bất biến phép dịch chuyển (translation), phép quay (rotation) phép co giãn (scaling) Tính kết hợp cục cho ta cấp độ biểu diễn thông tin từ mức độ thấp đến mức độ cao trừu tượng thông qua convolution từ filter Đó lý CNNs cho mơ hình với độ xác cao Cũng giống cách người nhận biết vật thể tự nhiên Ta phân biệt chó với mèo nhờ vào đặc trưng từ mức độ thấp (có chân, có đi) đến mức độ cao (dáng đi, hình thể, màu lơng) 1.4 Xây dựng mạng neural tích chập Phần giới thiệu mạng sâu sử dụng rộng rãi mạng tích chập sâu (deep convolutional networks) Chúng ta làm việc cụ thể với mạng tích chập để giải toán phân loại chữ số viết tay từ tập liệu MNIST Chúng ta bắt đầu mạng tích chập với việc sử dụng mạng truyền thống để giải toán phần trước Mặc dù nhiều phép toán lặp xây dựng mạng hiệu Chúng ta khám phá nhiều kĩ thuật hiệu quả: Tích chập (convolution), giảm số chiều (pooling), sử dụng GPUs để huấn luyện nhiều liệu thực mạng cũ, mở rộng giải thuật huấn luyện liệu (để giảm khớp – overfitting), sử dụng kĩ thuật dropout để giảm overfitting, việc sử dụng tổng hợp mạng kĩ thuật khác Kết hệ thống làm việc gần người Trong số 10.000 ảnh huấn luyện, hệ thống phân loại 9.967 ảnh Phần lại chương thảo luận học sâu góc độ tổng quan chi tiết Chúng ta tìm hiểu làm để mơ hình mạng nơron tích chập ứng dụng để giải tốn nhận dạng tiếng nói, xử lí ngôn ngữ tự nhiên lĩnh vực khác Và nghiên cứu mạng nơron tương lai học sâu (deep learning), từ ý tưởng giao diện người sử dụng hướng đích đến vai trò học sâu trí tuệ nhân tạo Phần xây dựng dựa phần trước sử dụng ý tưởng như: lan truyền ngược (backpropagation), regularization, hàm softmax… Trong chương trước, huấn luyện mạng noron nhận dạng chữ số viết tay tốt Chúng ta sử dụng mạng nơron mà tầng liền kề liên kết đầy đủ với Tức nơron mạng liên kết với tất nơron tầng liền kề Hình 1.5 Mơ hình mạng perceptron đa tầng 10 Mạng bắt đầu với 28 × 28 nơron đầu vào, sử dụng để mã hóa cường độ điểm ảnh cho ảnh MNIST Sau lớp tích chập sử dụng × trường tiếp nhận cục đồ đặc trưng Kết lớp × 24 × 24 nơron lớp ẩn Bước lớp max-pooling, áp dụng cho × vùng qua đồ đặc trưng (feauture maps) Kết lớp × 12 × 12 nơron đặc trưng tầng ẩn Lớp cuối kết nối mạng lớp đầy đủ kết nối Đó là, lớp nối nơron từ lớp max-pooled tới nơron tầng Kiến trúc kết nối đầy đủ giống sử dụng chương trước Kiến trúc tích chập hoàn toàn khác với kiến trúc sử dụng chương trước Nhưng tổng thể tương tự: mạng cấu tạo từ nhiều đơn vị đơn giản, hành vi xác định trọng số độ lệch Và mục tiêu tổng thể nhau: sử dụng liệu huấn luyện để huấn luyện trọng số độ lệch mạng mạng tốt việc phân loại chữ số đầu vào Đặc biệt, phần đầu ta trình bày, ta huấn luyện mạng sử dụng gradient descent ngẫu nhiên lan truyền ngược Tuy nhiên, cần thay 21 đổi thủ tục lan truyền ngược (backpropagation) Lý công thức lan truyền ngược cho mạng với tầng kết nối đầy đủ May mắn thay, đơn giản để thay đổi cơng thức lan truyền ngược cho lớp tích chập lớp maxpooling 22 CHƯƠNG 2: TỔNG QUAN VỀ NHẬN DẠNG BIỂN SỐ XE 2.1 Khái niệm hệ thống nhận dạng biển số xe 2.1.1 Khái niệm Hệ thống nhận dạng biển số xe hệ thống có khả phân tích hình ảnh xác định vùng chứa biển số xe, thông qua video, thiết bị ghi hình hình ảnh 2.1.2 Lịch sử phát triển Năm 1992, công nghệ ALPR (Automatic License Plate Number) hay gọi tự động nhận dạng biển số xe, phát triển Đại học Cambridge Vương quốc Anh để ứng phó với chủ nghĩa khủng bố Đến năm 1996, cơng nghệ ALPR hồn thiện cổng phía tây Vương quốc Anh để đọc tất biển đăng ký xe từ Ireland Công nghệ ALPR tiếp tục nghiên cứu phát triển Anh Kể từ tháng ba năm 2006, hầu hết đường, trung tâm thị trấn, cảng, trạm xăng London lắp đặt camera chạy phần mềm ALPR Trên giới nay, toán nhận dạng biển số xe nghiên cứu phát triển cách sâu rộng Nhiều tác giả với công trình nghiên cứu cơng bố với tỉ lệ nhận dạng ngày xác Một số báo cáo nghiên cứu tác giả tiêu biểu vài năm trở lại như: Chirag N Paunwala, 2010 [1] với nội dung: rút trích vùng số xe ảnh Ảnh đầu vào tiền xử lý cách phương pháp nâng cao chất lượng ảnh, sau tìm biên Vertical Edge xử lý lần Opening Closing Các vùng ứng viên sau kiểm tra thuật tốn scan theo dòng để tìm vùng chứa biển số xe xác Kết nhận dạng 750 ảnh điều kiện khác cho tỉ lệ 742/750 = 99.2 Choo Kar Soon, 2012 [2] với nội dung: nhận dạng biển số xe Malaysia, sử dụng giải thuật Adaboots để training tập liệu gồm gần 100 ảnh biển số Các ký tự nhận dạng phương pháp KNN Kết nhận dạng biển số 98% nhận dạng ký tự 95% ảnh tĩnh 23 Báo cáo nghiên cứu cách nhận dạng biển số xe với kết hợp phép biến đổi Hough giải thuật tìm Contour để cải thiện kết phát Vùng ứng viên sau tiếp tục scan theo dòng để đếm số đối tượng bị cắt so sánh với ngưỡng, nhằm tìm vùng ứng viên thõa mãn Kết nhận dạng đạt 98-99% Phần mềm nhận dạng biển số xe, ứng dụng thực tế trạm cân, trạm gửi xe, trụ đèn giao thông để phát xe vi phạm 2.1.3 Cách thức hoạt động hệ thống nhận dạng biển số xe Hệ thống ALPR (Automatic License Plate Recognition) gồm phần cứng phần mềm, phần cứng camera thu nhận ảnh xe phần mềm có chức nhận dạng biển số xe từ ảnh chụp camera Camera thu nhận ảnh đặt vị trí cố định cho qt hình ảnh xe cách rõ ràng chụp lại hình ảnh đối tượng xe có chứa biển số Ảnh đưa vào phần mềm nhận dạng để trích xác biển số xe có ảnh, sau thuật tốn OCR (Optical Character Recognition) sử dụng để lấy ký tự chuyển đổi thành định dạng mà máy tính phân biệt chữ số dạng text…Cùng với phát triển công nghệ, camera ngày chụp cách rõ nét điều kiện xe chạy với tốc độ cao đường cao tốc Khơng có hệ thống ALPR nhận dạng xác 100% Điều phụ thuộc vào nhiều yếu tố thời tiết, độ sáng, góc camera tới xe,…Một số yếu tố ảnh hưởng đến độ xác hệ thống là:  Độ phân giải ảnh ảnh bị mờ  Điều kiện ánh sáng yếu, bị phản chiếu che bóng  Các đối tượng có dạng tương tự biển số xe ngoại cảnh  Sự khác cấu trúc biển số xe nước 2.1.4 Phân loại ứng dụng nhận dạng biển số xe Có nhiều cách thức khác để phân loại ứng dụng nhận dạng biển số xe Một cách đơn giản phân loại ứng dụng nhận dạng biển số xe thơng qua mục đích sử dụng Có thể chia ứng dụng nhận dạng biển số xe thành hai loại sau: 24 Loại 1: Giới hạn vùng nhìn Đầu vào: Ảnh thu trực tiếp từ thiết bị ghi nhận ảnh kỹ thuật số Ảnh ghi nhận thường giới hạn vùng có biển số xe Nguyên lý hoạt động: Các phương tiện giao thông phải chạy với tốc độ đủ chậm để máy ghi nhận hình ảnh thu ảnh vùng biển số xe Ứng dụng: Những ứng dụng nhận dạng biển số xe loại thường dùng trạm kiểm sốt, trạm thu phí, bãi gửi xe tự động, trạm gác cổng Loại 2: Khơng giới hạn vùng nhìn Đầu vào: Ảnh đầu vào thu từ thiết bị ghi hình tự động, khơng phụ thuộc vào góc độ, đối tượng xung quanh, ảnh không cần bắt buộc chụp vùng chứa biển số xe, mà ảnh tổng hợp chứa thêm đối tượng người, đường phố , miễn vùng biển số xe phải đủ rõ để thực nhận dạng ký tự vùng Ngun lý hoạt động: Do đặc tính khơng giới hạn vùng nhìn mà ảnh đầu vào thu từ thiết bị ghi hình (camara, máy ảnh…) Và đó, cơng việc dò tìm ảnh, để xác định vùng biển số xe Sau đó, thực tách vùng nhận dạng Cuối tùy thuộc vào mục đích sử dụng mà kết nhận dạng truyền hay lưu trữ để phục vụ nhu cầu người dùng cuối Ứng dụng: Vì khơng phụ thuộc vào hình ảnh thu nên dùng ứng dụng nhiều nơi nơi điều tiết giao thông, vị trí nhạy cảm giao thơng ngã ba, ngã tư đường giao Kiểm soát, phát hành vi vi phạm an tồn giao thơng 2.1.5 Ứng dụng thực tiễn Việt Nam Hệ thống nhận dạng biển số xe xây dựng nhằm mục đích giám sát, kiểm soát phương tiện Dưới đề cập đến số ứng dụng phổ biến hệ thống nhận dạng biển số xe: 25  Thu phí giao thơng: Lắp đặt hệ thống “Nhận dạng biển số xe” trạm thu phí nhằm hỗ trợ tự động hóa cơng tác thu phí  Kiểm soát xe đường biên giới: Mỗi quốc gia có quy định riêng biển số xe, để phục vụ cho công tác quản lý phát phương tiện giao thông (xe) vượt biên giới bất hợp pháp Việc lắp hệ thống “Nhận dạng biển số xe” trạm kiểm soát góp phần hỗ trợ cơng tác kiểm tra an ninh quốc gia  Các trạm gác cổng: Việc lắp đặt hệ thống “Nhận dạng biển số xe” hỗ trợ tự động hóa cơng tác mở cổng cho xe vào Ngồi ra, hệ thống ứng dụng vào công tác chống trộm xe, bãi giữ xe tự động, điều tiết giao thông (chẳng hạn Thành phố Dublin ứng dụng công nghệ “Nhận dạng biển số xe tự động” việc điều tiết giao thông theo dạng biển số chẵn/lẻ) 2.1.6 Phân loại biển số xe 2.1.6.1 Quy định màu sắc ký tự biển số  Biển trắng chữ đen dành cho dân  Màu trắng chữ, số biển dành cho người nước  NG xe ngoại giao  NN xe tổ chức, cá nhân nước ngồi: Trong số mã quốc gia, số số thứ tự ( Ghi chú: Xe số 80 NG xxx-yy biển cấp cho đại sứ quán, thêm gạch đỏ số cuối 01 biển xe tổng lãnh sự.)  Biển đỏ chữ trắng dành cho quân đội Bảng 2.1 Quy định biển số cho quân đội AT Binh đoàn 12 AD QĐ 4, Binh đoàn Cửu Long BB Bộ Binh BC Binh chủng cơng binh BH Binh chủng hóa học BS Binh đồn Trường Sơn BT Binh chủng thơng tin liên lạc BP Bộ Tư lệnh biên phòng HB Học viện lục quân HH Học viện quân y 26 KA Quân khu KB Quân khu KC Quân khu KD Quân khu KV Quân khu KP Quân khu KK Quân khu PP Các quân y viện QH Qn chủng hải qn QK,QP phòng khơng khơng qn QC TC Tổng cục trị TH TK Tổng cục CN Quốc phong TM Bộ tổng tham mưu TT VT Tổng cục hậu cần Tổng cục kĩ thuật Viettel 2.1.6.2 Quy định biển số cho tỉnh thành Bảng 2.2 Quy định biển số cho tỉnh thành 11 Cao Bằng 43 Đà Nẵng 77 Bình Định 12 Lạng Sơn 47 Đắc Lắc 78 Phú Yên 14 Quảng Ninh 48 Đắc Nơng 79 Khánh Hòa 15,16 Hải Phòng 49 Lâm Đồng 80 Các đơn vị TW 17 Thái Bình 50-59 TP.HCM 81 Gia Lai 18 Nam định 60 Đồng nai 82 Kon tum 19 Phú thọ 61 Bình dương 83 Sóc trăng 21 n bái 62 Long an 84 Trà vinh 22 Tuyên quang 63 Tiền giang 85 Ninh thuận 23 Hà giang 64 Vĩnh long 86 Bình thuận 24 Lào cai 65 Cần thơ 88 Vĩnh phúc 25 Lai châu 66 Đồng tháp 89 Hưng yên 26 Sơn la 67 An giang 90 Hà nam 27 Điện biên 68 Kiên giang 92 Quảng nam 27 28 28 Hòa bình 69 Cà mau 93 Bình phước 29-32 Hà nội 70 Tây Ninh 94 Bạc Liêu 33 Hà tây 71 Bến tre 95 Hậu giang 34 Hải dương 72 BR-VT 97 Bắc cạn 35 Ninh bình 73 Quảng bình 98 Bắc giang 36 Thanh hóa 74 Quảng trị 99 Bắc ninh 37 Nghệ an 75 Huế 38 Hà tĩnh 76 Quảng ngãi Các xe mang biển A: Xe Công An - Cảnh Sát tương ứng với tỉnh 2.2 Phương pháp nhận dạng biển số xe từ ảnh chụp camera Có nhiều phương pháp để giải vấn đề quy phương pháp sau đây:  Phương pháp dùng chuyển đổi Hough: dựa vào đặc trưng cạnh biên trích được, áp dụng phương pháp xác định đường thẳng phép biến đổi Hough để phát cặp đường thẳng gần song song ghép thành ảnh biển số Giao điểm đoạn thẳng vùng bao chứa biển số xe  Phương pháp hình thái học: dựa vào đặc trưng hình thái biển số xe màu sắc, độ sáng, đối xứng… để xác định trích ảnh biển số  Phương pháp khớp mẫu: xem biển số đối tượng có khung riêng sử dụng cửa sổ dò để trích đối tượng đưa qua mạng noron (neural network), trí tuệ nhân tạo (artificial intelligence) chẳng hạn để phân loại có phải vùng biển số hay khơng 2.2.1 Phương pháp chuyển đổi Hough Dò đặc trưng biên ngang, dọc: làm bật viền bao tất đối tượng ảnh có viền bao biển số Phương pháp sử dụng lọc gradient để trích đặc trưng cạnh biên Nghiên cứu sử dụng lọc Sobel để tiến hành dò Dùng chuyển đổi Hough tìm đoạn thẳng ngang dọc cở sở ảnh nhị phân biên cạnh thu từ bước 29 30 Tách đoạn thẳng ngang, dọc cạnh biển số Trích ứng viên biển số: thành lập hình chữ nhật ứng viên cho biển số với tiêu chí cụ thể đoạn thẳng thu qua đánh giá kích thước, tỉ lệ chiều rộng chiều cao so với ngưỡng Ưu điểm: độ xác cao, khơng phụ thuộc vào màu sắc biển số xe Nhược điểm: Độ phức tạp tính tốn cao Khi ảnh có thêm nhiêu đối tượng khác khối lượng tính tốn tăng lên nhiều mục đích phải xác định vùng chứa biển số xe phụ thuộc lớn vào bước trích đặc trưng biên cạnh dẫn đến đoạn thẳng ứng viên thu thường ngắn nhiều so với chiều dọc chiều ngang biển số 2.2.2 Phương pháp hình thái học Nhóm tác giả Chirag N Paunwala, 2012 đại diện cho phương pháp này, với kết nhận dạng tốt 99.5% Nội dung phương pháp: Dựa vào đặc trưng quan trọng biển số xe máy có độ sáng (tức mức xám chuyển ảnh dạng xám) tương đối khác so với vùng khác ảnh, phân bố mức xám đồng biển số nhị phân hoá, vùng biển số đối tượng có đặc thù hình thái, phân biệt với vùng khác Như bước thực là:  Xác định ngưỡng xám Thực chất khơng có phương pháp chọn cho ngưỡng xám để thực Thay vào đó, ngưỡng xám qt khoảng Thơng qua lược đồ xám ta nhận thấy vùng biển số thường có độ sáng tương đối lớn (từ 130-200) ta xác định ngưỡng xám cần chọn thuộc vùng nhờ ta giảm thời gian lặp tìm ngưỡng xám  Nhị phân hố ảnh xám đầu vào với ngưỡng xám xác định  Lọc nhiễu gây ảnh hưởng xấu tới đối tượng biển số  Gắn nhãn cho đối tượng ảnh nhị phân thu  Trích đối tượng ứng viên biển số theo tiêu chí cụ thể biển số xe chiều cao, chiều rộng, tỉ lệ cạnh, diện tích, trọng tâm, số điểm 31 cắt… Hình 2.1 Ảnh xám lược đồ xám ảnh 2.3 Phương pháp nhận dạng ký tự biển số xe Phương pháp phổ biến để nhận dạng ký tự sử dụng mạng noron (hoặc SVM, K-NN,…), tức huấn luyện cho máy tính để nhận dạng ký tự Tuy nhiên số lượng ký tự biển số không nhiều nên để đảm bảo tốc độ xử lý, sử dụng phương pháp Hình thái học để giải khâu ký tự có đặc điểm hình thái đặc biệt phân biệt với chẳng hạn “0” có lỗ trống giữa, “8” có lỗ trống hay “X” đối xứng trục dọc ngang…Khâu thực sở xây dựng nhị phân tối ưu đặc điểm hình thái nên đảm bảo tính khoa học tính xác cao Thuật tốn bước sau:  Quan sát chọn đặc tính phân biệt ký tự để xây dựng ma trận đặc tính  Xây dựng nhị phân tối ưu từ ma trận đặc tính tập ký tự thu  Quan sát nhị phân, kiểm tra số đặc tính đủ để nhận dạng chưa, thiếu (dư) phải bổ sung (bỏ đi) quay lại bước  Tiến hành nhận dạng ký tự sở nhị phân tối ưu tìm 32 2.4 Phạm vi nghiên cứu hướng giải Trong đồ án này, công việc cần phải giải vấn đề phát vùng chứa biển số xe nhận dạng ký tự biển số Với toán phát vùng chứa biển số cách tiếp cận theo phương pháp hình thái học để phát vùng biển số cho biển đăng ký xe Việt Nam Bài toán nhận dạng ký tự sử dụng mơ hình mạng Neural tích chập để tiến hành nhận dạng Một số đặc điểm để nhận dạng biển số xe Việt Nam a) Tiêu chuẩn kích thước (theo quy định Bộ Giao Thơng Vận Tải) Ở nước thường có tiêu chuẩn kích thước định Đối với nước ta, biển số xe qui định đồng cho loại xe, tỷ lệ chiều dài, rộng cho loại xe Quy định kích thước sau:  Biển ô tô - Chiều cao: 110 mm Chiều rộng: 470 mm (biển dài) - Chiều cao: 200 mm Chiều rộng: 280 mm (biển vuông)  Biển xe máy: - Chiều cao: 140 mm Chiều rộng: 190 mm Như vậy, tỉ lệ Chiều cao / Chiều rộng là:  0.18 < Chiều cao/Chiều rộng < 0.3 (biển số có hàng)  0.6 < Chiều cao/Chiều rộng < 0.85 (biển số xe có hàng) Từ đặc điểm này, ta xác định vùng có khả biển số theo ràng buộc kích thước b) Tiêu chuẩn ký tự Theo đo đạc biển số thực tế, ký tự thường có tỷ lệ kích thước chiều rộng, chiều cao tương ứng với chiều dài rộng biển số xe Ví dụ, chiều cao ký tự nhỏ 85% chiều cao biển số xe lớn 60% chiều cao biến xe biển số xe có hàng, với biển số xe có hai hàng chiều cao kí tự khơng q 50% chiều cao biển số xe Chiều rộng ký tự thường không lớn 20% chiều cao ký tự Mỗi ký tự biển số xe xem vùng liên thông hay contour (bao đóng) Do đó, đếm số contours thỏa mãn tính chất ký tự Ở nước ta có số ký tự biển số xe nằm khoảng đến ký tự Từ phân tích trên, tóm tắt phương pháp thực chương trình nhận dạng sau: Bước 1: Ảnh đầu vào ảnh màu BGR, tiền xử lý thuật toán xử lý ảnh Bước 2: Tìm contour ảnh xe (Mỗi contour vùng bao kín, vùng biển số vùng bao kín nên tương ứng với contour) Bước 3: Lọc contour theo tiêu chí kích thước, góc, tỉ lệ, số kí tự,… Bước 4: Xử lý kết đầu để lấy vùng biển số Bước 5: Tách ký tự vùng biển số tìm Bước 6: Đưa tập ký tự tách vào mạng Neural để nhận dạng Bước 7: Hiển thị kết lên giao diện chương trình DANH MỤC TÀI LIỆU THAM KHẢO [1] http://neuralnetworksanddeeplearning.com/chap6.html [2] http://neuralnetworksanddeeplearning.com/chap2.html [3].Y LeCun and Y Bengio.“Convolutional networks for images, speech, and time-series.” In M A Arbib, editor, The Handbook of Brain Theory and Neural Networks MIT Press, 1995 [4].Fabien Lauer, ChingY Suen, Gérard Bloch,”A trainable feature extractor for handwritten digit recognition“,Elsevier, october 2006 [5].Patrice Y Simard, Dave Steinkraus, John Platt, "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis," International Conference on Document Analysis and Recognition (ICDAR), IEEE [6] Chirag N Paunwala & Suprava Patnaik “A Novel Multiple License Plate Extraction Techniquefor Complex Background in Indian Traffic Conditions”, Sarvajanik College of Engineering and Technology, 2010 [7] Choo Kar Soon, Kueh Chiung Lin, Chung Ying Jeng and Shahrel A Suandi , “Malaysian Car Number Plate Detection and Recognition System”, 2012 [8] Tran Duc Duan, Duong Anh Duc, Tran Le Hong Du, “Combining Hough Transform and Contour Algorithm for detecting Vehicles License-Plates”, University of Natural Sciences, 2004 [9] Nobuyuki Otsu, "A threshold selection method from gray-level histograms”, 1979 [10] Suman K Mitra “Recognition of Car License Plate using Morphology”, hirubhai Ambani Institute of Information and Communication Technology, Gandhinagar, Gujarat, India [11] Các tài liệu www.opencv.com EmguCV www.emgucv.com OPenCV ... 1: MẠNG NEURAL VÀ MẠNG NEURAL TÍCH CHẬP .4 1.1 Định nghĩa mạng neural tích chập 1.2 Convolution (tích chập) 1 .3 Mô hình mạng neural tích chập .7 1.4 Xây dựng mạng neural. .. 1: Mạng neural mạng neural tích chập  Chương 2: Tổng quan nhận dạng biển số xe CHƯƠNG 1: MẠNG NEURAL VÀ MẠNG NEURAL TÍCH CHẬP 1.1 Định nghĩa mạng neural tích chập Những năm gần đây, ta chứng... tâm Hình 1.2 Ảnh mờ sau chập  Ngồi ra, ta phát biên cạnh cách tính vi phân (độ dị biệt) điểm ảnh lân cận Hình 1 .3 Ảnh phát biên sau chập 1 .3 Mơ hình mạng neural tích chập Bây giờ, Chúng ta biết