Nghiên cứu nhận dạng biển số xe ứng dụng thuật toán lan truyền ngược

1 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC VINH ĐOÀN ANH TUẤN NGHIÊN CỨU NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG THUẬT TOÁN LAN TRUYỀN NGƢỢC LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGHỆ AN, 7/2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC VINH ĐOÀN ANH TUẤN NGHIÊN CỨU NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG THUẬT TOÁN LAN TRUYỀN NGƢỢC Chuyên ngành: Công nghệ thông tin Mã số: 8480201 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS PHAN LÊ NA NGHỆ AN, 7/2018 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng dƣới hƣớng dẫn TS Phan Lê Na Các kết đạt đƣợc luận văn sản phẩm riêng cá nhân, không chép ngƣời khác Nội dung luận văn có tham khảo sử dụng số thơng tin, tài liệu từ nguồn sách, tạp chí đƣợc liệt kê danh mục tài liệu tham khảo Tác giả Đoàn Anh Tuấn LỜI CẢM ƠN Em xin tỏ lịng biết ơn sâu sắc đến giáo TS Phan Lê Na, ngƣời tận tình giúp đỡ truyền đạt nhiều kinh nghiệm để luận văn thân tơi đƣợc thực hồn thành Em xin cảm ơn tồn thể thầy giáo, giáo Viện kỹ Thuật Công nghệ Trƣờng Đại học Vinh tận tình giảng dạy hƣớng dẫn, trang bị cho em kiến thức cần thiết trình thực luận văn thành công Nghệ An, tháng năm 2018 Tác giả Đoàn Anh Tuấn MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC HÌNH MỞ ĐẦU Sự cần thiết vấn đề nghiên cứu Mục tiêu nghiên cứu 10 2.1 Mục tiêu tổng quát 10 2.2 Mục tiêu cụ thể 10 Đối tƣợng phạm vi nghiên cứu 10 3.1 Đối tƣợng nghiên cứu 10 3.2 Phạm vi nghiên cứu 10 Nội dung nghiên cứu .10 Kết cấu luận văn .11 Chƣơng 1: TỔNG QUAN VỀ NHẬN DẠNG BIỂN SỐ XE 12 1.1 Khái niệm hệ thống nhận dạng biển số xe 12 1.1.1 Khái niệm 12 1.1.2 Lịch sử phát triển 12 1.1.3 Cách thức hoạt động hệ thống nhận dạng biển số xe 13 1.2 Phƣơng pháp nhận dạng biển số xe từ ảnh 13 1.2.1 Phương pháp chuyển đổi Hough 14 1.2.2 Phương pháp CANDY 14 1.2.3 Phép biến đổi RADON để tìm góc nghiêm xoay: 16 1.3 Phạm vi nghiên cứu hƣớng giải 17 1.3.1 Tiêu chuẩn kích thước 18 1.3.2 Tiêu chuẩn ký tự 18 1.4 Kết luận chƣơng .18 Chƣơng 2: CƠ SỞ LÝ THUYẾT MẠNG NƠRON NHÂN TẠO 20 2.1 Khái niệm mạng nơron .20 2.1.1 Sơ lược nơron sinh học 20 2.1.2 Mạng nơron nhân tạo 22 2.1.3 Cấu trúc mạng 28 2.1.3.1 Mạng lớp neuron 28 2.1.3.2 Mạng nhiều lớp neuron 29 2.2 Huấn luyện mạng nơron .30 2.2.1 Phương pháp học 30 2.2.1.1 Học có giám sát 31 2.2.1.2 Học khơng có giám sát 31 2.2.1.3 Học tăng cường 31 2.3 Thuật toán lan truyền ngược Back Propagation 32 2.3.1 Mô tả thuật toán 32 2.3.1.1 Chỉ số hiệu 33 2.3.1.2 Luật xích 34 2.3.1.3 Lan truyền ngược độ nhạy cảm 35 2.3.2 Sử dụng thuật toán lan truyền ngược 38 2.3.2.1 Chọn lựa cấu trúc mạng 38 2.3.2.2 Sự hội tụ 40 2.3.2.3 Sự tổng quát hóa 40 2.3.3 Một số biến thể thuật toán lan truyền ngược 41 2.3.3.1 Sử dụng tham số bước đà (Momentum) 42 2.3.3.2 Sử dụng hệ số học biến đổi 42 2.4 Kết luận chƣơng .43 Chƣơng 3: ỨNG DỤNG MẠNG NƠRON VÀ THUẬT TOÁN LAN TRUYỀN NGƢỢC TRONG NHẬN DẠNG BIỂN SỐ XE 44 3.1 Tách biển số khỏi ảnh: .44 3.2 Tách ký tự khỏi biển số 45 3.3 Xây dựng mô hình mạng 48 3.4 Giới thiệu chƣơng trình 49 3.5 Kết thực nghiệm nhận dạng biển số xe với mạng nơron ứng dụng thuật toán lan truyền ngƣợc 50 3.6 Kết luận chƣơng .51 KẾT LUẬN 52 TÀI LIỆU THAM KHẢO 53 DANH MỤC CÁC HÌNH Hình 1.1 Xác định đƣờng biên theo phƣơng pháp candy…………………………15 Hình 1.2 Phép biến đổi radon dƣới dạng hình học……………………………… 16 Hình 1.3 Cách tính biến đổi Radon với góc quay θ……………………………….17 Hình 2.1 Mơ hình nơron sinh học……………………………………………….21 Hình 2.2 Mơ hình nơron đơn giản……………………………………….……… 22 Hình 2.3 Mạng nơron lớp……………………………………………….……….22 Hình 2.4 Cấu trúc huấn luyện mạng nơron………………………….…………….23 Hình 2.5 Mơ hình nơron đơn giản…………… .24 Hình 2.6 Một số dạng hàm chuyển mạng nơron……………….…………… 25 Hình 2.7 Nơron với R đầu vào……………………………………….…….…… 25 Hình 2.8 Ký hiệu nơron với R đầu vào……………………………….………… 26 Hình 2.9 Cấu trúc mạng nơron 1………………………………….………………27 Hình 2.10 Ký hiệu mạng R đầu vào S nơron ………………….…………… 28 Hình 2.11 Cấu trúc mạng nơron lớp…………….…………….…………….… 29 Hình 2.12 Ký hiệu tắt mạng nơron lớp…………………….……………….… 29 Hình 2.13 Mạng nơron truyền thẳng nhiều lớp sử dụng thuật học BP 31 Hình 2.14 : Xấp xỉ hàm f ( x)   sin( i x) với 2  x  …………………… 38 Hình 2.15 Ttrƣờng hợp i = số nơron lớp ẩn = 9……………………… …….39 Hình 3.1 Ảnh mức xám ảnh nhị phân ………………………………… ….….43 Hình 3.2 Lƣợc đồ Histogram & ảnh sử dụng phƣơng pháp dị biên Canny… … 43 Hình 3.3 Biển số sau đƣợc tách khỏi ảnh …………………………… … 44 Hình 3.4 Kết tách ký tự khỏi biển số:……………….……… ……… 46 Hình 3.5 Mơ hình mạng dùng để nhận dạng ký tự ………………………… ……47 Hình 3.6: Giao diện chƣơng trình nhận dạng biển số xe ………………………… 48 Hình 3.7: Kết chƣơng trình nhận dạng biển số xe ………………… ……… 49 Hình 3.8 Một số biển không phát đƣợc biển số …………………… …… 50 DANH MỤC CÁC BẢNG Bảng 3.1 Kết nhận dạng biểu số …………………………………………… 51 MỞ ĐẦU Sự cần thiết vấn đề nghiên cứu Khoa học công nghệ ngày phát triển vƣợt bậc nên máy móc đại ngày nhiều, dẫn đến thơng tin thu nhận ngƣời ngày phong phú, thơng tin ngƣời nhận đƣợc ảnh phần dạng thông tin Hiên công việc xử lý ảnh lĩnh vực ngày đƣợc phổ biến, khơng chỉ dừng lại việc xử lý thông thƣờng nhƣ: làm giảm vết nhòe, phục hồi ảnh cũ Với phát triển kỹ thuật cơng nghệ xử lý ảnh mang lại nấc thang nhƣ nhận dạng nhận dạng đối tƣợng Song song với lên xã hội phƣơng tiện giao thơng ngày tăng, nhu cầu kiểm soát nhƣ quản lý phƣơng tiện giao thơng ngày đƣợc địi hỏi cấp thiết hơn, từ đặt vấn đề xây dựng hệ thống tự động để giải vấn đề vấn đề hệ thống “Nhận dạng biển số xe” Hệ thống nhận dạng biển số xe hệ thống thu nhận hình ảnh nhƣ phân tích biển số xe cách tự động Nhận dạng biển số xe đƣợc ứng dụng rộng rãi nơi nhƣ: trạm kiểm soát cầu đƣờng bộ, bãi giữ xe tự động Trong hệ thống tự động ln có u cầu phần cứng phần mềm, hệ thống “Nhận dạng biển số xe” phải có yêu cầu nhƣ Trong hệ thống phần cứng camera có nhiệm vụ thu nhận hình ảnh cịn phần mềm có nhiệm vụ xử lý hình ảnh Với phát triển cơng nghệ việc thu nhận ảnh camera dễ dàng, nhƣng vấn đề đặt hiệu xử lý ảnh hệ thống Với hệ thống nàu dùng phần mềm matlap để xử lý thu đƣợc Với vai trị phân tích luận văn chủ yếu tập trung vào giải vấn đề đặt xử lý ảnh cho kết biển số xác dạng văn 10 Mục tiêu nghiên cứu 2.1 Mục tiêu tổng quát Nghiên cứu phƣơng pháp nhận dạng biển số xe mạng nơron 2.2 Mục tiêu cụ thể Đề tài tập trung vào mục tiêu sau: - Nghiên cứu tổng quan nhận dạng biển số xe mạng nơron - Cài đặt thử nghiệm phƣơng pháp ứng dụng thuật toán lan truyền ngƣợc cho nhận dạng biển số xe Đối tƣợng phạm vi nghiên cứu 3.1 Đối tƣợng nghiên cứu - Tập trung vào đối tƣợng nghiên cứu kỷ thuật xử lý ảnh mạng nơron sở nghiên cứu thuật toán nhận dạng biển số - Các vấn đề liên quan đến phƣơng pháp nhận dạng biển số xe - Thuật toán lan truyền ngƣợc 3.2 Phạm vi nghiên cứu - Tập trung xử lý biển số có chữ đen, trắng, có hàng - Nghiên cứu xử lý biển số khơng bị tróc sơn hay rỉ sét, khơng bị che khuất, khơng bị nhịe - Khi nghiên cứu tập trung biển số có góc nghiêng tối đa không 450 - Tập trung vào ảnh khơng bị mờ, ký tự biển số cịn phân biệt, không bị nhiễu ánh sáng Nội dung nghiên cứu - Nghiên cứu kỹ thuật nhận dạng biển số xe dùng kỹ thuật xử lý ảnh mạng nơron Đặt tiền đề nghiên cứu sâu để đƣa ứng dụng cụ thể - Xây dựng phƣơng pháp thuật toán để thực nhận dạng, qua nghiên cứu hạn chế nhƣợc điểm hệ thống để tiến hành tối ƣu 39 i tăng Trong phần sau, ta sử dụng ví dụ Function Approximation thƣ viện Matlab R2010b (file nnd11fa.m) Ở đây, mạng sử dụng có lớp ẩn, lớp ra; đƣơng nhiên, mạng có đầu vào đầu Lớp ẩn sử dụng hàm sigmoid, lớp dùng hàm đồng nhất: sigmoid ( x)  g(x) = x  e x Số nơron lớp ẩn 4, kết xấp xỉ mạng trƣờng hợp i = 1, 2, 4, nhƣ hình vẽ dƣới Các đƣờng màu đen trả lời mạng, đƣờng mờ hàm cần xấp xỉ a Trƣờng hợp i=1 b Trƣờng hợp i = a Trƣờng hợp i=4 b Trƣờng hợp i = Hình 2.14 : Xấp xỉ hàm f ( x)   sin( i x) với 2  x  Khi ta tăng số nơron lớp ẩn lên khả xấp xỉ hàm số mạng tốt Chẳng hạn, xét trƣờng hợp sử dụng nơron lớp ẩn i = ta có đƣợc kết sau: 40 Hình 2.15 Ttrường hợp i = số nơron lớp ẩn = Điều có nghĩa ta muốn xấp xỉ hàm số mà có số điểm cần xấp xỉ lớn ta cần số nơron lớn lớp ẩn 2.3.2.2 Sự hội tụ Trong phần ta thấy trƣờng hợp mạng nơron không trả lại kết xác thuật tốn lan truyền ngƣợc thực tối thiểu hóa trung bình bình phƣơng lỗi Điều khả mạng bị giới hạn số nơron lớp ẩn Tuy nhiên, có trƣờng hợp mà thuật tốn lan truyền ngƣợc khơng cho ta tham số dẫn đến kết xác nhƣng mạng xấp xỉ đƣợc hàm số Điều xảy trạng thái khởi đầu mạng, sau luyện, mạng rơi vào điểm cực tiểu toàn cục rơi vào điểm cực tiểu địa phƣơng Cần ý thuật tốn trung bình bình phƣơng tối thiểu, điểm cực trị tồn cục ln tồn lẽ hàm trung bình bình phƣơng lỗi thuật tốn trung bình bình phƣơng tối thiểu hàm bậc hai, nữa, hàm bậc hai nên đạo hàm bậc hai hàm lỗi số, mà độ cong hàm theo hƣớng cho trƣớc không thay đổi Trong đó, thuật tốn lan truyền ngƣợc áp dụng cho mạng nhiều lớp sử dụng hàm chuyển phi tuyến có nhiều điểm cực trị địa phƣơng độ cong hàm lỗi khơng cố định theo hƣớng cho trƣớc 2.3.2.3 Sự tổng quát hóa 41 Trong phần lớn trƣờng hợp, mạng nơron truyền thẳng nhiều lớp đƣợc luyện số cố định mẫu xác định hoạt động mạng: {(p1,t1), (p2,t2), …, (pQ,tQ)} đó, pi đầu vào, tƣơng ứng với đầu mong muốn ti Tập huấn luyện thông thƣờng thể số lớn lớp cặp Một điều quan trọng mạng nơron có khả tổng quát hóa đƣợc từ học Nếu có đƣợc điều đó, liệu có nhiễu mạng có khả hoạt động tốt (trả lại kết gần với đích mong muốn) “Để mạng có khả tổng quát hóa tốt, cần có số tham số số liệu có tập huấn luyện” ([3]) Trong mạng nơron, nhƣ tốn mơ hình hóa, ta thƣờng mong muốn sử dụng mạng đơn giản cho kết tốt tập huấn luyện Một cách khác dừng luyện mạng trƣớc mạng xảy tình trạng thừa ăn khớp Kỹ thuật liên quan đến việc chia tập liệu thu đƣợc thành ba tập: tập huấn luyện sử dụng để tính tốn gradient cập nhật trọng số mạng, tập kiểm định đƣợc dùng để kiểm tra điều kiện dừng mạng tập kiểm tra đƣợc sử dụng để so sánh khả tổng quát hóa mạng tham số mạng sau lần huấn luyện 2.3.3 Một số biến thể thuật toán lan truyền ngược Ta xem xét số đặc điểm thuật toán lan truyền ngƣợc sử dụng kỹ thuật giảm theo hƣớng Mạng sử dụng thuật tốn lan truyền ngƣợc cónhƣợc điểm rơi vào điểm cực tiểu địa phƣơng mạng nơron truyền thẳng nhiều lớp sử dụng hàm chuyển hàm phi tuyến Hơn nữa, thực luyện mạng cách đƣa mẫu vào, sau thực cập nhật tham số, làm ảnh hƣởng đến trình học mẫu khác Do đó, phƣơng pháp để tăng tốc độ hội tụ sử dụng phƣơng pháp học gói (batch training), nghĩa tất mẫu đƣợc đƣa vào mạng, sau thực cập nhật tham số Bây ta xem xét số biến thể thuật toán lan truyền ngƣợc sử dụng phƣơng pháp học gói nhằm vƣợt qua nhƣợc điểm 42 2.3.3.1 Sử dụng tham số bước đà (Momentum) Sử dụng tham số bƣớc đà thông qua quan sát kết luyện mạng nhằm làm tăng tốc độ hội tụ thuật toán lan truyền ngƣợc cách dựa kỹ thuật giảm nhanh Thuật toán lan truyền ngƣợc cập nhật tham số mạng cách cộng thêm vào lƣợng thay đổi là: Wm (k )   sm (am1)T bm (k )   s m Khi áp dụng thuật tốn lan truyền ngƣợc có sử dụng bƣớc đà, phƣơng trình thay đổi nhƣ sau: Wm (k )  Wm (k 1)  (1  ) sm (am1)T bm (k )  bm (k 1)  (1   ) s m Ngƣời đa chứng tỏ sử dụng tham số bƣớc đà hệ số học lớn nhiều so với thuật tốn lan truyền ngƣợc chuẩn khơng sử dụng tham số bƣớc đà giữ đƣợc độ tin cậy thuật toán Ta thấy sử dụng tham số bƣớc đà hội tụ thuật toán đƣợc tăng tốc nhanh nhƣ thuật toán theo hƣớng bền 2.3.3.2 Sử dụng hệ số học biến đổi Trong thực tế, hàm hiệu có dạng biểu diễn hình học khơng đồng đều, có lúc có dạng phẳng (hàm khơng thay đổi giá trị thay đổi ít) có dạng phễu (giá trị hàm thay đổi nhanh thay đổi tham số đầu vào) Nếu ta sử dụng hệ số học cố định tốn thời gian vùng phẳng Vì vậy, tƣ tƣởng thuật tốn lan truyền ngƣợc sử dụng hệ số học biến đổi gặp vùng phẳng tăng hệ số học lên ngƣợc lại gặp vùng dạng phễu giảm hệ số học Ngƣời ta đƣa nhiều phƣơng pháp để thực điều trên, nêu cách biến đổi hệ số học dựa hiệu mạng Bƣớc 1: Nếu bình phƣơng lỗi toàn tập huấn luyện tăng số phần trăm cho trƣớc  (thông thƣờng từ 1% 5%) sau lần cập nhật trọng 43 số, bỏ qua việc cập nhật này, hệ số học đƣợc nhân với số hạng  (với    1) tham số bƣớc đà (nếu có sử dụng) đƣợc đặt Bƣớc 2: Nếu bình phƣơng lỗi giảm sau lần cập nhật trọng số, cập nhật chấp nhận đƣợc hệ số học đƣợc nhân với số hạng lớn 1, tham số bƣớc đà bị đặt đặt lại giá trị lúc đầu Bƣớc 3: Nếu bình phƣơng lỗi tăng lƣợng nhỏ  , cập nhật trọng số chấp nhận đƣợc, nhƣng hệ số học không thay đổi tham số bƣớc đà bị đặt đặt lại giá trị lúc đầu Các thuật tốn heuristic ln cho ta hội tụ nhanh số tốn, nhiên chúng có hai nhƣợc điểm sau đây: Thứ nhất, việc sửa đổi thuật tốn lan truyền ngƣợc cần có thêm số tham số, trong thuật toán lan truyền ngƣợc chuẩn yêu cầu có tham số hệ số học Một số thuật toán sửa đổi cần đến năm sáu tham số, hiệu thuật toán nhạy cảm thay đổi tham số Hơn việc chọn lựa tham số lại độc lập với toán đặt Thứ hai, thuật toán sửa đổi khơng hội tụ số tốn mà thuật tốn lan truyền ngƣợc chuẩn hội tụ đƣợc Ngƣời ta thấy hai nhƣợc điểm nêu thƣờng xảy sử dụng thuật toán sửa đổi phức tạp (yêu cầu nhiều tham số hơn) 2.4 Kết luận chƣơng Trong chƣơng tập trung nghiên cứu mạng nơron lan truyền thẳng thuật tốn lan truyền ngƣợc q trình nhận dạng ký tự quang Cũng nhƣ tìm hiểu cách thức huấn luyện mạng nơron đƣa đƣợc số biến thể sử dụng thuận toán lan truyền ngƣợc 44 Chƣơng 3: ỨNG DỤNG MẠNG NƠRON VÀ THUẬT TOÁN LAN TRUYỀN NGƢỢC TRONG NHẬN DẠNG BIỂN SỐ XE 3.1 Tách biển số khỏi ảnh: Một vấn đề trình nhận dạng biển số xe phân vùng biển số xe Trong hệ thống tơi sử dụng phƣơng pháp Histogram Q trình thực hiện: Bƣớc 1: Tiền xử lý - Chuyển ảnh ảnh mức xám - Chuyển sang ảnh nhị phân phƣơng pháp Otsu Hình 3.1 Ảnh mức xám ảnh nhị phân Bƣớc 2: Tìm đƣờng biên phƣơng pháp Canny, lấy Histogram theo chiều dọc ảnh để xác định vị trí cắt ngang Hình 3.2 Lược đồ Histogram & ảnh sử dụng phương pháp dò biên Canny 45 Hai đƣờng biên ngang biển số xe máy đƣợc xác định thỏa mãn điều kiện nhƣ sau: - Giá trị lớn lƣợc đồ Histogram theo phƣơng thẳng đứng Hmax_ver có giá trị đủ lớn Ở chọn Hmax_ver = 8000 - Hai đƣờng biên dƣới cách không dƣới ngƣỡng T1 Ở chọn T1 = 65 pixel Hai vị trí khơng đƣợc nhỏ q 65pixel Bƣớc 3: Tìm đƣờng biên phƣơng pháp Canny lần với ảnh sau cắt ngang, lấy Histogram theo phƣơng nằm ngang để tìm vị trí cắt dọc Vị trí cắt dọc thỏa mãn số điều kiện sau: - Giá trị lớn lƣợc đồ Histogram theo phƣơng ngang Hmax_hor có giá trị đủ lớn Ở chọn Hmax_hor = 4000 - Hai đƣờng biên dọc cách không dƣới ngƣỡng T2 Chọn T2 = 88 pixel Hai vị trí khơng đƣợc nhỏ q 88pixel Hình 3.3 Biển số sau tách khỏi ảnh Bƣớc 4: Tách biển số khỏi ảnh, chuẩn hóa kích thƣớc biển số 240x180 pixel, sử dụng cho bƣớc cách ly ký tự 3.2 Tách ký tự khỏi biển số Ma trận binary biển số ngõ vào chƣơng trình phân vùng ký tự Trƣớc phân vùng ký tự, ta chia ma trận ảnh biển số thành hàng lần lƣợt đƣa hàng vào chƣơng trình phân vùng Hàm phân vùng ký tự nhƣ sau: function [im1,im2]=tach1( rgb ) g=rgb2gray(rgb); 46 g=imadjust(g); % g1=255-g; g1=imadjust(g,[0 1],[1 0],2); g1=imadjust(g1); g1=imclearborder(g1,8); g1=imadjust(g1); bw=edge(g1,'canny'); bw=imdilate(bw,[0 0; 1 1; 0]); bw=imfill(bw,'holes'); bw=imopen(bw,strel('disk',2)); stat=regionprops(bw,'Area','Image','BoundingBox','Centroid'); count=0; for i=1:length(stat) a=stat(i).Area; % Dien tich cac doi tuong b=stat(i).Image;% anh crop cua cac doi tuong d=stat(i).BoundingBox(1:2);% Khung bao cua cac doi tuong [r,c]=size(b);% Lay kich thuoc if r>c && c>0.2*r&& c=9 % truong hop phat hien nhieu hon doi tuong ts=t(end-8:end,:);% lay doi tuong co dien tich lon nhat su=sum(ts(:,3))/9; for i=1:9 if ts(i,3)>0.2*su; count=count+1; ts1(count,:)=ts(i,:); end end else ts1=t; end ts1=sortrows(ts1,4); t1=ts1(1:4,:); t1=sortrows(t1,5); 47 t2=ts1(5:end,:); t2=sortrows(t2,5); n1=size(t1,1); im1=cell(1,n1); n2=size(t2,1); im2=cell(1,n2); for i=1:n1 a=(stat(t1(i,2)).BoundingBox); b=imcrop(rgb,a); b=rgb2gray(b); b=imadjust(b); b=imadjust(b,[0 1],[1 0],2); b=im2bw(b); b=my_BwTrim(b); b=imopen(b,strel('disk',1)); im1{i}=b; end for i=1:n2 a=(stat(t2(i,2)).BoundingBox); b=imcrop(rgb,a); b=rgb2gray(b); b=imadjust(b); b=imadjust(b,[0 1],[1 0],2); b=im2bw(b); b=my_BwTrim(b); b=imopen(b,strel('disk',1)); im2{i}=b; end end Hình 3.4 Kết tách ký tự khỏi biển số 48 3.3 Xây dựng mơ hình mạng Các ký tự sau đƣợc phân vùng đƣợc định chuẩn với kích thƣớc 20x10 Sau ma trận ảnh ký tự chuyển đổi thành ma trận cột trở thành đầu vào mạng nơron Nhƣ vậy, ta dùng vị trí giá trị lớn nơron đầu ra, từ biết đƣợc giá trị ký tự số Tập mẫu huấn luyện nhiều độ xác lớn Mạng nơron lan truyền ngƣợc gồm lớp nơron đó: Lớp vào: 200 nơron (tƣơng ứng với ma trận ký tự 20x10 sau chuyển thành ma trận cột) Lớp ẩn: 200 nơron; Việc lựa chọn giá trị dựa thực nghiệm tài liệu chuyên nhận dạng kí tự quang học Lớp ra: Bài tốn nhận dạng gồm có ký tự : 0123456789 ABCDEFGHIJKLNMOPQRSTUVWXYZ Vì ta thiết kế 36 mạng tƣơng ứng với 36 ký tự Lớp đầu mạng nơron Dùng hàm truyền lgsig có nơron lớp ẩn lớp ngõ Hình 3.5 Mơ hình mạng dùng để nhận dạng ký tự *) Huấn luyện mạng nơ ron nhận dạng ký tự: Trƣớc huấn luyện mạng ta tạo mẫu ký tự tƣơng ứng với 36 ký đầu ra, đảm bảo mặt phong chữ, nhƣ mức xám ký tự biển số Trong huấn luyện chúng tơi tạo liệu, là: liệu kiểm tra huấn luyện liệu kiểm tra sau huấn luyện Huấn luyện mạng đƣợc thực thông qua tham số sau: - Hệ số góc: 0.0001 Tham số bƣớc đà: 0.7 49 - Số vòng huấn luyện: đặt cố định 600 vịng lặp - Độ xác mong muốn: 99.999% *) Nhận dạng ký tự biển biển số: Ta thực duyệt qua ký tự biển số, lấy đặc trƣng ký tự cho chạy qua 36 mạng nơron ta thu đƣợc 36 kết đầu Khi ta lấy kết lớn 3.4 Giới thiệu chƣơng trình Giao diện chƣơng trình đƣợc viết phần mềm Matlab R2010b Mọi ngôn ngữ chƣơng trình sử dụng ngơn ngữ Matlab, đƣợc thực hệ điều hành Windows Ultimate Chúng tơi thiết kế giao diện chƣơng trình lệnh Guide Matlab Giao diện chƣơng trình Demo nhận dạng biển số thể hình 3.7 Chƣơng trìnhcó pushbutton lựa chọn: - Pushbutton 1: “Chọn ảnh từ Test Camera” - Pushbutton 2: “Chọn ảnh từ Test Image” - Pushbutton 3: “Mở liệu lƣu trữ - Open Data” - Pushbutton 4: “Thốt” Hình 3.6: Giao diện chương trình nhận dạng biển số xe 50 3.5 Kết thực nghiệm nhận dạng biển số xe với mạng nơron ứng dụng thuật tốn lan truyền ngƣợc Ví dụ: Khi ta đƣa biển số 73V2 – 7404 ta thu đƣợc kết nhƣ sau: Hình 3.7: Kết chương trình nhận dạng biển số xe Sau tiến hành chạy ứng dụng nhận dạng biển số, đƣa lần lƣợt 90 ảnh liệu xe để kiểm tra kết phát biển số, tách ký tự nhận dạng ký tự chƣơng trình, ghi nhận kết quả, bao gồm: - Ảnh có chất lƣợng tốt (60 mẫu): có độ tƣơng phản tốt, đủ ảnh sáng; - Ảnh có chất lƣợng trung bình (60 mẫu): có độ tƣơng phản tƣơng đối, đủ ánh sáng, nhiễu - Ảnh chất lƣợng thấp (60 mẫu): thiếu ánh sáng, bị mờ, bị che, ảnh nghiêng không nhiều Tách đƣợc biển số Tách đủ ký tự Nhận dạng Số Chất lƣợng lƣợng SL TL SL TL SL TL 60 Tốt 60 100 60 100 58 100 60 TB 58 96.67 57 95.00 55 91.67 60 Thấp 55 91.67 53 88.33 50 83.33 173 96.11 170 94.44 163 90.55 Tổng Bảng 3.1 Kết nhận dạng biểu số 51 Tỉ lệ biển nhận dạng vùng biển số: 163/180 ~ 90.55% Biển số bị che phần ký tự Hình 3.8 Một số biển không phát biển số 3.6 Kết luận chƣơng Chƣơng trình nhận dạng biển số ứng dụng mạng nơron thuật toán lan truyền ngƣợc chạy thực nghiệm 90 mẫu cho kết nhận dạng 92%, tỷ lệ tƣơng đối chấp nhận đƣợc đạt kết tốt so với nhiều thuật toán nhận dạng khác 52 KẾT LUẬN Đề tài Nghiên cứu nghiên cứu nhận dạng biển số xe ứng dụng thuật toán lan truyền ngược giải đƣợc vấn đề sau đây: - Về lý thuyết: Đã xây dựng đƣợc cách tổng quát toán nhận dạng biển số Nắm đƣợc lý thuyết xử lý ảnh nhận dạng số nhƣ: Xây dựng mơ hình màu RGB, phƣơng pháp phát biên ảnh, phƣơng pháp phát cắt vùng ứng viên biến đổi Hough; để nhận dạng biển báo nghiên cứu mạng nơron truyền thẳng thuật toán lan truyền ngƣợc nhận dạng ký từ dùng để nhận dạng biển số xe - Về thực tiễn: Cài đặt chƣơng trình nhận dạng biển số xe dựa nghiên cứu đề xuất Từ tập tin ảnh, chƣơng trình có khả nhận dạng biển số có ảnh Hạn chế: Do thời gian kiến thức có hạn nên việc nghiên cứu đạt đƣợc số kết định Chƣơng trình nhận dạng đƣợc số biển số không bị che khuất, có độ tƣơng phản ánh sáng tốt bị nhiễu Hƣớng phát triển toán: Nâng cao hiệu chƣơng trình, tách ly kí tự biển số trƣờng hợp biển số bị nhiều nhiễu, mát thông tin nhiễu từ điều kiện mơi trƣờng, tìm vùng biển số ảnh có độ tƣơng phản biển số thấp Nghiên cứu theo hƣớng ứng dụng cụ thể nhƣ: giám sát phƣơng tiện giao thông, xử lý vi phạm giao thông, quản lý xe bãi giữ xe, … 53 TÀI LIỆU THAM KHẢO [1] Nguyễn Vĩnh An (2015), So sánh số phương pháp phát biên, Tạp chí Khoa học ĐHQGHN: Khoa học tự nhiên Công nghệ, Tập 31, số 2, trang 1-7 [2] Drucker H., Cun Y L (1992), Improving Generalization Performance using Double Backpropagation, IEEE Transactions on nơron netwoks, Vol 3, No [3] Hagan M T., Demuth H B., Beale M (2014), Nơron networks design, (2nd Edition), Martin Hagan [4] Nobuyki Otsu (1979), A Threshold Selection Method from Gray-Level Histogram, IEEE Trans Systems, Man, and Cybernetics Vol SMC-9, No 1; p 62– 66 [5] http://neuralnetworksanddeeplearning.com/chap6.html [6] http://neuralnetworksanddeeplearning.com/chap2.html [7] www.Mathworks.com ... toán lan truyền ngƣợc Chƣơng 3: Ứng dụng mạng nơron thuật toán lan truyền ngƣợc nhận dạng biển số xe 12 Chƣơng 1: TỔNG QUAN VỀ NHẬN DẠNG BIỂN SỐ XE 1.1 Khái niệm hệ thống nhận dạng biển số xe. .. ảnh biển số Các ký tự đƣợc nhận dạng phƣơng pháp KNN Kết nhận dạng biển số 98% nhận dạng ký tự 95% ảnh tĩnh 13 Luận văn nghiên cứu nhận dạng biển số xe ứng dụng mạng nơron với thuật toán lan truyền. .. vấn đề vấn đề hệ thống ? ?Nhận dạng biển số xe? ?? Hệ thống nhận dạng biển số xe hệ thống thu nhận hình ảnh nhƣ phân tích biển số xe cách tự động Nhận dạng biển số xe đƣợc ứng dụng rộng rãi nơi nhƣ: