Nhận dạng biển số xe dùng phương pháp học sâu CNNs (tt)

Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - Nguyễn Duy Long NHẬN DẠNG BIỂN SỐ XE DÙNG PHƢƠNG PHÁP HỌC SÂU CNNs Chuyên ngành: Hệ thống thông tin Mã số: 8480104 TĨM TẮT LUẬN VĂN THẠC SĨ TP Hồ Chí Minh – 2018 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS TS LÊ HOÀNG THÁI (Ghi rõ học hàm, học vị) Phản biện 1: …………………………………………………………………… Phản biện 2: …………………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Trong bối cảnh tồn cầu hóa hội nhập quốc tế nay, với bùng nổ thông tin, phát triển khoa học kỹ thuật nhu cầu lại ngày tăng số lượng phương tiện giao thông đường ngày xuất nhiều Với số lượng phương tiện giao thơng lớn khơng ngừng tăng lên làm nảy sinh nhiều vấn đề việc kiểm soát quản lý phương tiện Để giải vấn đề nhu cầu đặt áp dụng hệ thống tự động Một hệ thống hệ thống tự động nhận dạng biển số xe hệ thống có khả thu nhận hình ảnh “đọc” “hiểu” biển số xe cách tự động Một hệ thống sử dụng nhiều ứng dụng chẳng hạn như: trạm cân rửa xe tự động hoàn toàn, bãi giữ xe tự động, kiểm sốt lưu lượng giao thơng, giám sát tai nạn hay ứng dụng an ninh tìm kiếm xe cắp Như hệ thống tự động khác, hệ thống yêu cầu có phần cứng lẫn phần mềm Phần cứng có phần camera có tác dụng thu nhận hình ảnh phần mềm có tác dụng xử lý hình ảnh Với phát triển kỹ thuật điện tử, camera dễ dàng có khả thu nhận hình ảnh mà vấn đề đặt vấn đề quan trọng hệ thống, định tính hiệu hệ thống xử lý ảnh phần mềm xử lý ảnh Với vai trò phân tích nghiên cứu tập trung vào giải vấn đề đặt xử lý ảnh để đưa xác biển số đăng ký xe Trước đây, có nghiên cứu đáng kể việc phát biển số kỹ thuật nhận dạng Tuy nhiên hầu hết có hạn chế định, làm việc với camera tĩnh, góc nhìn, độ phân giải cố định, sử dụng cho mẫu hay loại biển số cụ thể, phụ thuộc vào font chữ dùng biển số Đặc biệt độ xác khơng tốt điều kiện khác ảnh chụp không trực diện (thay đổi tư thế), nhạy cảm với độ sáng (chói sáng, thiếu sáng), hiệu ứng sáng tối Chính lý trên, việc lựa chọn đề tài nghiên cứu “Nhận dạng biển số xe dùng phƣơng pháp học sâu CNNs” cần thiết đáp ứng yêu cầu cấp thiết mục tiêu cải thiện độ xác cho hệ thống nhận dạng biển số tự động Luận văn bố cục sau: Chương – Tổng quan – Cơ sở lý luận Chương – Cơ sở lý thuyết Chương – Thực nghiệm Chương – Cài đặt kiểm thử Chƣơng - TỔNG QUAN 1.1 Khái niệm hệ thống nhận dạng biển số xe 1.1.1 Khái niệm Hệ thống nhận dạng biển số xe hệ thống có khả phân tích hình ảnh xác định vùng chứa biển số xe 1.1.2 Lịch sử phát triển 1.1.3 Cách thức hoạt động hệ thống Hệ thống ALPR (Automatic License Plate Recognition) gồm phần cứng phần mềm, phần cứng camera thu nhận ảnh xe phần mềm có chức nhận dạng biển số xe từ ảnh chụp camera Camera thu nhận ảnh đặt vị trí cố định cho qt hình ảnh xe cách rõ ràng chụp lại hình ảnh đối tượng xe có chứa biển số Ảnh đưa vào phần mềm nhận dạng để trích xác biển số xe có ảnh, sau thuật tốn OCR (Optical Character Recognition) sử dụng để lấy ký tự chuyển đổi thành định dạng mà máy tính phân biệt chữ số dạng text 1.1.4 Ứng dụng thực tiễn Việt Nam Hệ thống nhận dạng biển số xe xây dựng nhằm mục đích giám sát, kiểm soát phương tiện 1.2 Một số nghiên cứu phƣơng pháp cách ly biển số, phân đoạn ký tự từ ảnh chụp camera 1.2.1 Chuyển đổi Hough 1.2.2 Hình thái học 1.3 Một số nghiên cứu phƣơng pháp nhận dạng ký tự biển số từ ảnh chụp camera Phương pháp phổ biến để nhận dạng ký tự sử dụng mạng noron (hoặc SVM, K-NN,…), tức huấn luyện cho máy tính để nhận dạng ký tự 1.4 Đề xuất phƣơng pháp áp dụng luận văn Các cơng trình nghiên cứu sở q báo, cơng trình bước đầu áp dụng Trong đồ án này, công việc cần phải giải vấn đề phát vùng chứa biển số xe nhận dạng ký tự biển số Cả toán phát vùng chứa biển số toán nhận dạng ký tự sử dụng mơ hình Convolutional Neural Networks để tiến hành nhận dạng cho biển đăng ký xe Việt Nam Chƣơng - CƠ SỞ LÝ THUYẾT 2.1 Tổng quan mạng noron, luật học delta lan truyền ngƣợc 2.1.1 Giới thiệu mạng noron Mạng nơron nhân tạo, Artificial Neural Network (ANN) mơ hình xử lý thơng tin theo cách thức xử lý thông tin hệ nơron sinh học Nó tạo nên từ số lượng lớn phần tử (nơron) kết nối với thông qua liên kết (trọng số liên kết) làm việc thể thống để giải vấn đề cụ thể Một mạng nơron nhân tạo cấu hình cho ứng dụng cụ thể (nhận dạng mẫu, phân loại liệu, ) thông qua trình học từ tập mẫu huấn luyện Về chất học q trình hiệu chỉnh trọng số liên kết nơron Một Nơron nhân tạo giống Nơron sinh học cấu thành từ hai khối chính: nối kết thân với nhân bên Mỗi khối chịu trách nhiệm cung cấp hai kiểu biến đổi tốn học khác hình thành lên chế xử lý thông tin Nơron: Biến đổi toán học nối kết biến đổi toán học bên thân Nơron Mơ hình tổng qt Nơron mơ tả hình sau: Hình 2.1: Mơ hình noron sinh học m yi  f ( wij x j   i ) j 1 “Cháy” “Không cháy” z  1 if f ( z)   otherwise 0 Hình 2.2: Mơ hình noron nhân tạo McCulloch Pitts Một cách tổng quát, mạng nơron nhân tạo cấu trúc xử lý thơng tin phân phối song song có đặc điểm sau: Là mơ hình tốn học Chứa số lượng lớn node (thành phần xử lý) bên Các trọng số tích lũy tri thức Các node có phản ứng động đến input phản ứng hồn tồn phụ thuộc vào thơng tin cục nó, là: tín hiệu input đến node trọng số kết nối Có khả học, nhớ lại, tổng quát hóa từ liệu học việc điều chỉnh trọng số kết nối Có khả tính tốn mạnh mẽ khơng nơron mang thơng tin đơn lẻ Bởi đặc tính trên, tên gọi khác thường sử dụng cho mạng nơron nhân tạo là: mơ hình xử lý phân phối song song, mơ hình kết nối, hệ thống tự tổ chức 2.1.2 Một số kiểu mạng noron Các nơron mạng kết nối đầy đủ (fully connected) tức nơron kết nối với tất nơron khác, kết nối cục (partially connected) chẳng hạn kết nối nơron tầng khác 2.1.3 Mạng noron lan truyền ngƣợc MLP Hình 2.3: Ánh xạ phi tuyến noron Ánh xạ phi tuyến bao gồm: Phép toán hợp nhất: đồ án xử dụng phép hợp tuyến tính (Integration Linear Function) Hàm truyền phi tuyến: đồ án sử dụng hàm sigmoid với  = Đồ án xây dựng mơ hình mạng neuron truyền thẳng đơn giản ba lớp với lớp nhập, lớp ẩn lớp xuất Hình 2.4: Mơ hình mạng noron truyền thẳng đơn giản 2.2 Giới thiệu mạng noron tích chập kỹ thuật cải tiến 2.2.1 Giới thiệu mạng noron tích chập Convolutional Neural mơ hình Deep Learning tiên tiến giúp cho xây dựng hệ thống thơng minh với độ xác cao 2.2.2 Convolution Để dễ hình dung, ta xem tích chập cửa sổ trượt (sliding window) áp đặt lên ma trận 2.2.3 Mơ hình mạng noron tích chập Trong mơ hình CNNs layer liên kết với thông qua chế convolution Layer kết convolution từ layer trước đó, nhờ mà ta có kết nối cục Nghĩa nơ-ron layer sinh từ filter áp đặt lên vùng ảnh cục nơ-ron layer trước Mỗi layer áp đặt filter khác nhau, thơng thường có vài trăm đến vài nghìn filter Một số layer khác pooling/subsampling layer dùng để chắt lọc lại thơng tin hữu ích (loại bỏ thơng tin nhiễu) 10 [FC -> RELU]*K CNN lặp K lần cấu trúc kiểu sau tầng FC tầng RELU trước phải có tầng [CONV -> RELU] 2.3 Phƣơng pháp cải tiến gần 2.3.1 Phƣơng pháp học không giám sát để huấn luyện trọng ban đầu 2.3.2 Phƣơng pháp Dropout Deep Neural Networks Như ta biết overfitting vấn nạn Machine Learning, đặc biệt mạng Deep Neural Networks Khi muốn cho mơ hình trở nên phức tạp hơn, ta thường tăng số lượng layer số lượng noron (unit) layer thay tăng bậc feature Nhưng mơ hình phức tạp hơn, overfitting bắt đầu xuất hiện, số lượng tham số mạng Deep Neural Networks nhiều có “độ sâu” khác nhau, có kĩ thuật dành riêng cho mạng NN đơn giản, Drop-out Drop-out kĩ thuật Regularization để chống lại vấn đề overfitting Cách Drop-out thực xoá bỏ số unit step training ứng với giá trị xác suất p cho trước 11 Chƣơng THỰC NGHIỆM Ngơn ngữ dùng để xây dựng mơ hình mạng chương 3: Python 3.6.4 Hình ảnh kiểm thử: 500 ảnh biển số sinh từ mã nguồn gen.py, sử dụng cho thực nghiệm mục 3.1, 3.2 3.4 Hình ảnh huấn luyện: sinh từ mã nguồn gen.py tùy thuộc vào số lần huấn luyện Hình ảnh thực tế: 261 ảnh sưu tập, sử dụng cho thực nghiệm mục 3.3 3.1 Thực nghiệm mạng noron tự xây dựng liệu ảnh sƣu tập Bộ ảnh huấn luyện sinh dựa giải thuật tạo ảnh captcha theo ảnh tạo đánh nhãn mang chuỗi ký tự biển số tương ứng Thêm vào giá trị xuất (0 1) nhằm thị biển số có xuất hồn tồn ảnh hay khơng (những trường hợp biển số kích thước ko hợp lệ loại bỏ), giá trị dùng để huấn luyện mạng nhận dạng vùng biển số (khoanh vùng biển số) Kích thước ảnh huấn luyện: 64 x 128 (pixel) Hình 3.1: Mẫu biển 11 ký tự (Nhãn: 74-DY038.45_1) Hình 3.2: Mẫu biển ký tự (Nhãn: 09-T13567_1) Một số ảnh huấn luyện có nhãn với giá trị xuất 0: Hình 3.3: Biển số nhãn:82-T8242.84_0 12 Ảnh đầu vào sau vecto hóa: Hình 3.5: Ảnh đầu vào sau vecto hóa Nhãn ảnh (label ảnh đầu vào) sau vecto hóa, vị trí ký tự xuất mảng mang giá trị lại 0: Hình 3.6: Nhãn ảnh đầu vào sau vecto hóa Đồ án xây dựng mạng noron ba lớp theo lý thuyết đưa Số lần huấn luyện (số vòng lặp): 500 lần với hệ số học: 0.001 Hình 3.7: Noron sau huấn luyện Kiểm thử mạng với 100 ảnh biển số ta kết hình 3.9 13 Hình 3.9: Kết kiểm thử mạng noron 3.2 Thực nghiệm mạng noron dùng thƣ viện liệu ảnh sƣu tập Đồ án sử dụng lớp tf.nn thư viện tensorflow nhằm thực nghiệm với mơ hình mạng noron này, ta kết hình 3.10 Số lần huấn luyện (số vòng lặp): 500 lần với hệ số học: 0.001 Số ảnh kiểm thử: 100 Hình 3.10: Thực nghiệm noron dùng thƣ viện 3.3 Thực nghiệm phƣơng pháp phân lớp truyền thống dựa vào hình thái học sử dụng thƣ viện open CV liệu ảnh sƣu tập Số liệu thu thập sau thực nghiệm ứng dụng hệ thống giữ xe thông minh phát triển cơng ty Tâm Tồn Thắng: 14 Hình 3.14: Giao diện vận hành TTT-SP Kết quả: 247/261 ảnh thực tế ~ 94,6% Ứng dụng nhận dạng không thành công số ảnh: bị tối thiếu sáng, biển bị bóng – phản chiếu, biển dơ – mù - ố vàng, biển nghiêng – lệch 3.4 Thực nghiệm phƣơng pháp phân lớp truyền thống dựa vào hình thái học sử dụng thƣ viện open CV liệu ảnh sƣu tập Đồ án sử dụng thư viện tensorflow xây dựng mơ hình mạng CNNs đơn giản bao gồm hai tầng (tương ứng 32 đặc trưng 64 đặc trưng) Số lần huấn luyện (số vòng lặp): 500 lần với hệ số học: 0.001 Số ảnh kiểm thử: 100 Ta kết hình 3.15 Hình 3.15: Thực nghiệm mạng CNNs đơn giản Nhận xét: 15 Mạng noron truyền thẳng (feedforward neural network) tốt với liệu dạng ảnh (kích thước lớn) Chính liên kết đầy đủ tạo nên hạn chế cho mơ hình Sau thực nghiệm ta thấy ba mơ hình mục 3.1 – 3.2 – 3.4, số lần lặp ít, 500 lần, mơ hình mạng noron đa lớp đơn giản cho kết cao Thực nghiệm phương pháp phân lớp truyền thống mục 3.3 nhằm cho thấy số mặt hạn chế phương pháp làm tiền đề cho việc đề xuất phương pháp mơ hình mạng CNNs cải tiến cài đặt chương 16 Chƣơng – CÀI ĐẶT VÀ KIỂM THỬ Ngoài mơ hình xây dựng dùng cho mục đích thực nghiệm chương 3, luận văn xây dựng thêm mơ hình mạng CNNs dùng cho ứng dụng thực tế 4.1 Cài đặt ứng dụng 4.1.1 Nền tảng công nghệ sử dụng Ngôn ngữ: Python version 3.6.4 – Anaconda 3, javascript kết hợp công nghệ ajax, html Thư viện: Tensorflow, opencv Card hình: GeForce 940MX 2GB nhằm tăng tốc độ huấn luyện mơ hình Font chữ: Soxe2banh.ttf (Loại bỏ bớt số ký tự không sử dụng biển số xe máy Việt Nam) Luận văn xây dựng sử dụng mạng CNNs giải cơng đoạn:  Dò tìm biển số Sử dụng tầng convolution trượt cửa sổ ảnh Vị trí khoanh vùng mang giá trị xác suất cao Sau tất vị trí cho biển số (đặt ngưỡng xác suất >0.5) gộp lại thành vị trí chung ảnh  Nhận dạng chuỗi ký tự biển số Mỗi vị trí cửa sổ ảnh nhận dạng chuỗi ký tự Xây dựng mơ hình mạng gồm ba tầng tầng fully connected hình 4.1 17 Hình 4.1: Mơ hình mạng Sau 460 lần lặp, mơ hình đạt độ xác về:  Sự xuất biển số (phù hợp): 72%  Nhận dạng xác ký tự biển: 40% Độ lỗi: ~1288.52 (trong độ lỗi xuất biển số: ~280.21, độ lỗi ký tự: ~1008.31 ) Hình 4.2: Huấn luyện sau 460 vòng lặp Sau 32460 lần lặp, mơ hình đạt độ xác về:  Sự xuất biển số (phù hợp): 90%  Nhận dạng xác ký tự biển: 74% 18 Độ lỗi: ~458.71 (trong độ lỗi xuất biển số: ~116.02, độ lỗi ký tự: ~342.68 ) Hình 4.3: Huấn luyện sau 32460 lần lặp 4.1.2 Các chức chƣơng trình  Giao diện chương trình: Hình 4.4: Giao diện trang chủ chƣơng trình  Để chọn ảnh cần nhận dạng, ta nhấp chuột vào hình ảnh menu bên trái 19 Hình 4.5: Chọn ảnh cần nhận dạng  Để nhận dạng ảnh, ta nhấp chuột vào nút “Process” bên Kết hiển thị ảnh bên ảnh Hình 4.6: Bƣơc tiến hành nhận dạng  Để đăng nhập vào chương trình ta nhấn nút Login menu Hình 4.7: Đăng nhập vào chƣơng trình 20  Chương trình cho phép tiếp tục huấn luyện mơ hình mạng sau đăng nhập với quyền quản trị Hình 4.8: Đăng nhập với quyền quản trị  Để tiếp tục huấn luyện mơ hình mạng, ta nhấn nút “Training” giao diện Hình 4.9: Tiếp tục huấn luyện mơ hình mạng chƣơng trình Đầu vào việc tiếp tục huấn luyện mạng tập tin trọng số cũ (tập tin weights.npz), sau việc huấn luyện hoàn tất, tập tin lưu trữ trọng số tạo 4.2 Kiểm thử đánh giá Hình ảnh thực tế: 261 ảnh sưu tập (được sử dụng tương tự cho thực nghiệm chương - mục 3.3) Mơ hình mạng huấn luyện liên tục ba ngày với 100000 lần lặp, lần lặp sử dụng 50 ảnh huấn luyện khác Tiến hành kiểm thử với ảnh thực tế sưu tập đạt kết sau: 21 Khoanh vùng biển số đạt 252/261 ảnh thực tế ~ 96.5% Nhận dạng ký tự phân vùng biển số đạt 105/261 ảnh thực tế ~ 40.2% Thay đổi: 32 -> 48 đặc trưng / số lần lặp: 32 000 Khoanh vùng biển số đạt 252/261 ảnh thực tế ~ 96.5% Nhận dạng ký tự phân vùng biển số đạt 213/261 ảnh thực tế ~ 81.6% Hạn chế mô hình: đề cập mục 4.1.1, phương pháp khoanh vùng dựa việc lựa chọn cửa sổ cho xác suất cao nhất, việc nhận dạng ký tự phân vùng phụ thuộc lớn vào phân vùng biển số có xác hay khơng, nhiều trường hợp sai vài ký tự cửa sổ cho xác suất cao lại không phù hợp để đưa kết nhận dạng Như ví dụ bên dưới, mơ hình đưa sáu tọa độ cửa sổ chuỗi ký tự nhận dạng tương ứng Cửa sổ có tọa độ (7,25) với xác suất 0,84 đưa kết xác, nhiên cửa sổ có tọa độ (7,20) với xác suất 0.94 chọn mang lại kết nhận dạng ký tự khơng xác Hình 4.11: Tọa độ cửa sổ 22 Hình 4.12: Biển số nhận dạng sai Nơron lớp tự xây dựng Nơron lớp dùng thƣ viện CNNs 16 đặc trƣng CNNs 32 đặc trƣng tầng & 64 đặc trƣng tầng kết hợp drop out Số lần lặp 500 500 500 500 Hệ số học 0.001 0.001 0.001 0.001 Tỷ lệ nhận dạng ký tự (%) 26 28% 74% Bảng thống kê kết nhận dạng ảnh tự tạo CNNs 32 đặc trƣng tầng & 64 đặc trƣng tầng CNNs 48 đặc trƣng tầng & 64 đặc trƣng tầng Số lần lặp 500 32 000 Hệ số học 0.001 0.001 23 Tỷ lệ khoanh vùng biển số 49% 96,5 (%) Tỷ lệ nhận dạng 40,2 81,6 ký tự (%) Bảng thống kê kết nhận dạng ảnh thực tế 4.3 Nhận xét Tuy mơ hình ln văn nhiều hạn chế (do hạn chế thời gian huấn luyện, thời gian kiểm thử việc lựa chọn, thiết lập mơ hình, tự khởi tạo ngẫu nhiên trọng ban đầu) chưa thể so sánh với ứng dụng đưa vào thương mại Nhưng sở lý thuyết phương pháp nhận dạng áp dụng CNNs mở hướng toán nhận dạng biển số xe nhờ vào khả rút trích đặc trưng linh hoạt hiệu (tạo nên đồ đặc trưng mạnh) Trong thực tế, ta chọn giải toán cụ thể mà nhu cầu mở rộng khơng q lớn khơng q đòi hỏi độ linh hoạt cao Với toán mạng CNNs mơ hình hiệu 24 KẾT LUẬN Luận văn trình bày tổng quan hệ thống nhận dạng biển số xe, tổng quan kỹ thuật áp dụng trước áp dụng thực tế Trong luận văn tập trung vào nghiên cứu kỹ thuật, phương pháp mạng noron truyền thẳng bản, mạng CNNs kết hợp drop - out áp dụng vào toàn nhận dạng thực tế tốn nhận dạng biển số xe Thơng qua việc tìm hiểu, thực nghiệm đánh giá cho thấy hiệu phương pháp “Deep learning” toán nhận dạng nói chung nhận dạng biển số xe nói riêng Luận văn tìm hiểu áp dụng số kỹ thuật cải tiến đề cập gần vào mơ hình mạng noron đa lớp, đồng thời xây dựng chương trình phần mềm nhận dạng biển số xe, góp phần hỗ trợ cho khâu quản lý xe đầu vào/ra hệ thống bãi giữ xe Tuy nhiên bên cạnh kết đạt đươc, luận văn số hạn chế mơ hình khoanh vùng biển số chưa phù hợp dẫn đến giai đoạn nhận dạng ký tự khơng xác thời gian kiểm thử chậm nên thời gian tới luận văn tiếp tục cải thiện mơ hình để kết nhận dạng cải thiện ... chọn đề tài nghiên cứu Nhận dạng biển số xe dùng phƣơng pháp học sâu CNNs cần thiết đáp ứng yêu cầu cấp thiết mục tiêu cải thiện độ xác cho hệ thống nhận dạng biển số tự động Luận văn bố cục... TỔNG QUAN 1.1 Khái niệm hệ thống nhận dạng biển số xe 1.1.1 Khái niệm Hệ thống nhận dạng biển số xe hệ thống có khả phân tích hình ảnh xác định vùng chứa biển số xe 1.1.2 Lịch sử phát triển 1.1.3... chứa biển số xe nhận dạng ký tự biển số Cả toán phát vùng chứa biển số tốn nhận dạng ký tự sử dụng mơ hình Convolutional Neural Networks để tiến hành nhận dạng cho biển đăng ký xe Việt Nam 5