Nhận dạng bảng số xe bằng phương pháp lb cnn

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH PHAN NHƯ PHƯƠNG NHẬN DẠNG BẢNG SỐ XE BẰNG PHƯƠNG PHÁP LB-CNN Chuyên ngành: KHOA HỌC MÁY TÍNH Mã chuyên ngành: 60480101 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2019 Cơng trình hồn thành Trường Đại học Cơng nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: PGS.TS Phạm Thế Bảo Người phản biện 1: TS Lê Thành Sách Người phản biện 2: TS Trịnh Tấn Đạt Luận văn thạc sĩ bảo vệ Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày … tháng … năm 20… Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Huỳnh Trung Hiếu - Chủ tịch Hội đồng TS Lê Thành Sách - Phản biện TS Trịnh Tấn Đạt - Phản biện TS Đặng Thị Phúc - Ủy viên TS Phạm Thị Thiết - Thư ký CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CNTT BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên chúng tôi: PHAN NHƯ PHƯƠNG MSHV: 15117691 Ngày, tháng, năm sinh: 15/12/1991 Nơi sinh: Đồng Nai Chuyên ngành: Khoa Học Máy Tính Mã chuyên ngành: 60480101 I TÊN ĐỀ TÀI: Nhận dạng bảng số xe phương pháp LB-CNN NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu ứng dụng phương pháp LB-CNN vào việc nhận dạng bảng số xe Xây dựng chương trình nhận dạng bảng số xe Việt Nam, cung cấp thuật toán hỗ trợ cho việc phát nhận dạng bảng số xe II NGÀY GIAO NHIỆM VỤ: Theo Quyết định số 1486/QĐ-ĐHCN 25/06/2018 III NGÀY HOÀN THÀNH NHIỆM VỤ: 30/11/2019 IV NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Phạm Thế Bảo Tp Hồ Chí Minh, ngày … tháng … năm 20 … NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA CNTT LỜI CẢM ƠN Trước hết xin gửi lời cảm ơn chân thành tới tập thể thầy cô giáo Khoa Công nghệ Thông tin, Trường Đại học Công Nghiệp TP Hồ Chí Minh tận tình dạy dỗ tạo điều kiện giúp đỡ tơi q trình học tập nghiên cứu Đặc biệt, tơi xin bày tỏ lịng biết ơn sâu sắc đến thầy PGS.TS Phạm Thế Bảo, người trưc tiếp hướng dẫn, bảo tận tình suốt q trình nghiên cứu hồn thiện luận văn Một lần xin gửi lời cảm ơn đến tất thầy cô giáo, bạn bè, gia đình quan giúp đỡ tơi thời gian vừa qua i TĨM TẮT LUẬN VĂN THẠC SĨ Trong nghiên cứu này, sử dụng phương pháp mạng nơron tích chập nhị phân cục bộ (LB-CNN) để xác định nhận dạng ký tự quang học (OCR) Bộ liệu ảnh đầu vào bảng số xe Việt Nam hỗ trợ FPT Để xác định nhận dạng bảng số xe, chúng tơi giải vấn đề chính: (1) xác định vùng bảng số xe, (2) trích vùng bảng số xe, (3) trích dịng ký tự, (4) trích ký tự dịng, (5) nhận dạng ký tự Chúng tơi thực kiểm thử bộ liệu ảnh cho kết với đợ xác 90,00% Từ kết thực nghiệm cho thấy, hiệu nhận dạng bảng số xe LB-CNN CNN tương đương Tuy nhiên, thời gian thực thi LB-CNN nhanh nhiều lần thời gian thực thi CNN ii ABSTRACT In this work, we used the local binary convolution neural network (LB-CNN) method to detect and recognize optical character (OCR) The input image data set is Vietnamese license plates supported by FPT company To detect and recognize the license plate, it is necessary to solve five main problems: (1) determining the license plate area, (2) extracting the license plate area, (3) extracting the character lines, (4) extracting each character on the line, (5) recognizing characters We have conducted on the image data set and obtained an accuracy of 90.00% The experimental results show that LB-CNN and CNN's license plate recognition performance is similar However, the execution time of LB-CNN is much faster than that of CNN iii LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn “Nhận dạng bảng số xe phương pháp LB-CNN” thực hướng dẫn thầy PGS.TS Phạm Thế Bảo Những nội dung trình bày luận văn cá nhân tổng hợp từ nhiều nguồn tài liệu khác nhau.Việc tham khảo nguồn tài liệu thực trích dẫn ghi nguồn tài liệu tham khảo quy định Tơi xin chịu hồn tồn trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Học viên Phan Như Phương iv MỤC LỤC MỤC LỤC v DANH MỤC HÌNH ẢNH viii DANH MỤC BẢNG BIỂU x DANH MỤC TỪ VIẾT TẮT xi MỞ ĐẦU .1 Đặt vấn đề .1 Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Cách tiếp cận phương pháp nghiên cứu .2 Ý nghĩa thực tiễn đề tài .3 CHƯƠNG TỔNG QUAN 1.1 Bài toán 1.2 Các hướng tiếp cận 1.2.1 Phương pháp Hough 1.2.2 Phương pháp hình thái học .10 1.2.3 Phương pháp khớp mẫu 11 1.3 Mơ hình hoạt động hệ thống nhận dạng bảng số xe .12 1.3.1 Các ứng dụng 12 1.3.2 Mơ hình hoạt đợng 13 1.4 Đề xuất hướng giải 14 CHƯƠNG CƠ SỞ LÝ THUYẾT .15 2.1 Mạng Neural nhân tạo 15 2.2 Mạng Neural tích chập 18 2.2.1 Tốn tử tích chập 18 2.2.2 Kiến trúc CNN 21 2.2.3 Huấn luyện CNN 29 2.3 Mạng Neural tích chập nhị phân cục bộ 37 2.3.1 Mơ-đun tích chập nhị phân cục bợ 37 v 2.3.2 Học với lớp LBC 37 2.3.3 Phân tích lý thuyết 38 2.4 Phân loại bảng số xe theo quy định Việt Nam 42 2.4.1 Tiêu chuẩn bảng số xe 42 2.4.2 Quy định màu sắc .43 2.4.3 Quy định bảng số Dân 44 2.4.4 Quy định bảng số Bợ quốc phịng .45 2.4.5 Quy định bảng số Bộ ngoại giao 46 2.4.6 Quy định bảng số 80 47 CHƯƠNG XÂY DỰNG MƠ HÌNH 49 3.1 Xác định vùng bảng số xe 49 3.1.1 Tiền xử lý 50 3.1.2 Tìm đường bao đối tượng 51 3.1.3 Lọc đường bao đối tượng 53 3.2 Trích vùng bảng số xe 55 3.3 Trích dịng ký tự 56 3.4 Trích ký tự dịng 58 3.5 Nhận dạng 59 3.5.1 Xây dựng LBP với bợ lọc tích chập 59 3.5.2 Mạng nơron tích chập nhị phân cục bộ 62 3.5.3 Xây dựng mơ hình LB-CNN 63 3.6 Phương pháp đánh giá 65 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 66 4.1 Môi trường thực nghiệm 66 4.2 Dữ liệu thực nghiệm 67 4.2.1 Bộ liệu MNIST 67 4.2.2 Dữ liệu bảng số xe FPT .67 4.3 Kết thực nghiệm 69 4.3.1 Huấn luyện mơ hình 69 4.3.2 Nhận dạng 70 vi 4.4 Đánh giá .71 4.4.1 So sánh LB-CNN CNN .71 4.4.2 Thực nghiệm mẫu xấu 72 4.5 Hướng phát triển 74 KẾT LUẬN VÀ KIẾN NGHỊ 75 Kết luận 75 1.1 Ưu điểm .75 1.2 Khuyết điểm 75 Kiến nghị .76 TÀI LIỆU THAM KHẢO 77 PHỤ LỤC 80 LÝ LỊCH TRÍCH NGANG CỦA CHÚNG TƠI 81 vii 4.2 Dữ liệu thực nghiệm 4.2.1 Bộ liệu MNIST Bộ liệu MNIST bộ liệu lớn chữ số viết tay hầu hết sử dụng để đánh giá thuật tốn nhận dạng hình ảnh Bợ liệu MNIST bao gồm hai tập liệu con: tập liệu huấn luyện có tổng cợng 60000 mẫu khác chữ số viết tay từ đên 9, tập liệu kiểm thử có 10000 mẫu Tồn bộ mẫu bộ liệu MNIST gán nhãn từ đến Kích thước mợt mẫu 28x28 Bên ví dụ mợt số mẫu trích từ bợ liệu MNIST Hình 4.1 Mợt số mẫu bợ liệu MNIST [19] 4.2.2 Dữ liệu bảng số xe FPT Ngoài bợ liệu chuẩn MNIST nói trên, chúng tơi cung cấp thêm bộ liệu bảng số xe FPT Bợ liệu có tổng cợng 331 ảnh bảng số xe dòng gán nhãn cách đổi tên file ảnh trùng với bảng số xe 67 Hình 4.2 Mợt số mẫu bợ liệu FPT Đây bộ liệu nội bộ nên liệu bị nhiễu (gán nhãn sai, liệu sai) nhiều Hình 4.3 Mợt số mẫu sai bợ liệu FPT Ngồi ra, bợ liệu nhiều mẫu xấu (tối, mờ, nghiêng), mẫu chụp ban đêm, mẫu chụp bị mờ mẫu bị nghiêng Hình 4.4 Mợt số mẫu xấu bộ liệu FPT 68 4.3 Kết thực nghiệm Trong luận văn này, để so sánh với phương pháp sử dụng CNN, dùng thước đo đợ xácbảngsốxe (dùng kiểm thử bảng số xe) đợ xáckýtự (dùng để kiểm thử huấn luyện mơ hình), cơng thức tính sau: Độ xác𝑏ả𝑛𝑔𝑠ố𝑥𝑒 = Số lượng bảng xe nhận diện hoàn toàn Tổng số mẫu đem kiểm thử Độ xác𝑘ý𝑡ự = Số ký tự Tổng số mẫu đem kiểm thử (4-1) (4-2) 4.3.1 Huấn luyện mô hình Do khơng có liệu để huấn luyện nên tự tạo liệu cách:  Từ tập liệu bảng số xe FPT, chúng tơi cắt kí tự bảng số thành ảnh nhỏ kích thước 28x28 gán nhãn cho ảnh Hình 4.5 Mợt số mẫu tự tạo  Sau cắt, số ảnh thu khoảng 1500 ảnh Chúng tăng liệu cách xoay mẫu qua trái, phải, dịch chuyển lên, xuống, trái, phải Dữ liệu cuối thu khoảng 12000 mẫu  Các mẫu chia thành tập: huấn luyện (train 8000 mẫu), hợp lệ (valid 2000 mẫu) kiểm thử (test 2000 mẫu)  Kết kiểm thử 2000 mẫu ghi Bảng 4.1 69 Bảng 4.1 Kết đánh giá 2000 mẫu kiểm thử Mơ hình Độ xáckýtự (%) LB-CNN 99.95 CNN 99.93 4.3.2 Nhận dạng Hình 4.6 Giao diện chương trình 4.3.2.1 Tập liệu MNIST Đây tập liệu ln dùng để đánh giá thuật tốn nhận dạng hình ảnh Bảng 4.2 cho thấy đợ xác LB-CNN CNN tập liệu MNIST Bảng 4.2 Kết đánh giá tập liệu MNIST so sánh với phương pháp có Mơ hình Độ xác (%) LB-CNN 99.51 CNN 99.48 4.3.2.2 Tập liệu bảng số xe FPT Do phần mã nguồn sử dụng để phân đoạn kí tự bảng số xe áp dụng cho bảng số xe nước ngoài, nên áp dụng qua bảng số xe Việt Nam đợ 70 xác thấp Chính vậy, chúng tơi chọn lọc mẫu phân đoạn tương đối để tiến hành nhận dạng bảng số xe Hình 4.7 Mợt số kết phân đoạn kí tự từ bảng số xe 4.4 Đánh giá 4.4.1 So sánh LB-CNN CNN Nhìn Hình 4.7 ta thấy, ảnh thứ bị thiếu chữ số 3, ảnh thứ thứ phân đoạn đúng, ảnh thứ bị mợt kí tự cuối Kết kiểm thử mơ hình tập liệu bảng số FPT Hình 4.8 LB-CNN CNN Hình 4.8 Đợ xác nhận dạng bảng số xe Kết thực nghiệm đánh giá đợ xác thời gian thực thi tập liệu bảng số xe FPT ghi Bảng 4.3 Bảng 4.4 Bảng 4.3 Kết đánh giá tập liệu bảng số xe FPT Mơ hình Độ xácbảngsốxe(%) LB-CNN 90,00 (198/331) CNN 89,50 (196/331) 71 Bảng 4.4 Kết đánh giá thời gian thực thi tập liệu bảng số xe FPT Mơ hình Thời gian thực thi (giây/ảnh) LB-CNN 0.069 (23/331) CNN 0.667 (221/331) 4.4.2 Thực nghiệm mẫu xấu Chúng chọn mợt số mẫu xấu (tối, mờ, nghiêng), ví dụ mẫu chụp ban đêm, mẫu chụp bị mờ mẫu bị nghiêng Do bộ diệu FPT có ảnh, nên chúng tơi chọn 50 ảnh thỏa yêu cầu Kết thực nghiệm đánh giá đợ xác thời gian thực thi tập liệu bảng số xe mẫu xấu FPT ghi Bảng 4.5 Bảng 4.6 Bảng 4.5 Kết đánh giá tập liệu bảng số xe mẫu xấu FPT Mơ hình Độ xácbảngsốxe(%) LB-CNN 77.78 (14/50) CNN 77.78 (14/50) Bảng 4.6 Kết đánh giá thời gian thực thi tập liệu bảng số xe mẫu xấu FPT Mơ hình Thời gian thực thi(giây/ảnh) LB-CNN 0.04 (2/50) CNN 0.84 (42/50) Biểu đồ đánh giá đợ xácbảngsốxe thời gian thực thi mơ hình LB-CNN mơ hình CNN Hình 4.9 Hình 4.10 72 Đơn vị tính: % 92 90 88 86 84 82 80 78 76 74 72 70 LB-CNN CNN Độ xác bảng số xe tập liệu FPT Độ xác bảng số xe tập liệu FPT mẫu xấu Hình 4.9 Biểu đồ đánh giá đợ xác bảng số xe LB-CNN CNN Đơn vị tính: giây 250 200 150 100 50 LB-CNN CNN Thời gian thực thi tập liệu FPT Thời gian thực thi tập liệu FPT mẫu xấu Hình 4.10 Biểu đồ đánh giá thời gian thực thi LB-CNN CNN Từ kết thực nghiệm cho thấy, hiệu nhận dạng bảng số xe LB-CNN CNN tương đương Tuy nhiên, thời gian thực thi LB-CNN nhanh nhiều lần thời gian thực thi CNN 73 4.5 Hướng phát triển Như đề cập mục trước, việc phân đoạn kí tự phương pháp cũ áp dụng cho bảng số xe nước ngoài, nên áp dụng cho bảng số xe Việt Nam đợ xác khơng cao Vì vậy, muốn phát triển việc phân đoạn cách sử dụng phương pháp học sâu 74 KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Hiện có nhiều hướng giải sử dụng mạng CNN cho toán nhận dạng bảng số xe Tuy nhiên, qua thực nghiệm cho thấy, việc thay đổi mơ hình CNN sang mơ hình LB-CNN hồn tồn có khả Nó rút ngắn thời gian thực thi nên áp dụng cho đoạn video từ camera giám sát Phương pháp LB-CNN đáp ứng đủ điều kiện để áp dụng vào thực tế Luận văn nghiên cứu, tìm hiểu tốn nhận dạng bảng số xe phương pháp LB-CNN thực thiết kế xây dựng mơ hình, phát triển, cài đặt phương án giải cho toán dựa nghiên cứu, thống kê hướng tiếp cận công bố qua nhiều báo, cơng trình khoa học giới Các kết mà luận văn đạt được, tương ứng với mục tiêu đề ban đầu 1.1 Ưu điểm Thời gian thực thi mơ hình LB-CNN nhanh nhiều lần thời gian thực thi mơ hình CNN Tìm vùng bảng số cách ly ký tự với tỉ lệ thành công cao (ở bảng số thông thường), vùng bảng số bị tối, bị mờ bị nghiêng (ở góc nghiêng nhỏ) 1.2 Khuyết điểm Với bảng số có đường viền phức tạp mức đợ nhận dạng khơng cao Ảnh bảng số xe có góc nghiêng q lớn khả nhận dạng bị giảm Tỉ lệ nhận dạng phụ thuộc nhiều vào điều kiện ánh sáng, phản chiếu che bóng 75 Kiến nghị Nâng cao hiệu chương trình, tách ly ký tự bảng số trường hợp bảng số bị nhiều nhiễu, mát thông tin nhiễu từ điều kiện môi trường, tìm vùng bảng số ảnh có đợ tương phản bảng số thấp Phát triển chương trình thành module phần cứng Có khả tương thích với thiết bị quan sát camera Nghiên cứu theo hướng một ứng dụng cụ thể như: giám sát phương tiện giao thông, xử lý vi phạm giao thông, quản lý xe bãi giữ xe… Việc phân đoạn kí tự phương pháp cũ áp dụng cho bảng số xe nước ngoài, nên áp dụng cho bảng số xe Việt Nam đợ xác khơng cao Vì vậy, chúng tơi muốn phát triển việc phân đoạn cách sử dụng phương pháp học sâu 76 TÀI LIỆU THAM KHẢO [1] Y Wen et al “An Algorithm for License Plate Recognition Applied to Intelligent Transportation System,” in Transactions on Intelligent Transportation Systems Vol 12, pp 830-845, 2011 [2] S Du et al “Automatic License Plate Recognition (ALPR): A State-of-TheArt Review,” in Transactions on Circuits and Systems for Video Technology Vol 23, pp 311-325, 2012 [3] C Han et al “License Plate Detection and Recognition using a Dual-Camera Module in a Large Space,” in International Carnahan Conference on Security Technology Vol 41, pp 307-312, 2007 [4] J Špaňhel et al “Holistic Recognition of Low Quality License Plates by CNN using Track Annotated Data,” in International Conference on Advanced Video and Signal Based Surveillance (AVSS) Vol 01, pp 1-6, 2017 [5] B Bhushan et al “License Plate Recognition System using Neural Networks and Multithresholding Technique,” in International Journal of Computer Applications Vol 84, pp 45-50, 2013 [6] T Duan et al “Combining Hough Transform and Contour Algorithm for Detecting Vehicles License Plates,” in International Symposium on Intelligent Multimedia Video and Speech Processing Pp 747-750, 2004 [7] S Rasheed et al “Automated Number Plate Recognition using Hough Lines and Template Matching,” in Proceedings of the World Congress on Engineering and Computer Science Vol 01, pp 199-203, 2012 [8] C Soon et al “Malaysian Car Number Plate Detection and Recognition System,” in Australian Journal of Basic and Applied Sciences Vol 02, pp 49-59, 2012 77 [9] C Paunwala et al “A Novel Multiple License Plate Extraction Technique for Complex Background in Indian Traffic Conditions,” in International Journal of Image Processing (IJIP) Vol 04, pp 106-118, 2010 [10] K Yilmaz et al “A Smart Hybrid License Plate Recognition System Based On Image Processing Using Neural Network And Image Correlation,” in International Symposium on Innovations in Intelligent Systems and Applications Pp 148-153, 2011 [11] F Juefei-Xu et al “Spartans: Single-Sample Periocular-Based AlignmentRobust Recognition Technique Applied to Non-Frontal Scenarios,” in Transactions on Image Processing Vol 24, pp 4780-4795, 2015 [12] F Juefei-Xu and M Savvides “Subspace-Based Discrete Transform Encoded Local Binary Patterns Representations for Robust Periocular Matching on Nist’s Face Recognition Grand Challenge,” in Transactions on Image Processing Vol 23, pp 3490-3505, 2014 [13] F Juefei-Xu and M Savvides “Learning to Invert Local Binary Patterns,” in BMVC Pp 1-14, 2016 [14] T Ojala et al “A Comparative Study of Texture Measures with Classification Based on Featured Distributions,” in Pattern Recognition Vol 29, pp 51-59, 1996 [15] F Juefei-Xu et al “Local Binary Convolutional Neural Networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Pp 19-28, 2017 [16] E Al-wajih et al “Residual Neural Network Vs Local Binary Convolutional Neural Networks for Bilingual Handwritten Digit Recognition,” in International Conference on Soft Computing and Data Mining Vol 978, pp 25-34, 2020 78 [17] A G García “3D Object Recognition with Convolutional Neural Networks,” M.A thesis, University of Alicante, Spain, 2016 [18] K Soumya et al “License Plate Detection And Character Recognition Using Contour Analysis,” in International Journal of Advanced Trends in Computer Science and Engineering Vol 03, pp 15-18, 2014 [19] C Henry “Simple Neural Network implementation in Ruby.” Internet: https://www.rubylab.io, March 2015 79 PHỤ LỤC 80 LÝ LỊCH TRÍCH NGANG CỦA CHÚNG TƠI I LÝ LỊCH SƠ LƯỢC: Họ tên: PHAN NHƯ PHƯƠNG Giới tính: Nam Ngày, tháng, năm sinh: 15/12/1991 Nơi sinh: Đồng Nai Email: phuongitcn@gmail.com Điện thoại: 0906835008 II QUÁ TRÌNH ĐÀO TẠO:  2009-2012, học hệ Cao đẳng chuyên ngành Mạng máy tính Trường Đại học Cơng nghiệp TP.Hồ Chí Minh  2012-2014, học hệ Đại học chuyên ngành Công nghệ thông tin Trường Đại học Công nghệ Đồng Nai  2015 đến nay, học hệ Cao học chuyên ngành Khoa học máy tính Trường Đại học Cơng nghiệp TP.Hồ Chí Minh III Q TRÌNH CƠNG TÁC CHUN MƠN: Thời gian Nơi công tác 2017 đến Bệnh Viện Nhi Đồng - Đồng Nai Công việc đảm nhiệm Kỹ Sư Công Nghệ Thông Tin Tp HCM, ngày ……… tháng …… Năm 20…… Người khai (Ký tên) 81 ... Nghiên cứu ứng dụng phương pháp LB-CNN vào việc nhận dạng bảng số xe Xây dựng chương trình nhận dạng bảng số xe Việt Nam, cung cấp thuật toán hỗ trợ cho việc phát nhận dạng bảng số xe II NGÀY GIAO... để mang lại kết nhận dạng tốt Hiện có nhiều phương pháp nhận dạng bảng số xe khác như: phương pháp hình thái học [9], phương pháp Hough [7, 8], Tuy nhiên việc nhận dạng bảng số xe điều kiện mơi... nhận dạng nhằm mục đích kiểm tra giải pháp đánh giá hiệu nhận dạng hệ thống Phương pháp nghiên cứu:  Tìm hiểu tổng quan tốn nhận dạng bảng số xe  Tìm hiểu phương pháp nhận dạng bảng số xe 