Nhận dạng biển số xe sử dụng mạng nơ ron tích chập và ứng dụng tại cơ quan tỉnh ủy thanh hóa

BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC MAI VĂN TIỆP NHẬN DẠNG BIỂN SỐ XE SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP VÀ ỨNG DỤNG TẠI CƠ QUAN TỈNH ỦY THANH HÓA LUẬN VĂN THẠC SĨ: CƠNG NGHỆ THƠNG TIN THANH HĨA, NĂM 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC MAI VĂN TIỆP NHẬN DẠNG BIỂN SỐ XE SỬ DỤNG MẠNG NƠ RON TÍCH CHẬP VÀ ỨNG DỤNG TẠI CƠ QUAN TỈNH ỦY THANH HĨA LUẬN VĂN THẠC SĨ: CƠNG NGHỆ THƠNG TIN Chun ngành: Khoa học máy tính Mã số: 8480101 Ngƣời hƣớng dẫn khoa học: PGS.TS Phạm Thế Anh THANH HÓA, NĂM 2020 Danh sách Hội đồng đánh giá luận văn thạc sĩ khoa học (Theo Quyết định số: 1322/QĐ-ĐHHĐ ngày 04 tháng năm 2020 Hiệu trưởng Trường Đại học Hồng Đức việc thành lập Hội đồng đánh giá luận văn thạc sĩ) Cơ quan công tác Chức danh Hội đồng Viện CNTT, ĐHQG Hà Nội Chủ tịch Trường ĐHSP TP Hồ Chí Minh Phản biện TS Trịnh Viết Cường Trường Đại học Hồng Đức Phản biện TS Trần Quang Diệu Học viện CTQG Hồ Chí Minh Ủy viên Trường Đại học Hồng Đức UV, Thư ký Học hàm, học vị, họ tên PGS.TS Vũ Việt Vũ PGS.TS Hoàng Văn Dũng TS Nguyễn Thế Cường Xác nhận Ngƣời hƣớng dẫn Học viên chỉnh sửa theo ý kiến Hội đồng Ngày 01 tháng 10 năm 2020 (Ký, ghi rõ họ tên) PGS.TS Phạm Thế Anh CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BIÊN BẢN GIẢI TRÌNH VỀ VIỆC CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên học viên: Mai Văn Tiệp Lớp cao học chuyên ngành: Khoa học máy tính K11 Tên đề tài: Nhận dạng biển số xe sử dụng mạng nơ-ron tích chập ứng dụng Cơ quan Tỉnh ủy Thanh Hóa Người hướng dẫn khoa học: PGS.TS Phạm Thế Anh Luận văn bảo vệ trước Hội đồng đánh giá luận văn thạc sĩ Trường Đại học Hồng Đức vào ngày 12 tháng năm 2020 theo Quyết định số 1322/QĐ-ĐHHĐ ngày 04 tháng năm 2020 Hiệu trưởng Trường Đại học Hồng Đức Theo góp ý Hội đồng, bổ sung chỉnh sửa nội dung theo góp ý Hội đồng sau: Rà soát lỗi luận văn: Lỗi văn phong, lỗi kỹ thuật đánh máy, thay số tài liệu tham khảo trích nguồn tài liệu theo yêu cầu Bổ sung chỉnh sửa tính cấp thiết đề tài Tên chương thêm cụm từ giai đoạn Đã thay số khái niệm có trích dẫn từ từ điển mở wikipedia.org sử dụng thuật ngữ thống Tiếng Việt (có thích Tiếng Anh) theo góp Phản biện Đã bổ sung phần ứng dụng cho Cơ quan Tỉnh ủy Thanh Hóa việc bổ sung thêm mục 1.3 chương 1; mục 3.1.1 chương làm rõ luận khoa học mơ hình mạng, phân tích cụ thể hơn, đánh giá, so sánh sâu mô hình đề xuất với mơ hình có; giảm tải dung lượng kiến thức chung tăng nội dung phần giải pháp theo góp ý Phản biện Thanh Hóa, ngày 01 tháng 10 năm 2020 XÁC NHẬN CỦA NGƢỜI HƢỚNG DẪN KHOA HỌC HỌC VIÊN PGS.TS Phạm Thế Anh Mai Văn Tiệp LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nhận dạng biển số xe sử dụng mạng nơron tích chập ứng dụng Cơ quan Tỉnh ủy Thanh Hóa” đề tài tự nghiên cứu hướng dẫn PGS.TS Phạm Thế Anh, khơng trùng lặp với khóa luận, luận văn, luận án cơng trình nghiên cứu cơng bố Tơi chịu hồn tồn trách nhiệm với lời cam đoan NGƢỜI CAM ĐOAN Mai Văn Tiệp i LỜI CẢM ƠN Trước hết, xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo PGS.TS Phạm Thế Anh tận tình bảo tạo điều kiện thuận lợi cho tơi hồn thành luận văn Xin bày tỏ lòng biết ơn chân thành tới thầy cô giáo Khoa Công nghệ Thông tin Truyền thông, Trường Đại học Hồng Đức thầy, cô giáo môn học truyền thụ kiến thức, kinh nghiệm, giúp đỡ trình học tập Cảm ơn đồng chí lãnh đạo Văn phịng Tỉnh ủy Thanh Hóa tạo điều kiện cho tơi tham gia khóa học, mơi trường thực nghiệm nghiên cứu Cuối tơi xin gửi lời cám ơn đến gia đình, bạn bè, người ln bên tơi, động viên khuyến khích tơi trình thực đề tài nghiên cứu Quá trình thực đề tài, thân cố gắng tìm tịi, nghiên cứu song với khả luận văn khơng thể tránh khỏi thiếu sót Rất mong nhận góp ý chân thành từ thầy giáo để tơi hồn thiện luận văn tơi tốt ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH SÁCH CHỮ VIẾT TẮT vi DANH SÁCH CÁC HÌNH ẢNH vii DANH SÁCH CÁC BẢNG BIỂU ix MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu nghiên cứu Đối tƣợng, phạm vi nghiên cứu Nội dung nghiên cứu: Phƣơng pháp nghiên cứu CHƢƠNG 1: GIỚI THIỆU TỔNG QUAN 1.1 Hệ thống phát nhận dạng biển số xe 1.1.1 Khái niệm lịch sử phát triển 1.1.2 Kiến trúc hệ thống phát nhận dạng biển số xe 1.1.3 Cách thức hoạt động ANPR 1.1.4 Các ứng dụng thực tiễn Việt Nam 1.1.5 Một số sản phẩm thương mại thị trường 1.2 Các quy định biển số đăng ký xe Việt Nam 10 1.2.1 Lịch sử phát triển biển số xe 10 1.2.2 Các văn quy phạm biển số xe 10 1.2.3 Phân loại biển số xe Việt Nam 12 1.3 Thực trạng quản lý xe Cơ quan Tỉnh ủy Thanh Hóa 17 iii 1.4 Phạm vi nghiên cứu 17 CHƢƠNG 2: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 19 2.1 Bài tốn dị tìm nhận dạng biển số xe 19 2.1.1 Khái niệm 19 2.2.2 Nhận dạng biển số xe máy Việt Nam 19 2.2.2 Phương pháp giải toán 21 2.2 Các kỹ thuật dị tìm phân vùng ảnh 21 2.2.1 Khái niệm đặc trưng ảnh [1] 22 2.2.2 Kỹ thuật trích chọn biên ảnh 22 2.3.Trích chọn đặc trƣng ảnh tự động dựa mạng nơ-ron 27 2.3.1 Mạng nơ-ron nhân tạo 27 2.3.2 Mạng nơ-ron tích chập 32 2.4 Nhận dạng dựa vào mạng nơ-ron 43 2.4.1 Các hệ thống dị tìm biển số xe 43 2.4.2 Các hệ thống nhận dạng biển số xe 46 CHƢƠNG 3: GIẢI PHÁP ĐỀ XUẤT 50 3.1 Kiến trúc mạng nơ-ron phát nhận dạng biển số xe 50 3.1.1 Kiến trúc khái quát hệ thống phát nhận dạng biển số xe áp dụng Cơ quan Tỉnh ủy Thanh Hóa 50 3.1.2 Kiến trúc mạng dị tìm biển số xe 51 3.1.3 Kiến trúc mạng nhận dạng biển số xe 56 3.2 Xây dựng tập liệu học (biển số xe máy) 58 3.2.1 Phương pháp thu thập tiền xử lý liệu học 58 3.2.2 Tạo tập liệu huấn luyện 58 3.3 Huấn luyện mạng dò tìm nhận dạng đề xuất 60 iv 3.4 Đánh giá hiệu mạng nơ-ron đề xuất 61 3.4.1 Hiệu lúc train 61 3.4.2 Hiệu tập Test 61 3.5 Một số kết trực quan 62 CHƢƠNG 4: KẾT LUẬN VÀ KIẾN NGHỊ 65 Kết luận 65 Hƣớng phát triển 66 TÀI LIỆU THAM KHẢO 67 v { }{ } ∑ ∑ (3.1) Trong i số neo, p la xác suất có phải đối tượng hay không, t vectơ tọa độ tham số hộp giới hạn dự đoán, * đại diện cho hộp xác thực L đại diện cho cls, cho Log Loss qua hai lớp Như vậy, Faster R-CNN, anchor (i) tham gia vào q trình tính loss (RPN sinh khoảng 2400 neo/FM, dùng FM/mỗi ảnh) Các tham số chuẩn hóa chọn sau: , tổng số neo cho ảnh, =256 mini-batch size, =10 Như vậy, trọng số chuẩn hóa tương đương (xấp xỉ = 1.0) *Localization loss: Gọi Apos = {tập tất positive anchors ảnh batch}: ( ) ∑ (3.2) *Classification loss: tính hai tập neo: positive (Apos) negative (Aneg) Chú ý, có neo khơng positive không negative Gọi Acls = Apos  Aneg: ảnh batch (vd: trường hợp ta sử dụng 64) ( ) (∑ ( ) ( )) (3.3) Trong đó: nhãn tảng neo i LP LP tương + ứng neo i dương, lại Tương tự, neo i dương lại xác xuất neo I LP, LP tương ứng: + =1 Công thức hàm ( ) (∑ tính sau: log( ) 55 ∑ log( )) (3.4) Nhận xét: từ công thức này, thấy số lượng mẫu negative nhiều lấn át mẫu positive, dẫn đến việc học bị lệch Do vậy, việc áp dụng Hard negative mining cần thiết để cân hai phân bố liệu học: positive negative 3.1.3 Kiến trúc mạng nhận dạng biển số xe Trong phần này, đề xuất mạng CNN nhận dạng ký tự biển số xe Ý tưởng của mô hình nhận dạng kiến trúc tương tự mơ hình dị tìm biển số xe Cụ thể, áp dụng mạng nhân chập mạng Inception-ResNet luân phiên Chúng ta có nhánh nhân chập mắc song song với đầu mơ hình mạng Kiến trúc mạng nhận dạng CNN nhận dạng biển số xe mơ tả Hình 3.3 tham số mạng Bảng 3.2 Hình 3.4 Mơ hình mạng nhận dạng biển số xe TT Layer Conv1 Inception-ResNet1 Conv2 Kernel: Size, #Filter,Stride ×5,24,(3,3) × 3,32,(2,2) 56 Input Output 240 × 192 × 80× 64× 24 80× 64× 24 80× 64× 24 80× 64× 24 40 × 32× 32 Inception-ResNet2 Conv3 Inception-ResNet3 Conv4 Inception-ResNet4 Conv5 10 Inception-ResNet5 11 Conv6 12 Cross Entropy × 3,48,(2,2) × 3,64,(2,2) × 3,96,(2,2) × 3,128,(1,2) 40 × 32× 32 40 × 32× 32 40 × 32× 32 20 × 16 × 48 20 × 16 × 48 20 × 16 × 48 20 × 16 × 48 10 × × 64 10 × × 64 10 × × 64 10 × × 64 × 4× 96 × 4× 96 × 4× 96 × 4× 128 × 2× 128 Bảng 3.2.Kiến trúc mạng CNN nhận dạng Giả sử ảnh biển số xe dị tìm chuẩn hóa kích thước 240 × 192 × (ảnh màu RGB) Đầu vector đặc trưng có kích thước 52128 hai tham số đầu biểu diễn tối đa 10 ký tự hàng, hàng tối đa ký tự, 128 số lượng đặc trưng để nhận dạng ký tự biển số xe Do xe máy có biến số dạng hình vng gồm dịng, vector đặc trưng thiết kế để nhận dạng ký tự vị trí cụ thể Số lượng lớp 36 (gồm 26 chữ 10 ký tự số) Các lớp gán nhãn từ đến 35 Với vector đặc trưng kết hợp với tầng nhân chập có kích thước nhỏ 33 để dự đoán nhãn ký tự vị trí tương ứng Đầu tầng nhân chập vector có 36 giá trị, giá trị biểu diễn giá trị tự tin hay giá trị xác suất diện ký tự số tương ứng Chẳng hạn, p[i] xác suất để vị trí có nhãn i với ≤ i ≤ 35 Hàm mục tiêu sử dụng hàm Cross Entropy Cross Entropy tính tốn độ chênh lệch phân phối xác suất dự đoán nhãn Nhãn biến đổi thành vector one-hot với tất phần tử vector nhận giá trị trừ vị trí biểu diễn nhãn nhận giá trị Đầu mơ hình phân phối xác suất (p1, p2, , pn) với n số 57 lượng lớp Phân phối xác suất nhãn vector one-hot (0, 0, , 1, 0, , 0) với vị trí thứ i nhận giá trị tương ứng lớp thứ i ∑ ̂ (3.5) Ở ̂ giá trị dự đoán, y giá trị M số lớp 3.2 Xây dựng tập liệu học (biển số xe máy) 3.2.1 Phƣơng pháp thu thập tiền xử lý liệu học - Thu thập liệu: Bộ liệu phục vụ cho huấn luyện, kiểm thử, đánh giá kết thu thập từ nhiều nguồn khác Tôi sử dụng phương pháp thu thập liệu trực tiếp thu thập gián tiếp Việc thu thập liệu trực tiếp cách sử dụng máy ảnh có camera hỗ trợ Full HD để chụp, quay trực tiếp biển số xe từ số địa điểm lựa chọn, cổng Cơ quan Tỉnh ủy, Cổng vào bãi xe số tòa nhà chung cư, phương tiện lại đường, bãi gửi xe,… Q trình ghi hình biển số xe có lựa chọn số bối cảnh đảm bảo liệu có hình ảnh chụp điều kiện gây nhiễu khác như: chụp xe di chuyển, đứng yên, điều kiện ánh sáng yếu, trời tối xe có bật đèn, trời mưa, … Ngồi ra, tơi có sử dụng thêm liệu trang thị giác máy tính [5] - Tiền xử lý liệu: Tập liệu hình ảnh thu từ bước có kích thước, độ sáng, nhiễu, … khác nên chưa thể sử dụng làm tập liệu cho mạng đề xuất cần phải thực tiền xử lý Ở đây, tồn hình ảnh tơi chuẩn hóa kích thước 512 x 512 x (với hệ mầu GRB) Ảnh sau xử lý đảm bảo thơng số dạng thơ giống Q trình tiền xử lý ảnh tơi có sử dụng Scikit-Image thư viện OpenCV để tiền xử lý liệu 3.2.2 Tạo tập liệu huấn luyện Từ nguồn ảnh thu thập tiến hành bước xây dựng tập huấn luyện, tập đánh giá tập liệu thử nghiệm Để xây dựng tập liệu huấn luyện cần phải tiến hành bóc tách đánh nhãn cho liệu Q trình đánh 58 nhãn liệu tơi thực thủ công liệu tự thu thập đồng thời có tham khảo thêm tập liệu huấn luyện cho nhận dạng biển số xe Thị giác máy tính [4] Việc đánh nhãn liệu tiến hành thủ công cách sử dụng công cụ Comma Coloring, Annotorious, LabelMe labelImg, LabelImg sử dụng nhiều Trong đề tài nghiên cứu đề xuất mạng dị tìm nhận dạng biển số xe tơi xây dựng tập liệu độc lập cho mạng độc lập Tập liệu huấn luyện cho mạng dị tìm tập liệu hình ảnh ảnh có chưa biển số xe, riêng tập Testing bao gồm ảnh có chứa biển số xe ảnh khơng chứa biển số xe Còn tập liệu nhận dạng biển số tập liệu số từ đến 26 chữ bảng chữ la tinh Kết xây dựng tập biển số phục vụ huấn luyện q trình dị tìm biển số xe sau nhận dạng ký tự biển số xe với số lượng mô tả bảng 3.3 sau: Mạng đề xuất Tập huấn luyện Tập đánh giá Tập thử nghiệm (Model) (Train) (Validation) (Testing) Dị tìm 12000 500 10000 Nhận dạng 12000 500 10000 Bảng 3.3 Bảng kết thực nghiệm Một vài ảnh minh họa phân bố liệu training, validation testing sau: Ảnh bị nhiễu ánh sáng Ảnh có góc nghiêng 59 Ảnh bị mờ Ảnh rõ nét Ảnh có độ phân giải thấp Ảnh thiếu ánh sáng Bảng 3.4 Một số ảnh minh họa dùng tập training 3.3 Huấn luyện mạng dị tìm nhận dạng đề xuất Trên sở tập liệu huấn luyện xây dựng mô tả phần 3.2 chương này, tiến hành huấn luyện máy tính GPU có thơng số: GeForce GTX 1070, 8Gb RAM, Core i7 4.2GHz Tập liệu huấn luyện mô tả phần đầu chương * Các tham số huấn luyện mạng dị tìm biển số cụ thể gồm: - Batchsize: 16 - Learning rates: 0.01, 0.001, 0.001 tương ứng bước: 20K, 60K - Tổng số bước (steps): 60K * Các tham số huấn luyện mạng nhận dạng biển số cụ thể gồm: - Batchsize: 32 - Learning rates: 0.04, 0.004, 0.0004 tương ứng bước: 5K, 7K - Tổng số bước (steps): 9K 60 3.4 Đánh giá hiệu mạng nơ-ron đề xuất 3.4.1 Hiệu lúc train Hình 3.5 3.6 biểu diễn hiệu mạng CNN nhận dạng trình huấn luyện Từ sơ đồ (Hình 3.5) ta quan sát được, hàm loss hội tụ nhanh sau 9K bước training với độ xác tập kiểm thử (validtion) đạt cao 94.95% (hình 3.6) Hình 3.5 Đồ thị trình huấn luyện mạng nhận dạng ký tự Đường đỏ training, xanh validation Hình 3.6 Độ xác tập validation trình huấn luyện 3.4.2 Hiệu tập Test Để đánh giá độ xác mơ hình dị tìm biển số xe, chúng tơi dùng tiêu chí Precision (độ xác) tính tốn dựa điểm IoU hình 61 chữ nhật dị tìm hình chữ nhật đáp án Ở đây, chúng tơi giả sử mơ hình dị tìm điểm IoU > 0,7 Độ xác hệ thống dị tìm biển số xe đạt: 95.3% tập test gồm 10,000 ảnh Ngược lại, để đánh giá độ xác nhận dạng, cung cấp hai mức độ đánh giá: - Biển số xe xem nhận dạng ký tự nhận dạng đúng: độ xác đạt 92.3% - Biển số xe xem nhận dạng ký tự nhận dạng đúng: độ xác đạt 94.1% 3.4.3 Tốc độ xử lý: Tốc độ xử lý đánh giá GPU có thơng số GeForce GTX 1070, 8Gb RAM, Core i7 4.2GHz thì: - Tốc độ dị tìm biển số xe: 28fps (28 hình giây) - Tốc độ nhận dạng: 25 fps (25 hình giây) - Tổng thời gian xử lý pha: 24fps (24 hình giây) đáp ứng tốc độ xử lý thời gian thực (real-time) Tuy nhiên tốc độ chạy GPU hệ thống có cấu hình thấp, cài đặt CPU chuyên dụng có cấu hình cao tốc độ tăng lên theo tính tốn từ 1,3 đến 1,8 lần tùy thuộc vào lực tính tốn GPU, tốc độ đạt 31 fps đến 43 fps vượt xa yêu cầu tốc độ real-time 3.5 Một số kết trực quan Nhận dạng trường hợp Nhận dạng trường hợp ảnh chụp nghiêng ảnh chụp thẳng (ảnh lý tưởng) 62 Nhận dạng trường hợp ảnh chụp nghiêng Nhận dạng trường hợp ảnh chụp nghiêng, có nhiễu Nhận dạng chưa ảnh bị che phần ánh sáng mạnh Nhận dạng ảnh xe di chuyển Nhận dạng ảnh mờ, nghiêng thiếu ánh sáng Nhận dạng ảnh mờ, thiếu ánh sáng nhỏ Nhận dạng 63 Nhận dạng chưa có ký tự Nhận dạng Tiếng Việt Bảng 3.5 Một số hình ảnh trực quan Qua kết trực quan ta thầy hệ thống hoạt động cho kết tương đối tốt Hầu hết hình ảnh liệu tập test nhận dạng đạt tới 95% (như đề cập mục trên) kết xác Tuy nhiên số trưởng hợp đặc biệt chưa nhận diện tốt ánh sáng mạnh (gần che tồn thơng tin) có ký tự Tiếng Việt (biển số xe máy điện: 36-MĐ xx.xxx) trình huấn luyện xây dựng tập liệu không xử lý biển số xe Tiếng Việt có dấu So với hệ thống nhận diện biển số tiên tiến nay, hệ thống đạt tỉ lệ nhận diện mức khá, có khả áp dụng vào thực tiễn 64 CHƢƠNG 4: KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Sau thời gian nghiên cứu thực đề tài, luận văn hồn thành cơng việc sau đây: - Tìm hiểu hệ thống văn quy phạm pháp luật Việt Nam quy định hình thức, nội dung, kích thước biển số đăng ký xe Việt Nam Từ phân nhóm, phân loại biển số xe để định hướng xây dựng hệ thống nhận dạng biển số xe - Thơng qua việc tìm hiểu số hệ thống thu phí giao thơng, quản lý biển số xe để xây dựng toán nhận dạng phát biển số xe nhằm giải yêu cầu đề tài Quá trình thực đề xuất bước (quy trình) nhận dạng phát biển số xe, đề xuất kiến trúc hệ thống nhận dạng - Nghiên cứu phương pháp tiền xử lý ảnh thuật toán phát biên, trích chọn đặc trưng ảnh nhằm hỗ trợ phát tách biển số xe ảnh - Nghiên cứu lý thuyết mạng nơ-ron, mạng nơ-ron tích chập Tìm hiểu số hệ thống dị tìm phát biển số xe từ xây dựng kiến trúc mạng dị tìm nhận dạng biển số xe Tiến hành thực nghiệm kiến trúc xây dựng Trong phạm vi đề tài hệ thống tiến hành thực nghiệm biển số xe máy môi trường tương đối thuận lợi, xử lý số góc nghiên ảnh đầu vào cho kết cao, nhiên hệ thống tồn số hạn chế sau: - Việc nhận dạng chưa bao trùm toàn hệ thống biển số xe Việt Nam, chủ yếu tập trung xây dựng kiến trúc mạng cho nhận diện phát biển số xe máy 65 - Tỉ lệ nhận dạng thành cơng cịn phụ thuộc vào nhiều điều kiện môi trường thu thập hình ảnh nhứ điều kiến ánh sáng, phản chiếu độ che bóng, nhiễu ảnh - Tốc độ phát nhận diện phụ thuộc vào chất lượng biển số xe, khả xử lý thời gian thực hạn chế Hƣớng phát triển Trên sở tối ưu kết làm được, khắc phục hạn chế luận văn hướng phát triển là: - Hoàn thiện khả phát nhận dạng cho tất loại biển số xe Việt Nam, nâng cao hiệu phát nhận dạng biển số xe điều kiện môi trường làm cho ảnh đầu vào bị nhiễu, ảnh bị mát thông tin, độ phân giải thấp, độ tương phản biển số xe thấp - Xây dựng, thu thập sở liệu đủ lớn bao gồm nhiều trường hợp để huấn luyện mạng phát nhận dạng biển số xe - Nâng cao khả tính tốn, xử lý thuật tốn phát nhận dạng để tăng tốc độ nhận diện đáp ứng yêu cầu ứng dụng thời gian thực 66 TÀI LIỆU THAM KHẢO Tiếng Việt [1] PGS.TS Phạm Thế Anh (2017), Giáo trình xử lý ảnh, Nhà xuất Giáo dục, Hà Nội [2] Bộ Công an (2014), Thông tư Số 15/TT-BCA ngày 04/4/2014 Đăng ký xe, Cơng báo (Số 475+476) ngày 05/5/2014, Văn phịng Chính phủ [3] Công ty CP Biển Bạc (2020), “Công nghệ nhận diện biển số xe ứng dụng thực tế”, [Truy cập tại] https://bienbachcm.vn/cong-nghenhan-dien-bien-so-xe-bbanpr.html [4] Công ty CP TIS (2020), “Hệ thống kiểm sốt xe thơng minh”, [Truy cập tại] http://www.tis.vn/ he-thong-kiem-soat-xe-tu-dong-he-thongkiem-soat-xe-thong-minh.html/ [5] Thị giác máy tính (2020), “Tài nguyên xử lý ảnh”, [Truy cập tại] https://thigiacmaytinh.com/tai-nguyen-xu-ly-anh/tong-hop-data-xuly-anh/ [6] Nguyễn Văn Tú, Hoàng Thị Lam, Nguyễn Thị Thanh Hà (2019), “Nhận dạng số viết tay dựa mạng nơ-ron tích chập sâu”, Tạp chí Khoa học, (14), tr.107-118 [7] Nguyễn Văn Tuấn (2019), “Convolutional neural network”, [Truy cập tại] https://nttuan8.com/bai-6-convolutional-neural-network/ Tiếng Anh [8] Dave Anderson and George McNeill (1992), “Artificial neural networks technology”, Kaman Sciences Corporation, pp.17-20 [9] CS231n (2019), “Convolutional Neural Networks for Visual Recognition”, [Link] https://cs231n.github.io/convolutional-networks/ 67 [10] Adit Deshpande (2019), “Understanding CNNs”, [Link] https://adeshpande3.github.io/adeshpande3.github.io [11] Gtechna blog (2018), “The evolution of license plate recognition”, [Link] https://gtechna.com/blog/license-plate-recognition [12] Rayson Laroca, Evair Severo, Luiz A Zanlorensi, Luiz S Oliveira, Gabriel Resende Goncalvesy, William Robson Schwartzy and David Menott (2018), “A Robust Real-Time Automatic License Plate Recognition Based on the YOLO Detector”, Department of Computer Science, Federal University of Minas Gerais (UFMG), Belo Horizonte, MG, Brazil pp 121-131 [13] Rayson Laroca, Luiz A Zanlorensi, Gabriel R Goncalves ,Eduardo Todt , William Robson Schwartz, David Menotti (2018), “An Efficient and Layout-Independent Automatic License PlateRecognition System Based on the YOLO detector”, Computer Vision and Pattern Recognition, pp 210-224 [14] Mutua Simon Mandi, Bernard Shibwabo, Kaibiru Mutua Raphael (2017), “An Automatic Number Plate Recognition System”, [Link]: https://www.researchgate.net/publication/322653125_An_Automatic _Number_Plate_Recognition_System_for_Car_Park_Management [15] S Montazzolli and C R Jung (2017), “Real-time brazilian license platedetection and recognition using deep convolutional neural networks”, SIBGRAPI Conference on Graphics, Patterns and Images,pp 55–62 9,19 [16] S Montazzolli and C R Jung (2018), “License Plate Detection and Recognition in Unconstrained Scenarios”, Lecture Notes in Computer Science 68 [17] J Redmon, S Divvala, R Girshick, and A Farhadi (2016), “You Only Look Once: Unified, Real-time Object Detection”, Allen Institute for AI, pp 779-788 [18] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun (2016), “Faster R-CNN: Towards real-time object detection with region proposal networks”, Advances in neural information processing systems, pp 91-99 [19] Jennifer Rosenberg (2019), “The First License Plates in U.S History”, [Link] https://www.thoughtco.com/1903-the-first-licenseplates-us-1779187 [20] Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke (2017), “Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”, Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, AAAI17, pp 4278–4284 [21] Williams, Everingham, M., Van Gool, C.K.I., Winn, J., Zisserman (2010), “Thepascal visual object classes (voc) challenge”, International Journal of ComputerVision, pp 303 - 338 [22] Zhenbo Xu, Wei Yang, Ajin Men, Nanxue Lu, Huan Huan, Changchun Ying and Liusheng Huan (2018), “Towards End-to-End License Plate Detection and Recognition: A Large Dataset and Baseline”, Computer Vision Foundation, pp.124-141 69