(Luận văn) xây dựng ứng dụng nhận diện biển kiểm soát phương tiện giao thông

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - lu an ĐẶNG KIM THÀNH n va p ie gh tn to PHƯƠNG TIỆN GIAO THÔNG d oa nl w XÂY DỰNG ỨNG DỤNG NHẬN DIỆN BIỂN KIỂM SOÁT ll u nf va an lu oi m LUẬN VĂN THẠC SĨ KỸ THUẬT z at nh (Theo định hướng ứng dụng) z m co l gm @ an Lu HÀ NỘI - 2020 n va ac th si HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - lu ĐẶNG KIM THÀNH an n va gh tn to p ie XÂY DỰNG ỨNG DỤNG NHẬN DIỆN BIỂN KIỂM SOÁT d oa nl w PHƯƠNG TIỆN GIAO THÔNG an lu Chuyên ngành : 8.52.02.08 ll u nf va Mã số : KỸ THUẬT VIỄN THÔNG m oi LUẬN VĂN THẠC SĨ KỸ THUẬT z at nh (Theo định hướng ứng dụng) z m co l gm @ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN NGỌC MINH an Lu HÀ NỘI - 2020 n va ac th si i LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác lu an va n Đặng Kim Thành p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si ii MỤC LỤC LỜI CAM ĐOAN .i MỤC LỤC ii DANH MỤC BẢNG BIỂU, HÌNH ẢNH .iv DANH MỤC TỪ VIẾT TẮT vi MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ NHẬN DẠNG BIỂN KIỂM SỐT PHƯƠNG lu TIỆN GIAO THƠNG .2 an 1.1 Vai trị nhận dạng biển kiểm sốt phương tiện giao thông công tác điều va n tra, khám phá vụ việc mang tính hình lực lượng Kỹ thuật hình .2 giới ie gh tn to 1.2 Thực trạng nhận dạng biển kiểm soát phương tiện giao thông Việt Nam p CHƯƠNG CÁC VẤN ĐỀ CƠ BẢN VỀ XỬ LÝ, NHẬN DẠNG ẢNH nl w 2.1 Tổng quan xử lý ảnh oa 2.2 Lý thuyết nhận dạng ảnh, nhận dạng đối tượng d 2.2.1 Tổng quan toán nhận dạng .7 lu va an 2.2.2 Các khó khăn cơng việc nhận dạng u nf 2.2.3 Các ứng dụng nhận dạng đối tượng 11 ll 2.2.4 Tổng quan kiến trúc hệ thống nhận dạng đối tượng 12 m oi 2.3 Ứng dụng cơng nghệ trí tuệ nhân tạo xử lý ảnh 12 z at nh 2.3.1 Tổng quan cơng nghệ trí tuệ nhân tạo .12 2.3.2 Giới thiệu học máy (Machine Learning) 14 z @ 2.3.3 Giới thiệu học sâu (Deep Learning) 16 l gm 2.3.4 Một số mơ hình nhận dạng đối tượng sử dụng kỹ thuật học máy, học sâu 20 m co CHƯƠNG XÂY DỰNG THUẬT TOÁN NHẬN DẠNG BIỂN SOÁT an Lu PHƯƠNG TIỆN GIAO THÔNG 28 n va ac th si iii 3.1 Các công cụ sử dụng 28 3.1.1 Bộ thư viện mã nguồn mở OpenCV ( Open Computer Vision) .28 3.1.2 Ngơn ngữ lập trình sử dụng 29 3.2 Xây dựng chương trình nhận dạng biển kiểm sốt từ hình ảnh .30 3.2.1 Lưu đồ thuật toán 30 3.2.2 Giai đoạn – Tiền xử lý ảnh 31 3.2.3 Giai đoạn – Tìm vị trí khả dụng biển số .35 3.2.4 Giai đoạn – Tìm kiếm vị trí kí tự biển số 37 3.2.5 Giai đoạn – Chuyển đổi hình ảnh ký tự thành văn .38 lu 3.3 Xây dựng chương trình nhận dạng biển kiểm soát từ video 45 an va 3.3.1 Lưu đồ thuật toán 45 n 3.3.2 Giai đoạn – Xử lý nhận diện nhiều khung hình 45 to gh tn 3.3.3 Giai đoạn – Suy luận giá trị biển số 47 ie 3.4 Xây dựng giao diện phần mềm mơ phong thuật tốn 47 p 3.5 Nhận xét kết quả, đánh giá tính tin cậy thuật tốn 49 nl w CHƯƠNG KẾT QUẢ VÀ BÀN LUẬN 52 d oa 4.1 Kết 52 an lu 4.2 Bàn luận 52 ll u nf va TÀI LIỆU THAM KHẢO 53 oi m z at nh z m co l gm @ an Lu n va ac th si iv DANH MỤC BẢNG BIỂU, HÌNH ẢNH Hình 1.1: Giải pháp OpenALPR nhận diện biển kiểm sốt Hình 2.1: Các bước xử lý ảnh Hình 2.2: Minh họa thay đổi góc chụp Hình 2.3: Minh họa thiếu thành phần .9 Hình 2.4: Minh họa biến dạng 10 Hình 2.5: Minh họa che khuất 10 Hình 2.6: Minh họa hình phức tạp .10 lu Hình 2.7: Minh họa thay đổi độ sáng 11 an Hình 2.8: Trí tuệ nhân tạo trở thành phần thiết yếu công nghệ .13 va n Hình 2.9: Nhờ trí tuệ nhân tạo, người máy giúp ích cho người 14 tn to Hình 2.10: Machine Learning – Một lĩnh vực trí tuệ nhân tạo 15 ie gh Hình 2.11: Deep Learning – phạm trù Machine learning 17 p Hình 2.12: Mơ hình thuật tốn R-CNN .21 Hình 2.13: Giai đoạn - Mơ hình thuật tốn SSD 22 w oa nl Hình 2.14: Ví dụ cho việc sử dụng đồ đặc trưng nhiều tỷ lệ bbx mặc định 24 d Hình 2.15: Mơ tả hoạt động mơ hình thuật tốn YOLO 25 lu va an Hình 2.16: Ví dụ xây dựng mơ hình CNN cho YOLO với kích thước lưới 7x7 26 Hình 3.1: Giới thiệu OpenCV (Open Computer Vision) .28 u nf ll Hình 3.2: Ngơn ngữ Python 29 oi m Hình 3.3: Lưu đồ thuật toán nhận diện biển kiểm soát từ hình ảnh 30 z at nh Hình 3.4: Biểu diễn ma trận lọc Gaussian 32 Hình 3.5: Làm mờ ảnh lọc Gaussian 33 z Hình 3.6: Biến đổi ảnh xám 34 @ gm Hình 3.7: Làm biên ảnh sử dụng kĩ thuật Sobel 34 m co l Hình 3.8: Nhị phân hóa ảnh 35 Hình 3.9: Tìm đường biên khả dụng 36 an Lu Hình 3.10: Tạo khối chữ nhật từ đường biên khả dụng 36 Hình 3.11: Kết sau lọc tập đặc trưng 37 n va ac th si v Hình 3.12: Tiền xử lý biển số nhận dạng ký tự biển số 37 Hình 3.13: Tập liệu mẫu 39 Hình 3.14: Một ký tự tập liệu mẫu .40 Hình 3.15: Lưu đồ thuật toán nhận dạng biển số video 45 Hình 3.16: Giao diện phần mềm nhận dạng biển kiểm soát .48 Bảng 3.1: Bảng thông số video thử nghiệm kết phần mềm .48 Bảng 3.2: Bảng kết thử nghiệm 50 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si vi DANH MỤC TỪ VIẾT TẮT lu Trí tuệ nhân tạo ANN: Artificial Neural Network Mạng nơ-ron nhân tạo CAP: Credit assignment path Đường gán kế thừa CNN: Convolutional Neural Network Mạng nơ-ron tích chập DL: Deep learning Học sâu DN: Development Network Mạng phát triển an AI: Artifical Intelligence n va tn to Biểu đồ định hướng p ie gh HOG: Histogram of oriented gradient Học máy Convolutional Neural Mạng nơ-ron tích chập d Network Region oa RCNN: nl w ML: Machine learning an lu Phát đối tượng đơn ll u nf va SSD: Single shot object detectors oi m z at nh z m co l gm @ an Lu n va ac th si MỞ ĐẦU Mục tiêu Xây dựng ứng dụng nhận diện biển kiểm sốt phương tiện giao thơng - Nội dung lu an n va Nghiên cứu thực trạng - Nghiên cứu tổng quan - Lựa chọn giải pháp tiến hành - Nghiên cứu vấn đề lý thuyết - Xây dựng hệ thống phần mềm thu thập liệu, xử lý hình ảnh biển kiểm sốt phương tiện giao thông gh tn to - p ie Đề tài: “Xây dựng ứng dụng nhận diện biển kiểm soát phương tiện giao thơng” nl w trình bày với phần sau: Chương 1: Tổng quan nhận dạng biển kiểm sốt phương tiện giao thơng - Chương 2: Các vấn đề nhận dạng, xử lý ảnh - Chương 3: Xây dựng thuật toán nhận diện biển kiêm soát phương tiện giao d oa - u nf Chương 4: Kết bàn luận ll - va an lu thông oi m z at nh z m co l gm @ an Lu n va ac th si CHƯƠNG TỔNG QUAN VỀ NHẬN DẠNG BIỂN KIỂM SỐT PHƯƠNG TIỆN GIAO THƠNG Trong chương này, tác giả xin trình bày tổng quan nhận dạng biển kiểm soát phương tiện giao thơng, vai trị thực trạng nhận dạng biển kiểm sốt giao thơng Việt Nam giới 1.1 Vai trị nhận dạng biển kiểm sốt phương tiện giao thông công tác điều tra, khám phá vụ việc mang tính hình lực lượng Kỹ thuật hình lu an Trong trình phát triển người, cách mạng cơng nghệ đóng va n vai trị quan trọng, chúng làm thay đổi ngày sống tn to người, theo hướng đại Đi đơi với q trình phát triển người, tình hình ie gh tội phạm vụ việc mang tính hình ngày gia tăng, đồng thời với p phát triển không ngừng ngành Khoa học kỹ thuật dẫn đến phương thức thủ đoạn nl w phạm tội ngày tinh vi, khó nắm bắt hầu hết có liên quan đến d oa phương tiên giao thông an lu Ở nước giới nước ta nay, việc nhận diện biển kiểm soát va phương tiện giao thông triển khai phổ biến lĩnh vực an ninh Cụ thể u nf Việt Nam, năm 2012 năm an toàn giao thơng (ATGT) Nhiều cơng trình nghiên ll cứu bộ, ngành thực để kiềm chế tai nạn giao thông (TNGT), m oi giảm ùn tắc giao thơng Trong đó, đề tài “Ứng dụng phần mềm nhận dạng biển số z at nh quản lý phương tiện phát vi phạm giao thơng hình ảnh” Cục z Quản lý khoa học - công nghệ môi trường (Tổng cục Hậu cần kỹ thuật - Bộ công gm @ an), phối hợp Công ty cổ phần Biển Bạc đề tài Áp l dụng, triển khai số tỉnh, thành phố nước m co Vấn đề nhược điểm trình sử dụng phần mềm cần hỗ trợ an Lu hệ thống camera chuyên biệt, có tốc độ chụp hình cao độ phân giải lớn Trong việc sử dụng liệu từ camera an ninh thông thường để nhận diện biển số lại n va ac th si 39 Mục đích xấp xỉ hàm số f thật tốt để có liệu X mới, tìm nhãn tương ứng y = f(x) Ứng dụng học có giám sát tốn nhận diện ký tự này, ta có hàng nghìn ví dụ ký tự viết nhiều phông chữ khác Chúng ta đưa ảnh vào thuật toán cho biết ảnh tương ứng với chữ số Sau thuật tốn tạo mơ hình, tức hàm số mà đầu vào ảnh đầu chữ số, nhận ảnh mà mơ hình chưa nhìn thấy bao giờ, dự đốn ảnh chứa chữ số Ví dụ giống với cách học người nhỏ Ta đưa bảng chữ cho đứa trẻ cho lu an chúng chữ A, chữ B Sau vài lần dạy trẻ nhận biết n va đâu chữ A, đâu chữ B sách mà chúng chưa nhìn thấy bao Do điều kiện thu thập liệu gặp nhiều hạn chế nên toán ta ie gh tn to p sử dụng liệu thu thập từ trước Bộ liệu bao gồm hình ảnh nl w 26 ký tự tiếng Anh số từ đến d oa Bộ liệu tập tin CSV có dung lượng 600MB bao gồm 372451 liệu an lu hình ảnh Với liệu tương ứng với dòng Cột số từ 0-25 đại va diện cho 26 ký tự tiếng Anh 784 cột liệu hình ảnh có kích ll u nf thước 28*28 Do độ dài hàng 785 oi m z at nh z m co l gm @ an Lu Hình 3.13: Tập liệu mẫu n va ac th si 40 Mỗi hàng liệu hình ảnh ký tự có kích thước 28*28: Hình 3.14: Một ký tự tập liệu mẫu lu an Bước ta sử dụng thư viện Tflearn ngôn ngữ Python cho việc xây va dựng mơ hình học máy n gh tn to # Thêm thư viện cần thiết p ie import tensorflow as tf w import tflearn oa nl from tflearn.layers.conv import conv_2d, max_pool_2d d from tflearn.layers.core import input_data, dropout, fully_connected lu va an from tflearn.layers import regression ll # Khởi tạo giá trị u nf from tflearn.data_utils import to_categorical m co an Lu - l Trong đó: gm N_EPOCHS = 50 @ LR = 0.001 z N_CLASSES = z at nh IMG_SIZE = 28 oi m BATCH_SIZE = 32 BATCH_SIZE: kích thước lượng liệu (ảnh) truyền vào n va ac th si 41 - IMG_SIZE: kích thước chiều hình ảnh đầu vào - N_CLASSES: Số lượng lớp mà cần huấn luyện - LR: Tốc độ học - N_EPOCHS: Số lượng epoch mà ta cần huấn luyện Mơ hình mà sử dụng bao gồm lớp Convolutional lớp Fully Connected nối tiếp # Cài đặt thơng số cho mơ hình học lu an tf.reset_default_graph() va n network = input_data(shape=[None, IMG_SIZE, IMG_SIZE, 1]) #1 tn to ie gh network = conv_2d(network, 32, 3, activation='relu') #2 p network = max_pool_2d(network, 2) #3 oa nl w network = conv_2d(network, 64, 3, activation='relu') d network = max_pool_2d(network, 2) lu va an network = conv_2d(network, 32, 3, activation='relu') ll u nf network = max_pool_2d(network, 2) oi m network = conv_2d(network, 64, 3, activation='relu') z at nh network = max_pool_2d(network, 2) z network = conv_2d(network, 32, 3, activation='relu') network = conv_2d(network, 64, 3, activation='relu') m co network = max_pool_2d(network, 2) l gm @ network = max_pool_2d(network, 2) an Lu n va ac th si 42 network = fully_connected(network, 1024, activation='relu') #4 network = dropout(network, 0.8) #5 network = fully_connected(network, N_CLASSES, activation='softmax')#6 network = regression(network) model = tflearn.DNN(network) #7 Trong đó: lu  #1: Kích thước liệu đầu vào [None, IMG_SIZE, IMG_SIZE, 1] n va - IMG_SIZE: kích thước chiều ảnh - 1: số dải màu ảnh, sử dụng ảnh đen trắng nên có dải màu, sử dụng ảnh màu số dải màu mà sử dụng 3, gh tn to None: đại diện cho BATCH_SIZE ie an - p nl w đại diện cho dải màu RGB d oa  #2: Cài đặt lớp tích chập Convolutional 32: số lượng filters - 3: kích thước filter (3x3) - Bước nhảy mặc định ll u nf va an lu - oi m z at nh  #3: Cài đặt lớp tổng hợp  #4: Cài đặt lớp kết nối đầy đủ (Fully-connected layer) z gm @  #5: Cài đặt tỉ hệ học 80%  #7: Học dựa mơ hình cài đặt m co l  #6: Cài đặt lớp kết nối đầy đủ đại điện cho đầu an Lu n va ac th si 43 Để liệu đầu vào trùng khớp với mơ hình xây dựng, cần phải đưa liệu định dạng phù hợp sau: train_x = train_x.reshape(-1, IMG_SIZE, IMG_SIZE, 1) val_x = val_x.reshape(-1, IMG_SIZE, IMG_SIZE, 1) test_x = test_x.reshape(-1, IMG_SIZE, IMG_SIZE, 1) Tương tự với nhãn, đưa nhãn dạng vector: lu original_test_y = test_y # sử dụng để test bước sau an n va train_y = to_categorical(train_y, N_CLASSES) to test_y = to_categorical(test_y, N_CLASSES) p ie gh tn val_y = to_categorical(val_y, N_CLASSES) oa nl w Bước tiến hành huấn luyện d model.fit(train_x, train_y, n_epoch=N_EPOCHS, validation_set=(val_x, lu va an val_y), show_metric=True) ll u nf Sau huấn luyện, kết thu sau: m oi Training Step: 52190 | total loss: 0.23665 | time: 12.616s z at nh | Adam | epoch: 067 | loss: 0.23665 - acc: 0.9886 iter: 49984/50000 z gm @ Training Step: 52191 | total loss: 0.21299 | time: 13.646s | Adam | epoch: 067 | loss: 0.21299 - acc: 0.9897 | val_loss: 0.02314 - val_acc: m co l 0.9970 iter: 50000/50000 an Lu n va ac th si 44 Kết thúc trình huấn luyện ta thu tập trích chọn đặc trưng liệu Từ tập liệu này, ta dùng để nhận diện ký tự bước Nhận diện ký tự - Xác định ký tự dựa tập đặc trưng học Vì ảnh ký tự tiền xử lý từ trước nên bước ta không cần thực tiền xử lý lại mà đưa trực tiếp vào chương trình nhận diện kí tự Ở ta sử dụng tập đặc trưng trích chọn mà ta huấn luyện bước trước input_name = "import/input" lu output_name = "import/final_result" an n va input_operation = self.graph.get_operation_by_name(input_name); gh tn to output_operation = self.graph.get_operation_by_name(output_name); results = self.sess.run(output_operation.outputs[0],{input_operation.outputs[0]: ie p tensor}) w oa nl results = np.squeeze(results) d labels = self.label an lu top_k = results.argsort()[-1:][::-1] ll u nf va return labels[top_k[0]] oi m z at nh z m co l gm @ an Lu n va ac th si 45 3.3 Xây dựng chương trình nhận dạng biển kiểm soát từ video 3.3.1 Lưu đồ thuật toán lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z gm @ Hình 3.15: Lưu đồ thuật toán nhận dạng biển số video l 3.3.2 Giai đoạn – Xử lý nhận diện nhiều khung hình m co Việc nhận diện biển số video có phần phức tạp chút, phụ thuộc vào an Lu tốc độ lia khung hình máy quay Với tốc độ chậm cho ta khung hình rời rạc chất lượng kém, khó nhận diện chữ biển số n va ac th si 46 Về bước xử lý nhận diện biển kiểm soát khung hình q trình nhận diện biển kiểm sốt ảnh Đối với video ta có loạt khung hình liên tiếp Bằng cách quan sát nhiều khung hình để đưa kết luận biển số cho ta độ xác cao giải vấn đề video chất lượng khơng tốt Với khung hình ta thực giống với nhận diện biển kiểm soát ảnh giống trình bày Kết nhãn ký tự thu lưu lại phục vụ cho q trình suy luận phía sau lu Với hai khung hình ta tính khoảng cách biển số Nếu khoảng cách an biển số lớn ngưỡng ta quy định kết luận nhiễu va n biển số khác bị xen vào (ngưỡng hệ số tương đối, dựa tốc độ thực tn to tế phương tiện video) Nếu khung hình liên tiếp đảm bảo khoảng cách, p ie gh chứng tỏ biển số phương tiện, ta lưu giá trị biển số lại Ta cần cài đặt số khung hình mẫu số khung hình cần đọc liên tiếp để xác nl w định biển số phương tiện Số lượng mẫu lấy biển số mang tính tương đối, d oa phụ thuộc vào thông số video Video có số khung hình giây FPS (Frames per an lu second) cao ta tăng mẫu lên để độ xác cao Với video có FPS thấp u nf va ta chọn hệ số phù hợp thấp Sau lấy đủ số mẫu cần thiết, ta tiến hành lọc khung hình có chất ll oi m lượng tốt để xử lý Việc đánh giá chất lượng dựa vào tiêu chí: Kích thước (kích lượng cao) z at nh thước lớn chất lượng cao); Độ mờ (Ảnh có độ mờ thấp chất z @ Những hình ảnh tốt đưa vào chương trình nhận diện ký tự nêu hình m co l gm Kết thu danh sách nhãn biển số tương ứng với khung an Lu n va ac th si 47 3.3.3 Giai đoạn – Suy luận giá trị biển số Bởi nhãn biển số lấy từ khung hình khác nên khơng thể dự đốn trước tồn nhãn giống Như đề cập đề bài, camera thông thường cho chất lượng hình ảnh, độ phân giải thấp, tốc độ quét thấp, số khung hình cho hình ảnh bị nét dẫn đến việc nhận diện kí tự bị sai số Bằng cách tổng hợp kết từ nhiều khung hình, ta suy luận kết cuối với độ xác cao Thuật tốn mơ tả đây: Giả sử ta có tập hợp khung hình với giá trị: lu an 90A12357 90A-235- 90A12-57 90A12351 va n Bằng phương pháp tính trung bình ta dễ dàng suy ra: - Vị trí thứ tất A => A oa nl w - Vị trí thứ tất => p ie gh tn to Vị trí tất => - Vị trí thứ có tần suất số xuất lớn => - Vị trí thứ có tần suất số xuất lớn => - Vị trí thứ có tần suất số xuất lớn => - Vị trí thứ có tần suất số xuất lớn => - Vị trí thứ có tần suất số xuất lớn => d - ll u nf va an lu oi m z at nh z => Kết cuối chương trình nhận dạng là: 90A12357 @ l gm 3.4 Xây dựng giao diện phần mềm mơ thuật tốn m co Để tối ưu việc đưa đầu vào hình ảnh video cách dễ dàng, xử lý tính nâng cao thuận tiện ta xây dựng giao an Lu diện ứng dụng ứng dụng hai thuật toán để xử lý Ngồi ta cịn thơng qua n va ac th si 48 giao diện phần mềm để cài đặt thông số tần số lấy mẫu, cài đặt lấy thời gian, nhận diện biển xe máy ô tô, Giao diện xây dựng dựa thư viện PyQT5 ngôn ngữ Python Ứng dụng hoạt động tốt tảng Windows Linux lu an n va gh tn to p ie Hình 3.16: Giao diện phần mềm nhận dạng biển kiểm soát Dữ liệu video thử nghiệm thu thập trực tiếp từ hệ thống giao thông thực w - oa nl tế Bộ liệu thử nghiệm bao gồm 12 video tạo thành từ video gốc d quay thời điểm sáng sớm (ánh sáng thấp), trưa (ánh sáng tốt), chiều lu an tối (ánh sáng kém) Video gốc quay độ phân giải 1920x1080, tốc độ u nf va khung hình 60 khung hình giây Bằng cách sử dụng phần mềm chỉnh sửa video, video gốc tạo video khác có độ phân giải tốc độ khung ll oi m hình 1366x768 / 50fps; 800x600 / 30fps; 600x400 / 20fps Như z at nh ta có 12 video chia cho ba thời điểm sáng, trưa, chiều tối có thơng số sau: z Tốc độ khung hình 60fps 50fps 30fps 20fps m co l an Lu Độ phân giải 1920x1080 1366x768 800x600 600x400 gm @ Bảng 3.1: Bảng thông số video thử nghiệm kết phần mềm n va ac th si 49 Trong video có 10 phương tiện khác di chuyển liên tục với vận tốc khác 3.5 Nhận xét kết quả, đánh giá tính tin cậy thuật tốn Thuật tốn chạy mô giao diện phần mềm xây dựng hoạt động tốt hai tảng Window Linux Dưới kết đánh giá thử nghiệm thuật toán, thử nghiệm thực toàn máy tính có cấu hình Intel Core I5-7200 / 2.5-2.7GHz, 8GB Ram, hệ điều hành Window Ưu điểm: lu an - Có thể nhận đầu vào bao gồm ảnh video, hỗ trợ tốt tất loại định dạng va n hình ảnh, video Thuật tốn xử lý tiêu hao tài nguyên không đáng kể, tốc độ xử lý nhanh với tốc gh tn to - độ tính tốn trung bình với khung hình (bao gồm xử lý biển số nhận dạng ie p ký tự) 0.05s Đánh giá dựa tính tốn đo đạc trực tiếp phần mềm nl w thuật tốn Khi đưa khung hình vào xử lý, ta đặt biến giá trị lưu lại d oa thời gian thời điểm xử lý xong khung hình cho kết quả, ta cập lu nhật lại giá trị thời gian Và dựa vào hai mốc thời gian ta tính tốn va an thời gian cần để xử lý khung hình Những giá trị lưu lại vào u nf bảng giá trị Thời gian 0.1s giá trị trung bình dựa kết lấy mẫu 100 ll khung hình liên tiếp video 360p với tốc độ 30 khung hình 1s oi m Trên thử nghiệm khác, thuật tốn hoạt động tốt máy tính z at nh - có cấu hình thấp Raspberry Pi – máy tính nhúng có cấu hình thấp với z CPU Cortex-A53 (ARMv8) 64-bit SoC @ 1,4 GHz, Ram 1GB Tuy nhiên đánh @ gm giá là đánh giá riêng với thuật tốn nhận diện Cịn chương cấu hình cao tốc độ học liệu nhanh m co l trình học liệu lại yêu cầu máy tính với cấu hình cao Với máy tính có an Lu n va ac th si 50 - Độ xác đạt 90% video rõ nét, giảm dần với video có độ phân giải chất lượng thấp Dữ liệu thử nghiệm theo ghi lại bảng đây: Bảng 3.2: Bảng kết thử nghiệm Video Kết Sáng sớm 1920x1080 / 60fps 10/10 1366x768 / 50fps 10/10 800x600 / 30fps 9/10 600x400 / 20fps 8/10 1920x1080 / 60fps 10/10 1366x768 / 50fps 10/10 800x600 / 30fps 10/10 600x400 / 20fps 9/10 1920x1080 / 60fps 7/10 1366x768 / 50fps 7/10 800x600 / 30fps 5/10 600x400 / 20fps 3/10 lu Thời gian an n va Buổi trưa p ie gh tn to Chiều tối d oa nl w an lu Tổng 98/120 u nf va Như với video quay với chất lượng tốt kết xác đạt 27/30 (90%) ll oi m Khi quay vào thời điểm ban ngày hay buổi sáng sớm với độ sáng trung bình z at nh tốt cho độ xác tốt nhất, với kết độ phân giải thấp 17/20 đạt 85% Còn với video quay buổi chiều tối với độ sáng cho kết z thấp với 70% độ phân giải cao 30% độ phân giải thấp @ Có thể cài đặt thông số tần số lấy mẫu, nhận diện xe máy ô tô - Phần mềm hoạt động tốt hai tảng window linux m co l gm - an Lu n va ac th si 51 Nhược điểm - Chưa hoạt động tốt với hình ảnh, video thiếu sáng quay vào buổi tối - Thuật tốn chưa xử lý tốt có nhiều biển số khung hình - Phần mềm nặng, toàn dung lượng sau xây dựng thành tệp chạy nặng 115MB lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 52 CHƯƠNG KẾT QUẢ VÀ BÀN LUẬN 4.1 Kết Đề tài hồn thành với đầy đủ mục trình bày đề cương thông qua Bao gồm nội dung Nghiên cứu tổng quan nhận diện biển kiểm sốt phương tiện giao thơng - Nghiên cứu vấn đề xử lý, nhận dạng ảnh - Xây dựng thuật toán nhận diện biểm kiếm soát phương tiện giao thơng - Chương trình thuật tốn tích hợp giao diện phần mềm, có lu - an va n khả hoạt động tảng Window Linux Sản phẩm phần mềm Kết cơng trình nghiên cứu bao gồm lý thuyết nghiên cứu ie gh tn to có khả áp dụng thực tế p trình bày đề tài phần mềm nhận dạng biển kiểm sốt giao thơng w oa nl 4.2 Bàn luận d Đề tài hồn thành song cịn vài nhược điểm chưa giải lu an Kết đề tài móng lý thuyết cho đề tài với mục đích hồn ll u nf va thiện cơng trình nghiên cứu oi m z at nh z m co l gm @ an Lu n va ac th si 53 TÀI LIỆU THAM KHẢO [1] Alexander Mordvintsev & Abid K OpenCV - Python Tutorials Documentation Nov 05-2017 [2] A Shrivastava, R Sukthankar, J Malik, and A Gupta Beyond skip connections: Top-down modulation for object detection arXiv preprint arXiv:1612.06851, 2016 [3] C Szegedy, S Ioffe, V Vanhoucke, and A A Alemi Inception-v4, inceptionresnet and the impact of residual connections on learning 2017 lu [3] D Gordon, A Kembhavi, M Rastegari, J Redmon, D Fox and A Farhadi Iqa: an Visual question answering in interactive environments arXiv preprint va n arXiv:1712.03316, 2017 tn to [4] Dmitry Batenkov Real-Time Detection with Webcam June 2010 gh p ie [5] M Everingham, L Van Gool, C K Williams, J Winn, and A Zisserman The w pascal visual object classes (voc) challenge International journal of computer vision, oa nl 88(2): 303–338, 2010 d [6] T.-Y Lin, M Maire, S Belongie, J Hays, P Perona, D Ramanan, P Doll´ar and lu va an C L Zitnick Microsoft coco: Common objects in context In European conference ll u nf on computer vision, pages 740–755 Springer, 2014 oi m [7] W Liu, D Anguelov, D Erhan, C Szegedy, S Reed, C.-Y Fu, and A C Berg Ssd: Single shot multibox detector In European conference on computer vision, z at nh pages 21–37 Springer, 2016 z m co l gm @ an Lu n va ac th si