Bố cục của Luận văn này gồm có 4 chương: Chương 1 - Tổng quan về nhận dạng biển kiểm soát phương tiện giao thông; Chương 2 - Các vấn đề cơ bản về nhận dạng, xử lý ảnh; Chương 3 - Xây dựng thuật toán nhận diện biển kiêm soát phương tiện giao thông; Chương 4 - Kết quả và bàn luận. Mời các bạn cùng tham khảo!
HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - ĐẶNG KIM THÀNH XÂY DỰNG ỨNG DỤNG NHẬN DIỆN BIỂN KIỂM SOÁT PHƯƠNG TIỆN GIAO THÔNG Chuyên ngành Mã số : KỸ THUẬT VIỄN THƠNG : 8.52.02.08 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2020 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS NGUYỄN NGỌC MINH Phản biện 1: ……………………………………………………………………… Phản biện 2: ……………………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm 2020 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng MỞ ĐẦU Mục tiêu - Xây dựng ứng dụng nhận diện biển kiểm sốt phương tiện giao thơng Nội dung - Nghiên cứu thực trạng - Nghiên cứu tổng quan - Lựa chọn giải pháp tiến hành - Nghiên cứu vấn đề lý thuyết - Xây dựng hệ thống phần mềm thu thập liệu, xử lý hình ảnh biển kiểm sốt phương tiện giao thơng Đề tài: “Xây dựng ứng dụng nhận diện biển kiểm sốt phương tiện giao thơng” trình bày với phần sau: - Chương 1: Tổng quan nhận dạng biển kiểm soát phương tiện giao thông - Chương 2: Các vấn đề nhận dạng, xử lý ảnh - Chương 3: Xây dựng thuật toán nhận diện biển kiêm soát phương tiện giao thông - Chương 4: Kết bàn luận CHƯƠNG TỔNG QUAN VỀ NHẬN DẠNG BIỂN KIỂM SỐT PHƯƠNG TIỆN GIAO THƠNG 1.1 Vai trị nhận dạng biển kiểm sốt phương tiện giao thơng cơng tác điều tra, khám phá vụ việc mang tính hình lực lượng Kỹ thuật hình Trong trình phát triển người, cách mạng cơng nghệ đóng vai trị quan trọng, chúng làm thay đổi ngày sống người, theo hướng đại Đi đơi với q trình phát triển người, tình hình tội phạm vụ việc mang tính hình ngày gia tăng, đồng thời với phát triển không ngừng ngành Khoa học kỹ thuật dẫn đến phương thức thủ đoạn phạm tội ngày tinh vi, khó nắm bắt hầu hết có liên quan đến phương tiên giao thông Ở nước giới nước ta nay, việc nhận diện biển kiểm soát phương tiện giao thông triển khai phổ biến lĩnh vực an ninh Cụ thể Việt Nam, năm 2012 năm an tồn giao thơng (ATGT) Nhiều cơng trình nghiên cứu bộ, ngành thực để kiềm chế tai nạn giao thông (TNGT), giảm ùn tắc giao thơng Trong đó, đề tài “Ứng dụng phần mềm nhận dạng biển số quản lý phương tiện phát vi phạm giao thơng hình ảnh” Cục Quản lý khoa học - công nghệ môi trường (Tổng cục Hậu cần kỹ thuật - Bộ công an), phối hợp Công ty cổ phần Biển Bạc đề tài Áp dụng, triển khai số tỉnh, thành phố nước 1.2 Thực trạng nhận dạng biển kiểm sốt phương tiện giao thơng Việt Nam giới Trên giới nói chung hay Việt Nam nói riêng, tốn nhận diện biển kiểm sốt phương tiện giao thơng tốn quan tâm Kết nghiên cứu toán giải pháp cho công nghệ tự động, giải pháp quản lý bãi xe, quản lý an ninh, theo dõi tội phạm, Nhìn chung giải pháp phát triển song nhiều hạn chế Những giải pháp tiếng giới ALPR, Vino đáp ứng hầu hết nhu cầu tốn Nhược điểm cịn tồn giải pháp chưa hỗ trợ hết tất loại biển số giới 3 Tại Việt Nam thị trường giải pháp nhận diện biển kiểm soát phong phú, đầu lĩnh vực kể đến Silver Sea, DNC Tech Tất giải pháp có điểm chung xử lý chuyên biển số Việt Nam nên có tốc độ xử lý nhanh độ xác cao biển kiểm soát Việt Nam 4 CHƯƠNG CÁC VẤN ĐỀ CƠ BẢN VỀ XỬ LÝ, NHẬN DẠNG ẢNH 2.1 Tổng quan xử lý ảnh Xử lý ảnh lĩnh vực mang tính khoa học cơng nghệ Nó ngành khoa học mẻ so với nhiều ngành khoa học khác tốc độ phát triển nhanh, kích thích trung tâm nghiên cứu, ứng dụng, đặc biệt máy tính chuyên dụng riêng cho Các phương pháp xử lý ảnh ứng dụng chính: nâng cao chất lượng ảnh phân tích ảnh Ứng dụng biết đến nâng cao chất lượng ảnh báo truyền qua cáp từ Luân đôn đến New York từ năm 1920 Vấn đề nâng cao chất lượng ảnh có liên quan tới phân bố mức sáng độ phân giải ảnh Việc nâng cao chất lượng ảnh phát triển vào khoảng năm 1955 Điều giải thích sau chiến thứ hai, máy tính phát triển nhanh tạo điều kiện cho q trình xử lý ảnh sơ thuận lợi Năm 1964, máy tính có khả xử lý nâng cao chất lượng ảnh từ mặt trăng vệ tinh Ranger Mỹ bao gồm: làm đường biên, lưu ảnh Từ năm 1964 đến nay, phương tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng Các phương pháp tri thức nhân tạo mạng nơ ron nhân tạo, thuật toán xử lý đại cải tiến, công cụ nén ảnh ngày áp dụng rộng rãi thu nhiều kết khả quan Các bước xử lý ảnh bao gồm: - Thu nhận ảnh - Tiền xử lý ảnh - Phân đoạn ảnh - Biểu diễn ảnh sau phân đoạn - Nhận dạng nội suy - Biểu diễn ảnh (hiển thị, lưu trữ) 2.2 Lý thuyết nhận dạng ảnh, nhận dạng đối tượng 2.2.1 Tổng quan toán nhận dạng Nhận dạng hay nhận biết đối tượng khả tự nhiên người loài vật Theo cách loài vật qua cảm nhận từ quan cảm giác như: mắt, mũi, miệng, tay, hành động nhìn, nghe, ngửi, cảm nhận đối tượng tiếp xúc với gì, quen hay lạ Chính nói thể lồi vật hệ thống nhận dạng tối ưu Một hệ thống nhận dạng đối tượng hệ thống nhận vào ảnh đoạn video (chuỗi ảnh) Qua xử lý tính tốn, hệ thống xác định vị trí đối tượng có ảnh (nếu có) xác định đối tượng số đối tượng mà hệ thống biết (qua trình học) đối tượng Yêu cầu đặt với hệ thống nhận dạng đối tượng độ xác cao hệ thống địi hỏ phải có đặc trưng tốt Hệ thống phải biết chọn đặc trưng để biểu diễn tốt thơng tin đối tượng cần nhận dạng Đồng thời, đặc trưng phải tính tốn nhanh để khơng làm chậm cơng việc nhận dạng Thêm vào đó, hệ thống phải có phương pháp học hiệu quả, có khả nhận dạng tốt mẫu không làm tốt mẫu học 2.2.2 Các khó khăn cơng việc nhận dạng Đối với người việc nhận dạng đối tượng ảnh việc phức tạp; nhiên hệ thống nhân tạo việc nhận đối tượng từ ảnh đòi hỏi phải giải nhiều vấn đề Chính vấn đề nhiều nhóm giới quan tâm nghiên cứu, Khó khăn việc nhận dạng kể sau: - Tư chụp, góc chụp - Sự xuất thiếu số thành phần - Sự biến dạng đối tượng - Sự che khuất - Sự phức tạp hình - Điều kiện sáng ảnh 2.2.3 Các ứng dụng nhận dạng đối tượng Bài toán nhận dạng đối tượng ứng dụng rộng rãi nhiều ứng dụng thực tế khác Đó lý mà tốn hấp dẫn nhiều nhóm nghiên cứu thời gian dài Các ứng dụng liên quan đến nhận dạng đốit ượng kể đến như: - Hệ thống phát tội phạm: Camera đặt số điểm công cộng siêu thị, nhà sách, trạm xe buýt, Khi phát xuất đối tượng tội phạm, hệ thống gởi thông điệp cho trung tâm xử lý - Hệ thống theo dõi nhân đơn vị: Giám sát ra, vào nhân viên - Hệ thống giao tiếp người máy - Hệ thống tìm kiếm hình ảnh, video - Hệ thông báo mật dựa sinh trắc học - Nhận dạng chữ in - Công nghệ quản lý biển số xe 2.2.4 Tổng quan kiến trúc hệ thống nhận dạng đối tượng Một hệ thống nhận dạng đối tượng thông thường xử lý qua bước sau: - Thu nhận tín hiệu (hình ảnh, video) tiền xử lý - Trích chọn đặc trưng - Phát đối tượng - Phân lớp đối tượng Ảnh đầu vào thu nhận tiền xử lý sau ảnh qua cơng đoạn tiền xử lý nhằm tăng độ xác cho hệ thống, Các ảnh sau trích chọn đặc trưng để tạo vector đặc trưng bước rút trích đặc trưng Những vecto đặc trưng liệu đầu vào cho mơ hình huấn luyện trước Phát đối tượng: dị tìm định vị đối tượng xuất ảnh Những đối tượng thu qua phát tiếp tục phân lớp thành lớp riêng biệt để nhận dạng 7 2.3 Ứng dụng cơng nghệ trí tuệ nhân tạo xử lý ảnh 2.3.1 Tổng quan cơng nghệ trí tuệ nhân tạo 2.3.2 Giới thiệu học máy (Machine Learning) 2.3.3 Giới thiệu học sâu (Deep Learning) 2.3.4 Một số mơ hình nhận dạng đối tượng sử dụng kỹ thuật học máy, học sâu - Mơ hình thuật tốn CNN (Convolutional Neural Network – mạng nơ ron tích chập), RCNN , Faster-CNN - Mơ hình thuật tốn SSD (Single Shot Object Detector) - Mơ hình thuật tốn YOLO (You only look one) CHƯƠNG XÂY DỰNG THUẬT TOÁN NHẬN DẠNG BIỂN SỐT PHƯƠNG TIỆN GIAO THƠNG 3.1 Các công cụ sử dụng 3.1.1 Bộ thư viện mã nguồn mở OpenCV ( Open Computer Vision) Hiện dễ dàng tìm kiếm cơng cụ phần mềm sử dụng cho mơ hình hệ thống nhận dạng tương tự hệ thống OpenCV, OpenALPR, OpenVino, Trong toán tác giả chọn lựa sử dụng cơng cụ OpenCV tính tương thích tùy biến cao với hệ thống OpenCV (Open Computer Vision) thư viện mã nguồn mở hàng đầu cho xử lý thị giác máy tính, machine learning, xử lý ảnh OpenCV đươc viết C/C++, có tốc độ tính tốn nhanh, sử dụng với ứng dụng liên quan đến thời gian thực Opencv hỗ trợ ngôn ngữ C/C++, Python Java hỗ trợ cho Window, Linux, MacOs lẫn Android, iOS OpenCV có cộng đồng 47 nghìn người dùng số lượng người tải vượt triệu lần Opencv có nhiều ứng dụng như: Nhận dạng ảnh, xử lý hình ảnh, phục hồi hình ảnh/video, thực tế ảo, 3.1.2 Ngơn ngữ lập trình sử dụng Về ngơn ngữ lập trình sử dụng, tác giả lựa chọn ngơn ngữ lập trình Python tính tương tác cao với hệ thống tốc độ xử lý nhanh Python ngơn ngữ lập trình thơng dịch Guido van Rossum tạo năm 1990 Python hoàn toàn tạo kiểu động dùng chế cấp phát nhớ tự động; tương tự Perl, Ruby, Scheme, Smalltalk, Tcl Python phát triển dự án mã mở, tổ chức phi lợi nhuận Python Software Foundation quản lý 9 3.2 Xây dựng chương trình nhận dạng biển kiểm sốt từ hình ảnh 3.2.1 Lưu đồ thuật tốn Hình 3.1: Lưu đồ thuật tốn nhận diện biển kiểm sốt từ hình ảnh Q trình nhận dạng biển kiểm sốt từ hình ảnh trải qua giai đoạn: Tiền xử lý ảnh, tìm kiếm vị trí khả dụng biển số ảnh, tìm kiếm vị trí kí tự biển số chuyển hình ảnh ký tự thành văn 3.2.2 Giai đoạn – Tiền xử lý ảnh Dữ liệu hình ảnh đầu vào hình ảnh chưa chỉnh sửa phương diện Đầu vào hình ảnh hệ thống tệp ảnh thu nhận từ máy quét, máy ảnh, thiết bị ghi 10 hình hay hay thiết bị thu hình khác Các hình ảnh thường có chất lượng thấp (Bị lẫn nhiễu, chi tiết đối tượng hay bị lệch góc bất kỳ) Để bước thu kết tốt, cần phải có trình tiền xử lý Quá trình bao gồm cơng đoạn khơi phục tăng cường chất lượng hình ảnh: - Khơi phục hình ảnh nhằm mục đích loại bỏ hay giảm thiểu ảnh hưởng môi trường tác động lên ảnh Bao gồm bước lọc ảnh, khử nhiễu, xoay ảnh, nhằm giảm thiểu biến dạng ảnh đưa ảnh trạng thái gần ban đầu - Tăng cường ảnh làm tăng lượng thông tin ảnh mà làm bật đặc trưng ảnh giúp cho việc xử lý phía sau hiệu Cơng đoạn bao gồm việc như: lọc độ tương phản, làm trơn ảnh, nhị phân ảnh Trong thực tế có nhiều phương pháp tiền xử lý ảnh khác nhau, khn khổ tốn Ta sử dụng phương pháp là: Làm mờ ảnh, biến đổi ảnh xám nhị phân ảnh Tiền xử lý ảnh – Làm mờ ảnh Hình 3.2: Làm mờ ảnh lọc Gaussian Tiền xử lý ảnh - Biến đổi ảnh xám Hình 3.3: Biến đổi ảnh xám 11 Tiền xử lý ảnh - Làm biên ảnh, sử dụng kỹ thuật Sobel Phép Sobel kết hợp làm mịn Gauss phép vi phân, bị ảnh hưởng nhiễu Việc kết hợp không việc lọc nhiễu phép Gauss trước, thực Sobel để tìm biên mà phép Gauss Sobel kết hợp để tạo ma trân lọc sau nhân chập ma trận với ảnh Hình 3.4: Làm biên ảnh sử dụng kĩ thuật Sobel Nhị phân hóa ảnh Hình 3.5: Nhị phân hóa ảnh 3.2.3 Giai đoạn – Tìm vị trí khả dụng biển số Để xác định vị trí khả dụng biển số có hình ảnh, bước ta cần tìm vùng biên có ảnh Thuật ngữ vùng biên hiểu tập điểm liên tục tạo thành đường cong khơng có khoảng hở đường cong Đặc điểm chung vùng biên các điểm có gần xấu xỉ giá trị màu, mật độ Vùng biên cơng cụ hữu ích dùng để phân tích hình dạng đối tượng, phát đối tượng nhận dạng đối tượng 12 Hình 3.6: Tìm đường biên khả dụng Sau tìm đường biên khả dụng, ta liên kết đường biên lại tạo thành khối chữ nhật Hình 3.7: Tạo khối chữ nhật từ đường biên khả dụng Với khối bao bọc thành phần ảnh, có biển số Bước ta kiểm tra tính hợp lệ khối để dự đoán xem khối chứa biển số Bằng cách kiểm tra điều kiện thích hợp cho khối đặc trưng trích chọn Ví dụ biển số phía trước xe tơ có chiều cao 110mm, chiều dài 470mm gấp gần lần chiều cao, ta liệt kê vào điều kiện tập đặc trưng chiều dài phải có kích thước gấp lần trở lên không lần Tương tự với đặc trưng khác, ta có tập đặc trưng để so sánh 13 Hình 3.8: Kết sau lọc tập đặc trưng 3.2.4 Giai đoạn – Tìm kiếm vị trí kí tự biển số Tương tự với thuật tốn tìm kiếm vị trí khả dụng biển số ảnh, việc tìm kiếm vị trí khả dụng kí tự khung biển số xác định thuật tốn hồn tồn tương tự Điểm khác biệt thuật tốn đặc trưng so sánh nhằm phân biệt kí tự với thành phần khác Trong bước tiền xử lý ta thực tương tự bước: Làm mờ, biến đổi ảnh xám, làm biên, nhị phân hóa, tách biên cuối so sánh trưng Kết thúc bước tiền xử lý ta thu vị trí khung ký tự có biển số Các bước mơ tả hình Hình 3.9: Tiền xử lý biển số nhận dạng ký tự biển số Kết thúc trình này, ta thu mảng chứa khung bao quanh ký tự Bước đưa ký tự vào chương trình nhận dạng kí tự 14 3.2.5 Giai đoạn – Chuyển đổi hình ảnh ký tự thành văn Chuyển đổi hình ảnh ký tự thành văn hay nhận dạng ký tự quang học OCR (Optical character recognition) kỹ thuật sử dụng để trích xuất văn từ hình ảnh quét tài liệu Văn sử dụng để chế biến tiếp chỉnh sửa, định dạng, tìm kiếm, lập mục tự động dịch chuyển đổi sang ngôn luận Để xây dựng hệ thống nhận diện ký tự cần trải qua hai trình chính, q trình thứ huấn luyện tập liệu trình thứ hai dựa vào tập liệu huấn luyện để nhận diện ký tự Nhận diện ký tự - Huấn luyện tập liệu Có nhiều phương pháp để huấn luyện liệu học có giám sát (Supervised learning), học không giám sát (Unsupervised learning), học bán giám sát (Semi-Unsupervised learning), học củng cố (Reinforcement learning), Trong khuôn khổ toán ta sử dụng phương pháp học có giám sát để huấn luyện tập liệu Ứng dụng học có giám sát tốn nhận diện ký tự này, ta có hàng nghìn ví dụ ký tự viết nhiều phông chữ khác Chúng ta đưa ảnh vào thuật tốn cho biết ảnh tương ứng với chữ số Sau thuật tốn tạo mơ hình, tức hàm số mà đầu vào ảnh đầu chữ số, nhận ảnh mà mơ hình chưa nhìn thấy bao giờ, dự đốn ảnh chứa chữ số Ví dụ giống với cách học người nhỏ Ta đưa bảng chữ cho đứa trẻ cho chúng chữ A, chữ B Sau vài lần dạy trẻ nhận biết đâu chữ A, đâu chữ B sách mà chúng chưa nhìn thấy Do điều kiện thu thập liệu gặp nhiều hạn chế nên toán ta sử dụng liệu thu thập từ trước Bộ liệu bao gồm hình ảnh 26 ký tự tiếng Anh số từ đến Bộ liệu tập tin CSV có dung lượng 600MB bao gồm 372451 liệu hình ảnh Với liệu tương ứng với dòng Cột số từ 0-25 đại diện cho 26 ký tự tiếng Anh 784 cột liệu hình ảnh có kích thước 28*28 Do độ dài hàng 785 15 Nhận diện ký tự - Xác định ký tự dựa tập đặc trưng học Vì ảnh ký tự tiền xử lý từ trước nên bước ta không cần thực tiền xử lý lại mà đưa trực tiếp vào chương trình nhận diện kí tự Ở ta sử dụng tập đặc trưng trích chọn mà ta huấn luyện bước trước 3.3 Xây dựng chương trình nhận dạng biển kiểm sốt từ video 3.3.1 Lưu đồ thuật tốn Hình 3.10: Lưu đồ thuật toán nhận dạng biển số video 16 3.3.2 Giai đoạn – Xử lý nhận diện nhiều khung hình Việc nhận diện biển số video có phần phức tạp chút, phụ thuộc vào tốc độ lia khung hình máy quay Với tốc độ chậm cho ta khung hình rời rạc chất lượng kém, khó nhận diện chữ biển số Về bước xử lý nhận diện biển kiểm soát khung hình q trình nhận diện biển kiểm soát ảnh Đối với video ta có loạt khung hình liên tiếp Bằng cách quan sát nhiều khung hình để đưa kết luận biển số cho ta độ xác cao giải vấn đề video chất lượng khơng tốt Với khung hình ta thực giống với nhận diện biển kiểm soát ảnh giống trình bày Kết nhãn ký tự thu lưu lại phục vụ cho q trình suy luận phía sau Với hai khung hình ta tính khoảng cách biển số Nếu khoảng cách biển số lớn ngưỡng ta quy định kết luận nhiễu biển số khác bị xen vào (ngưỡng hệ số tương đối, dựa tốc độ thực tế phương tiện video) Nếu khung hình liên tiếp đảm bảo khoảng cách, chứng tỏ biển số phương tiện, ta lưu giá trị biển số lại Ta cần cài đặt số khung hình mẫu số khung hình cần đọc liên tiếp để xác định biển số phương tiện Số lượng mẫu lấy biển số mang tính tương đối, phụ thuộc vào thơng số video Video có số khung hình giây FPS (Frames per second) cao ta tăng mẫu lên để độ xác cao Với video có FPS thấp ta chọn hệ số phù hợp thấp Sau lấy đủ số mẫu cần thiết, ta tiến hành lọc khung hình có chất lượng tốt để xử lý Việc đánh giá chất lượng dựa vào tiêu chí: Kích thước (kích thước lớn chất lượng cao); Độ mờ (Ảnh có độ mờ thấp chất lượng cao) Những hình ảnh tốt đưa vào chương trình nhận diện ký tự nêu Kết thu danh sách nhãn biển số tương ứng với khung hình 17 3.3.3 Giai đoạn – Suy luận giá trị biển số Bởi nhãn biển số lấy từ khung hình khác nên khơng thể dự đốn trước toàn nhãn giống Như đề cập đề bài, camera thông thường cho chất lượng hình ảnh, độ phân giải thấp, tốc độ qt thấp, số khung hình cho hình ảnh bị nét dẫn đến việc nhận diện kí tự bị sai số Bằng cách tổng hợp kết từ nhiều khung hình, ta suy luận kết cuối với độ xác cao Thuật tốn mơ tả đây: Giả sử ta có tập hợp khung hình với giá trị: 90A12357 90A-235- 90A12-57 90A12351 90A12357 Bằng phương pháp tính trung bình ta dễ dàng suy ra: - Vị trí tất => - Vị trí thứ tất => - Vị trí thứ tất A => A - Vị trí thứ có tần suất số xuất lớn => - Vị trí thứ có tần suất số xuất lớn => - Vị trí thứ có tần suất số xuất lớn => - Vị trí thứ có tần suất số xuất lớn => - Vị trí thứ có tần suất số xuất lớn => => Kết cuối chương trình nhận dạng là: 90A12357 3.4 Xây dựng giao diện phần mềm mơ thuật tốn Để tối ưu việc đưa đầu vào hình ảnh video cách dễ dàng, xử lý tính nâng cao thuận tiện ta xây dựng giao diện ứng dụng ứng dụng hai thuật toán để xử lý Ngồi ta cịn thơng qua giao diện phần mềm để cài đặt thông số tần số lấy mẫu, cài đặt lấy thời gian, nhận diện biển xe máy ô tô 18 Giao diện xây dựng dựa thư viện PyQT5 ngôn ngữ Python Ứng dụng hoạt động tốt tảng Windows Linux Hình 3.11: Giao diện phần mềm nhận dạng biển kiểm soát - Dữ liệu video thử nghiệm thu thập trực tiếp từ hệ thống giao thông thực tế Bộ liệu thử nghiệm bao gồm 12 video tạo thành từ video gốc quay thời điểm sáng sớm (ánh sáng thấp), trưa (ánh sáng tốt), chiều tối (ánh sáng kém) Video gốc quay độ phân giải 1920x1080, tốc độ khung hình 60 khung hình giây Bằng cách sử dụng phần mềm chỉnh sửa video, video gốc tạo video khác có độ phân giải tốc độ khung hình 1366x768 / 50fps; 800x600 / 30fps; 600x400 / 20fps Như ta có 12 video chia cho ba thời điểm sáng, trưa, chiều tối có thơng số sau: Bảng 3.1: Bảng thông số video thử nghiệm kết phần mềm Độ phân giải Tốc độ khung hình 1920x1080 60fps 1366x768 50fps 800x600 30fps 600x400 20fps Trong video có 10 phương tiện khác di chuyển liên tục với vận tốc khác 19 3.5 Nhận xét kết quả, đánh giá tính tin cậy thuật tốn Thuật tốn chạy mơ giao diện phần mềm xây dựng hoạt động tốt hai tảng Window Linux Dưới kết đánh giá thử nghiệm thuật toán, thử nghiệm thực tồn máy tính có cấu hình Intel Core I5-7200 / 2.5-2.7GHz, 8GB Ram, hệ điều hành Window Ưu điểm: - Có thể nhận đầu vào bao gồm ảnh video, hỗ trợ tốt tất loại định dạng hình ảnh, video - Thuật tốn xử lý tiêu hao tài nguyên không đáng kể, tốc độ xử lý nhanh với tốc độ tính tốn trung bình với khung hình (bao gồm xử lý biển số nhận dạng ký tự) 0.05s Đánh giá dựa tính tốn đo đạc trực tiếp phần mềm thuật tốn Khi đưa khung hình vào xử lý, ta đặt biến giá trị lưu lại thời gian thời điểm xử lý xong khung hình cho kết quả, ta cập nhật lại giá trị thời gian Và dựa vào hai mốc thời gian ta tính tốn thời gian cần để xử lý khung hình Những giá trị lưu lại vào bảng giá trị Thời gian 0.1s giá trị trung bình dựa kết lấy mẫu 100 khung hình liên tiếp video 360p với tốc độ 30 khung hình 1s - Trên thử nghiệm khác, thuật tốn hoạt động tốt máy tính có cấu hình thấp Raspberry Pi – máy tính nhúng có cấu hình thấp với CPU CortexA53 (ARMv8) 64-bit SoC @ 1,4 GHz, Ram 1GB Tuy nhiên đánh giá là đánh giá riêng với thuật tốn nhận diện Cịn chương trình học liệu lại yêu cầu máy tính với cấu hình cao Với máy tính có cấu hình cao tốc độ học liệu nhanh - Độ xác đạt 90% video rõ nét, giảm dần với video có độ phân giải chất lượng thấp Dữ liệu thử nghiệm theo ghi lại bảng đây: Thời gian Video Kết Buổi sáng 1920x1080 / 60fps 10/10 1366x768 / 50fps 10/10 800x600 / 30fps 9/10 20 Buổi trưa Buổi tối - 600x400 / 20fps 8/10 1920x1080 / 60fps 10/10 1366x768 / 50fps 10/10 800x600 / 30fps 10/10 600x400 / 20fps 9/10 1920x1080 / 60fps 7/10 1366x768 / 50fps 7/10 800x600 / 30fps 5/10 600x400 / 20fps 3/10 Như với video quay với chất lượng tốt kết xác đạt 27/30 (90%) Khi quay vào thời điểm ban ngày hay buổi sáng sớm với độ sáng trung bình tốt cho độ xác tốt nhất, với kết độ phân giải thấp 17/20 đạt 85% Còn với video quay buổi chiều tối với độ sáng cho kết thấp với 70% độ phân giải cao 30% độ phân giải thấp - Có thể cài đặt thông số tần số lấy mẫu, nhận diện xe máy ô tô - Phần mềm hoạt động tốt hai tảng window linux Nhược điểm - Chưa hoạt động tốt với hình ảnh, video thiếu sáng quay vào buổi tối - Thuật tốn chưa xử lý tốt có nhiều biển số khung hình - Phần mềm nặng, tồn dung lượng sau xây dựng thành tệp chạy nặng 115MB 21 CHƯƠNG KẾT QUẢ VÀ BÀN LUẬN 4.1 Kết Đề tài hoàn thành với đầy đủ mục trình bày đề cương thông qua Bao gồm nội dung - Nghiên cứu tổng quan nhận diện biển kiểm sốt phương tiện giao thơng - Nghiên cứu vấn đề xử lý, nhận dạng ảnh - Xây dựng thuật toán nhận diện biểm kiếm soát phương tiện giao thơng - Chương trình thuật tốn tích hợp giao diện phần mềm, có khả hoạt động tảng Window Linux Sản phẩm phần mềm có khả áp dụng thực tế Kết cơng trình nghiên cứu bao gồm lý thuyết nghiên cứu trình bày đề tài phần mềm nhận dạng biển kiểm soát giao thơng 4.2 Bàn luận Đề tài hồn thành song vài nhược điểm chưa giải Kết đề tài móng lý thuyết cho đề tài với mục đích hồn thiện cơng trình nghiên cứu 22 TÀI LIỆU THAM KHẢO [1] Alexander Mordvintsev & Abid K OpenCV - Python Tutorials Documentation Nov 052017 [2] A Shrivastava, R Sukthankar, J Malik, and A Gupta Beyond skip connections: Topdown modulation for object detection arXiv preprint arXiv:1612.06851, 2016 [3] C Szegedy, S Ioffe, V Vanhoucke, and A A Alemi Inception-v4, inception-resnet and the impact of residual connections on learning 2017 [3] D Gordon, A Kembhavi, M Rastegari, J Redmon, D Fox and A Farhadi Iqa: Visual question answering in interactive environments arXiv preprint arXiv:1712.03316, 2017 [4] Dmitry Batenkov Real-Time Detection with Webcam June 2010 [5] M Everingham, L Van Gool, C K Williams, J Winn, and A Zisserman The pascal visual object classes (voc) challenge International journal of computer vision, 88(2): 303– 338, 2010 [6] T.-Y Lin, M Maire, S Belongie, J Hays, P Perona, D Ramanan, P Doll´ar and C L Zitnick Microsoft coco: Common objects in context In European conference on computer vision, pages 740–755 Springer, 2014 [7] W Liu, D Anguelov, D Erhan, C Szegedy, S Reed, C.-Y Fu, and A C Berg Ssd: Single shot multibox detector In European conference on computer vision, pages 21–37 Springer, 2016 ... vấn đề lý thuyết - Xây dựng hệ thống phần mềm thu thập liệu, xử lý hình ảnh biển kiểm sốt phương tiện giao thông Đề tài: ? ?Xây dựng ứng dụng nhận diện biển kiểm sốt phương tiện giao thơng” trình... 1: Tổng quan nhận dạng biển kiểm soát phương tiện giao thông - Chương 2: Các vấn đề nhận dạng, xử lý ảnh - Chương 3: Xây dựng thuật toán nhận diện biển kiêm soát phương tiện giao thông - Chương... nước 1.2 Thực trạng nhận dạng biển kiểm soát phương tiện giao thông Việt Nam giới Trên giới nói chung hay Việt Nam nói riêng, toán nhận diện biển kiểm soát phương tiện giao thơng tốn quan tâm