Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộ

Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộLuận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA - VŨNG TÀU ĐỖ HỮU HIỀN NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT MÁY HỌC ĐỂ PHÂN TÍCH HÌNH ẢNH VÀ NHẬN DẠNG PHƯƠNG TIỆN VỀ HÀNH VI VI PHẠM LUẬT GIAO THÔNG ĐƯỜNG BỘ LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Bà Rịa - Vũng Tàu, tháng năm 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA - VŨNG TÀU ĐỖ HỮU HIỀN NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT MÁY HỌC ĐỂ PHÂN TÍCH HÌNH ẢNH VÀ NHẬN DẠNG PHƯƠNG TIỆN VỀ HÀNH VI VI PHẠM LUẬT GIAO THÔNG ĐƯỜNG BỘ LUẬN VĂN THẠC SỸ Chuyên ngành: Công nghệ thông tin Mã số ngành: 8480201 CÁN BỘ HƯỚNG DẪN KHOA HỌC TS PHAN NGỌC HOÀNG Bà Rịa - Vũng Tàu, tháng năm 2021 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi hướng dẫn TS Phan Ngọc Hoàng Các số liệu, kết nêu trình bày Luận văn trung thực chưa công bố cơng trình khác Qua đây, tơi xin cam đoan thời gian hoàn thành Luận văn vài đồng nghiệp hỗ trợ, giúp đỡ để hoàn thành đến thời điểm chân thành cảm ơn Các thông tin trích dẫn Luận văn rõ nguồn gốc Học viên thực Luận văn Đỗ Hữu Hiền LỜI CẢM ƠN Trước tiên, xin chân thành gửi lời tri ân sâu sắc đến Ban giám hiệu Trường Đại học Bà Rịa – Vũng Tàu, Ban lãnh đạo Viện Đào tạo Quốc tế Sau đại học, quý thầy, quý cô thuộc khoa Công nghệ Thông tin – Trường Đại học Bà Rịa – Vũng Tàu tận tình quan tâm hỗ trợ, khuyến khích, truyền đạt cho nhiều kiến thức quý báu tạo điều kiện thuận lợi suốt trình học tập nghiên cứu Trường Tôi xin tỏ lòng biết ơn sâu sắc đến thầy TS Phan Ngọc Hồng, người quan tâm, trách nhiệm, tận tình giúp đỡ truyền đạt nhiều kinh nghiệm để sớm thực hồn thành đề tài Xin chân thành ghi ơn người thân gia đình, đồng nghiệp quan, đơn vị bạn thơng cảm, tận tình, giúp đỡ, hỗ trợ động viên tơi nhiều q trình thực đề tài Một lần nữa, thành thật xin chân thành cảm ơn! Học viên thực Luận văn Đỗ Hữu Hiền MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH 10 DANH MỤC BẢNG 13 GIỚI THIỆU 14 1.1 Đặt vấn đề: 14 1.2 Tính cấp thiết đề tài: 18 MỤC TIÊU, ĐỐI TƯỢNG, PHẠM VI, NỘI DUNG VÀ HƯỚNG NGHIÊN CỨU 22 2.1 Mục tiêu đề tài 22 2.2 Đối tượng 22 2.3 Phạm vi 23 2.4 Nội dung nghiên cứu 23 2.4.1 Về nội dung 23 2.4.2 Về mặt lý thuyết 23 2.4.3 Về mặt thực nghiệm 24 2.5 Phương pháp luận phương pháp nghiên cứu 24 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU 25 3.1 Những hướng nghiên cứu thực 25 3.2 Những kết nghiên cứu áp dụng vào thực tế 26 3.3 Những phương pháp nghiên cứu áp dụng giới Việt Nam 28 3.4 Một số vấn đề hạn chế nghiên cứu trước vấn đề cần tiếp tục nghiên cứu hoàn thiện 30 3.4.1 Một số vấn đề hạn chế nghiên cứu trước 30 3.4.2 Những vấn đề cần tiếp tục nghiên cứu hoàn thiện 30 CẤU TRÚC LUẬN VĂN 31 NGHIÊN CỨU TỔNG QUAN VÀ PHÂN TÍCH BÀI TỐN 33 Chương Các khái niệm, tổng quan trí tuệ nhân tạo, học máy, giải thuật học máy kỹ thuật áp dụng cho phát hiện, nhận dạng đối tượng 33 Khái niệm chung [6-9, 16, 17, 31] 33 1.1 Xử lý ảnh 33 1.2 Trí tuệ nhận tạo (AI-Artificial Intelligence) 33 1.3 Học máy (Machine Learning) 33 1.4 Học sâu (Deep Learning) 33 1.5 Mạng nơ-ron nhân tạo (Artificial Neural Network) 33 Tổng quan trí tuệ nhân tạo [6-9, 21] 33 2.1 Trí tuệ nhân tạo 33 2.2 Ứng dụng trí tuệ nhân tạo tương lai 35 Tổng quan máy học [6-9, 16-17, 21-23] 38 3.1 Học máy (Machine Learning) 38 3.2 Ứng dụng học máy 38 3.3 Các phương thức máy học 38 Các giải thuật máy học [16-17, 21-23] 41 4.1 Giải thuật Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) 41 4.2 Giải thuật dựa vào thể thức (K-nearest neighbors - KNN) 42 4.3 Giải thuật định (Decision tree) 43 4.4 Giải thuật Random forest (RF) 45 4.5 Giải thuật máy hỗ trợ vector (Support vector machine - SVM) 46 4.6 Giải thuật Naive Bayes (NB) 47 4.7 Giải thuật phân cụm K-means clustering 48 Kỹ thuật áp dụng cho phát hiện, nhận dạng đối tượng [16-17, 21-23, 26-27] 49 5.1 Kỹ thuật phát đối tượng kết hợp nhận dạng khuôn mặt (Viola Jones – Haar) 49 5.2 Kỹ thuật biến đổi đặc trưng bất biến theo tỷ lệ (Scale-invariant feature transform SIFT) 52 5.3 Kỹ thuật biểu đồ độ dốc định hướng (Histogram of oriented gradients -HOG) 56 5.4 Kỹ thuật học sâu để nhận dạng phân loại đối tượng [16-21] 60 5.4.1 Kỹ thuật mạng nơ-ron tích chập 60 5.4.2 Kỹ thuật tìm kiếm xác định vị trí vật thể ảnh sử dụng mạng CNN [3536] 65 5.4.3 Nhận xét, đánh giá lựa chọn kỹ thuật áp dụng cho toán nhận dạng phân loại đối tượng 75 Chương Tổng quan giao thông 78 Các khái niệm 78 1.1 Giao thông 78 1.2 Đối tượng tham gia giao thông 78 Tổng quan thực trạng giao thông 78 Phương pháp phát hiện, nhận dạng đối tượng tham gia giao thông [1, 29-30] 81 3.1 Nhận dạng phân loại đối tượng tham gia giao thông 81 3.2 Khái niệm hệ thống nhận dạng biển số xe 82 3.2.1 Khái niệm 82 3.2.2 Lịch sử phát triển 82 3.2.3 Cách thức hoạt động hệ thống nhận dạng biển số xe 83 3.2.4 Phân loại ứng dụng nhận dạng biển số xe 84 3.2.5 Ứng dụng thực tiễn Việt Nam 85 3.2.6 Phân loại biển số xe 85 3.3 Phương pháp nhận dạng biển số xe từ ảnh chụp thiết bị ghi hình 87 3.3.1 Phương pháp chuyển đổi Hough 88 3.3.2 Phương pháp hình thái học 88 3.4 Phương pháp nhận dạng ký tự biển số xe 89 3.5 Một số đặc điểm để nhận dạng biển số xe Việt Nam 89 Chương Áp dụng Yolov3 cho toán phát hiện, nhận dạng đối tượng tham gia giao thông vi phạm luật giao thông đường 92 Kỹ thuật đề xuất áp dụng cho toán 92 1.1 Kỹ thuật áp dụng mạng nơ-ron tích chập (Faster R-CNN) 92 1.2 Kỹ thuật áp dụng nhìn lần [32-34] 92 Mơ hình chức hệ thống đề xuất áp dụng cho toán 97 3.1 Địa điểm áp dụng thử nghiệm mơ hình cho toán 97 3.2 Thiết kế mơ hình lắp đặt hệ thống cho toán 98 3.3 Thiết kế hệ thống trụ đỡ 98 3.4 Hệ thống Camera 98 3.5 Thiết kế mơ hình kết nối hệ thống xử lý tốn 99 3.6 Sơ đồ tổng quan hệ thống áp dụng cho toán 99 3.7 Hệ thống xử lý ảnh, phát nhận diện đối tượng 101 3.7.1 Quy trình xử lý ảnh áp dụng cho toán 101 3.7.2 Quy trình phát hiện, nhận dạng phân loại đối tượng 102 3.7.3 Quy trình phát hiện, nhận dạng biển số xe: 104 Chương Xây dựng chương trình thực nghiệm đánh giá kết 108 Xây dựng chương trình thực nghiệm 108 1.1 Cài đặt chương trình chạy [35] 108 1.1.1 Cài đặt thư viện mã nguồn mở Opencv 108 1.1.2 Cài đặt thư viện CUDA 108 1.1.3 Cài đặt thư viện cuDNN 108 1.1.4 Mô tả cài đặt thư viện 108 1.2 Chạy chương trình 109 1.3 Quy trình huấn luyện nhận dạng đối tượng vật thể 110 1.4 Quy trình huấn luyện nhận dạng hành vi vi phạm chở số người quy định 117 1.5 Quy trình huấn luyện nhận dạng hành vi vi phạm không đội mũ bảo hiểm 120 1.6 Quy trình huấn luyện nhận diện biển số xe đối tượng tham gia giao thông: 127 KẾT LUẬN VÀ KIẾN NGHỊ 135 6.1 Kết luận 135 6.2 Kiến nghị hướng phát triển 136 TÀI LIỆU THAM KHẢO: 138 DANH MỤC CÁC TỪ VIẾT TẮT STT Từ viết tắt Từ đầy đủ AI Artificial Intelligence AR Augmented Reality ANN Artificial Neural Network BBF Best Bin First CNN Convolutional Neural Network CV Cross Validation ICT Information and Communication Technology ITS Intelligent Transport Systems KNN K-Nearest Neighbors 10 MAE Mean Absolute Error 11 MAP Maximum A Posteriori 12 ML Machine Learning 13 DL Deep Learning 14 MLE Maximum Likelihood Estimation 15 MSE Mean Square Error 16 RF Random Forest 17 RPN Region Proposal Network 18 SMAC Social, Mobile, Analytics & Cloud 19 SVM Support Vector Machine 20 VR Virtual Reality 21 YOLO You Only Look Once 22 CNTT Công nghệ thông tin 23 SXTN Sản xuất thử nghiệm DANH MỤC CÁC HÌNH Hình 1: Mơ hình nút giao lộ (ngã tư) triển khai xây dựng mơ hình nghiên cứu 22 Hình 2: Sơ đồ nhận dạng biển số xe 25 Hình 3: Nhận dạng khn mặt người ảnh 26 Hình 4: Ứng dụng cơng nghệ trí tuệ nhân tạo với nhớ hạn chế 35 Hình 5: Ứng dụng cơng nghệ trí tuệ nhân tạo tự nhận thức 35 Hình 6: Ứng dụng cơng nghệ trí tuệ nhân tạoxe tự lái 36 Hình 7: Ứng dụng cơng nghệ trí tuệ nhân tạo cho thiết bị bay khơng người lái 37 Hình 8: Ứng dụng cơng nghệ trí tuệ nhân tạo ROBOT day học 37 Hình 9: Phương thức học có giám sát 39 Hình 10: Hình mơ tả chữ viết tay 40 Hình 11: Phương thức học khơng giám sát tốn phân cụm 40 Hình 12: Phương thức học bán giám sát 40 Hình 13: Minh họa mạng nơ-ron nhân tạo lớp 41 Hình 14: Bản đồ 1NN 43 Hình 15: Quá trình phát triển (bên trái) rừng ngẫu nhiên (bên phải) 45 Hình 16: Bốn loại đặc trưng khu vực hình chữ nhật dùng kỹ thuật phát 51 Hình 17: Đặc trưng Haar tương ứng ảnh thực tế 51 Hình 18: Kết thuật tốn SIFT 53 Hình 19: Các bước thực giải thuật HOG 59 Hình 20: Kết phát người thông qua giải thuật HOG 60 Hình 21: Convolved feature khác với ma trận lọc khác 62 Hình 22: Cấu trúc mạng CNN 63 Hình 23: Trường tiếp nhận cục 63 Hình 24: Các bước tạo hidden layer 65 Hình 25: Xây dựng lớp max pooling 65 Hình 26: Xác định vị trí nhiều đối tượng ảnh 65 10 Hình 61: Kết nhận dạng đối tượng hành vi vi phạm giao thông gán nhãn (tracking) không đội mũ bảo hiểm Bước 3: Thực chạy chương trình áp dụng giải thuật nhằm nhận dạng đối tượng (xe máy, xe đạp xe đạp điện) tham gia giao thông tiến hành nhận lỗi hành vi vi phạm không đội mũ bảo hiểm theo quy định kết cụ thể sau: Đối Hành vi không đội mũ bảo Nhận dạng Không nhận Tỷ lệ tượng hiểm theo quy định đối tượng dạng đối Chính tượng xác 82% Xe máy 17 14 126 Xe đạp/ 11 46% điện Bảng 3: Kết nhận dạng đối tượng tham gia giao thông hành vi vi phạm chở số người theo quy định Nhận xét đánh giá kết quả: Kết nhận dạng đối tượng phương tiện xe máy đối tượng, vật thể huấn luyện tham gia giao thông cần phải nhận dạng toán đề xuất áp dụng để xác định hành vi vi phạm Luật giao thông đường chở số người theo quy định thông qua thiết bị ghi hình camera đặt vị trí mơ hình xây dựng chương trình thử nghiệm (dữ liệu đầu vào video) với kết nhận tương đối xác Qua ta thấy, kết áp dụng giải thuật phát nhận dạng đối tượng cho toán cao sở liệu hình ảnh mẫu huấn luyện kể đối tượng tham gia giao thông sử dụng mũ lưỡi trai (nón vải), nón lá, Tỷ lệ khơng xác định số đối tượng không nhận dạng khơng có tập liệu huấn luyện tác động khách quan bị vật cản che khuất, đối tượng chưa huấn luyện bị mờ tối, điều kiện thời tiết phức tạp, 1.6 Quy trình huấn luyện nhận diện biển số xe đối tượng tham gia giao thông: Bước 1: Chuẩn bị liệu mẫu cho hệ thống yêu cầu biển số xe liệu mẫu đòi hỏi phải đa dạng nhiều trường hợp khác 127 Hình 62: Bộ liệu gồm 10 hình ảnh trích xuất từ liệu mẫu Bước 2: Tiến hành áp dụng giải thuật thực thao tác tinh chỉnh điều chỉnh để thay đổi độ sáng ảnh Bước 3: Thực xoay ảnh Bước 4: Tiến hành gán nhãn (tracking) ảnh liệu Sử dụng thuật toán gán nhãn (tracking) nhằm hỗ trợ việc gán nhãn theo định dạng PASCAL VOC YOLO với phần mở rộng file annotation tương ứng xml txt Mỗi dòng file annotation bao gồm: Trong đó: tương ứng tọa độ trung tâm kích thước đối tượng Các giá trị chuẩn hóa lại, giá trị nằm đoạn [0,1] object-class số đánh dấu classes Sau gán nhãn xong file annotation ảnh tương ứng chuyển vào thư mục Áp dụng giải thuật YOLOv3/darknet YOLOv4 giải thuật Object Detection cho kết theo thời gian thực chạy tảng GPU cao cấp 128 Bước 5: - Cấu hình darknet tiến hành Clone darknet máy Bước 6: Sửa file Makefile thư mục vừa clone Tiến hành điều chỉnh thay đổi cho phù hợp Trong trường hợp huấn luyện mơ hình GPU có TensorCores sửa “CUDNN_HALF=1” nhằm tăng tốc độ huấn luyện Trên Google Colab có hỗ trợ GPU Tesla T4, GPU có kiến trúc Colab có TensorCores Vì vậy, trường hợp chắn có GPU Tesla T4 cần điều chỉnh “CUDNN_HALF=1” Bước 7: Tạo file yolo-tinyv3-obj.cfg Tạo file yolo-tinyv3-obg.cfg với nội dung tương tự file yolov3-tiny.cfg thư mục darknet/cfg, sau chỉnh sử số dòng: (1) Dòng 6: Thay đổi batch=64 Nghĩa là: batch = số ảnh (cả file annotation) đưa vào huấn luyện batch (2) Dòng 7: Thay đổi subdivisions=16 Trong batch chia thành nhiều block, block chứa batch/subdivisions ảnh đưa vào GPU xử lý thời điểm Weights mô hình update sau batch (3) Dịng 20: Thay đổi max_batches=classes2000, không nhỏ số ảnh tập huấn luyện, khơng nhỏ 6000 VD: max_batches=6000 (4) Dịng 22: Thay đổi steps= 80%, 90% max_batches VD: steps=4800,5400 Sau huấn luyện 80%, 90% max_batches, learning_rate nhân với tỷ lệ (dòng 23 file), mặc định 0.1 129 (5) Thay đổi classes=1 layer [yolo] (6) Thay đổi filters layer [convolutional] trước layer [yolo] theo công thức filters=(số class+5)*3 Trong toán filters=18 Bước 8: Tạo file obj.names chứa tên class, sau lưu thư mục darknet/data (file obj.names) Bước 9: Tạo file obj.data, sau lưu thư mục darknet/data (file obj.data) Bước 10: Đưa toàn thư mục chứa ảnh file annotation vào thư mục darknet/data Bước 11: Download pre-trained weights YOLO-Tinyv3 lưu thư mục darknet Bước 12: Nén thư mục darknet thành file darknet.zip, sau đưa lên Google Drive Bước 13: Thực thi lệnh command line colab sử dụng thêm trước câu lệnh #Sau mount với drive Chuyển đến thư mục chứa file darknet.zip vừa tải lên #Ví dụ để thư mục gốc Google Drive cd drive/My\ Drive #Giải nén file darknet.zip !unzip darknet.zip #Chuyển đến thư mục darknet cd darknet #Tạo thư mục backup để lưu lại weights huấn luyện #Tên thư mục phải trùng với link folder backup file obj.data !mkdir backup #Tạo file train.txt, valid.txt theo đoạn code import os import numpy as np #"obj" tên thư mục chứa ảnh file annotation lst_files = os.listdir("data/obj/") lst_images = [] for file in lst_files: 130 if ".txt" not in file: lst_images.append(file) #Tách 200 ảnh làm tập validation random_idx = np.random.randint(0, len(lst_images), 200) #Tạo file train.txt đặt thư mục darknet/data with open("data/train.txt","w") as f: for idx in range(len(lst_images)): if idx not in random_idx: f.write("data/obj/"+lst_images[idx]+"\n") #Tạo file valid.txt đặt thư mục darknet/data with open("data/valid.txt","w") as f: for idx in random_idx: f.write("data/obj/"+lst_images[idx]+"\n") #Biên dịch darknet (chỉ cần biên dịch lần, lần sau dùng bỏ qua bước này) !make #Phân quyền thực thi module darknet !chmod +x /darknet Bước 14: Bắt đầu trình huấn luyện sử dụng command line !./darknet detector train data/obj.data yolo-tinyv4-obj.cfg yolov4-tiny.conv.29 -map \ -dont_show > yolotinv3_lisenceplate.log Cú pháp tổng quát để huấn luyện: !./darknet detector train [data config file] [model config file] [pre-trained weights] -map > [file log saved] -map: Dùng để hiển thị mAP tính tập validation Nếu gặp lỗi: CUDA Error: out of memory: File exists quay lại sửa subdivisions=32 file yolo-tinyv3-obj.cfg Quá trình huấn luyện lưu vào file yolotinv3_lisenceplate.log, darknet tự động tạo ảnh chart.png lưu thư mục darknet cập nhật liên tục để theo dõi trực tiếp thông số trình huấn luyện 131 Bước 15: Chạy chương trình dự đốn Sau huấn luyện xong, tồn weights lưu folder backup #Danh sách weights lưu !ls backup/ Để dự báo ảnh sử dụng cú pháp: !./darknet detector test [data config file] [model config file] [best-weights] [image path] #cụ thể sau !./darknet detector test data/obj.data yolo-tinyv4-obj.cfg \ backup/yolo-tinyv4-obj_best.weights test1.jpg Kết dự đoán lưu thành file predictions.jpg #Hàm sau dùng để hiển thị kết dự đoán lên colab def show(path): import cv2 import matplotlib.pyplot as plt image = cv2.imread(path) original_width, original_height = image.shape[1], image.shape[0] resized_image = cv2.resize(image, (2*original_width, 2*original_height)\ , interpolation = cv2.INTER_CUBIC) resized_image = cv2.cvtColor(resized_image, cv2.COLOR_BGR2RGB) plt.figure(figsize=(20,10)) plt.axis("off") plt.imshow(resized_image) plt.show() show("predictions.jpg") Bước 15: Phương pháp dự đoán từ ảnh liệu mẫu đầu vào áp dụng giải thuật nhận dạng biển số xác theo liệu mẫu đầu vào hình 62 132 Tiến hành chạy chương trình thực qua cơng đoạn như: (1) Dùng cv2.THRESH_BINARY_INV đưa ảnh trắng đen (2) Dùng cv2.MORPH_DILATE (3) Cuối tìm đếm theo thứ tự ảnh nhằm phân tích giải thuật thực hiện: Sau hiển thị có charater plate mà ta cần lấy, lại xuất số contour nhiễu nên ta xem xét tính area contour từ ta tiến hành sorted loại bỏ contour (dùng mode cv2.RETR_LIST) ta có contour bao tồn image contour bao đường biên plate thực thao tác lấy area lớn (4) Công đoạn sau ta thực predict ditgit box (5) Kết thu nhận (6) Từ ta tiếp tục xác định để phân loại biển số xe có hay hai dịng Hãy tưởng tượng mặt phẳng tọa độ xOy x trục ngang, y trục dọc Nếu biển số xe gồm dịng tọa độ y (trục dọc) kí tự thu nhỏ ngưỡng Cịn biển hai dịng tọa độ y kí tự lớn ngưỡng Sau ta sử dụng giá trị x để xác định thứ tự trước sau xếp kí tự từ trái qua phải từ xuống 133 Nhận xét đánh giá kết quả: Kết nhận dạng chung từ khâu phát biển số, đến tách ký tự nhận dạng ký tự đạt xấp xỉ 96% với liệu có nhiều ảnh khơng đạt tiêu chuẩn bị bóng mờ, q dơ, nhịe, thiếu ánh sáng,… Qua đó, ta thấp việc áp dụng giải thuật tiến hành cài đặt nhanh, tìm vùng biển số cách ly ký tự với tỉ lệ thành công cao (ở biển số thơng thường), tìm ảnh tự nhiên, vùng biển số bị nghiêng Bên cạnh đó, cịn tồn số điểm hạn chế chưa giải như: (1) Tỷ lệ nhận dạng phụ thuộc nhiều vào điều kiện thời tiết, khí hậu thấp làm ảnh hưởng chất lượng ảnh biển số (một số biển khơng tách ký tự, chữ số bị dính với vật bên đinh ốc, ký tự bị mờ nét, nét, loang lổ, biển số xe đặc thủ biển số quân đội, biển xanh, ) (2) Với biển số có đường viền phức tạp mức độ nhận dạng không cao 134 KẾT LUẬN VÀ KIẾN NGHỊ 6.1 Kết luận Trong đề tài nghiên cứu này, tơi đề cập, tìm hiếu nhiều nghiên cứu phát hiện, nhận dạng xử lý hành vi vi phạm trật tự an toàn giao thông, mà đặc biệt nghiên cứu giao thông thông minh đô thị lớn nước giới nhằm tìm hiểu, đánh giá tìm điểm chung cơng nghệ nghiên cứu Từ đề giải pháp tối ưu việc lựa chọn phương pháp nghiên cứu ứng dụng kỹ thuật máy học (machine learning) Trí tuệ nhân tạo (AI) với mơ hình mạng nơ-ron tích chập theo phương pháp nhìn lần (Convolutional Neural Network for You Only Look Once - CNNs for YOLO Object Detection) giải thuật mơ hình hệ thống máy học tiên tiến giúp cho việc xây dựng đựợc hệ thống thơng minh với độ xác cao Việc triển khai thử nghiệm mơ hình ứng dụng CMCN lần thứ tư thực tế địa phương mà cụ thể xây dựng mơ hình phục vụ theo dõi, giám sát tình trạng giao thơng đường bộ, tự động phát hiện, ghi nhận, phân tích hình ảnh đối tượng nhận dạng phương tiện hành vi vi phạm Luật giao thông đường theo thời gian thực với độ xác cao nút giao lộ góp phần giảm thiểu ùn tắc, tai nạn cho người phương tiện tham gia giao thông Đồng thời giúp cơng tác tuần tra kiểm sốt trật tự, an ninh phát kịp thời, có chứng pháp lý hình ảnh nhằm cung cấp cho lực lượng chức điều tra vụ việc xảy đường góp phần đảm bảo an ninh trật tự xã hội Với kết thực đề tài nhóm nghiên cứu tiếp tục đề xuất ban, ngành có liên quan xem xét đưa vào áp dụng nhân rộng địa bàn tỉnh Bà Rịa – Vũng Tàu Kết thu nhận từ hình ảnh, video thơng qua thiết bị ghi hình camera đặt vị trí thử nghiệm tiến hành áp dụng giải thuật kết hợp số cơng cụ có, thư viện mã nguồn mở OpenCV giải thuật nhìn lần YOLO tiến hành phát hiện, nhận dạng phân loại tương đối đầy đủ xác cao với đối tượng thơng qua hình ảnh, video huấn luyện với hai hành vi vi phạm Luật giao thơng đường là: (1) Chở số người quy định tham gia giao thông; (2) Không đội mũ bảo hiểm điều khiển xe mơ tơ, xe gắn máy Tuy nhiên, Bên cạnh đó, tồn số điểm hạn chế chưa giải được, có vài trường hợp chưa nhận dạng 135 được, có độ xác khơng cao Việc này, có nhiều nguyên nhân khác phần lớn tập trung số nguyên nhân sau: (1) Thiếu liệu đào tạo nên mơ hình nhận dạng có hiệu suất khơng cao (2) Tỷ lệ nhận dạng cịn phụ thuộc nhiều vào điều kiện thời tiết, khí hậu phức tạp làm ảnh hưởng chất lượng hình ảnh, video,… tình trạng mật độ tham gia giao thơng cao (3) Việc áp dụng thuật tốn tính tốc độ xử lý chưa tối ưu, hầu hết lệ thuộc vào máy móc thiết bị trang bị cho hệ thống xử lý, lưu trữ đặc biệt hệ thống trang thiết bị ghi hình (camera, sensor,…) (4) Ngồi cịn có nguyên nhân khách quan khác vật cản che khuất, bị nhầm lẫn đối tượng gần giống xe máy xe đạp, hình ảnh khơng theo chuẩn quy định,… (5) Trong đề tài nghiên cứu đề xuất áp dụng giải thuật mang tính ứng dụng cơng nghệ tiên tiến, đại nên đòi hỏi hệ thống trang thiết bị máy móc (máy tính) phải hỗ trợ tính GPU mạnh, trường hợp GPU yếu nhiều thời gian để hệ thống xử lý nhằm hồn thành q trình nhận dạng phân loại đối tượng 6.2 Kiến nghị hướng phát triển Để cải thiện, đảm bảo độ xác cao ta cần tiến hành xây dựng đặt nhiều tỉnh huống, kịch đa dạng nhằm thu thập thêm nhiều liệu mẫu hơn, đa dạng hành vi Từ đó, giúp mơ hình nhận dạng xe xác cao Ngồi để nhận diện tính tốn vận tốc xử lý hiệu ta cần xem xét, điều chỉnh thuật tốn nhận dạng, phân loại tính tốn Sau kết thúc nghiện cứu, đưa vào vận hành thử nghiệm nhằm hồn thiện mơ hình hệ thống theo dõi, giám sát tình trạng giao thơng đường bộ, tự động phát hiện, ghi nhận, phân tích hình ảnh đối tượng nhận dạng phương tiện hành vi vi phạm Luật giao thông đường theo thời gian thực với độ xác từ đề xuất áp dụng cho toán khác lớn thực tế để giải vấn đề vấn nạn giao thông đường Trong đề tài nghiên cứu lựa chọn áp dụng công nghệ tiên tiến, đặc biệt áp dụng thực tế CMCN lần thứ tư phù hợp với thực tế địa phương 136 Vì vậy, cần tính tốn khả mở rộng, kết nối vào hệ thống giao thông thông minh chung tương lai tỉnh Bà Rịa – Vũng Tàu đã, triển khai 137 TÀI LIỆU THAM KHẢO [1] Trích dẫn đăng cổng thông tin điển tử Quốc Gia (http://www2.chinhphu.vn/portal/page/portal/chinhphu/)” trang thông tin điện tử báo mạng như: Vietnamnet, vnexpress, thanhnien, tuoitre, [2] Wikipedia – Bách khoa toàn thư mở - Lịch sử ngành Trí tuệ nhân tạo http://en.wikipedia.org/wiki/Artificial_intelligence [3] Thủ tướng Nguyễn Xuân Phúc: Phát biểu Diễn đàn cấp cao Triển lãm quốc tế công nghiệp 4.0 diễn Hà Nội ngày 13/7/2018 nhấn mạnh Việt Nam cần “Chuyển mạnh từ nhận diện sâu sắc sang tầm nhìn chiến lược hành động liệt, khẩn trương” để không bỏ lỡ hội lên kịp chuyến tàu Cách mạng công nghiệp 4.0 với nước khu vực giới [4] Đồng chí Nguyễn Văn Bình – Trưởng Ban kinh tế Trung ương: Phát biểu Diễn đàn cấp cao công nghiệp 4.0 chủ trương, sách Việt Nam chủ động tham gia cách mạng công nghiệp lần thứ diễn Hà Nội ngày 3/10/2019 [5] Đỗ Hữu Hiền: Bài viết đăng Đặc san Báo xuân Ban Tuyên giáo tỉnh ủy Bà Rịa – Vũng Tàu số vấn đề phát triển khoa học công nghệ tỉnh trước tình hình cách mạng cơng nghiệp lần thứ [6] Nhâp mơn Trí tuệ nhân tạo Tiến sĩ Ngô Hữu Phúc - Học viện kĩ thuật qn [7] Tài liệu giảng dạy mơn Trí tuệ nhân tạo GS.TSKH Võ Hoàng Kiếm – nguyên Hiệu trưởng trường Đại học Bà Rịa – Vũng Tàu [8] Bùi Xuân Toại – Trương Gia Việt (Biên dịch) – Trí tuệ nhân tạo – Các cấu trúc chiến lược giải vấn đề - NXB Thống kê, 2000 (Phần I) [9] PTS Nguyễn Thanh Thủy – Trí tuệ nhân tạo – Các phương pháp giải vấn đề kỹ thuật xử lý tri thức – NXB Giáo dục, 1995 (Chương 1) [10] Bộ Kế hoạch Đầu tư (2018) Dự thảo: Chiến lược Cách mạng công nghiệp 4.0: Đánh giá đề xuất sách [11] Viện Hàn lâm Khoa học xã hội Việt Nam (2017), “Cuộc cách mạng công nghiệp lần thứ tư: Đặc trưng, tác động hàm ý sách”, Báo cáo Chính phủ [12] Dự án đầu tư hệ thống giao thông thông minh, giám sát tự động Camera địa bàn tỉnh Bà Rịa – Vũng Tàu 138 [13] Số liệu báo cáo tình hình phat triển kinh tế-xã hội tháng đầu năm 2019 phương hướng hoạt động tháng cuối năm 2019 UBND tỉnh Bà Rịa – Vũng Tàu [14] Báo cáo: Kết Nghiên cứu xây dựng hệ thống giám sát ngã tư thông minh 01 điểm giao lộ đường Huỳnh Minh Thạnh 27/4 thuộc thị trấn Phước Bửu, huyện Xuyên Mộc, tỉnh Bà Rịa – Vũng Tàu [15] Tài liệu báo cáo thực đề án phát triển đô thị thông minh TP Hồ Chí Minh, Đà Nẵng, Bình Dương, [16] https://www.quora.com/How-does-the-region-proposal-network-RPN-in- Faster-R-CNN-work; http://neuralnetworksanddeeplearning.com/chap6.html [17] http://neuralnetworksanddeeplearning.com/chap2.html [18] https://hackernoon.com/understanding-yolo-f5a74bbc7967 [19] https://arxiv.org/pdf/1506.02640.pdf [20] https://ai.hblab.vn/2017/10/intersection-over-union-iou-cho-object.ht [21] Tran Duc Duan, Duong Anh Duc, Tran Le Hong Du, “Combining Hough Transform and Contour Algorithm for detecting Vehicles License-Plates”, University of Natural Sciences, 2004 [22] Các tài liệu EmguCV www.emgucv.com OPenCV www.opencv.com [23] Yan S., Xia Y., Smith J.S., et al (2017) Multiscale Convolutional Neural Networks [24] Patrice Y Simard, Dave Steinkraus, John Platt, "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis," International Conference on Document Analysis and Recognition (ICDAR), IEEE [25] Y LeCun and Y Bengio.“Convolutional networks for images, speech, and time-series.” In M A Arbib, editor, The Handbook of Brain Theory and Neural Networks MIT Press, 1995 [26] Krizhevsky A., Sutskever I., and Hinton G.E (2012) ImageNet Classification with Deep Convolutional Neural Networks Advances in Neural Information Processing Systems 25 Curran Associates, Inc., 1097–1105 [27] Object detection based on HOG features: Faces and dual-eyes augmented reality - IEEE Conference Publication , accessed:05/20/2018 139 [28] Real-Time Hand Gesture Detection and Recognition Using Bag-ofFeatures and Support Vector Machine Techniques - IEEE Journals & Magazine [29] Sinh viên thực hiện: Đỗ Xuân Sơn - Lớp: KHMT2-K10 - Khoa CNTT, Đại học Công nghiệp Hà Nội [30] Sinh viên thực hiện: Đặng Thị Mỹ Nhàn - Khoa học máy tính Trường Đại học Bách khoa Đà Nẵng [31] Nhập môn xử lý ảnh số Ths Lương Mạnh Bá Ths Nguyễn Thanh Thủy, NXB KHKT 2003 [32] https://docs.opencv.org/ [33] http://code.gurusvn.com/ [34] https://vi.wikipedia.org/wiki/Trang_Ch%C3%ADnh [35] Learning openCV_computer vision whit the openCV Libraly_Gary breadki & keabler [36]https://towardsdatascience.com/r-cnn-fast-r-cnn-faster-r-cnn-yolo-objectdetection-algorithms-36d53571365e 140 ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA - VŨNG TÀU ĐỖ HỮU HIỀN NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT MÁY HỌC ĐỂ PHÂN TÍCH HÌNH ẢNH VÀ NHẬN DẠNG PHƯƠNG TIỆN VỀ HÀNH VI VI PHẠM LUẬT GIAO THÔNG ĐƯỜNG... kỹ thuật máy học để phân tích hình ảnh nhận dạng phương tiện vi phạm Luật giao thông đường bộ? ?? làm đề tài nghiên cứu nhằm phát hiện, nhận dạng xử lý hành vi vi phạm trật tự an toàn giao thơng,... phương tiện tham gia giao thông thông qua biển số xe đề tài nghiên cứu - Nghiên cứu áp dụng kỹ thuật tìm hiểu để tự động phát hiện, nhận dạng phương tiện tham gia giao thông hành vi vi phạm Luật