Phát triển hệ thống bãi giữ xe ô tô tự động dựa trên kỹ thuật thị giác máy tính nghiên cứu khoa học

ĐỒN THANH NIÊN CỘNG SẢN HỒ CHÍ MINH BAN CHẤP HÀNH TP HỒ CHÍ MINH CƠNG TRÌNH DỰ THI GIẢI THƯỞNG SINH VIÊN NGHIÊN CỨU KHOA HỌC EURÉKA LẦN THỨ 21 NĂM 2019 TÊN CƠNG TRÌNH: PHÁT TRIỂN HỆ THỐNG BÃI GIỮ XE Ô TÔ TỰ ĐỘNG DỰA TRÊN KỸ THUẬT THỊ GIÁC MÁY TÍNH LĨNH VỰC NGHIÊN CỨU: CƠNG NGHỆ THƠNG TIN CHUN NGÀNH: TRÍ TUỆ NHÂN TẠO Mã số cơng trình: …………………………… BCH ĐỒN TP HỒ CHÍ MINH _ TP Hồ Chí Minh, ngày 19 tháng 09 năm 2019 PHIẾU ĐĂNG KÝ DỰ THI GIẢI THƯỞNG SINH VIÊN NGHIÊN CỨU KHOA HỌC EURÉKA LẦN THỨ 21 NĂM 2019 Tên cơng trình: “Phát triển hệ thống bãi giữ xe tô tự động dựa kỹ thuật thị giác máy tính”  Đánh dấu chọn cơng trình nghiên cứu từ vấn đề gợi ý, đặt hàng doanh nghiệp, quan tổ chức, cá nhân (gửi kèm đơn, công văn hợp đồng đặt hàng) Lĩnh vực nghiên cứu: Công nghệ thông tin Chuyên ngành đăng ký dự thi: Trí tuệ nhân tạo Tóm tắt cơng trình, vấn đề (khơng q 100 từ) : Đề tài phát triển hệ thống bãi giữ xe ô tô tự động dựa kỹ thuật thị giác máy tính, cơng cụ, phương pháp sau: - Sử dụng MFC làm môi trường thực hóa thuật tốn - Sử dụng thư viện mã nguồn mở OpenCV - Sử dụng thuật toán nhận dạng ký tự SVM (trong dùng HOG để rút trích đặc trưng ảnh) - Phương pháp phân tích giá trị điểm ảnh - Phương pháp đánh dấu thành phẩn liên kết Kết đạt được: Xây dựng gói phần mềm nhận dạng biển số xe, Xây dựng gói phần mềm nhận dạng chỗ trống bãi xe Tên giảng viên hướng dẫn (ghi rõ họ tên, học hàm, học vị, đơn vị công tác): TS.GVCC Lê Xuân Trường – Trưởng khoa Công nghệ thông tin trường Đại học Mở TP Hồ Chí Minh Tác giả, nhóm tác giả :  Tác giả: - Họ tên : Nguyễn Trung Hậu - Nam/Nữ : Nam - Năm sinh (ngày tháng năm) : 1997 - Địa chỉ: 108 Hòa Thạnh An Phú Thuận, Châu Thành, Đồng Tháp - Điện thoại : 0789 620 520 - Email: 1551010032hau@ou.edu.vn - Khoa - Ngành: Công nghệ thông tin – Khoa học máy tính - Trường : Đại học Mở thành phố Hồ Chí Minh - Tỉnh/ Thành phố: Hồ Chí Minh Ảnh x4 (đóng dấu giáp lai) Cam kết tác giả, nhóm tác giả: Tơi xin cam đoan đề tài cơng trình nghiên cứu khoa học tơi (hoặc nhóm chúng tơi) Các số liệu, kết nêu đề tài trung thực có nguồn gốc Chúng xin chịu trách nhiệm trước Ban tổ chức Giải thưởng pháp luật kết nghiên cứu đề tài Xác nhận đại diện nhà trường TM Ban tổ chức cấp trường (ký tên, đóng dấu) Tác giả Ký tên i MỤC LỤC DANH MỤC CÁC HÌNH iv DANH MỤC CÁC BẢNG vii DANH MỤC CÁC THUẬT NGỮ TIẾNG ANH VÀ CHỮ VIẾT TẮT viii TỔNG QUAN ĐỀ TÀI 1.1 Giới thiệu 1.2 Mục tiêu phương pháp nghiên cứu 1.2.1 Mục tiêu 1.2.2 Phương pháp nghiên cứu 1.3 Đối tượng phạm vi nghiên cứu 1.3.1 Đối tượng 1.3.2 Phạm vi 1.4 Đóng góp đề tài 1.4.1 Đóng góp mặt khoa học 1.4.2 Đóng góp mặt kinh tế xã hội 1.5 Bố cục báo cáo CƠ SỞ LÝ THUYẾT 2.4 Thư viện MFC phát triển ứng dụng Windows môi trường Visual C++ 2.5 Ảnh đa mức xám: 2.6 Phương pháp phân ngưỡng(Threshold) 2.7 Bộ lọc Erosion 2.8 Bộ lọc Dilation 10 2.9 Các phép hình thái học 13 2.9.1 Opening 13 2.9.2 Closing 13 2.9.3 White Top-Hat 14 2.9.4 Black Top-Hat 14 ii 2.10 Kỹ thuật Directional Filtering 15 2.10.1 Kỹ thuật Directional Closing 16 2.10.2 Kỹ thuật Directional Opening 16 2.11 Phương pháp đánh dấu thành phần liên kết (Connected components labeling) 17 2.11.1 Tính liên kết điểm ảnh 17 2.11.2 Đánh dấu thành phần liên kết 20 2.12 Bộ lọc điểm ảnh khác nhau(Difference Filter) 20 2.13 Thuật toán SVM(Support Vector Machine) 21 2.13.1 Phân lớp liệu 21 2.13.2 Định nghĩa thuật toán SVM 22 2.13.3 Chuẩn hóa ảnh 23 HIỆN THỰC HỆ THỐNG 25 3.1 Tổng quan hệ thống: 25 3.1.1 Quy trình xử lý nhận dạng biển số xe 25 3.1.2 Quy trình xử lý nhận dạng chỗ trống 26 3.2 Cách lắp đặt camera 27 3.3 Giao diện thực nghiệm chương trình: 28 3.3.1 Giao diện chương trình xử lý nhận dạng biển số xe 28 3.3.2 Giao diện chương trình xử lý nhận dạng chỗ trống 29 3.4 Cách thức xử lý 29 3.4.1 Xử lý phát biển số: 29 3.4.2 Phân tách biển số thành ký tự hình ảnh: 34 3.4.3 Nhận dạng ký tự: 37 3.4.4 Nhận dạng chỗ trống 37 KẾT QUẢ THỰC NGHIỆM 43 4.1 Tổng quan hoạt động hệ thống 43 4.2 Nhận dạng biển số xe 43 4.3 Nhận dạng chỗ trống bãi xe 46 iii KẾT LUẬN 47 5.1 Kết đạt 47 5.2 Kiến nghị 47 TÀI LIỆU THAM KHẢO 49 iv DANH MỤC CÁC HÌNH Hình 2.1 Ảnh màu trước chuyển qua ảnh đa mức xám (a) ảnh sau chuyển qua ảnh đa mức xám (b) Hình 2.2 Ảnh sau chuyển sang nhị phân Hình 2.3 Tập hợp phần tử hình ảnh gốc M Hình 2.4 Phần tử cấu trúc dạng hình vng 3x3 Hình 2.5 Ảnh minh họa trường hợp xét điểm ảnh với cấu trúc phần tử 3x3 Hình 2.6 Ảnh nhị phân sau sử dụng lọc Erosion 10 Hình 2.7 Kết sử dụng lọc Erosion 10 Hình 2.8 Tập hợp phần tử hình ảnh gốc M 11 Hình 2.9 Phần tử cấu trúc dạng hình vng 3x3 12 Hình 2.10 Ảnh nhị phân sau sử dụng lọc Dilation 12 Hình 2.11 Kết sau sử dụng lọc Dilation 12 Hình 2.12 Ảnh nhị phân trước (a) sau (b) qua phép Opening 13 Hình 2.13 Ảnh nhị phân trước (a) sau (b) qua phép Closing 14 Hình 2.14 Ảnh đa mức xám trước (a) sau (b) qua phép White Top-Hat 14 Hình 2.15 Ảnh đa mức xám trước (a) sau (b) qua phép White Top – Hat 15 Hình 2.16 Phần tử có cấu trúc theo phương ngang a) theo phương đứng b) 15 Hình 2.17 Ảnh trước (a) sau (b) dùng kỹ thuật Directional Closing 16 Hình 2.18 Ảnh qua lọc Horizontal Closing (a), Vertical Opening (b) Vertical Opening (c) 16 Hình 2.19 Liên kết hướng 18 Hình 2.20 Liên kết hướng 19 Hình 2.21 Thành phần kiên kết 19 v Hình 2.22 Ảnh (a), ảnh lớp phủ (b) ảnh sau qua lọc điểm ảnh khác (c) 21 Hình 2.23 Mơ tả mặt phân cách phân chia liệu khơng gian chiều 22 Hình 2.24 Mô tả kết phân chia liệu thuật tốn SVM khơng gian chiều 23 Hình 2.25 Mơ tả ánh xạ liệu từ không gian chiều vào khơng gian đa chiều 23 Hình 3.1 Mơ hình hoạt động tổng quan phần xử lý nhận dạng biển số 25 Hình 3.2 Mơ hình hoạt động tổng quan phần xử lý nhận chỗ trống 26 Hình 3.3 Cách lắp đặt camera 27 Hình 3.4 Giao diện chương trình nhận dạng biển số 28 Hình 3.5 Giao diện chương trình nhận dạng chỗ trống bãi đậu xe 29 Hình 3.6 Ảnh xe màu (a) ảnh đa mức xám (b) 30 Hình 3.7 Kết (c) phép tính phần tử ảnh nguồn (a) với phần tử phép White Top – Hat 30 Hình 3.8 Kết (c) phép tính Both Top – Hat sau lấy hiệu với phần tử phép Black Top – Hat ảnh nguồn 31 Hình 3.9 Hình ảnh sau qua lọc Black Top – Hat từ lọc Both Top - Hat 31 Hình 3.10 Hình ảnh kết sau áp dụng kỹ thuật Directional Closing 32 Hình 3.11 Kết thu sau áp dụng kỹ thuật Vertical Opening 32 Hình 3.12 Kết thu sau áp dụng kỹ thuật Horizontal Opening 33 Hình 3.13 Ảnh nhị phân sau loại bỏ khu vực khơng cần thiết 33 Hình 3.14 Biển số tìm sau qua bước xử lý 34 Hình 3.15 Biển số xe thu sau chuyển sang ảnh nhị phân 35 Hình 3.16 Biểu đồ histogram theo phương ngang biển số 35 vi Hình 3.17 Ảnh thu sau cắt sát theo phương ngang 35 Hình 3.18 Biểu đồ histogram theo phương dọc biển số 36 Hình 3.19 Biểu đồ thể khối blob khơng hợp lệ 36 Hình 3.20 Biểu đồ histogram theo phương dọc sau loại bỏ đối tượng không hợp lệ 36 Hình 3.21 Hình ảnh sau cắt sát theo phương ngang phương dọc 36 Hình 3.22 Hình ảnh ký tự sau phân tách 37 Hình 3.23 Kết nhận dạng ký tự 37 Hình 3.24 Ảnh a) ảnh b) lớp phủ trước chuyển sang ảnh đa mức xám 38 38 Hình 3.25 Ảnh a) ảnh b) lớp phủ sau chuyển sang ảnh đa mức xám điều chỉnh kích thước 38 Hình 3.26 Ảnh kết sau qua lọc điểm ảnh khác 39 Hình 3.27 Ảnh kết sau q trình nhị phân hóa 39 Hình 3.28 Ảnh kết sau qua lọc dilation 40 Hình 3.29 Ảnh kết sau qua lọc erosion 41 Hình 3.30 Hình ảnh bãi xe cắt thành ma trận dãy xe A a) ma trận dãy xe B b) 41 Hình 3.31 Biểu đồ histogram dãy xe A a) dãy xe B b) 42 Hình 3.32 Kết nhận dạng chỗ trống 42 vii DANH MỤC CÁC BẢNG Bảng 4.1 Kết thực nghiệm 43 Bảng 4.2 Kết phần phát biển số 43 Bảng 4.3 Kết phần cắt biển số 43 Bảng 4.4 Kết phần nhận dạng biển số 44 Bảng 4.5 Kết nhận dạng chi tiết ký tự biển số 45 Bảng 4.6 Các ký tự nhận dạng sai 45 Bảng 4.7 Kết nhận dạng chỗ trống 46 36 Hình 3.18 Biểu đồ histogram theo phương dọc biển số Chương trình duyệt biểu đồ histogram theo phương dọc từ trái qua phải Các khối có số lượng điểm ảnh đen cao bị loại bỏ Hình 3.19 Biểu đồ thể khối blob khơng hợp lệ Hình 3.20 Biểu đồ histogram theo phương dọc sau loại bỏ đối tượng khơng hợp lệ Hình 3.21 Hình ảnh sau cắt sát theo phương ngang phương dọc Như vậy, sau trình cắt sát, ảnh ban đầu cải thiện loại bỏ số đối tượng không cần thiết đủ điều kiện để phân tách ký tự Bằng việc tính tốn so sánh kích thước khối blob, khối blob không đủ tiêu chuẩn bị loại bỏ 37 Hình 3.22 Hình ảnh ký tự sau phân tách Kết cuối trình phân tách ký tự mảng ma trận ký tự chữ 3.4.3 Nhận dạng ký tự: Lần lượt cho phần tử mảng ma trận ký tự chữ thu phần phân tách qua thuật toán SVM để nhận dạng ký tự Hình 3.23 Kết nhận dạng ký tự 3.4.4 Nhận dạng chỗ trống ➢ Chuyển ảnh màu sang ảnh đa mức xám 38 Chuyển frame ảnh frame ảnh lớp phủ sang ảnh đa mức xám để xử lý bước a) b) Hình 3.24 Ảnh a) ảnh b) lớp phủ trước chuyển sang ảnh đa mức xám a) b) Hình 3.25 Ảnh a) ảnh b) lớp phủ sau chuyển sang ảnh đa mức xám điều chỉnh kích thước Chuyển frame ảnh nhận sang lọc điểm ảnh khác nhau, xe ảnh lớp phủ phát lọc lưu vào frame ảnh kết quả, vị trí xe giữ nguyên so với ảnh lớp phủ ban đầu 39 Hình 3.26 Ảnh kết sau qua lọc điểm ảnh khác Kế tiếp, đề tài nhị phân hóa ảnh kết nhận để thuận tiện cho bước xử lý Hình 3.27 Ảnh kết sau q trình nhị phân hóa 40 Bước để lấy lại đường viền bị sau trình lọc điểm ảnh khác nhau, cho ảnh kết qua lọc dilation để lấy lại điểm ảnh bị lược bỏ Hình 3.28 Ảnh kết sau qua lọc dilation Để loại bỏ số điểm ảnh không cần thiết, ảnh kết cho qua lọc erosion để lược bỏ số điểm ảnh bị dư thừa 41 Hình 3.29 Ảnh kết sau qua lọc erosion Do đề tài sử dụng liệu bãi xe gồm dãy, dãy 10 xe, nên để thuận tiện cho trình xử lý đề tài chia bãi xe thành ma trận riêng biệt, để chuyển đến bước a) b) Hình 3.30 Hình ảnh bãi xe cắt thành ma trận dãy xe A a) ma trận dãy xe B b) Để xác định xác vị trí tơ có bãi, đề tài lấy biểu đồ histogram ma trận dãy xe vừa nhận a) b) 42 Hình 3.31 Biểu đồ histogram dãy xe A a) dãy xe B b) Cuối cùng, dựa vào biểu đồ histogram nhận để xác định vị trí tơ có bãi Hình 3.32 Kết nhận dạng chỗ trống Những ô tô đỗ vị trí bãi xe thực tế ánh xạ chữ “OFF” hệ thống Người sử dụng dựa vào thơng báo để thuận tiện tìm chỗ đậu phù hợp 43 KẾT QUẢ THỰC NGHIỆM 4.1 Tổng quan hoạt động hệ thống Khi ô tô di chuyển vào bãi xe, lái xe xem thơng tin vị trí cịn trống bãi thơng qua chương trình nhận dạng chỗ trống Đến cổng kiểm sốt tơ khơng cần phải dừng lại di chuyển đến vị trí đổ, hệ thống ghi nhận biển số qua chương trình nhận dạng biển số xe tự động 4.2 Nhận dạng biển số xe Đề tài phát nhận dạng biển số xe ảnh tĩnh cho kết xác cao, cụ thể số lượng thực nghiệm 245 ảnh đó: Số lần thực nghiệm (lần) Số lần (lần/%) Số lần sai (lần/%) 245 224/91.4% 21/8.6% Bảng 4.1 Kết thực nghiệm Chi tiết trình phát biển số Số lần thực nghiệm (lần) Số lần (lần/%) Số lần sai (lần/%) 245 245/100% 0/0% Bảng 4.2 Kết phần phát biển số Chi tiết trình cắt biển số Số lần thực nghiệm (lần) Số lần cắt (lần/%) Số lần sai (lần/%) 245 234/95.5% 11/4.5% Bảng 4.3 Kết phần cắt biển số 44 Chi tiết trình nhận dạng biển số Số lần thực nghiệm (lần) Số lần cắt (lần/%) Số lần sai (lần/%) 234 224/95.7% 10/4.3% Bảng 4.4 Kết phần nhận dạng biển số Chi tiết trình nhận dạng ký tự Ký tự A B C D E F G H I J K L M N O P Q Tần suất 93 86 65 64 97 83 62 72 80 84 69 24 31 33 14 18 152 12 23 21 44 16 17 12 17 Tỉ lệ % 5.89% 5.45% 4.12% 4.06% 6.15% 5.26% 3.93% 4.56% 5.07% 5.32% 4.37% 1.52% 1.96% 2.09% 0.89% 1.14% 9.63% 0.76% 1.46% 1.33% 2.79% 1.01% 1.08% 0.76% 0.00% 1.08% 0.00% 45 R S T U V W X Y Z 16 37 22 30 22 0 160 1.01% 2.34% 1.39% 1.90% 1.39% 0.13% 0.00% 0.00% 10.14% Bảng 4.5 Kết nhận dạng chi tiết ký tự biển số Chi tiết ký tự nhận dạng sai Ký tự Tần suất D G N V Bảng 4.6 Các ký tự nhận dạng sai Đánh giá: đề tài phát tốt biển số xe với tỷ lệ 100%, nhiên số biển số sai trình cắt nhận dạng ký tự Các ký tự nhận dạng bị sai nguyên nhân nhầm lẫn kỹ tự có kết cấu tương tự ví dụ ký tự B ký tự số hay biển số bị che, bị nét làm cho đề tài mắt thường nhận dạng bị sai 46 4.3 Nhận dạng chỗ trống bãi xe Đề tài nhận dạng chỗ trống bãi xe, cụ thể thực nghiệm 50 ảnh: Số lần thực nghiệm (lần) Số lần cắt (lần/%) Số lần sai (lần/%) 50 49/98% 1/2% Bảng 4.7 Kết nhận dạng chỗ trống Đánh giá: Đề tài nhận dạng số lượng chỗ trống bãi xe tương đối cao, nhiên có trường hợp sai tô đỗ không vạch định 47 KẾT LUẬN 5.1 Kết đạt Đề tài hoàn thành mục tiêu xây dựng hệ thống bãi giữ xe tự động bao gồm gói phần mềm sau: - Gói phần mềm nhận dạng biển số xe, thơng qua việc sử dụng lọc dilation, erosion, phương pháp phân ngưỡng (Thresholding)…đề tài phân tích phát vị trí biển số xe, từ áp dụng phương pháp cắt sát ký tự để phân tách ký tự biển số thành đối tượng riêng biệt phục vụ cho trình nhận dạng ký tự sử dụng thuật tốn SVM - Gói phần mềm nhận dạng chỗ trống bãi xe, việc kết hợp lọc dilation, erosion, đặc biệt lọc điểm ảnh khác nhau…đề tài phân tích phát vị trí có xe vị trí cịn trống bãi đậu thông báo cho người sử dụng trước di chuyển vào bãi Qua nhiều lần thực nghiệm gói phần mềm cho thấy kết xác cao, vài trường hợp khách quan cho kết khơng xác biển số bị che khuất, bị mờ, bị nét trình di chuyển hay trường hợp xe tơ đỗ không quy định bãi khiến hệ thống nhận dạng sai 5.2 Kiến nghị Kết đề tài sở để xây dựng hệ thống bãi giữ xe tơ tự động, kiến nghị đề tài sau cần: - Kết trình nhận dạng biển số cịn phụ thuộc vào vị trí lắp đặt camere, đề xuất việc phát linh hoạt - Các ký tự bị nét gần 50%, đề xuất phương pháp dự đoán ký tự - Xử lý ký tự có kết cấu tương tự - Đề xuất xử lý nhận dạng biển số xe màu(xanh, đỏ, ) biển số vuông - Xử lý phát chỗ trống bãi xe liệu lớn (thực tế) 48 - Nâng cao tỷ lệ xác trình nhận dạng biển số trình nhận dạng chỗ trống bãi đậu xe - Xử lý nhận dạng video, camera - Xây dựng thành hệ thống hoàn chỉnh tiến hành thực nghiệm thực tế - Phát triển ứng dụng ứng dụng di động phù hợp với nhu cầu thực tế 49 TÀI LIỆU THAM KHẢO Tài liệu tiếng Anh [1] Gary Bradski, Adrian Kaehler, Computer Vision with the OpenCV Library, 2008 [2] [3] J.R.Parker, Algorithms for Image Processing and Computer Vision, 2011 Ondrej Martinsky, Algorithmic and Mathematical Principles of Automatic Number Plate Recognition Systems, 2007 [4] Marcin Iwanowski, Automatic car number plate detection using morphological image processing [5] Bishop, Christopher M “Pattern recognition and Machine Learning.”, Springer, 2006 Tài liệu tiếng Việt [6] Hồ Trí Dũng, Hệ thống quản lý thu phí tự động đường cao tốc, 2016 Website tham khảo: [7] Robert B Fisher, Simon Perkins, Ashley Walker, Erik Wolfart, “Thresholding” 2003 < http://homepages.inf.ed.ac.uk/rbf/HIPR2/threshld.htm > [8] Robert B Fisher, Simon Perkins, Ashley Walker, Erik Wolfart, “Erosion” 2003 < http://homepages.inf.ed.ac.uk/rbf/HIPR2/erode.htm > [9] Robert B Fisher, Simon Perkins, Ashley Walker, Erik Wolfart, “Dilation” 2003 < http://homepages.inf.ed.ac.uk/rbf/HIPR2/dilate.htm > [10] Robert B Fisher, Simon Perkins, Ashley Walker, Erik Wolfart, “Connected Components Labeling” 2003 [11] Contextual segmentation: Region growing, “Pixel connectivity” < https://www.cs.auckland.ac.nz/courses/compsci773s1c/lectures/ImageProcessinghtml/topic3.htm#connect > [12] Satya Mallick, Histogram of Oriented Gradients, https://www.learnopencv.com/histogram-of-oriented-gradients/ > 2016 < 50 [13] Aforge.NET Framework, “Difference Class” < http://www.aforgenet.com/framework/docs/html/673023f7-799a-2ef6-793331ef09974dde.htm > ... SINH VIÊN NGHIÊN CỨU KHOA HỌC EURÉKA LẦN THỨ 21 NĂM 2019 Tên cơng trình: ? ?Phát triển hệ thống bãi giữ xe ô tô tự động dựa kỹ thuật thị giác máy tính? ??  Đánh dấu chọn cơng trình nghiên cứu từ... chỗ trống bãi xe ô tô Cả thuật toán sở để xây dựng hệ thống bãi giữ xe tơ hồn tồn tự động việc gửi nhận xe 1.4.2 Đóng góp mặt kinh tế xã hội Giải pháp bãi giữ xe tự động không mang lại lợi nhuận... thống bãi giữ ô tô tự động việc nhận dạng biển số xe vào bãi Song song đó, nghiên cứu nhận dạng chỗ trống bãi đậu xe thông báo cho người dùng trước xe vào bãi 1.2.2 Phương pháp nghiên cứu - Khảo