HỆ THỐNG QUẢN lý tải TRỌNG PHƯƠNG TIỆN RA vào CẢNG BIỂN dựa TRÊN kỹ THUẬT NHẬN DẠNG BIỂN số XE ĐỘNG

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  Lê Hữu Tài HỆ THỐNG QUẢN LÝ TẢI TRỌNG PHƯƠNG TIỆN RA VÀO CẢNG BIỂN DỰA TRÊN KỸ THUẬT NHẬN DẠNG BIỂN SỐ XE ĐỘNG LUẬN VĂN THẠC SĨ NGÀNH: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 01 NGƯỜI HƯỚNG DẪN KHOA HỌC: TS LÊ XUÂN TRƯỜNG TP HỒ CHÍ MINH – 2018 LỜI CẢM ƠN Lời xin gửi lời cảm ơn chân thành đến Thầy – TS Lê Xuân Trường – người tận tình giảng dạy, bảo truyền đạt kiến thức cho suốt q trình thực luận văn Bên cạnh đó, xin gửi lời cảm ơn sâu sắc đến Thầy Cơ khoa Khoa học máy tính, Phịng đào tạo Sau đại học trường Đại học Cơng nghệ thông tin, Đại học Quốc gia TP.HCM tận tình quan tâm, tạo điều kiện thuận lợi cho bạn học viên khác suốt trình học tập thực luận văn Trường Đặc biệt, xin chân thành cảm ơn đến lãnh đạo Cơng ty TNHH MTV Cảng Bến Nghé, Phịng Hành chánh Tổng hợp, Phòng An Ninh Bộ phận Vi tính khơng ngừng hỗ trợ tạo điều kiện để tơi hồn thành tốt cơng việc nghiên cứu khoa học Cuối cùng, tơi xin bày tỏ lịng biết ơn sâu sắc đến gia đình, bạn bè, anh chị đồng nghiệp, bạn học viên lớp CH09 ln động viên, khích lệ tinh thần để tơi có đủ nghị lực hồn thành luận văn thạc sỹ TP HCM, tháng 12 năm 2017 Tác giả đề tài Lê Hữu Tài LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu tơi, kết luận văn có từ kết trình nghiên cứu khoa học hướng dẫn Thầy TS Lê Xuân Trường Nội dung luận văn có tham khảo sử dụng số thông tin, tài liệu từ nguồn sách, báo, tạp chí khoa học, website liệt kê danh mục tài liệu tham khảo TP HCM, tháng 12 năm 2017 Tác giả đề tài Lê Hữu Tài MỤC LỤC MỤC LỤC DANH MỤC CÁC KÝ TỰ - CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC HÌNH ẢNH - BIỂU ĐỒ Chương MỞ ĐẦU 1.1 Đặt vấn đề 1.2 Mục tiêu nghiên cứu 11 1.3 Đối tượng nghiên cứu 11 1.4 Phạm vi nghiên cứu đề tài 12 1.5 Tính khoa học đề tài 12 1.6 Tính đề tài 12 1.7 Tính thực tiễn đề tài 13 1.8 Khả áp dụng thực tế đề tài 14 Chương TỔNG QUAN VỀ TÌNH HÌNH NGHIÊN CỨU 15 2.1 Tình hình nghiên cứu thị giác máy tính vào nhận dạng biển số xe ngồi nước 15 2.2 Tình hình nghiên cứu thị giác máy tính vào nhận dạng biển số xe nước 16 2.3 Khảo sát thực nghiệm toán quản lý tải trọng phương tiện cảng biển 17 2.4 Những vấn đề đặt cần phải nguyên cứu giải 18 2.5 Nội dung nghiên cứu 20 2.6 Phương pháp dự định nghiên cứu 20 Chương 3.1 CƠ SỞ LÝ THUYẾT 22 Tổng quan hệ thống nhận dạng biển số xe 22 3.1.1 Nhóm 1: Giới hạn vùng nhìn 22 3.1.2 Nhóm 2: Khơng giới hạn vùng nhìn 22 3.2 Đặc trưng biển số xe Việt Nam 22 3.2.1 Quy định màu sắc: 23 3.2.2 Quy định biển số cho tỉnh thành phố 24 3.2.3 Xác định phạm vi nhận dạng biển số đề tài 24 3.2.4 Xây dựng hàm kiểm tra biển số hợp lệ 25 3.3 Kỹ thuật nhận dạng biển số xe động 26 3.3.1 Tóm tắt quy trình nhận dạng biển số xe động 26 3.3.2 Phát phương tiện di chuyển 27 3.3.2.1 Ảnh đa mức xám 27 MỤC LỤC 3.3.2.2 Cập nhật ảnh 28 3.3.2.3 Bộ lọc điểm ảnh khác phương pháp phân ngưỡng 28 3.3.2.4 Bộ lọc điểm ảnh khác 29 3.3.2.5 Phương pháp phân ngưỡng 29 3.3.2.6 Bộ lọc Erosion 30 3.3.2.7 Bộ lọc Dilation 32 3.3.2.8 Độ dịch chuyển vùng nhận dạng 34 3.3.3 Xác định vùng chứa biển số 35 3.3.3.1 Nâng cao độ tương phản ảnh 35 3.3.3.2 Loại bỏ khu vực không mong muốn 37 3.3.3.3 Nhị phân hóa ảnh 38 3.3.3.4 Xác định vùng chứa biển số 38 3.3.3.5 Xoay thẳng biển số 41 3.3.4 Cắt sát biển số phân tách ký tự 43 3.3.4.1 Cắt sát biển số 43 3.3.4.2 Phân tách ký tự dính liền 45 3.3.5 Xác định ký tự 46 3.3.6 Nhận dạng ký tự nhận diện Tesseract OCR 47 3.3.6.1 Tổng quan Tesseract OCR 47 3.3.6.2 Quá trình huấn luyện 48 3.3.6.3 Cơ chế nhận dạng Tesseract 48 3.4 Nghiệp vụ quản lý tải trọng phương tiện vào cảng biển 50 3.4.1 Tổng quan quy trình quản lý 50 3.4.2 Quy trình kiểm sốt tải trọng cổng vào 50 3.4.3 Quy trình kiểm sốt tải trọng trạm cân điện tử 52 Chương THỰC NGHIỆM HỆ THỐNG 54 4.1 Sơ lược Cảng Bến Nghé 54 4.2 Xây dựng hệ thống nhận dạng biển số xe động 55 4.2.1 Mơ hình hoạt động hệ thống 55 4.2.2 Lắp đặt camera 57 4.2.3 Kết thực nghiệm 58 4.2.3.1 Thực nghiệm ảnh tĩnh 58 4.2.3.2 Thực nghiệm ảnh động 59 4.2.3.3 Tốc độ xử lý 60 MỤC LỤC 4.2.3.4 Độ phức tạp liệu 60 4.3 Cải tiến toán quản lý tải trọng phân hệ cổng vào 65 4.3.1 Mơ tả tốn 65 4.3.2 Đề xuất cải tiến quy trình 65 4.3.3 Sơ đồ vận hành quy trình 67 4.3.4 Tổ chức cở sở liệu 71 4.3.4.1 Các thông tin cần quản lý 71 4.3.4.2 Mơ hình quan hệ liệu 72 4.3.5 Ứng dụng phần mềm 75 4.3.5.1 Giới thiệu ứng dụng 75 4.3.5.2 Giao diện chương trình kiểm sốt phương tiện vào 76 4.3.5.3 Giao diện chức tra cứu thông tin lịch sử phương tiện 77 4.3.5.4 Giao diện chức tổng hợp báo cáo cấm phương tiện 78 4.3.5.5 Xây dựng quy tắc xử lý tình 79 4.4 Cải tiến toán kiểm soát tải trọng trạm cân điện tử 82 4.4.1 Mơ tả tốn 82 4.4.2 Đề xuất cải tiến quy trình 82 4.4.3 Sơ đồ vận hành dựa đề xuất cải tiến quy trình cân 83 4.4.4 Ứng dụng phần mềm 84 Chương KẾT LUẬN VÀ KHUYẾN NGHỊ 86 5.1 Kết đạt luận văn 86 5.2 Kiến nghị 86 TÀI LIỆU THAM KHẢO 87 DANH MỤC CÁC KÝ TỰ - CHỮ CÁI VIẾT TẮT DANH MỤC CÁC KÝ TỰ - CHỮ VIẾT TẮT # Ký hiệu viết tắt Ý nghĩa ITS Intelligent Transport System TNHH Trách nhiệm hữu hạn MTV Một thành viên OCR Optical Character Recognition CCA Connected Component Analysis ALPR Automated License Plate Recognition KNN K-nearest Neighbors ANN Artificial Neural Network DANH MỤC CÁC BẢNG DANH MỤC CÁC BẢNG Bảng 1.1: Tổng hợp trình triển khai áp dụng kết đề tài 14 Bảng 2.1: Kết kiểm chứng giải thuật 16 Bảng 3.1: Ký hiệu đơn vị quân đội .23 Bảng 3.2: Danh mục ký hiệu biển số xe theo tỉnh, thành phố 24 Bảng 4.1: Tổng hợp độ đo theo thời gian nhận dạng biển số đề tài 60 Bảng 4.2: Cấu trúc table PT_RAVAO 73 Bảng 4.3: Cấu trúc table XEDAUKEO 74 Bảng 4.4: Cấu trúc table XEROMOOC 74 Bảng 4.5: Cấu trúc table TAIXE .75 DANH MỤC HÌNH ẢNH – BIỂU ĐỒ DANH MỤC HÌNH ẢNH - BIỂU ĐỒ Hình 3.1: Tóm tắt quy trình nhận dạng biển số xe động 26 Hình 3.2: Quy trình phát phương tiện di chuyển 27 Hình 3.3: Ảnh minh họa trường hợp xét điểm ảnh với phần tử cấu trúc 3x3 31 Hình 3.4: Tác dụng lọc Erosion theo cấu trúc phần tử dạng hình vng 3x3 32 Hình 3.5: Tác động lọc Dilation theo cấu trúc phần tử dạng hình vng 3x3 33 Hình 3.6: Quy trình xác định vùng chứa biển số 35 Hình 3.7: Ảnh nhị phân trước (a) sau (b) sử dụng phép Opening 36 Hình 3.8: Ảnh nhị phân trước (a) sau (b) sử dụng phép Closing 36 Hình 3.9: Phần tử cấu trúc có hướng 37 Hình 3.10: Kết nối hướng 38 Hình 3.11: Kết nối hướng 39 Hình 3.12: Mối quan hệ tương đương đánh dấu nhãn cho điểm ảnh 40 Hình 3.13: Kết thúc trình duyệt điểm ảnh 40 Hình 3.14: Đánh dấu vùng theo nhãn 40 Hình 3.15: Đánh dấu thành phần liên thông 41 Hình 3.16: Biển số sau tách biên dùng lọc Canny 42 Hình 3.17: Biến đổi Hough 42 Hình 3.18: Minh họa ảnh nhị phân biển số 44 Hình 3.20: Minh họa cắt biển số theo phương dọc 45 Hình 3.21: Minh họa cắt dọc biển số phân tích ký tự dính liền 45 Hình 3.22: Đánh dấu thành phần liên thơng biên số xe 46 Hình 3.23: Mô nhận dạng Tesseract OCR 47 Hình 3.24: Giao diện Sunny Page 2,7 48 Hình 3.25: Mơ nghiệp vụ quản lý tải trọng cảng biển 50 Hình 3.26: Nghiệp vụ quản lý cổng 51 Hình 3.27: Nghiệp vụ cân xe hàng nhập trạm cân 52 Hình 4.2: Mơ hình nhận dạng biển số xe động 55 Hình 4.3: Quy trình xác định biển số phân tách kí tự 56 Hình 4.4: Nhận dạng biển số xe Tesseract OCR 57 Hình 4.5: Tiêu chuẩn lắp đặt camera 57 Hình 4.6: Khung nhìn camera quan sát trạm cân 58 Hình 4.11: Sơ đồ vận hành theo quy trình 62 Hình 4.12: Quy trình tiếp nhận, kiểm tra, đối chiếu thơng tin đăng kiểm 69 Hình 4.14: Giao diện phần mềm quản lý cổng vào 76 Hình 4.15: Giao diện phần tra cứu thông tin lịch sử phương tiện 77 Hình 4.21: Cải tiến quy trình kiểm sốt tải trọng cân hàng nhập 83 Hình 4.23: Giao diện chương trình cân 84 Hình 4.24: Giao diện tra cứu liệu qua cân 85 Hình 4.25: Cảnh báo vượt tải trọng cho phép 85 MỞ ĐẦU Chương MỞ ĐẦU 1.1 Đặt vấn đề Tại Việt Nam, năm gần đây, hệ thống giao thông thông minh (Intelligent Transport System, ITS) nghiên cứu triển khai áp dụng nhiều dự án quản lý giao thông, đặc biệt tuyến đường cao tốc Một số kết đề tài nghiên cứu cấp Nhà nước Tiến sĩ Tạ Tuấn Anh với cộng mang mã số KC.01.14/11-15 “Xây dựng cấu trúc hệ thống giao thông thông minh quy chuẩn công nghệ thông tin, truyền thông, điều khiển áp dụng hệ thống giao thông thông minh Việt Nam”, nghiệm thu vào năm 2014 áp dụng vào thực tiễn, bước đầu có kết tốt như: hệ thống quản lý, giám sát điều hành giao thông thông minh đường cao tốc Cầu Giẽ - Ninh Bình; hệ thống camera giám sát giao thông Thành phố Hà Nội; hệ thống kiểm sốt thu phí đường trạm Hồng Mai Bãi Cháy, v.v… Tại Thành phố Hồ chí Minh, đề án HCMC Smart City (2017 – 2020, tầm nhìn 2025) xây dựng thị thơng minh trình UBND Thành phố Hồ Chí Minh vào cuối năm 2017 Trong đó, ITS trụ cột khơng thể thiếu để xây dựng thành phố trở thành đô thị thông minh thời gian tới ITS hướng đến việc giải tốn giao thơng thơng minh dựa kỹ thuật xử lý ảnh thị giác máy tính như: điều khiển tín hiệu đèn giao thơng; phát cố giao thông; phân loại giám sát phương tiện; thu phí tự động phương tiện tham gia giao thơng,… Một thành phần ITS khả đáp ứng sở hạ tầng giao thông Tuy nhiên, hệ thống sở hạ tầng giao thông nước, đặc biệt đô thị lớn, dường không theo kịp xu phát triển đất nước Tình trạng kẹt xe, ùn tắc giao thông trở thành vấn nạn xã hội Bên cạnh đó, với phát triển mạnh mẽ số lượng phương tiện vận tải đường bộ, đặc biệt ôtô chở hàng, xe tải, xe container tạo áp lực lớn lên hệ thống giao thơng nước Tình trạng phương tiện chở hàng tải diễn phổ biến, dẫn đến phá vỡ kết cấu hạ tầng giao thông đường bộ, tiềm ẩn nguy cao tai nạn gây xức nhân dân Do đó, tốn kiểm sốt phương tiện chở hàng tải vấn đề mang tính cấp bách xã hội nhằm bảo vệ sở hạ tầng giao thông đường bộ, UBND Thành phố Hồ Chí Minh vào cuối năm 2016 Trong đó, ITS trụ cột thiếu để xây dựng thành phố trở thành đô thị thông minh thời gian tới Trong ITS, thành phần khả đáp ứng sở hạ tầng giao thông Tuy nhiên, hệ thống sở hạ tầng giao thông nước, đặc biệt đô thị lớn, dường không theo kịp xu phát triển đất nước Tình trạng kẹt xe, ùn tắc giao thông trở thành vấn nạn xã hội Bên cạnh đó, năm gần đây, với phát triển mạnh mẽ số lượng phương tiện vận tải đường bộ, có ơtơ chở hàng, xe tải, xe container gây áp lực lớn lên hệ thống giao thơng nước Theo đó, tình trạng phương tiện chở hàng tải, khổ diễn phổ biến dẫn đến phá vỡ kết cấu hạ tầng giao thông đường bộ, gây trật tự an tồn giao thơng, tiềm ẩn nguy cao tai nạn giao thông gây xức nhân dân Do đó, tốn kiểm sốt phương tiện chở hàng tải vấn đề mang tính cấp bách xã hội nhằm bảo vệ sở hạ tầng giao thơng đường bộ, đảm bảo an tồn cho người dân tham gia giao thơng góp phần dẫn đến thành cơng việc phát triển ITS nói riêng xây dựng thị thơng minh nói chung thời gian tới Trong thời gian qua, công tác kiểm soát phương tiện chở hàng tải thực đồng liệt, nhiên bên cạnh mặt đạt được, tồn số hạn chế cần khắc phục Trong đó, việc phát hiện, xử lý phương tiện chở hàng tải tham gia giao thông đơn vị chức gặp nhiều khó khăn như: dễ gây ách tách giao thông; thiếu phương tiện lực lượng xếp dỡ hàng hóa; thiếu bến bãi, kho hàng nhiều trường hợp, xe container tải chở hàng xuất nhập nguyên đai, nguyên kiện kẹp “seal” chì hải quan nên hạ tải dọc đường được,… Do đó, trách nhiệm quan, đơn vị quản lý trạm trung chuyển hàng hóa, đặc biệt vai trò của doanh nghiệp hoạt động lĩnh vực khai thác dịch vụ cảng biển có ý nghĩa quan trọng việc kiểm soát tải trọng phương tiện khâu phương tiện nhận hàng Với 3.200 km đường bờ biển, Việt Nam quốc gia có nhiều tiềm phát triển cảng biển Tính đến nay, nước ta có khoảng 44 cảng biển lớn nhỏ với tổng chiều dài khoảng 24.000 m cầu cảng 10 khu chuyển tải Cơng tác kiểm sốt tải trọng cảng biển thông thường quản lý đơn vị phận quản lý cổng vào trạm cân điện tử Tuy nhiên trước áp lực lớn số lượng phương tiện vào nhận hàng thường xun, nên cơng tác kiểm sốt tải trọng cảng biển gặp nhiều khó khăn địi hỏi cần nghiên cứu, triển khai xây dựng hệ thống tin học hóa, tự động hóa để q trình kiểm soát tải trọng phương tiện chặt chẽ đồng theo quy định ngành Giao thông Vận tải kiểm soát tải trọng cảng biển Tại Công ty Trách nhiệm hữu hạn Một thành viên Cảng Bến Nghé, đơn vị hoạt động lĩnh vực khai thác dịch vụ cảng biển đa năng, cung cấp dịch vụ bốc xếp, giao nhận, lưu kho bãi hàng rời, hàng container nước, nơi học viên công tác, việc quản lý tải trọng phương tiện vào Cảng thực theo chế thủ công phận quản lý cổng vào bán thủ công trạm cân điện tử sau: 90  Tại phân hệ cổng dành cho xe tải, xe container vào nhận hàng  Giai đoạn xe vào: lái xe xuất trình sổ đăng kiểm, lái xe cho trạm kiểm soát; nhân viên bảo vệ kiểm tra, lưu thông tin phương tiện vào sổ lưu trữ, giữ lái xe; lái xe đóng lệ phí nhận phiếu đăng ký nhận hàng có ghi tải trọng cho phép phương tiện phép tham gia giao thông  Giai đoạn xe ra: lái xe xuất trình giấy tờ hàng hóa (nếu có) cho trạm kiểm sốt; nhân viên bảo vệ kiểm tra hàng hóa có với thực tế hay không, trả lái xe cho tài xế; tài xế tiến hành rời Cảng  Tại phân hệ cân điện tử: Sau tiến hành làm thủ tục cần thiết, lái xe vào trạm cân để cân tải trọng Khi xe lên bàn cân, nhân viên trạm cân nhập liệu tay biển số xe vào phần mềm cân điện tử, bàn cân tự động hiển thị tải trọng xe lên phần mềm, khơng vượt q tải trọng cho phép tiến hành lưu trữ in phiếu cân cho tài xế Tài xế nhận phiếu cân, cho xe rời bàn cân vào khu vực giao nhận hàng hóa đến cổng kiểm soát để rời Cảng Trường hợp xe vượt tải trọng cho phép, nhân viên trạm cân yêu cầu lái xe hạ tải Cảng Với 1.000 lượt phương tiện vào Cảng Bến Nghé ngày để giao nhận hàng hóa, việc quản lý theo chế thủ công phân hệ cổng phát sinh số vấn đề sau: việc nhập liệu chậm thời gian đơi lại khơng xác; quản lý tải trọng phương tiện cịn nhiều hạn chế, khó trích xuất thơng tin cần thiết; thống kê, báo cáo, tra cứu liệu phương tiện vào Cảng gặp nhiều khó khăn tốn nhiều thời gian; khơng thể chia sẻ, kết nối với phân hệ quản lý khác Bên cạnh đó, phân hệ cân điện tử: việc nhân viên nhập tay biển số xe vào phần mềm dễ bị sai sót dẫn đến in phiếu cân sai, buộc tài xế phải cân lại xe nên tạo dựng mối quan hệ không tốt tài xế nhân viên trạm cân Cảng; nữa, nghiệp vụ quản lý đòi hỏi chương trình cân điện tử phải có khả liên kết với phân hệ cổng để nhận liệu tải trọng cho phép xe nhằm phát trường hợp cân xe tải trọng để yêu cầu tài xế hạ tải Yêu cầu thực tế đơn vị cơng tác địi hỏi phải tiến hành nghiên cứu, triển khai áp dụng giải pháp mặt công nghệ để xây dựng, cải tiến toán quản lý tải trọng phương tiện vào Cảng Bến Nghé thông suốt liên tục từ phân hệ cổng đến trạm cân điện tử Trong đó, chức tự động nhận dạng biển số xe xem thiết yếu, xuyên suốt toàn hệ thống nhằm tăng khả tự động hóa, nâng cao độ xác nâng tầm vị doanh nghiệp xu hội nhập phát triển Hơn nữa, với đặc thù nghiệp vụ quản lý cảng biển, trình phương tiện vào Cảng lên trạm cân điện tử hệ thống camera giám sát ghi nhận để đáp ứng khả truy xuất ngược thông tin có yêu cầu Do đó, chức nhận dạng biển số xe cảng biển phải có khả nhận dạng ảnh động từ video thay ảnh tĩnh hệ thống thông thường 91 Các hệ thống nhận dạng biển số xe (Automatic License Plate Recoginition, ALPR) dựa thị giác máy tính nghiên cứu nước với phương pháp tiếp cận khác nhằm nâng cao độ xác thuật tốn nhận dạng biển số xe, kể đến sau: 4.1.1 Tình hình nghiên cứu thị giác máy tính vào nhận dạng biển số xe ngồi nước Tác giả Choo Kar Soon, Kueh Chiung Lin, Chung Ying Jeng, Shahrel A Suandi “Malaysian Car Number Plate Detection and Recognition System” năm 2012 [1] trình bày phương pháp áp dụng thị giác máy tính vào nhận dạng biển số xe ô tô Malaysia theo hướng tiếp cận: định vị biển số xe dựa kết hợp thuật toán AdaBoost với giải thuật phân tích thành phần liên thơng (Connected Component Analysis, CCA), kết có độ xác khoảng 98%; nhận dạng kí tự phương pháp KNN (K-nearest Neighbors) với độ xác 95% ảnh tĩnh video Trong đề tài này, tác giả viết điểm mạnh nghiên cứu thời gian thực thi nhanh phù hợp với việc nhận dạng biển số xe môi trường thực Bên cạnh đó, tác giả cân nhắc việc sử dụng phương pháp mạng neural nhân tạo (Artificial Neural Network, ANN) thay cho phương pháp KNN để nâng cao độ xác nhận dạng kí tự Ngồi ra, nghiên cứu này, liệu kiểm tra tác giả hạn chế, kết đánh giá với 100 ảnh tĩnh video nguồn Cơng trình nghiên cứu tác giả VinhDu Mai, Duoqian Miao, Ruizhi Wang and Hongyun Zhang viết “Recognition of Characters and Numbers in Vietnam License Plates based on Image Processing and Neural Network” năm 2012 [2] trình bày phương pháp nhận dạng chữ chữ số từ biển số xe theo hướng tiếp cận dựa công nghệ xử lý ảnh mạng neural Các tác giả thực nghiệm với 600 ảnh biển số xe điều kiện khác liên quan đến độ chiếu sáng, góc xoay biển số, màu sắc, kích cỡ, chủng loại với kết đạt có độ xác 98,33% biển số hình chữ nhật (biển số có dịng) 97,67 % biển số hình vng (biển số có hai dịng) Trong viết này, tác giả trình bày tốn nhận dạng biển số xe gồm ba bước sau: 1) Nhận dạng vùng chứa biển số, 2) Tách kí tự từ vùng chứa biển số xe, 3) Nhận dạng kí tự dạng text từ ảnh kí tự Tuy nhiên, phạm vi nghiên cứu cơng trình, tác giả tập trung vào việc cải thiện thuật toán nhận dạng kí tự bước khơng đề cập đến thuật toán nhận dạng bước bước quy trình ba bước nhận dạng biển số xe Khảo sát phương pháp nhận dạng biển số xe tập thể tác giả Chirag Patel, Dipti Shah, Atul Patel viết “Automatic Number Plate Recognition System (ANPR): A Survey” năm 2013 [3] dựa tiêu chí kích cỡ hình ảnh, độ xác thời gian nhận dạng Các tác giả điểm qua số cơng trình nghiên cứu nhận dạng biển số xe Theo đó, định vị vùng chứa biển số thực phương pháp: nhận dạng cạnh biên, phân tích thành phần liên thơng, phương pháp hình thái học,… ; tách kí tự biển số phương pháp: ảnh nhị phân phân tích thành phần liên thơng,…; nhận dạng kí tự biển số dựa 92 phương pháp: mạng nơ-rơn nhân tạo (ANN), gắn kết mẫu (template matching), sử dụng công cụ nhận dạng kí tự có sẵn (Optical Character Recognition, OCR tool) 4.1.2 Tình hình nghiên cứu thị giác máy tính vào nhận dạng biển số xe nước Tiến sĩ Trương Quốc Bảo Võ Văn Phúc viết “Giải thuật cho toán định vị nhận dạng biển số xe tơ” đăng tạp chí khoa học trường Đại học Cần Thơ năm 2013 [4] đề xuất phương pháp áp dụng thị giác máy tính để phát biển số xe tơ Theo đó, phương pháp đề xuất bao gồm giải thuật: giải thuật đánh nhãn cho thành phần liên thông (CCLA), giải thuật loại bỏ vùng không mong muốn (UREA), giải thuật định vị biển số xe ô tô cải tiến Kết kiểm chứng 200 ảnh đầu vào sau: Bảng 4.1: Kết kiểm chứng giải thuật Số lượng Định vị Biển số ngang 450 425 (94,4%) 420 (98,8%) 414 (98,6%) 92,0 % Biển số vuông 150 135 (90%) 132 (97,8%) 129 (97,8%) 86% Tên mẫu Tách kí tự Nhận dạng Tổng hợp Bên cạnh mặt đạt được, tác giả viết số vấn đề cần cải thiện tương lai sau: giải thuật nhị phân hóa với ngưỡng động làm dư kí tự; lát cắt hẹp pixel làm nét kí tự biển số chữ nhỏ, nét mỏng nghiêng, kí tự bị nhiễu biên bị áp dụng giải thuật đánh nhãn nhị phân hóa,… Luận văn Thạc sĩ cơng nghệ thông tin tác giả Lê Thị Thu Hằng Đại học Công nghệ (Đại học Quốc gia Hà Nội) với đề tài “Nghiên cứu mạng neural tích chập ứng dụng cho toán nhận dạng biển số xe” năm 2016 [5] với kết nhận dạng chung ứng dụng từ khâu phát vùng chứa biến số, tách kí tự đến nhận dạng kí tự đạt xấp xỉ 65% với tập liệu có nhiều ảnh khơng đạt tiêu chuẩn bóng mờ, dơ, nhịe…; với tập biển số xe rõ ràng, không chứa phụ kiện gắn biển số, kết nhận dạng đạt 70% Bên cạnh ưu điểm đạt được, với kết nhận dạng khoảng 70% khiêm tốn để áp dụng cơng trình nghiên cứu tác giả vào dự án thực tế Dựa khảo sát tình hình nghiên cứu ngồi nước, chúng tơi nhận thấy tốn nhận dạng biển số xe thực dựa ba bước sau: 1) Định vị vùng chứa biển số xe, 2) Tách kí tự biển số xe, 3) Nhận dạng kí tự biển số xe Các cơng trình nghiên cứu tập trung vào việc cải thiện độ xác bước theo nhiều hướng tiếp cận khác Theo đó, (1) định vị biển số xe tiếp cận dựa phương pháp hình thái học, kỹ thuật phát cạnh biên, thuật toán Adaboost,…; (2) tách kí tự biển số xe thực việc phân tích phép chiếu, phương pháp peak-to-valley kết hợp với đặc tính biển số xe, ; (3) nhận dạng kí tự biển số xe tiếp cận theo hướng sử dụng mạng neural nhân tạo thuật toán lan truyền ngược, mạng neural tích chập, v.v… 93 4.2 Những hạn chế thời Thời gian qua, công tác quản lý tải trọng phương tiện vào Công ty Trách nhiệm hữu hạn Một thành viên Cảng Bến Nghé, nơi học viên công tác, thực chế quản lý thủ công cổng vào bán thủ công trạm cân điện tử phát sinh số hạn chế công tác vận hành quản lý, đặc biệt khả tự động hóa hệ thống thấp, thời gian việc nhập tay biển số xe vào phần mềm lại khơng xác… Do đó, vấn đề mang tính cấp thiết doanh nghiệp địi hỏi cần nghiên cứu triển khai giải pháp mặt công nghệ, thị giác máy tính, có kỹ thuật nhận dạng biển số xe động để cải tiến hệ thống kiểm soát tải trọng phương tiện vào Cảng theo hướng tự động hóa cao, liên tục chặt chẽ từ cổng đến trạm cân điện tử Việc áp dụng thị giác máy tính vào nhận dạng biển số xe (ALPR) thời gian qua chủ yếu phục vụ cho hệ thống tự động thu phí đường cao tốc, có số ALPR áp dụng việc quản lý phương tiện vào cổng Tại nhiều đơn vị, quan, doanh nghiệp, trường học việc quản lý phương tiện vào cổng thực theo chế thủ công bán thủ công (nhân viên kiểm tra thủ công biển số xe dựa hình ảnh chụp) Hơn nữa, số lượng cơng trình, luận văn Thạc sĩ, Đại học nước biển số xe chưa nhiều chủ yếu nhận dạng ảnh tĩnh Do đó, lĩnh vực nhận dạng biển số xe động lĩnh vực cần thiết để nghiên cứu áp dụng thời gian tới, có việc giải tốn kiểm sốt tải trọng phương tiện vào cảng biển Xuất phát từ yêu cầu thực tế đơn vị công tác, qua khảo sát tổng quan tình hình nghiên cứu thị giác máy tính vào nhận dạng biển số xe ngồi nước, sở để chúng tơi đề xuất luận văn với đề tài “Hệ thống quản lý tải trọng phương tiện vào cảng biển dựa kỹ thuật nhận dạng biển số xe động” 94 Tính khoa học tính đề tài: 5.1 Tính khoa học đề tài Yếu tố khoa học luận văn tập trung phần nghiên cứu thị giác máy tính dùng kỹ thuật nhận dạng biển số xe cho ảnh động (xe không cần dừng) thay ảnh tĩnh, tổ hợp nghiên cứu giải toán sau:  Nghiên cứu áp dụng thuật tốn trích ảnh từ video  Nghiên cứu, so sánh thuật toán định vị vùng chứa biển số xe để xác định, phát triển phương pháp phù hợp với đề tài luận văn  Nghiên cứu phát triển phương pháp tách kí tự biển số xe dựa kỹ thuật phân tích phép chiếu kết hợp với đặc tính đặc trưng biển số xe Việt Nam  Nghiên cứu phương pháp nhận dạng kí tự biển số xe mạng neural nhân tạo (Artificial neural network, ANN) thuật toán lan truyền ngược (Back – propagation algorithm) Trích ảnh từ video Định vị vùng biển số Tách kí tự biển số Nhận dạng kí tự từ video 5.2 Tính đề tài Tính luận văn thể việc áp dụng thị giác máy tính dùng kỹ thuật nhận dạng biển số xe động để cải tiến hệ thống quản lý tải trọng phương tiện vào cảng biển thực nghiệm Công ty TNHH Một thành viên Cảng Bến Nghé, đơn vị hoạt động lĩnh vực khai thác dịch vụ cảng biển đa Nghiên cứu cải tiến thuật tốn nâng cao độ xác việc nhận dạng biển số xe động 5.3 Tính thực tiễn đề tài Đề tài đề xuất từ thực tế nơi học viên công tác doanh nghiệp hoạt động lĩnh vực khai thác dịch vụ cảng biển để cải tiến toán quản lý tải trọng phương tiện vào cảng Nếu nghiên cứu triển khai thành công, kết dự kiến mà đề tài mang đến xây dựng giải pháp đồng cho toán quản lý tải trọng phương tiện vào cảng biển với lợi ích sau:  Hiệu mặt kỹ thuật: quy trình quản lý tải trọng phương tiện vào Cảng kiểm soát chặt chẽ hệ thống phần mềm máy tính đảm bảo cơng tác kiểm soát tải trọng phương tiện liên tục đồng Bên cạnh đó, hệ thống phần mềm tự động nhận dạng biển số xe (khi xe di chuyển) thay cho phương pháp nhập tay trước 95  Hiệu mặt kinh tế  Giúp kéo giảm nhân ca trực phân hệ cổng trạm cân so với phương pháp quản lý theo chế thủ công bán tự động trước  Q trình giao nhận hàng hóa Cảng thuận lợi nhanh chóng góp phần đem đến hài lòng cho khách hàng đến làm việc Cảng  Hiệu mặt an ninh  Nâng cao công tác an ninh cảng biển Mỗi phương tiện vào Cảng hệ thống ghi nhận lưu trữ liệu server Thông tin lưu trữ gồm thông tin phương tiện tải trọng cho phép tham gia giao thơng Do góp phần kiểm sốt tốt tải trọng phương tiện vào Cảng theo quy định, chủ trương ngành Giao thơng Vận tải kiểm sốt tải trọng cảng biển  Kiểm soát chặt chẽ số lượng phương tiện có Cảng, thời gian phương tiện lưu lại Cảng, góp phần đảm bảo an ninh, an tồn trật tự Cảng  Giúp nhanh chóng tra cứu thơng tin trích xuất hình ảnh, video phương tiện vào Cảng có yêu cầu quan, đơn vị liên quan  Hiệu mặt xã hội: Việc nghiên cứu áp dụng đề tài góp phần kiểm sốt tốt tải trọng phương tiện vào Cảng, điều phù hợp với chủ trương, quy định ngành giao thông vận tải kiểm soát tải trọng phương tiện tham gia giao thơng Khi kiểm sốt tải trọng phương tiện vào Cảng, việc áp dụng đề tài góp phần hạn chế tình trạng phương tiện chở tải, khổ khâu phương tiện nhận hàng Do đảm bảo an tồn cho phương tiện người dân xung quanh tham gia giao thông Điều cần thiết giai đoạn mà liên tiếp việc phương tiện chở tải, khổ gây tai nạn phá vỡ kết cấu sở hạ tầng tham gia giao thông 96 Mục tiêu, đối tượng phạm vi nghiên cứu 6.1 Mục tiêu nghiên cứu Xây dựng hệ thống kiểm soát tải trọng phương tiện vào cảng biển dựa thị giác máy tính dùng kỹ thuật nhận dạng biển số xe động (xe di chuyển) Cải tiến thuật tốn để nâng cao độ xác việc nhận dạng biển số xe động, góp phần phát triển lĩnh vực nhận dạng biển số xe động dựa thuật toán kỹ thuật xử lý ảnh Áp dụng thực nghiệm kết đề tài Công ty TNHH Một thành viên Cảng Bến Nghé, đơn vị hoạt động lĩnh vực khai thác dịch vụ cảng biển đa năng, nơi học viên công tác, để xây dựng cải tiến toán kiểm soát tải trọng phương tiện vào Cảng thông suốt liên tục từ phân hệ cổng đến trạm cân điện tử 6.2 Đối tượng phạm vi nghiên cứu Đề tài hướng đến việc xây dựng cải tiến toán kiểm soát tải trọng phương tiện vào môi trường thực tế Công ty TNHH Một thành viên Cảng Bến Nghé, đơn vị hoạt động lĩnh vực khai thác dịch vụ cảng biển đa Bên cạnh đó, luận văn tập trung nghiên cứu số nghiệp vụ có liên quan như: nghiệp vụ quản lý phương tiện cổng vào, nghiệp vụ quản lý trạm cân Đối tượng nghiên cứu đề tài kỹ thuật xử lý ảnh, thuật tốn cải tiến để nâng cao độ xác việc nhận dạng biển số xe động với đầu vào video xe tải, xe container vào cổng lên trạm cân (xe không cần phải dừng lại) Nội dung, phương pháp dự định nghiên cứu 7.1 Nội dung dự định nghiên cứu  Nghiên cứu tổng quan:  Nghiên cứu toán quản lý tải trọng phương tiện vào cảng biển  Nghiên cứu nghiệp vụ quản lý phương tiện phân hệ cổng trạm cân  Nghiên cứu đặc tính đặc trưng biển số xe Việt Nam  Nghiên cứu kỹ thuật nhận dạng biển số xe động  Nghiên cứu tác giả  Nghiên cứu cải tiến toán quản lý tải trọng phương tiện vào môi trường thực tế Công ty TNHH Một thành viên Cảng Bến Nghé  Nghiên cứu thực nghiệm việc nhận dạng biển số động Công ty TNHH Một thành viên Cảng Bến Nghé  Nghiên cứu cải tiến thuật tốn trích ảnh biển số xe nâng cao độ xác việc nhận dạng biển số động (nhận dạng biển số xe di chuyển không cần phải dừng lại) 97 XE VÀO DIỄN GIẢI - Nhận dạng biển số lúc xe chạy vào cổng Camera - Kết nối đến cổng truy vấn Cục Đăng kiểm Việt Nam để lấy liệu tải trọng cho phép tham gia giao thông phương tiện Cục đăng kiểm - Tự động thu phí cho lượt xe vào cổng, nhắn tin SMS đến điện thoại khách hàng Nhận dạng biển số xe Trạm vào Kiểm soát vào Server Cổng toán online SMS Tải trọng cho phép CÂN TẢI TRỌNG - Nhận dạng biển số lúc xe chạy lên bàn cân Camera Camera Khách hàng - Cân tải trọng, so sánh với tải trọng cho phép từ chương trình cổng Bãi hàng Trạm cân điện tử Nhận dạng biển số xe Đầu cân Chương trình cân Server Thống kê - Tự động thu phí cho lượt xe lên cân, nhắn tin SMS đến điện thoại khách hàng - Nhận dạng biển số lúc xe chạy cổng XE RA - Kiểm tra thông tin xe so với liệu lưu trữ lúc xe vào Trạm Nhận dạng biển số xe Server Kiểm soát 98 Thống kê, báo cáo Hình 7.1: Sơ đồ mơ hệ thống quản lý tải trọng phương tiện vào cảng biển Trang 98 - Kiểm tra hàng hóa xe có với phiếu giao nhận hàng hóa * Sơ đồ nhận dạng biển số xe Loại bỏ background ảnh biển số Nhị phân hóa ảnh Trích vùng biển số Tách ảnh kí tự rời Hình 7.2: Sơ đồ nhận dạng biển số xe 99 Nhận dạng kí tự dùng mạng neural Chuỗi kí tự biển số 1277 FGG 7.2 Phương pháp dự định nghiên cứu  Nghiên cứu lý thuyết ảnh số: hệ màu, điểm ảnh, ảnh trắng đen,…  Nghiên cứu kỹ thuật trích ảnh từ video  Nghiên cứu phương pháp nâng cao chất lượng ảnh lọc thông cao lọc thông thấp  Nghiên cứu áp dụng số thuật giải có:  Lượt đồ xám (Gray histogram)  Phân ngưỡng Threshold  Chuẩn hóa kích thước ảnh (toán tử Gradient)  Các phương pháp lọc: lọc tuyến tính (lọc trung bình), lọc phi tuyến (lọc trung vị),…  Chuyển ảnh xám sang ảnh nhị phân  Nghiên cứu phát triển kỹ thuật định vị vùng chứa biển số xe phương pháp hình thái học kết hợp với đặc trưng biển số xe Việt Nam  Nghiên cứu phát triển phương pháp tách kí tự biển số xe  Nghiên cứu phương pháp nhận dạng kí tự biển số xe mạng neural nhân tạo thuật toán lan truyền ngược  Nghiên cứu nâng cao độ xác cho tốn nhận dạng biển số xe động  Nghiên cứu kỹ thuật lập trình kết nối với cổng tốn online nhắn tin thông báo SMS đến điện thoại khách hàng  Nghiên cứu thực quy trình quản lý tải trọng phương tiện vào cổng trạm cân hệ thống phần mềm dựa kỹ thuật nhận dạng biển số xe động 7.3 Dự kiến cấu trúc luận văn Luận văn hướng đến việc xây dựng hệ thống kiểm soát tải trọng phương tiện vào cảng biển dựa kỹ thuật nhận dạng biển số xe động áp dụng thực nghiệm Công ty Trách nhiệm hữu hạn Một thành viên Cảng Bến Nghé, với cấu trúc dự kiến luận văn bao gồm chương sau: Chương 1: Tổng quan  Trình bày tính cấp bách việc kiểm sốt tải trọng phương tiện vào cảng biển, có thực trạng quản lý tải trọng phương tiện 100 vào Công ty Trách nhiệm hữu hạn Một thành viên Cảng Bến Nghé, đơn vị hoạt động lĩnh vực khai thác dịch vụ cảng biển đa  Tổng quan tình hình nghiên cứu thị giác máy tính vào việc nhận dạng biển số xe động nước  Các vấn đề cần giải luận văn  Các phương pháp áp dụng đóng góp luận văn vào việc nghiên cứu khoa học lợi ích thực tiễn đề tài triển khai  Trình bày bố cục luận văn Chương 2: Cơ sở lý thuyết  Tổng quan kiến thức xử lý ảnh  Trình bày phương pháp, thuật toán để chuyển ảnh màu sang ảnh xám ảnh nhị phân  Giới thiệu hệ thống nhận dạng biển số xe động  Trình bày ưu, nhược điểm thuật tốn nhận dạng vùng chứa biển số xe, tách kí tự biển số nhận dạng kí tự biển số xe Chương 3: Bài toán nhận dạng biển số xe động  Mơ hình hóa tốn  Trình bày kỹ thuật, phương pháp, thuật toán sử dụng để nhận dạng biển số xe động  Nghiên cứu tác giả việc cải tiến, nâng cao độ xác nhận dạng biển số xe động  Đánh giá độ xác tốn nhận dạng biển số xe động Chương 4: Hệ thống kiểm soát tải trọng phương tiện vào cảng biển  Mơ hình hóa hệ thống quản lý tải trọng cảng biển  Tổng quan nghiệp vụ quản lý cổng vào trạm cân điện tử  Trình bày thực trạng quản lý tải trọng phương tiện Cảng Bến Nghé  Xây dựng hệ thống kiểm soát tải trọng phương tiện vào Cảng Bến Nghé  Thực nghiệm, đánh giá kết hệ thống Chương 5: Kết luận  So sánh, đánh giá kết đạt luận văn  Hướng phát triển đề tài thời gian tới 101 Kế hoạch bố trí thời gian nghiên cứu Đề tài dự kiến thực tháng tính từ thời điểm chấp thuận làm luận văn Thạc sĩ hướng dẫn GVHD với kế hoạch cụ thể sau: STT Nội dung cơng việc * Nghiên cứu tốn nhận dạng biển số xe động Thời gian thực Công việc trước tháng Tìm hiểu, nghiên cứu thêm tài liệu tham khảo tuần Nghiên cứu lý thuyết ảnh số ngày Nghiên cứu thuật toán phương pháp chuyển ảnh màu sang ảnh xám tuần Nghiên cứu thuật toán cắt ảnh từ video tuần Nghiên cứu phương pháp định vị vùng chứa biển số xe tuần Nghiên cứu phương pháp tách kí tự tuần Nghiên cứu phương pháp nhận dạng kí tự mạng neural nhân tạo (ANN) thuật toán lan truyền ngược tuần Thu thập liệu video chứa biển số xe ngày 10 Xây dựng toán nhận dạng biển số động, thực nghiệm, đánh giá kết nhận dạng tuần 5, 6, 7, 11 Báo cáo kết với GVHD ngày 10 tuần 11 Cải tiến nâng cao độ xác nhận dạng biển số xe * Nghiên cứu toán quản lý tải trọng xe vào cảng biển 12 tuần 13 Khảo sát nghiệp vụ quản lý cổng trạm cân tuần 14 Xây dựng mô hình tổng qt, mơ hình chi tiết để quản lý tải trọng xe vào từ cổng đến trạm cân ngày 15 Nghiên cứu tính tốn online, gửi tin nhắn thông báo SMS ngày 16 Xây dựng phần mềm quản lý cổng vào tuần 14, 15 17 Hiệu chỉnh chương trình cân điện tử tuần 14, 15 102 13 18 Hiệu chỉnh, đánh giá kết hệ thống quản lý tải trọng phương tiện vào; tối ưu hóa giao diện sử dụng tuần 16, 17 19 Báo cáo kết với GVHD ngày 18 * Viết báo cáo luận văn tuần 20 Tìm hiểu quy chuẩn luận văn Thạc sĩ ngày 21 Hệ thống, tổng hợp lại kết luận văn ngày 22 Viết báo cáo luận văn tuần 23 Báo cáo với GVHD ngày 24 Hiệu chỉnh luận văn, chuẩn bị xemina ngày 22 Tài liệu tham khảo [1] Choo Kar Soon, Kueh Chiung Lin, Chung Ying Jeng, Shahrel A Suandi (2012), “Malaysian Car Number Plate Detection and Recognition System” Australian Journal of Basic and Applied Sciences, 2012, pp 49-59, ISSN 19918178 [2] VinhDu Mai, Duoqian Miao, Ruizhi Wang, Hongyun Zhang (2012), “Recognition of Characters and Numbers in Vietnam License Plates based on Image Processing and Neural Network” International Journal of Hybrid Information Technology, Vol 5, No 2, 2012 [3] Chirag Patel, PhD Dipti Shah, PhD Atul Patel (2013), “Automatic Number Plate Recognition System (ANPR): A Survey” International Journal of Computer Applications, Vol 69, No 9, 2013 [4] TS Trương Quốc Bảo, Võ Văn Phúc (2013), “Giải thuật cho toán định vị nhận dạng biển số xe tơ” Tạp chí Khoa học Trường Đại học Cần Thơ, 2013, pp 44-45 [5] Lê Thị Thu Hằng (2016), “Nghiên cứu mạng neural tích chập ứng dụng cho toán nhận dạng biển số xe” Luận văn Thạc sĩ ngành Công nghệ thông tin (2016), trường Đại học Công nghệ (Đại học Quốc gia Hà Nội) [6] Kuo-Ming Hung, Ching-Tang Hsieh (2010), “A Real-Time Mobile Vehicle License Plate Detection and Recognition” Tamkang Journal of Science and Engineering, Vol 13, No 4, 2010, pp 433-442 [7] P.Mohan Kumar, P.Kumaresan, Dr S.A.K.Jilani (2012), “The Real Time Vechicle License Plate Identification System” International Journal of Engineering Research and Development, Vol 2, No 4, 2012, pp 35-39 103 [8] TS Đỗ Năng Tồn, TS Phạm Việt Bình (2007) Xử lý ảnh Khoa Công nghệ Thông tin, Đại học Thái Nguyên [9] PGS.TS Nguyễn Quang Hoan (2006) Xử lý ảnh Học viện cơng nghệ bưu viễn thơng [10] Lương Mạnh Bá, Nguyễn Thanh Thủy (2006) Nhập môn xử lý ảnh Nhà xuất khoa học kỹ thuật TP HCM, ngày tháng năm NGƯỜI HƯỚNG DẪN HỌC VIÊN KÝ TÊN (Họ tên chữ ký) (Họ tên chữ ký) 104 ... giác máy tính vào nhận dạng biển số xe ngồi nước, sở để tác giả đề xuất luận văn với đề tài ? ?Hệ thống quản lý tải trọng phương tiện vào cảng biển dựa kỹ thuật nhận dạng biển số xe động? ?? 1.2 Mục... CƠ SỞ LÝ THUYẾT 3.3 Kỹ thuật nhận dạng biển số xe động 3.3.1 Tóm tắt quy trình nhận dạng biển số xe động Hệ thống hoạt động với liệu đầu vào dãy ảnh nhận từ camera giai đoạn xe di chuyển vào cổng... THUYẾT 3.1 Tổng quan hệ thống nhận dạng biển số xe Hệ thống nhận dạng biển số xe (ALPR) hệ thống có khả phân tích hình ảnh video để phát biển số phương tiện hình ảnh video Một hệ thống ALPR thường