MỘT GIẢI PHÁP TRONG XÂY DỰNG HỆ THỐNG HỖ TRỢ GIỮ XE THÔNG MINH

Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 MỘT GIẢI PHÁP TRONG XÂY DỰNG HỆ THỐNG HỖ TRỢ GIỮ XE THÔNG MINH Nguyễn Thái Nghe1, Nguyễn Văn Đồng1 Võ Hùng Vĩ1 Khoa Công nghệ Thông tin & Truyền thông, Trường Đại học Cần Thơ Thông tin chung: Ngày nhận: 27/05/2014 Ngày chấp nhận: 29/12/2014 Title: A solution for building intelligent parking support system Từ khóa: Hệ thống giữ xe thông minh, nhận dạng biển số xe, đặc trưng Haar-like, mã vạch Keywords: Intelligent parking support system, motorcycle license plate recognition, Haar-like feature, barcode ABSTRACT In this study, we propose a solution for building an Intelligent Parking Support System (IPSS) The IPSS uses three recognition techniques including automatic recognition for motorcycle license plate (using cascade of Boosting with Haar-like features and Support Vector Machines - SVM), barcode recognition, and semi-recognition via surveillance cameras Experimental results show that the models work well in three stages In the license plate area recognition stage, the model gets 99% of accuracy when we use 750 images for training and 243 images for testing In the letter area recognition stage, the model achieves 95.88% of accuracy when we use 11866 and 4755 images for training and testing, respectively In the last stage, we train the SVM model on 2603 records and test it on 1550 records The outcome result is the accuracy of 98.99% This is a full-fledged system and can be applied in practice TÓM TẮT Bài viết giới thiệu giải pháp xây dựng “Hệ thống hỗ trợ giữ xe thông minh - IPSS” Nhằm tăng độ an toàn cho bãi xe, IPSS kết hợp kỹ thuật nhận dạng gồm: Nhận dạng rút trích biển số tự động (dùng giải thuật Boosting phân tầng với đặc trưng Haar-like sau giải thuật máy học SVM), nhận dạng mã vạch, nhận dạng bán tự động qua camera quan sát Thực nghiệm cho thấy kết nhận dạng tốt ba giai đoạn: Định vị biển số đạt độ xác 99% dùng 750 ảnh để huấn luyện 243 ảnh để kiểm thử Định vị ký tự xác 95.88% dùng 11866 ảnh cho huấn luyện 4755 ảnh để kiểm thử Phân loại ký tự giải thuật SVM xác 98.99% sử dụng 2603 phần tử cho huấn luyện 1550 phần tử cho đánh giá Hệ thống cài đặt hoàn chỉnh đưa vào ứng dụng thực tế GIỚI THIỆU Trong thực tế, có nhiều nhóm nghiên cứu thương mại hóa toán xây dựng hệ thống hỗ trợ giữ xe, chẳng hạn nhóm Mắt thần thuộc Trung tâm Công nghệ Mô - Học viện Kỹ thuật quân cho đời sản phẩm “Hệ thống quản lý bãi xe thông minh ứng dụng công nghệ nhận dạng biển số kết hợp với công nghệ thẻ” năm 2006; Công ty cổ phần đầu tư phát triển phần mềm Biển Bạc nghiên cứu phát triển thành công phần Do mật độ dân số nước ta phân bổ đông thành phố lớn phương tiện giao thông công cộng chưa phát triển kịp nên bùng nổ phương tiên giao thông cá nhân, đặc biệt xe máy Chính công tác quản lý, trông coi, kiểm soát xe máy, đặc biệt phát hành vi kẻ gian, tốn nhiều thời gian công sức 17 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 biển số hay không Bên cạnh số ràng buộc chuẩn chiều cao/rộng ký tự phải nhau, tâm ký tự phải nằm đường thẳng, chiều cao ký tự phải lớn phân nửa chiều cao biển số trích xuất được J.-W Hsieh (2002) giới thiệu Một tiếp cận khác sử dụng thống kê đường biên toán tử hình thái để trích xuất ứng viên (biển số xe), sau loại bỏ ứng viên không cách kiểm tra ràng buộc Những phương pháp có ưu điểm không phụ thuộc vào màu sắc biển số xe, nhiên chúng phụ thuộc nhiều vào bước trích đặc trưng biên cạnh (các đoạn thẳng ứng viên thu thường ngắn nhiều so với chiều dọc chiều ngang biển số) mềm STM01 quản lý phương tiện phát vi phạm giao thông năm 2010; “Bãi giữ xe thông minh” công ty AIO , hệ thống có tích hợp máy nhận dạng vân tay (từ hệ thống chấm công) có người đưa xe vào lấy xe Điều gây bất tiện, chẳng hạn mượn nhờ xe người khác siêu thị, khu mua sắm người đưa xe vào chồng, người lấy xe vợ người chồng bận khiêng hàng hóa, ; Hay hệ thống “PTP_SP : Hệ thống giữ xe thông minh” công ty Vương Thịnh Phát cài đặt nhiều siêu thị Tuy nhiên, hệ thống sử dụng camera để ghi lại hình ảnh biển số xe người gửi để hỗ trợ cho nhân viên giữ xe quan sát chưa nhận dạng tự động, việc nhận dạng phải cần nhân viên thực Một số nghiên cứu khác tập trung lĩnh vực bán tự động dừng lại mức kiểm tra thử nghiệm giải thuật Trong phương pháp so khớp mẫu, mẫu chuẩn biển số xe nhận dạng trước nhận dạng tham số thông qua hàm Từ ảnh đưa vào, tính giá trị tương quan so với mẫu chuẩn Thông qua giá trị tương quan để định có tồn biển số xe ảnh hay không Phương pháp đơn giản, dễ cài đặt, chưa hiệu tỷ lệ, tư thế, hình dáng thay đổi Ở phương pháp máy học, K.-I Kim et al (2002) giới thiệu phương pháp phát biển số xe cách áp dụng máy học SVM lên “ứng viên” xem vùng có kết cấu rời rạc (discriminatory texture) Khuyết điểm phương pháp phụ thuộc nhiều vào hình dáng vẻ biển số, không hiệu điều kiện nhiễu, thiếu độ sáng thay đổi phép quay Để khắc phục điểm bất lợi trên, Q-N Tran et al (2008) đề xuất nhận dạng cách kết hợp điểm mạnh vectơ mô tả SIFT (Scale-Invariant Feature Transform) máy học SVM thông qua việc trích đặc trưng biển số xe biển số xe đưa vào cho giải thuật SVM học, từ phân loại cho đối tượng Phương pháp khắc phục thách thức phân loại ảnh biến đổi tỉ lệ, thay đổi góc nhìn, phép quay, thay đổi độ sáng, nhiễu Tuy nhiên, có độ phức tạp cao thời gian thực lâu Từ thực tế trên, việc nghiên cứu xây dựng hệ thống hỗ trợ giữ xe thông minh - tên gọi tắt IPSS (Intelligent Parking Support System) để ứng dụng thực tế cần thiết Đặc biệt nghiên cứu này, kết hợp kỹ thuật gồm việc nhận dạng biển số, nhận dạng ký tự, phân loại ký tự giải thuật máy học SVM, sử dụng công nghệ barcode để kiểm tra thẻ xe vào Bên cạnh phương pháp tự động, nhằm tăng độ an toàn tối đa, hệ thống hỗ trợ lưu trữ truy xuất lại ảnh biển số xe, ảnh khuôn mặt người gửi xe để nhân viên so sánh đối chiếu NHỮNG NGHIÊN CỨU LIÊN QUAN TRONG LĨNH VỰC NHẬN DẠNG Bài toán phát đối tượng ảnh gương mặt người, nụ cười (smile), quan tâm Các nhà sản xuất máy ảnh Canon, Nikon, Samsung,… tích hợp giải thuật nhận dạng vào sản phẩm phát mặt người Trong nghiên cứu trước lĩnh vực nhận dạng biển số xe, phương pháp trình bày nhóm: phương pháp hình thái học, phương pháp so khớp mẫu, phương pháp máy học (J.-W Hsieh et al., 2002, K.-I Kim et al., 2002) ĐẶC TRƯNG HAAR-LIKE, GIẢI THUẬT BOOSTING PHÂN TẦNG VÀ MÔ HÌNH SVM 3.1 Đặc trưng Haar-like Với phương pháp biến đổi Hough, V Kamat S Ganesan (1995) đề xuất sau: Sử dụng biến đổi Hough để phát đường thẳng song song xem “ứng cử viên” biển số Sau đó, ràng buộc hình học biển số áp dụng để kiểm tra xem ứng viên có phải Các đặc trưng Haar-Like (P.-A Viola M-J Jones, 2001) hình chữ nhật phân thành vùng khác biểu diễn Hình 1: 18 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 a Đặc trưng cạnh b Đặc trưng đường c Đặc trưng xung quanh tâm d Đặc trưng đường chéo Hình 1: Các đặc trưng Haar-Like Haar-like, với phần tử mảng tính cách tính tổng điểm ảnh phía (dòng - 1) bên trái (cột - 1) Bắt đầu từ vị trí bên trái, đến vị trí bên phải ảnh Việc tính toán dựa phép cộng số nguyên, tốc độ cải thiện đáng kể Giá trị đặc trưng Haar-like xác định độ chênh lệch tổng giá trị pixel mức xám nằm vùng đen so với vùng trắng: f(x)=Tổngvùng đen (các mức xám pixel) – Tổngvùng trắng (các mức xám pixel) Hình 3: Tính giá trị mức xám vùng D ảnh Hình 2: Phương pháp tính Integral Image Sau tính Integral Image, việc tính tổng giá trị mức xám vùng ảnh thực theo cách sau: Giả sử ta cần tính tổng giá trị mức xám vùng D Hình 3, ta tính: D = A + B + C + D – (A+B) – (A+C) + A Như để tính giá trị đặc trưng Haarlike, người ta phải tính tổng pixel ảnh Nhưng để tính toán giá trị đặc trưng Haar-like cho tất vị trí ảnh đòi hỏi chi phí tính toán lớn, không đáp ứng cho ứng dụng đòi hỏi tính run-time Do đó, Viola Jones (2001) đưa khái niệm gọi Integral Image - mảng hai chiều với kích thước với kích thước ảnh cần tính đặc trưng D = (x4, y4) A+B+C+D Với A + B + C + D giá trị điểm P4 Integral Image, tương tự A+B giá trị điểm P2, A+C giá trị điểm P3, A giá trị điểm P1 Vậy ta viết lại biểu thức tính D: – (x2, y2) – (x3, y3) + (x1, y1) A+B A+C A luyện mẫu mà phân lớp trước nhận dạng sai Mô hình cascade cho nhận dạng đối tượng biểu diễn Hình Đối tượng nghiên cứu ảnh biển số xe giai đoạn định vị biển số ảnh ký tự giai đoạn định vị ký tự 3.2 Mô hình phân lớp phân tầng (Cascade Classifier) Trong mô hình phân lớp phân tầng, tầng phân lớp Một mẫu để phát đối tượng cần phải qua hết tất tầng mô hình, phân lớp tầng sau huấn 19 Tạp chí Khoa học Trường Đại học Cần Thơ Ảnh C1 Sai Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 Đúng Đúng Sai CN Đúng Đối tượng Sai Không phải đối tượng Hình 4: Mô hình phân lớp phân tầng (one vs rest) 1–1 (one vs one) Ví dụ, phân lớp nhị phân tuyến tính, cho m phần tử (điểm) liệu không gian n chiều: {(xi, yi)}, n i={1 m}, với thuộc tính xi  R nhãn (lớp) y i {1,-1} Sau trình tối ưu để tìm tham số (các véc tơ hỗ trợ - support vectors (với số Thuật toán tiến hành phân thành giai đoạn (stage), “vùng ứng viên” phải đạt ngưỡng (threshold) tất giai đoạn để xác định có chứa đối tượng Số lượng giai đoạn ngưỡng định liệu học tham số khác người dùng định Để nhận dạng thuật toán tiến hành lấy mẫu từ tập liệu: tập ảnh dương bao gồm ảnh có chứa đối tượng tập ảnh âm không chứa đối tượng Chuyển ảnh sang ảnh mức xám tiến hành học dựa ảnh Dữ liệu học nhiều nhận diện xác, bao gồm ảnh dương âm, bù lại thời gian huấn luyện lâu Nếu vùng nghi ngờ xác định đối tượng thuật toán trả khung hình chữ nhật (vì có nhiều đối tượng hình) Mô hình phân lớp phân tầng kết hợp với đặc trưng Haar-like xây dựng nhằm rút ngắn thời gian xử lý, giảm thiểu tỷ lệ nhận dạng sai nhận dạng (bạn đọc quan tâm xin tham khảo thêm tài liệu P.-A Viola M-J Jones (2001) 3.3 Giải thuật máy học Support Vector Machines (SVM) lượng NSV) nhân tử Lagrange  i ), SVM phân lớp phần tử liệu đến x sau:  N SV    predict( x)  sign  i yi xi x  b   i 1     Trong đó: ĐỀ XUẤT PHƯƠNG PHÁP NHẬN DẠNG VÀ RÚT TRÍCH KÝ TỰ TRONG BIỂN SỐ XE SVM (C Corinna and V Vapnik, 1995) áp dụng thành công nhiều ứng dụng nhận dạng vân tay, nhận dạng mặt người, phân loại bệnh ung thư, Trong nghiên cứu này, quan tâm tới SVM phương pháp phân lớp tuyến tính (linear classifier), với mục đích xác định siêu phẳng (hyperplane) tối ưu để phân tách hai lớp liệu nghĩa cho phép chia điểm (phần tử) liệu thành hai phần cho điểm lớp nằm phía siêu phẳng Đối với tập liệu toán có nhiều lớp đưa toán lớp kỹ thuật 1-tất Chúng đề xuất quy trình nhận dạng rút trích biển số qua bước mô tả Hình Ở đó, sau hệ thống nhận ảnh chụp từ camera, hệ thống định vị trích vùng chứa biển số Từ vùng chứa biển số này, thực tương tự để trích ảnh ký tự có vùng biển số Các ảnh ký tự sau chuyển sang dạng nhị phân để làm đầu vào cho phân lớp SVM Sau cùng, giải thuật SVM phân loại giá trị nhị phân thuộc vào ký tự tương ứng (0 9, A Z) 20 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 Hình 5: Quy trình nhận dạng phân lớp biển số xe Sau đây, mô tả chi tiết cách thực cho bước hình 4.1 Định vị vùng biển số xe Bước 2: Xác định tọa độ vùng chứa biển số xe, sau lưu toàn chúng vào tập tin (ví dụ “location.txt”) với nội dung: Giai đoạn sử dụng đặc trưng Haar-like Boosting phân tầng (mỗi phân lớp Hình mô hình Boosting với phân lớp yếu Cây định) để định vị vùng biển số xe, sau trích ảnh biển số minh họa Hình Giải thuật định vị có sẵn thư viện EmguCV1, vấn đề ta cần thực tiền hậu xử lý ảnh để có vùng biển số mong muốn Chi tiết cách thực trình bày qua bước / x11 y11 w11 h11 x12 y12 w12 h12 … / x21 y21 w21 h21 Với: x11, y11 tọa độ biển số xe; w11, h11 chiều rộng chiều cao biển số minh họa Hình Ví dụ: D:/bienso/1.jpg 132 112 303 216 D:/bienso/2.jpg 164 122 288 209 Ở giai đoạn này, phát triển công cụ để đọc ảnh, click-and-drag để chọn vùng biển số xác định tọa độ đối tượng (sau lưu lại vào file location.txt trình bày trên) Hình 6: Định vị trích ảnh biển số xe Bước 1: Chuẩn bị tập liệu huấn luyện gồm 2250 ảnh màu Trong đó, 750 ảnh chứa biển số xe (tập ảnh tập ảnh dương - positive) 1500 ảnh không chứa biển số xe (hình phong cảnh, vật dụng, Tập ảnh gọi tập ảnh âm (negative) hay ảnh (background)) Lưu ý: Hai tập ảnh nên kích thước (trong nghiên cứu 640 x 480 pixels) nên xoay ảnh theo nhiều góc để vét cạn trường hợp thực tế Hình 7: Xác định tọa độ vùng chứa biển số xe http://www.emgu.com/ 21 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 tạo thư mục từ  nstages Khi huấn luyện xong tạo file bienso.xml chứa mô hình để sử dụng sau Bước 3: Tạo mẫu dùng cho huấn luyện (sử dụng chương trình opencv_createsamples2 thư viện EmguCV), lưu lại vào tập tin vector dùng để huấn luyện bước Cú pháp:  vec vec.vec: chứa đường dẫn đến file vector tạo Bước opencv_createsamples -vec vec.vec -info D:\bienso\location.txt -num 750 -w 40 -h 30  bg D:\bienso\bg.txt: đường dẫn đến file chứa danh sách ảnh (ảnh âm) tạo Bước Trong đó:  vec vec.vec: file vector ouput lưu với tên “vec.vec” Đây tập tin vectơ chứa ảnh thumbnail với kích cỡ tham số width height tập tin location.txt Dựa vào file mà chương trình tìm đặc trưng haar-like đối tượng, từ tạo nhận diện dựa đặc trưng  npos 750: số lượng ảnh dương (biển số)  nneg 1500: số lượng ảnh âm (ảnh nền)  nstages 20: số lượng giai đoạn (stage) huấn luyện  mem 2000: dung lượng nhớ RAM cần cho trình huấn luyện (MB)  info D:\bienso\location.txt: tập tin chứa tọa độ biển số tạo Bước  nonsym: khai báo đối tượng huấn luyện tính đối xứng  num 750: số ảnh dương (biển số) 750  minhitrate 0.995: tỉ lệ dự đoán tối thiểu  w 40 -h 30: tham số xác định kích thước ảnh tối thiểu Nếu kích thước biển số nhỏ 40x30 chương trình cho biển số ảnh  maxfalsealarm 0.5: tỉ lệ dự đoán sai tối đa 4.2 Định vị ký tự Hoàn toàn tương tự giai đoạn định vị biển số, ta thực việc định vị trích ảnh ký tự biển số xe minh họa Hình (lưu ý: sau bước ta nhận ký tự dạng ảnh) Bước 4: Tạo tập tin mục ảnh không chứa biển số xe (ví dụ bg.txt), tập tin đơn giản chứa đường dẫn tên ảnh background (ảnh âm – ảnh không chứa biển số xe có kích thước 640 x 480 pixels với ảnh chứa biển số xe), ví dụ: / … / Tách ảnh ký tự Bước 5: Huấn luyện mô hình Sử dụng chương trình opencv_haartraining (đi kèm với EmguCV) để huấn luyện, lưu tập tin mô hình với tên bienso.xml Cú pháp sau: Hình 8: Định vị trích ảnh ký tự biển số xe Chúng sử dụng liệu huấn luyện giai đoạn gồm 5200 ảnh màu Trong đó, 1500 ảnh chứa ảnh ký tự biển số xe 3700 ảnh không chứa ký tự biển số xe (hình phong cảnh, vật dụng…) Các bước thực hoàn toàn tương tự giai đoạn định vị biển số Sau định vị ảnh ký tự, tách chuyển chúng kích thước 20x48 pixels minh họa Hình Với ảnh ký tự thu được, đề xuất chuyển chúng giá trị nhị phân để làm tập liệu đầu vào cho phân lớp SVM opencv_haartraining -data D:\bienso -vec vec.vec -D:\bienso\bg.txt -npos 750 -nneg 1500 nstages 20 -mem 2000 -w 40 -h 30 -nonsym minhitrate 0.995 -maxfalsealarm 0.5 Trong đó:  data D:\bienso: đường dẫn thư mục chứa file thông số ngõ cập nhật tầng huấn luyện (cascade) Khi huấn luyện chương trình http://docs.opencv.org/doc/user_guide/ug_traincascade.html 22 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 Hình 9: Ảnh ký tự sau tách 4.3 Chuyển ảnh ký tự sang dạng nhị phân Tuy nhiên, thực tế có lúc ký tự biển số không thẳng đứng mà nghiêng bên đó, tập liệu phải bao gồm nhiều góc xoay khác Qua khảo sát thực tế cho thấy góc nghiêng nằm khoảng từ -10° đến 10° Hình 10 Ở bước này, chuyển ảnh ký tự (20x48) thành giá trị nhị phân biểu diễn tương ứng cho ảnh, minh họa Hình 11 Giải thuật sử dụng đơn giản với điểm ảnh, mức sáng (intensity) lớn ngưỡng (ví dụ, nghiên cứu sử dụng giá trị trung bình mức xám ảnh để làm giá trị ngưỡng) chuyển thành 1, ngược lại Hình 10: Các góc xoay ký tự Hình 11: Chuyển ảnh ký tự thành ma trận nhị phân 20x48 Hình minh họa cho ảnh ký tự D, nhiên ta chuyển toàn thư mục ảnh 23 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 Sau chuyển ảnh ký tự sang dạng nhị phân, tùy theo phân lớp (classification) sử dụng mà ta chuyển thành định dạng đầu vào tương ứng phân lớp Trong nghiên cứu này, sử dụng LibSVM (http://www.csie.ntu.edu.tw/~cjlin/libsvm/) với định dạng liệu đầu vào sau: Trong đó, cột nhãn (lớp đích cần phân loại – target class), vị trí có giá trị Ví dụ Hình 11, số nhị phân kích thước 20x48 có 960 vị trí chữ D biểu diễn theo định dạng LibSVM sau: 13 23:1 24:1 … … 869:1 870:1 Với số 13 tương ứng ký tự D quy ước bảng đây: ::… … : :… Ký tự A B C D E F G H K L M N P R S T U V X Y Z Số tương ứng 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30  Quản lý xe vào/ra (lưu trữ hình ảnh biển số, Thực tương tự cho tất ảnh ký tự thu khuôn mặt người gửi xe, lưu trữ ký tự phần 4.2 (minh họa Hình 9) ta thu biển số xe sau nhận dạng, thời gian vào/ra ) tập liệu dùng để huấn luyện mô hình SVM  Quản lý thẻ xe (tạo thẻ xe kèm mã vạch, in thẻ, báo mất, báo hư, ) 4.4 Xây dựng mô hình SVM  Quản lý thông tin nhân viên (gồm lịch trực) Sử dụng liệu thu phần 4.3 trước,  Quản lý tài khoản hệ thống (quyền, nhóm ) huấn luyện mô hình SVM (có thể sử dụng công cụ LibSVM) với tham số mặc định Trong tương lai, cải tiến kết huấn luyện cách tìm kiếm siêu tham số (hyper-parameters) tốt nhất, giá trị C, hàm kernel, giá trị gamma, 4.5 Nhận dạng phân loại cho ảnh biển số xe đến  Tìm kiếm xe theo thông tin biển số xe, thời gian vào/ra…  Thống kê lưu lượng xe ra/vào, doanh thu, thời gian làm việc nhân viên theo khoảng thời gian 5.1 Sơ đồ tổng thể hệ thống Khi có ảnh biển số xe đến, ta sử dụng mô hình có để định vị biển số, định vị ký tự, chuyển ký tự dạng nhị phân sau dùng SVM để nhận dạng (phân loại) ký tự có biển số Sơ đồ tổng thể hệ thống biểu diễn Hình 12 Ở đó, xe vào dừng vạch quy định, lúc nhân viên quét mã vạch thẻ giữ xe để lưu lại số thẻ Cùng lúc đó, camera thứ chụp ảnh gương mặt người gửi xe, camera thứ chụp ảnh biển số xe, ảnh hệ thống lưu lại Ảnh biển số xe nhận dạng chuyển thành ký tự tương ứng Như vậy, thông tin quan trọng hệ thống ghi lại số thẻ xe, ảnh gương mặt người gửi xe, ảnh biển số xe, ký tự biển số, thời gian vào/ra XÂY DỰNG HỆ THỐNG Sau bước huấn luyện mô hình, công việc lại xây dựng hệ thống hoàn chỉnh để tích hợp mô hình vào Tương tự hệ thống thông tin quản lý nào, chức hệ thống bao gồm: 24 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 Hình 12: Sơ đồ tổng thể hệ thống đối chiếu tự động cho phần biển số (module  Hình 12), đối chiếu qua quan sát hình ảnh (gương mặt, quần áo, hình biển số, – module ) người gửi xe (do nhân viên thực hiện) việc in thẻ giả trở ngại lớn cho độ an toàn hệ thống Tuy nhiên, tương lai hướng đến sử dụng thẻ từ - công nghệ bảo mật tốt giá thành đắt đỏ So với hệ thống siêu thị, bệnh viện, (chỉ có module ) hệ thống IPSS hoàn toàn khả thi 5.2 Lược đồ sở liệu (CSDL) Khi xe dừng vị trí quy định, nhân viên quét mã vạch thẻ nhận từ người gửi xe, hệ thống tự động truy xuất lại thông tin xe vào để so sánh đối chiếu, biển số giống chương trình thông báo cho xe Ngược lại cảnh báo để nhân viên so sánh đối chiếu ảnh lưu Đối với xe đạp, biển số nên thuộc tính không lưu lại Các thông tin khác tương tự trường hợp xe máy Cũng cần lưu ý mô hình giải pháp bán tự động, phải có nhân viên giữ xe Giải pháp hỗ trợ tối đa cho nhân viên nhằm giảm sai sót nhận dạng mắt qua tính nhận dạng biển số tự động đưa lời cảnh báo không cứng nhắc việc “bắt lầm hay tha lầm” Do lượt xe vào/ra có ảnh lưu lại, chọn giải pháp lưu đường dẫn đến ảnh mà không lưu trực tiếp ảnh vào vào CSDL Các ảnh lưu riêng đĩa kích thước CSDL cải thiện đáng kể tốc độ truy xuất mức chấp nhận Lược đồ CSDL minh họa Hình 13 Ngoài ra, hệ thống không hoàn toàn phụ thuộc vào thẻ giữ xe barcode mà phải qua đối chiếu 25 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 Hình 13: Lược đồ CSDL 3&4 Khi xe ra, hệ thống load hình ảnh lúc xe vào hiển thị khung 5&6 Giao diện phù hợp với trường hợp cổng vào Nếu triển khai hệ thống dạng cổng vào cổng độc lập nhau, giao diện tùy biến lại khung hình cho phù hợp 5.3 Thiết kế giao diện gửi/trả xe Chúng chọn giải pháp khung hình cho giao diện xe vào/ra minh họa Hình 14 Trong đó, khung 1&2, khung 7&8 hình ảnh trực tiếp từ camera Khi xe vào, hình ảnh từ camera khung 1&2 lưu lại hiển thị khung Camera Camera Camera Camera Hình 14: Giao diện phần quản lý xe vào/ra 5.4 Cài đặt triển khai hệ thống Sơ đồ triển khai hệ thống minh họa Hình 15 Trong đó, thiết bị cần thiết gồm: 01 máy tính (màn hình lớn tốt, 19”), 01 máy quét mã vạch, 04 camera (hay webcam độ phân giải cao), rào chắn thiết bị bảo vệ khác Hệ thống xây dựng tảng NET (VB.NET), hệ quản trị sở liệu SQL Server, thư viện EmguCV LibSVM 26 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 thực theo nghi thức kiểm tra chéo đường (3fold cross validation) Ngoài ra, sau xây dựng hệ thống xong kiểm tra lại độ xác toàn quy trình nhận dạng hệ thống (gồm định vị nhận dạng/phân lớp biển số) 215 ảnh biển số Kết cho thấy tỉ lệ nhận dạng hoàn toàn (định vị phân lớp) đạt 190/215 ảnh (tương đương 88.37%) lần chụp thứ camera Có 25/215 (11.62%) biển số định vị phân lớp sai ký tự (đa phần sai điều kiện khách quan biển số cũ ký tự biển số mờ bị chói ánh sáng, vài trường hợp ký tự có hình thái gần giống H N; E F) Để khắc phục tình trạng trên, form giao diện hệ thống (như minh họa Hình 16) cài đặt chức nhận dạng lại thông qua việc ấn phím nóng  click vào nút “Đọc tiếp” phép người dùng kích hoạt lại việc chụp nhận dạng biển số Kết cho thấy 25 ảnh bị nhận dạng sai lần chụp thứ giảm xuống 10 ảnh lần không ảnh bị sai lần chụp thứ Như vậy, thực tế, biển số bị nhận dạng sai, người dùng ấn phím  để hệ thống chụp nhận dạng lại (thao tác ấn phím không lần khoảng giây/lần giải pháp hoàn toàn khả thi) 6.2 Một số giao diện minh họa Hình 15: Sơ đồ triển khai hệ thống KẾT QUẢ ĐẠT ĐƯỢC 6.1 Độ xác mô hình Trong giai đoạn định vị vùng biển số, sử dụng 750 ảnh biển số cho huấn luyện 243 ảnh cho kiểm thử Kết độ xác đạt 99% Trong giai đoạn định vị ký tự, 11866 ảnh dùng để huấn luyện 4755 ảnh dùng để kiểm thử, kết độ xác đạt 95.88% Giai đoạn phân loại ký tự SVM đạt độ xác 98.99% dùng 2603 phần tử cho huấn luyện 1550 phần tử cho kiểm thử Các thực nghiệm Giao diện xe vào minh họa Hình 16, tương tự trình bày phần thiết kế mục 5.3 Hình 16: Giao diện gửi/trả xe 27 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 Giao diện minh họa cho phần quản lý thẻ xe kèm mã vạch trình bày Hình 17 Ở đó, người sử dụng tùy biến màu sắc, nội dung in thẻ giữ xe cho phù hợp với đơn vị triển khai Hình 17: Giao diện in thẻ xe với mã vạch Giao diện minh họa cho phần tìm kiếm thông tin xe vào/ra theo tiêu chí (biển số, thời điểm, ) trình bày Hình 18 Thông tin truy xuất bao gồm thời điểm, biển số dạng ký tự, ảnh người gửi, ảnh biển số tiện lợi việc quản lý Hình 18: Giao diện Tìm thông tin xe vào/ra 28 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 learning and an application to boosting Computational Learning Theory, pp 23-37 Q-N Tran, T-N Do, F Poulet, N-K Pham, 2008 Vehicle license plate classification in proc The National conference in computer science, pp 79-85 V Kamat and S Ganesan, 1995 An efficient implementation of the Hough transform for detecting vehicle license plates using dsp’s In RTAS ’95: Proceedings of the Real-Time Technology and Applications Symposium, page 58, Washington, DC, USA IEEE Computer Society J-W Hsieh, S-H Yu, and Y-S Chen, 2002 Morphology-based license plate detecttion from compex scenes In Proceedings of the International Conference on Pattern Recognition, 3:30-176, IEEE Press, Washington, USA K I Kim, K Jung, and J H Kim, 2002 Color texture-based object detection: An application to license plate localization In proceedings of the First International Workshop on Pattern Recognition with Suppor Vector Machines, Springer-Verlag, London, UK, pp 293-309 L Dlagnekov, 2005 Car license plate, make, and model recognition In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, San Diego, CA H Mahini, S Kasaei, F Dorri, and F Dorri, 2006 An efficient features – based license plate localization method In ICPR (2), pages 841–844 IEEE Computer Society 10 C Schmid and R Mohr, 1997 Local gray value invariants for image retrieval IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(5): 530–535 11 D-G Lowe, 1999 Object Recognition from Local Scale Invariant Features In Proceedings of the 7th International Conference on Computer Vision, Kerkyra, Greece, pp 1150–1157 12 D-G Lowe, 2004 Distinctive Image Features from Scale Invariant Keypoints In International Journal of Computer Vision, pp 91–110 Ngoài ra, hệ thống hỗ trợ nhiều tính khác tương ứng với nhóm người dùng admin nhân viên  Nhóm nhân viên có quyền quản lý xe - vào, báo thẻ, báo hư thẻ, quản lý mật đăng nhập, tùy chọn camera, tùy chọn thư mục lưu ảnh, tìm kiếm xe vào theo tiêu chí, thống kê  Nhóm admin có tất quyền nhân viên thêm quyền như: cập nhật thông tin nhân viên, chấm công, quản lý giá tiền gửi cho loại xe, in thẻ xe KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chúng đề xuất giải pháp xây dựng hệ thống hỗ trợ giữ xe thông minh IPSS Đây hệ thống kết hợp ba kỹ thuật nhận dạng nhằm tăng độ an toàn tối đa quản lý bãi xe, gồm: Nhận dạng biển số, nhận dạng mã vạch, nhận dạng bán tự động qua camera quan sát Ngoài ra, IPSS hỗ trợ nhiều tính khác in thẻ giữ xe (kèm mã vạch), tìm kiếm, thống kê, quản lý lịch trực,… IPSS xây dựng tảng NET + SQL Server, thư viện EmguCV (OpenCV) + LIBSVM Nghiên cứu tiếp tục hoàn thiện thông qua việc cải thiện độ xác mô hình định vị ký tự Hiện tại, liệu huấn luyện chưa đủ lớn nên số ký tự gần giống bị nhận dạng sai, E F, N H, LỜI CẢM TẠ Nghiên cứu tài trợ đề tài NCKH cấp Trường ĐHCT mã số T2014-08 Phòng Xử lý liệu thông minh – Khoa CNTT&TT, ĐHCT Nhóm tác giả chân thành cảm ơn góp ý TS Phạm Nguyên Khang TÀI LIỆU THAM KHẢO Paul A Viola and Michael J Jones, 2001 Rapid Object Detection using a Boosted Cascade of Simple Features IEEE Conference on Computer Vision and Pattern Recognition, pages 511-518 Paul A Viola and Michael J Jones, 2004 Robust real-time face detection International Journal of Computer Vision, pages 137-154 Freund, Y and Schapire, R., 1995 A decision-theoretic generalization of on-line 29 Tạp chí Khoa học Trường Đại học Cần Thơ Phần A: Khoa học Tự nhiên, Công nghệ Môi trường: 35 (2014): 17-30 13 M Turk and A Pentland, 1991 Face recognition using eigenfaces, IEEE Conference on Computer Vision and Pattern Recognition, pp 586–591 14 Schneiderman H and Kanade T., 2000 A statistical method for 3D object detection applied to faces and car, In International Conference on Computer Vision 15 Cortes, Corinna and Vladimir Vapnik, 1995 Support-Vector Networks Machine Learning 20: 273–297 16 Đỗ Thanh Nghị, 2011 Khai mỏ liệu Minh hoạ ngôn ngữ R Nhà xuất Đại học Cần Thơ 30