Điều khiển mô hình bãi giữ xe thông minh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN ĐIỀU KHIỂN MÔ HÌNH BÃI GIỮ XE THƠNG MINH S K C 0 9 MÃ SỐ: SV2021 - 126 CHỦ NHIỆM ĐỀ TÀI: NGUYỄN MINH NHẬT S KC 0 7 Tp Hồ Chí Minh, tháng 10/2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM Khoa Đào Tạo Chất Lượng Cao BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN Đề tài ĐIỀU KHIỂN MƠ HÌNH BÃI GIỮ XE THƠNG MINH SV2021-126 Thuộc nhóm ngành khoa học: SV thực hiện: Nguyễn Minh Nhật Giới tính: Nam Dân tộc: Kinh Lớp, khoa: Khoa Đào Tạo Chất Lượng Cao Năm thứ: / Số năm đào tạo: Ngành học: Công nghệ kỹ thuật điều khiển tự động hoá Người hướng dẫn: Trưởng ngành CNKT điều khiển tự động hoá – Ths Nguyễn Trần Minh Nguyệt Thành Phố Hồ Chí Minh, tháng 10 năm 2021 LỜI CẢM ƠN Lời đầu tiên, nhóm chúng em xin gởi lời cảm ơn chân thành đến cô Nguyễn Trần Minh Nguyệt giáo viên hướng dẫn cho chúng em đề tài Chúng em biết ơn cô dành thời gian bảo giúp đỡ chúng em thời gian hoàn thành đề tài này, công việc cô nhiều, đặc biệt mùa dịch Kế đến, nhóm chúng em xin chân thành cảm ơn thầy cô, cán công nhân viên chức trường Đại Học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh nói chung thầy cô Khoa Đào Tạo Chất Lượng Cao nói riêng tạo điều kiện hỗ trợ chúng em trình học tập thực đề tài nghiên cứu khoa học Cuối không phần quan trọng, chúng em xin dành biết ơn sâu sắc đến gia đình, người đã, chỗ dựa vững cho chúng em mặt vật chất tinh thần Với kiến thức điều kiện thuận lợi mà người mang đến, chúng em xin hứa cố gắng để phát triển đất nước xã hội mai MỤC LỤC LỜI CẢM ƠN MỤC LỤC DANH MỤC BẢNG BIỂU DANH MỤC NHỮNG TỪ VIẾT TẮT 10 THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI 11 A PHẦN MỞ ĐẦU .13 Lý chọn đề tài 13 Mục tiêu đề tài 14 Giới hạn đề tài 15 Phương pháp nghiên cứu 15 B PHẦN NỘI DUNG 18 Chương 1: Cơ sở lý thuyết 18 1.1 Tổng quát xử lý ảnh 18 1.1.1 Không gian màu 18 1.1.2 Tạo ảnh xám 21 1.1.3 Cân biểu đồ 22 1.1.4 Phép phân ngưỡng 23 1.1.5 Lọc mịn ảnh 26 1.1.6 Phép cắt biên 28 1.1.7 Phép nối đường bao 34 1.2 Nhận diện biển số 35 1.2.1 Phát biển số 35 1.2.1.1 Phát biển số sử dụng thuật toán xử lý ảnh 36 1.2.1.2 Phát biển số sử dụng mạng thần kinh YOLO .37 1.2.2 Trích xuất ký tự 39 1.2.3 Nhận diện ký tự 39 1.3 Nhận diện khuôn mặt 40 1.3.1 Định nghĩa Haar Cascade .40 1.3.2 Lựa chọn đặc trưng Haar 41 1.3.3 Tạo ảnh tích hợp 41 1.3.4 Bộ phân loại AdaBoost 42 1.3.5 Phân loại Cascade 44 1.4 Kết cấu bãi giữ xe 45 1.5 Thẻ từ 47 1.5.1 Giới thiệu chung 47 1.5.1.1 Sơ lược công nghệ RFID 47 1.5.1.2 Các thành phần hệ thống RFID 48 1.5.2 Hoạt động hệ thống RFID 49 1.5.2.1 Nguyên lý hoạt động .49 1.5.2.2 Các dải tần số RFID 49 1.5.3 Ứng dụng công nghệ RFID Việt Nam giới 51 1.5.3.1 Việt Nam .51 1.5.3.2 Thế giới 51 1.5.4 Công nghệ BARCODE RFID 51 1.6 Module RFID RC522 52 1.6.1 Sơ lược giao thức truyền liệu RFID 52 1.6.1.1 I2C 52 1.6.1.2 SPI 52 1.6.1.3 UART 53 1.6.2 Hoạt động Module 53 1.6.3 Vùng liệu 54 CHƯƠNG 2: PHẦN CỨNG .57 2.1 Thanh ghi dịch 74HC595 .57 2.2 Thanh ghi dịch MBI5026 .58 2.3 Cảm biến siêu âm HC-SR04 59 2.4 MODULE RFID MFRC522: 62 2.4.1 Thông số .62 2.4.2 Module RFID Arduino .63 Chương 3: Kết nghiên cứu, áp dụng thực tiễn điều cần lưu ý 65 3.1 Phần nhận diện biển số 65 3.1.1 Giai đoạn 1: Phân tách biển số .65 3.1.2 Giai đoạn 2: Trích xuất ký tự 77 3.1.3 Giai đoạn 3: Nhận diện ký tự 79 3.2 Nhận diện khuôn mặt 83 3.2.1 Khởi tạo liệu học có giám sát: 83 3.2.2 Tiến hành chạy thử .85 3.2.3 Kết đánh giá 86 C KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN 88 TÀI LIỆU THAM KHẢO 89 PHỤ LỤC .90 MINH CHỨNG SẢN PHẨM ĐỀ TÀI: BÀI BÁO KHOA HỌC 98 POSTER .99 DANH MỤC BẢNG BIỂU Hình 1: So sánh mức xử lý ảnh 18 Hình 2: Minh họa hệ màu RGB .19 Hình 3: Mơ hình Netscape Color Cube hiển thị qua kênh xanh dương 19 Hình 4: Vùng màu hệ HSV 20 Hình 5: Phép chuyển đổi ảnh xám 21 Hình 6: Kết phép cân biểu đồ xám 23 Hình 7: Các phương pháp lấy ngưỡng 24 Hình 8: Hoạt động phép phân ngưỡng thích nghi 25 Hình 9: Phép chập ma trận ảnh 26 Hình 10: Các loại biên thường gặp .28 Hình 11: Phép lọc Robert Cross Gradient 30 Hình 12: Phép lọc Sobel 30 Hình 13: Phép lọc Laplacian 31 Hình 14: Các biến thể phép lọc Laplacian .31 Hình 15: Phép nén 32 Hình 16: Phép tìm biên Canny với điểm cực đại cục .33 Hình 17: Kết phép cắt biên 33 Hình 18: Phép tìm đường bao ảnh xử lý cắt biên Canny .34 Hình 19: Kết phép tìm đường bao 35 Hình 20: Quy trình xử lý ảnh chứa biển số 35 Hình 21: Đặc điểm màu sắc chữ biển số 36 Hình 22: Đặc điểm kích thước biển số .37 Hình 23: Cấu trúc mạng YOLO 37 Hình 24: Q trình nhận diện mơ hình YOLO .38 Hình 25: Mơ tả trực quan thuật toán SVM 40 Hình 26: Cửa sổ phát bao quanh 41 Hình 27: Bốn mảng tham chiếu .42 Hình 28: Phân loại yếu để nhận dạng khuôn mặt 43 Hình 29: Sự kết hợp trình phân loại yếu 44 Hình 30: Quá trình phân loại Cascade 44 Hình 31: Hướng vào bãi xe .45 Hình 32: Hướng khỏi bãi xe .46 Hình 33: Sơ đồ tầng bãi giữ xe với góc nhìn từ xuống 46 Hình 34: Ảnh dựng 3D mô tả bên bãi giữ xe .47 Hình 35: Phần cứng hệ thống RFID .48 Hình 36: Nguyên lý hoạt động hệ thống RFID .49 Hình 37: Giao thức UART .53 Hình 38: Sơ đồ khối Module RC552 .53 Hình 39: Hoạt động chi tiết MODULE RC552 54 Hình 40: Vùng liệu 55 Hình 41: Khối Sector Trailer 55 Hình 42: Các lệnh điều khiển 56 Hình 43 Sơ đồ chân 74HC595 57 Hình 44: Sơ đồ chân MBI5026 .58 Hình 45: Cơng thức tính quảng đường cảm biến siêu âm 60 Hình 46: Nguyên lý hoạt động xung HC-SR40 61 Hình 47: Sơ đồ kết nối chân Arduino cảm biến HC-SR04 .61 Hình 48: Module RC552 .62 Hình 49: Lưu đồ trình đọc thẻ 63 Hình 50: Sơ đồ kết nối 64 Hình 51: Lưu đồ trình phân tách biển số phương pháp xử lý ảnh 65 Hình 52: Kết chuyển ảnh xám cho phân tách biển số 66 Hình 53: Kết lọc ảnh cho phân tách biển số 67 Hình 54: Kết phân ngưỡng ảnh cho phân tách biển số 67 Hình 55: Kết xác định vị trí biển số .68 Hình 56: Kết phân tách biển số 68 Hình 57: Trường hợp nhiễu sáng trời 69 Hình 58: Lưu đồ trình phân tách biển số sử dụng mơ hình YOLO 70 Hình 59: Chương trình gắn nhãn ảnh Labelimg 71 Hình 60: Dữ liệu nhãn cho YOLO 71 Hình 61: Đường bao vật thể YOLO .72 Hình 62: Cấu trúc mạng YOLO thực tế .73 Hình 63: Cấu hình Google Colab 74 Hình 64: Những thơng số q trình huấn luyện .74 Hình 65: Kết huấn luyện mơ hình 75 Hình 66: Kết phân tách với biển số dài 76 Hình 67: Kết phân tách với biển số vng .76 Hình 68: Sơ đồ giải thuật q trình trích xuất kích tự 77 Hình 69: Kết chuyển ảnh xám cho trích xuất ký tự 77 Hình 70: Kết phân ngưỡng cho trích xuất ký tự .77 Hình 71: Kết lọc nhiễu cho trích xuất ký tự 78 Hình 72: Kết phân đoạn ký tự 78 Hình 73: Quy trình huấn luyện SVM .79 Hình 74: Thư mục ký tự gốc 80 Hình 75: Thư mục ký tự huấn luyện 80 Hình 76: Thơng số huấn luyện SVM 80 Hình 77: Tập tin liệu huấn luyện .81 Hình 78: Kết nhận diện ký tự biển số dài .81 Hình 79: Kết nhận diện ký tự biển số vuông 82 Hình 80: Lưu đồ cho việc khởi tạo liệu 83 Hình 81: Các hình ảnh thành dạng ma trận số 84 Hình 82: Trước sau đánh nhãn 84 Hình 83: Lưu đồ nhận diện khuôn mặt 85 Hình 84: Nhận dạng vị trí gương mặt 86 Hình 85: Điều kiện đầy đủ độ sáng .86 Hình 86: Điều kiện thiếu sáng .87 Bảng 1: Dải tần số thấp RFID (Low Frequency) 49 Bảng 2: Dải tần số cao RFID (High Frequency) 50 Bảng 3: Dải tần số cực cao RFID (Ultra High Frequency) 50 Bảng 4: Bảng so sánh công nghệ BARCODE RFID 51 Bảng 5: Sơ đồ chân 74HC295 .57 Bảng 6: Bảng trạng thái 74HC295 58 Bảng 7: Sơ đồ chân MBI5026 .59 Bảng 8: Bảng trạng thái MBI5026 59 Bảng 9: Thông số kỉ thuật cảm biến siêu âm HC-SR04 60 Bảng 10: Sơ đồ chân cảm biến siêu âm HC-SR04 60 Bảng 11: Bảng kết nối chân Arduino Module RC522 64 DANH MỤC NHỮNG TỪ VIẾT TẮT RGB = Red, Green, Blue: Kênh màu hình thành từ lớp màu đỏ, xanh lá, xanh dương LAB = Lightness, Channel A, Channel B: Kênh màu hình thành từ lớp: Lớp cường độ sáng, lớp màu từ đỏ đến xanh lá, lớp màu từ vàng đến xanh dương HSV = Hue, Saturation, Value: Kênh màu hình thành từ lớp: Lớp màu sắc, lớp bão hòa màu, lớp cường độ sáng HIS = Hue, Intensity, Saturation: Giống HSV HSB = Hue, Saturation, Brightness: Giống HSV HSL = Hue, Saturation, Lightness: Giống HSV YOLO = You Only Look Once: Mơ hình mạng thần kinh nhân tạo ứng dụng việc nhận diện vật thể với tốc độ nhanh độ xác cao SVM = Support Vector Machine: Thuật toán SDA = Serial Data Line SCL = Serial Clock Line SSD = Single Shot MultiBox Detector: Mạng thần kinh nhân tạo tích hợp trình phát phân loại vật thể mạng R-CNN = Region Based Convolutional Neural Networks: Mạng thần kinh nhân tạo xác định vùng đặc trưng dựa mơ hình CNN Faster R-CNN = Faster Region Based Convolutional Neural Networks: Phiên RCNN cải thiện tốc độ xử lý, ứng dụng cho nhận diện thời gian thực WPOD = Wrapped Planer Object Detection: Mơ hình nhận diện vật thể kết hợp xoay ảnh góc nhìn trực diện UID = Unique Identification: 10 Đầu tiên dùng Cascade Classifier để nhận diện tọa độ gương mặt từ camera đồng thời vẽ hình vng vị trí gương mặt để xem Cascade Classifier có nhận gương mặt xác hay khơng Hình 84: Nhận dạng vị trí gương mặt Sau nhận diện khn mặt có khung hình hệ thống tiếp tục so sánh liệu vừa nhận với liệu mà cho hệ thống học có giám sát 3.2.3 Kết đánh giá Hình 85: Điều kiện đầy đủ độ sáng 86 Hình 86: Điều kiện thiếu sáng - Model hoạt động ổn định điều kiện đầy đủ độ sáng điều kiện thiếu sáng model có xảy tình trạng đánh nhãn sai tương đối nhiều thiếu ổn định - Model bắt góc nghiêng mặt - Model muốn nhận diện xác cao database phải tương đối nhiều 87 C KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN Qua việc nghiên cứu giải thuật nhận diện khn mặt nhận diện biển số, nhóm có kết luận sau: Đối với giải thuật nhận diện khn mặt: Mơ hình có tốc độ huấn luyện nhanh, có khả xử lý nhận diện theo thời gian thực điều kiện ánh sáng thấp Tuy nhiên, tính hiệu mơ hình phụ thuộc vào độ đa dạng liệu đầu vào, mơ hình khơng thể nhận diện khuôn mặt nghiêng đầu 35 độ nhìn từ phía mặt bên Bên cạnh đó, khả nhận diện nhiều khn mặt khung hình mơ hình chưa hồn thiện Đối với giải thuật nhận diện biển số: Nhóm đề xuất hai hướng nhận diện: Với hướng bắt đầu phân tách phép xử lý ảnh, mơ hình hoạt động chưa tốt với tỉ lệ xác đạt khoảng 60% Mặc dù tinh chỉnh thông số diện tích, tỉ lệ, màu sắc, hoạt động mơ hình gặp nhiều yếu tố nhiễu khách quan khó kiểm sốt Với hướng bắt đầu phân tách mạng thần kinh nhân tạo YOLO, mơ hình hoạt động tốt với tỉ lệ xác đạt 90%, hoạt động theo thời gian thực với điều kiện ánh sáng khác Bằng việc chuẩn bị liệu huấn luyện chuẩn sai sót, mơ hình có khả nhận diện ảnh huấn luyện đưa dự đoán mang độ xác cao với ảnh chưa thấy Tuy nhiên, mơ hình cịn nhược điểm khơng thể nhận diện biển số có kích thước q nhỏ Đây đặc tính mơ hình, khó cải thiện liệu đầu vào Về phương hướng phát triển, mơ hình tương lai bổ sung thêm tính như: - Kết nối Internet vạn vật để kiểm soát điều khiển điện thoại trình duyệt máy tính Người dùng kiểm tra trước vị trí đỗ trống đặt trước vị trí đỗ cho 88 TÀI LIỆU THAM KHẢO [1] Tổng quan công nghệ RFID thời đại 4.0, Hà Phan, tháng 9-2019 [2] Digital Image Processing Third Edition, Rafael C Gonzalez vs Richard E Woods, 1992 [3] Topological Structural Analysis of Digitized Binary Images by Border Following, Satoshi Suzuki, tháng 4-1985 [4] What is RFID? | The Beginner's Guide to How RFID Systems Work, atlasRFIDstore [5] A Guide to RFID Types and How They Are Used, atlasRFIDstore [6] HC­SR04 Ultrasonic Sensor, Elijah J Morgan, tháng 11-2014 [7] Bộ luật Dân sự, Bộ công an, tháng 11-2015 [8] So sánh số phương pháp phát biên, Nguyễn Vĩnh An, tháng -2015 [9] Edge Detection Techniques in Digital and Optical Image Processing, P.Bhuvaneswari, Dr A Brintha Theresa, tháng 5-2014 [10] Vehicle license plate character segmentation – a study, V.Karthikeyan, R.Sindhu, K.Anusha, D.S Dijith, tháng 2-2013 [11] Contouring algorithms, John C.Davis, tháng – 1987 [12] Báo cáo nghiên cứu khoa học: Nhận dạng biển số xe, Nguyễn Phạm Anh Tuấn, tháng 12-2010 [13] Xây dựng ứng dụng nhận dạng biển số xe ô tô sử dụng mã nguồn mở OpenCV, Ths Nguyễn Duy Linh, 2018 [14] Automatic License Plate Recognition, Sei-Wang Chen, tháng 4-2014 [15] Number plate recognition on vehicle using YOLO – Darknet, Budi Setiyono, Dyah Ayu Amini and Dwi Ratna Sulistyanirum ,2021 [16] Giải thuật cho toán định vị nhận dạng biển số xe ô tô, Trương Quốc Bảo Võ Văn Phúc, tháng 8-2013 89 PHỤ LỤC [1] MFRC522 - Standard performance MIFARE and NTAG frontend, Product Datasheet, tháng 4-2016 [2] HC-SR04 User Guide, Datasheet [3] MC74HC595A 8-Bit Serial-Input/Serial or Parallel-Output Shift Register with Latched 3-State Outputs, Datasheet [4] MBI5026 16-bit Constant Current LED Sink Driver, Datasheet [5] //Nhận diện biển số// import cv2 import numpy as np import functools img = cv2.imread('442.jpg') # cv2.imshow("Original Image", img) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # cv2.imshow("Gray image",gray) noise_removal = cv2.bilateralFilter(gray,9,21,21) # cv2.imshow("Noisefree",noise_removal) kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3)) morph_image = cv2.morphologyEx(noise_removal, cv2.MORPH_OPEN, kernel, iterations=10) # cv2.imshow("Opening",morph_image) sub_morp_image = cv2.subtract(noise_removal, morph_image) # cv2.imshow("Morphologized", sub_morp_image) ret, thresh_image = cv2.threshold(sub_morp_image, 0, 255, cv2.THRESH_OTSU) 90 cv2.imshow("Otsu Thresholding",thresh_image) contours, hierarchy = cv2.findContours(thresh_image, cv2.RETR_TREE, cv2.CHAIN_APPROX_NONE) hierarchy=hierarchy[0] contours = sorted(contours, key=cv2.contourArea, reverse=True) location = None for c in contours: # print("The hierarchy is {}".format(hierarchy)) S=cv2.contourArea(c) peri = cv2.arcLength(c, False) approx = cv2.approxPolyDP(c, 0.03 * peri, True) x, y, w, h = cv2.boundingRect(c) if len(approx) == and 1000 < S < 6000 and ((2.5