Xây dựng mô hình học sâu để phát hiện biển số xe tại trường đại học phenikaa

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC PHENIKAA ĐỒ ÁN TỐT NGHIỆP TÊN ĐỀ TÀI: XÂY DỰNG MÔ HÌNH HỌC SÂU ĐỂ PHÁT HIỆN BIỂN SỐ XE TẠI TRƯỜNG ĐẠI HỌC PHENIKAA Sinh viên: ĐẶNG VĂN BÁU Mã số sinh viên: 170069 Khóa: Khóa 11 Ngành: Khoa học máy tính Hệ: Chính quy Giảng viên hướng dẫn: TS PHẠM TIẾN LÂM Hà Nội - Năm 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC PHENIKAA CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHẬN XÉT ĐỒ ÁN/KHÓA LUẬN TỐT NGHIỆP CỦA GIẢNG VIÊN HƯỚNG DẪN Giảng viên hướng dẫn: Phạm Tiến Lâm, Bộ môn: Khoa CNTT Tên đồ án: Xây dựng mơ hình học sâu để phát biển số xe Trường Đại học Phenikaa Sinh viên thực hiện: Đặng Văn Báu, Lớp: KHMT - K11 NỘI DUNG NHẬN XÉT: I Nội dung báo cáo - Nhận xét hình thức: báo cáo trình bày mạch lạc rõ ràng nội dung nghiên cứu mẫu nhà Trường - Tính cấp thiết, đại, khơng trùng lặp: Đề tài sinh viên Báu thực có ý nghĩa thực tiễn cao Theo hiểu biết đề tài không trùng lặp - Mục tiêu nội dung: đề tài đề xuất phương pháp dựa mơ hình hồi quy đặc biệt cá mơ hình học sâu - Tài liệu tài liệu tham khảo: Tài liệu tài liệu tham khảo phù hợp với nội dung đề tài - Phương pháp nghiên cứu: sinh viên Báu có lực tốt việc liên kết kiến thức công nghệ thông tin để giải vấn đề cụ thể đề tài: thu thập liệu, nghiên cứu đánh giá mơ hình - Ý thức, thái độ sinh viên: vinh viên Đặng Văn Báu có có ý thức tìm tịi học hỏi kiến thức II Sản phẩm: quá trình thực đồ án tốt nghiệp sinh viên Đặng Văn Báu bước đầu xây dựng mơ hình phát biển số có tiềm ứng dụng cao III Ưu nhược điểm Đồ án tốt nghiệp của sinh viên Đặng Văn Báu trình bày cách có hệ thống nghiên cứu mơ hình học máy cho tốn phát biển số Tuy nhiên, nội dung trình bày nguyên lý phương pháp tương đối sơ sài IV Kết luận: Đồng ý cho bảo vệ: ☑ Không đồng ý cho bảo vệ: Hà Nội, ngày 12 tháng 07 năm 2021 GIẢNG VIÊN HƯỚNG DẪN (Ký ghi rõ họ tên) Phạm Tiến Lâm LỜI CẢM ƠN Qua thời gian học tập rèn luyện trường Đại học Phenikaa, đến em kết thúc khóa học năm hoàn thành đồ án tốt nghiệp Để có kết em xin chân thành cảm ơn: ● Ban chủ nhiệm trường Đại học Phenikaa thầy cô giáo khoa giảng dạy, quan tâm tạo điều kiện thuận lợi để chúng em học tập rèn luyện suốt thời gian theo học trường ● Tiến sĩ: Phạm Tiến Lâm tận tình hướng dẫn, giúp đỡ em trình học tập đặc biệt suốt thời gian làm đồ án tốt nghiệp Thầy quan tâm nhiệt tình hướng dẫn em từ việc tìm tài liệu việc định hướng lựa chọn giải pháp để triển khai đồ án Thầy nhắc nhở, động viên em gặp khó khăn, nhờ mà em hoàn thành tốt đồ án tốt nghiệp thời hạn ● Em xin gửi lời cảm ơn tới thành viên lớp, bạn bè, bạn sinh viên khóa K13-CNTT người động viên, giúp đỡ em nhiều thời gian học tập làm đồ án tốt nghiệp Hà Nội, tháng năm 2021 Sinh viên thực Đặng Văn Báu Mục lục MỞ ĐẦU Chương 1: Giới thiệu đề tài Đồ án tốt nghiệp 1.1 Tên đề tài 1.2 Mục tiêu nghiên cứu nội dung nghiên cứu đồ án 1.2.1 Mục tiêu nghiên cứu đồ án 1.2.2 Nội dung nghiên cứu đồ án 1.3 Thành viên tham gia thực đồ án 1.4 Phương thức thực kết 1.4.1 Phương thức thực 1.4.2 Kết Chương 2: Tổng quan sở lý thuyết xử lý liệu ảnh 2.1 Ngơn ngữ lập trình Python 2.2 Tổng quan thư viện Scikit - learn Python 2.2.1 Khái niệm 2.2.2 Thuật toán 2.3 Tổng quan Deep Learning toán nhận diện thị giác máy tính 2.3.1 Mạng nơron 2.3.2 Định nghĩa Deep Learning 2.3.3 Cách thức hoạt động Deep Learning 2.3.4 Các ưu điểm Deep Learning 2.3.5 Ứng dụng Deep Learning 2.3.6 Hạn chế Deep Learning 2.4 Thư viện Keras 10 11 2.4.1 Giới thiệu thư viện Keras 11 2.4.2 Một số tính Keras 11 2.5 Giới thiệu Convolutional Neural Network (CNN) 12 2.5.1 Tổng quát 12 2.5.2 Các lớp CNN 12 2.5.3 Cấu trúc CNN 13 2.6 Thư viện OpenCV 14 2.7 Giới thiệu toán Object Detection 15 2.8 Xử lý liệu ảnh 17 2.8.1 Thư viện cần sử dụng 17 2.8.2 Các phương pháp sử dụng 17 2.8.3 Thống kê, so sánh kết phương pháp 27 2.8.4 Ưu - nhược điểm phương pháp xử lý ảnh OpenCV vào tốn phát diện biển số 30 2.8.5 Tính ứng dụng hướng phát triển 30 Chương 3: Bài toán phát biến số 31 3.1 Giới thiệu 31 3.2 Xác định tốn 31 3.3 Mơ hình hồi quy tuyến tính 32 Chương 4: Xây dựng mơ hình học máy 33 4.1 Mơ hình đề xuất 33 4.2 Xây dựng liệu 33 4.2.1 Xử lý liệu gốc ban đầu 33 4.2.2 Gán nhãn liệu đánh dấu góc biển số 34 4.3 Các mơ hình xây dựng 35 4.3.1 Xây dựng mơ hình hồi quy tuyến tính với thư viện Scikit - learn 35 4.3.2 Các mơ hình học máy CNN 41 4.4 Mơ hình CNN có kết tốt 43 Chương 5: Xây dựng chương trình phát xoay biển số 48 5.1 Các thư viện cần cài đặt 48 5.2 Quy trình thực 48 Chương 6: Kết 51 6.1 Kết thu 51 6.2 Ưu điểm, nhược điểm 52 6.2.1 Ưu điểm 52 6.2.2 Nhược điểm 52 6.3 Hướng phát triển 53 Danh mục bảng Bảng 1: Bảng thành viên thực đồ án Bảng 2: Kết phương pháp 27 Bảng 3: Kết phương pháp 29 Bảng 4: Bảng thể thay đổi kích thước ảnh 34 Bảng 5: Bảng tổng hợp liệu tọa độ điểm 34 Bảng 6: Kết mơ hình hồi quy Ridge phương pháp 35 Bảng 7: Kết mơ hình hồi quy Ridge với sobel x sobel y 36 Bảng 8: Kết mơ hình hồi quy Ridge với HOG 37 Bảng 9: Kết mơ hình hồi quy SVR phương pháp 38 Bảng 10: Kết mô hình hồi quy SVR vơis sobel x sobel y 39 Bảng 11: Kết mơ hình hồi quy SVR với HOG 40 Bảng 12: Bảng thể thay đổi kích thước ảnh đầu vào 43 Bảng 13: Bảng thể kết đánh giá mơ hình tập train test 47 Bảng 14: Bảng thể kết đánh giá mơ hình tập test 47 Bảng 15: Bảng thể kết sau chạy mơ hình 51 Danh mục hình Hình 1: Mạng nơ-ron nhân tạo Hình 2: Thuật tốn mạng nơ-ron Hình 3: Sơ đồ lớp CNN 12 Hình 4: Lớp layer CNN tự động 14 Hình 5: Logo thư viện OpenCV 14 Hình 6: Ảnh gốc ban đầu 18 Hình 7: Ảnh chuyển thang màu xám 19 Hình 8: Ảnh hiển thị Contours biển số 20 Hình 9: Ảnh hiển thị box bao quanh Contours 21 Hình 10: Ảnh hiển thị box giới hạn có diện tích nhỏ 22 Hình 11: Ảnh đầu 22 Hình 12: Ảnh đầu vào 23 Hình 13: Ảnh chuyển thang màu xám 24 Hình 14: Ảnh sau chuyển sang ngưỡng nhị phân 24 Hình 15: Ảnh hiển thị Contours biển số 25 Hình 16: Hình dạng gần biển số 26 Hình 17: Ảnh đầu 27 Hình 18: Hình ảnh thể việc đánh dấu liệu 34 Hình 19: Kết thể mơ hình CNN_1 41 Hình 20: Kết thể mơ hình CNN_2 42 Hình 21: Kết thể mơ hình CNN_3 43 Hình 22: Sơ đồ lớp mơ hình CNN 45 Hình 23: Sơ đồ Hoạt động lớp CNN 45 Hình 24: Tóm tắt mơ hình đào tạo 47 Hình 25: Hình ảnh sau đọc vào 49 Hình 26: Hình ảnh sau thay đổi kích thước 49 Hình 27: Hình ảnh hiển thị tọa độ điểm dự đốn từ mơ hình 50 Hình 28: Kết biển số thu 51 MỞ ĐẦU Một lĩnh vực quan trọng Trí tuệ nhân tạo AI (Artificial Intelligence) thị giác máy (Computer Vision) Computer Vision lĩnh vực bao gồm phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích nhận dạng hình ảnh, phát đối tượng, tạo ảnh, siêu phân giải hình ảnh nhiều Trong ứng dụng thị giác máy, nhận diện vật thể (Object Detection) sử dụng rộng rãi thực tế Object Detection đề cập đến khả hệ thống máy tính phần mềm để nhận diện định vị đối tượng hình ảnh Object Detection sử dụng rộng rãi để phát khuôn mặt, phát xe, đếm số người bộ, hệ thống bảo mật xe khơng người lái Có nhiều cách để nhận diện đối tượng sử dụng nhiều lĩnh vực thực hành Giống công nghệ khác, loạt ứng dụng sáng tạo tuyệt vời Object Detection đến từ lập trình viên nhà phát triển phần mềm Cùng với phát triển khoa học kỹ thuật nhu cầu lại ngày tăng, số lượng phương tiện giao thông đường ngày xuất nhiều Với số lượng phương tiện giao thông lớn, cịn khơng ngừng tăng lên làm nảy sinh nhiều vấn đề việc kiểm soát quản lý phương tiện Để giải vấn đề nhu cầu đặt cần giải pháp tối ưu cho việc nhận diện biển số xe để tích hợp lên thiết bị di động Do mục đích nghiên cứu tìm hiểu xây dựng mơ hình học máy phát biển số xe trường Đại học Phenikaa từ hình ảnh thiết bị ghi hình kỹ thuật số Nhằm trợ giúp cho công tác phát xe, quản lý, … dễ dàng nhanh chóng Sau ứng dụng hệ thống phát biển số xe nói chung: Thu phí giao thơng, Kiểm sốt xe đường biên giới, trạm gác cổng, công tác chống trộm, bãi giữ xe tự động, … Như hệ thống tự động khác, hệ thống yêu cầu có phần cứng phần mềm Phần cứng camera có tác dụng thu nhận hình ảnh, cịn phần mềm xử lý hình ảnh Với phát triển kỹ thuật điện tử, camera dễ dàng có khả thu nhận hình ảnh vấn đề đặt ln vấn đề quan trọng hệ thống, định tính hiệu hệ thống xử lý ảnh phần xây dựng mơ hình học máy Với vai trị phân tích nghiên cứu tập trung vào xây dựng mơ hình học máy có khả phát biển số xe 44 Train Score = 0.8627 Test Score = 0.7803 Train Score = 0.8906 Test Score = 0.8235 Train Score = 0.8743 Test Score = 0.7843 Train Score = 0.8914 Test Score = 0.8292 Train Score = 0.8586 Test Score = 0.7587 Với kết này, có bước đầu tiến triển theo hướng hồi quy Nhưng kết chưa thực tốt 4.3.2 Các mơ hình học máy CNN ● Mơ hình CNN_1 Các bước thực hiện: Bước 1: Xử lý liệu đầu vào: X ảnh -> resize (50,30), y tọa độ điểm Bước 2: Làm phẳng liệu X ravel() Bước 3: Chia tập liệu X thành: (X_train, X_test), y thành: (y_train, y_test) Bước 4: Xây dựng lớp CNN Bước 5: Đào tạo mơ hình Bước 6: Lưu mơ hình Kết quả: Bảng 12: Bảng thể kết đánh giá mơ hình CNN_1 Loss MSE Val Loss Val MSE 0.0055 0.0055 0.0075 0.0075 45 Hình 19: Kết thể mơ hình CNN_1 Các điểm dự đốn trả khơng xác, cần phải tìm kiếm phương pháp khác tối ưu ● Mơ hình CNN_2 Các bước thực hiện: Bước 1: Xử lý liệu đầu vào: X ảnh -> resize (150,100) -> Blur , y tọa độ điểm Bước 2: Làm phẳng liệu X ravel() Bước 3: Chia tập liệu X thành: (X_train, X_test), y thành: (y_train, y_test) Bước 4: Xây dựng lớp CNN Bước 5: Đào tạo mơ hình Bước 6: Lưu mơ hình Kết quả: Bảng 13: Bảng thể kết đánh giá mơ hình CNN_2 Loss MSE 2.5074e-04 2.5074e-04 MAE Val Loss Val MSE Val MAE 0.0124 0.0021 0.0021 0.0313 46 Hình 20: Kết thể mơ hình CNN_2 ● Mơ hình CNN_3 Các bước thực hiện: Bước 1: Xử lý liệu đầu vào: X ảnh -> resize (100,100) -> normalize = (img - img.mean()) / np.std(img), y tọa độ điểm Bước 2: Làm phẳng liệu X ravel() Bước 3: Chia tập liệu X thành: (X_train, X_test), y thành: (y_train, y_test) Bước 4: Xây dựng lớp CNN Bước 5: Đào tạo mơ hình Bước 6: Lưu mơ hình Kết quả: Bảng 14: Bảng thể kết đánh giá mơ hình CNN_2 Loss MSE Val Loss Val MSE 0.0032 0.0032 0.0041 0.0041 47 Hình 21: Kết thể mơ hình CNN_3 4.4 Mơ hình CNN có kết tốt Bước 1: Đọc liệu vào bao gồm: X danh sách ảnh y tọa độ điểm d = read_csv(' file_name.csv') file_names = d.iloc[:, 0].values y = d.iloc[:, 1:9].values X = [] for i, name in enumerate(file_names): img = cv2.imread(name) img = cv2.resize(img, (150, 100) X.append(img) X = np.array(X) Bước 2: Thay đổi kích thước ảnh đầu vào mơ hình: Bảng 15: Bảng thể thay đổi kích thước ảnh đầu vào (500, 300) -> (150, 100) Bước 3: Chia tập liệu thành Train Test: Tập liệu Train chiếm 80% Tập liệu Test chiếm 20% 48 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0) Bước 4: Chuẩn hóa liệu phạm vi [0, 1]: X_train_new = np.array(X_train) / 255 X_test_new = np.array(X_test) / 255 Bước 5: Xây dựng mơ hình CNN: inp = Input(shape = (100, 150, 3) cnn = Conv2D(filters = 8, kernel_size = 3, activation = 'relu') (inp) pooling = MaxPooling2D(pool_size = (2, 2)) (cnn) cnn = Conv2D(filters = 16, kernel_size = 4, activation = 'relu') (inp) pooling = MaxPooling2D(pool_size = (2, 2)) (cnn) cnn = Conv2D(filters = 32, kernel_size = 3, activation = 'relu') (inp) pooling = MaxPooling2D(pool_size = (2, 2)) (cnn) cnn = Conv2D(filters = 48, kernel_size = 4, activation = 'relu') (inp) pooling = MaxPooling2D(pool_size = (2, 2)) (cnn) f = Flatten()(pooling) fc1 = Dense(units = 32, activation = 'relu') (f) fc2 = Dnese(units = 16, activation = 'relu') (fc1) out = Dense(units = 8, activation = 'relu') (fc2) model = Model(inputs = inp, outputs = out) model.summary() Mơ hình CNN tơi có input đầu vào ảnh có kích thước 150x100 với kênh màu RGB Sau tơi tạo lớp tích chập 2D kết hợp với liệu đầu vào để tạo đầu Tiếp đó, sử dụng max pooling để giảm giá trị đầu vào cách lấy giá trị lớn pool_size Tương tự lặp lại bước tích chập pooling ta kết hình sau: 49 Hình 22: Sơ đồ lớp mơ hình CNN Sau bước Convolution Max_pool ta làm phẳng shape Flatten() Trong tốn này, tơi sử dụng cấu trúc mạng kết nối đầy đủ với ba lớp Các lớp kết nối đầy đủ xác định cách sử dụng lớp Dense Chúng ta định số lượng nơron nút lớp làm đối số định hàm kích hoạt cách sử dụng đối số activation Chúng tơi sử dụng chức kích hoạt đơn vị tuyến tính chỉnh lưu gọi ReLU lớp Từ ta xác định inputs outputs mơ hình Hình 23: Sơ đồ Hoạt động lớp CNN 50 Bước 6: Biên dịch mơ hình: model.compile(loss='mse', optimizer = 'adam', metrics = ['mse', 'mae'] ) Ở đây, sử dụng hàm mát (loss) mse Mean Square Error (MSE) hàm mát hồi quy sử dụng phổ biến MSE tổng bình phương khoảng cách biến mục tiêu chúng tơi giá trị dự đốn Và tơi sử dụng cơng cụ tối ưu hóa Adam để đạt đến mức tối thiểu toàn cầu đào tạo mơ hình Nếu tơi bị mắc kẹt cực tiểu cục đào tạo trình tối ưu hóa adam giúp chúng tơi khỏi cực tiểu cục (local minimum) đạt tới điểm tối ưu (flat minimum) Ngồi có chức sử dụng để đánh giá hiệu xuất mơ hình metrics Tơi kiểm tra tóm tắt mơ hình mà tơi đào tạo cách sử dụng đoạn mã sau: model.summary( ) Hình 24: Tóm tắt mơ hình đào tạo 51 Bước 7: Đào tạo mơ hình: model.fit(X_train_new, y_train, epochs = 10000, batch_size = 32, validation_data = (X_test_new, y_test), verbose = 2) model.fit() đào tạo mơ hình cách cắt liệu thành "lơ" có kích thước batch_size =32 lặp lặp lại toàn tập liệu cho số lượng epochs = 10000 Bảng 16: Bảng thể kết đánh giá mơ hình tập train test Loss MSE MAE Val Loss Val MSE Val MAE 1.3013e-5 1.3013e-5 0.0027 0.0016 0.0016 0.0208 Bước 8: Đánh giá mơ hình: model.evaluate(X_test_new, y_test) model.evaluate() để đánh giá mơ hình đào tạo cách sử dụng liệu xác nhận (hoặc kiểm tra) nhãn tương ứng Trả giá trị tổn thất giá trị số liệu cho mơ hình Bảng 17: Bảng thể kết đánh giá mơ hình tập test Loss MSE MAE 0.0016 0.0016 0.0208 Bước 9: Lưu mơ hình: model.save('model.h5') Do mơ hình học sâu hàng giờ, hàng ngày chí hàng tuần để đào tạo, điều quan trọng phải biết cách lưu Bạn lưu tồn mơ hình vào vật Nó bao gồm: ● Cấu trúc / cấu hình mơ hình ● Giá trị trọng lượng mơ hình (được học q trình đào tạo) ● Thơng tin biên dịch mơ hình (nếu compile() gọi) 52 Chương 5: Xây dựng chương trình phát xoay biển số 5.1 Các thư viện cần cài đặt ● Thư viện OpenCV ● Thư viện numpy ● Thư viện Tensorflow ● Thư viện pandas ● Thư viện Scikit learn ● Thư viện Keras 5.2 Quy trình thực ❖ Tải mơ hình xây dựng model = load_model('model.h5') Do trình đào tạo mơ hình lâu nên thư viện Keras hỗ trợ lưu tải mơ hình Giúp hạn chế tối đa mảng thời gian chờ đợi Ở đây, thư viện Keras có hàm load_model giúp tải mơ hình lên sử dụng ❖ Tải ảnh đầu vào image = cv2.imread('image.jpg') Thư viện OpenCV hỗ trợ người dùng hàm cv2.imread() để đọc ảnh Hình 25: Hình ảnh sau đọc vào 53 ❖ Thay đổi kích thước ảnh đầu vào phù hợp với mơ hình image = cv2.resize(img, (150, 100) Thay đổi kích thước hình ảnh có nghĩa thay đổi kích thước nó, chiều rộng, chiều cao thay đổi hai Ngồi ra, tỷ lệ khung hình hình ảnh gốc giữ ngun hình ảnh thay đổi kích thước Để thay đổi kích thước hình ảnh, OpenCV cung cấp hàm cv2.resize () Các tham số hàm cv2.resize() gồm: ảnh đầu vào kích thước mong muốn Hình 26: Hình ảnh sau thay đổi kích thước ❖ Chuẩn hóa liệu phạm vi [0, 1] image_arr = np.array(image) / 255 ❖ Dự đoán đầu kết đầu point = model.predict(np.array([image_arr])) predict() tạo dự đoán đầu cho mẫu đầu vào Mẫu đầu vào mảng numpy Kết dự đoán số tương ứng tọa độ điểm cần tìm ❖ Nhóm cặp điểm chỉnh kích thước thực ảnh box = point.reshape(-1, 2) h, w = image.copy() a = box a[:, 0] = a[:, 0] * w a[:, 1] = a[:, 1] * h 4_point = np.array(a, dtype = 'uint16') Sau có kết từ bước dự đốn predict() ta số phạm vi [0, 1] Đầu tiên tơi nhóm cặp số thành cặp tương ứng điểm, làm tiếp 54 tục ta điểm (x1, y1), (x2, y2), (x3, y3), (x4, y4) Sau ta nhân giá trị x với giá trị bề rộng ảnh thực y nhân với giá trị chiều cao ảnh thưc Và cuối cho điểm vào mảng array Hình 27: Hình ảnh hiển thị tọa độ điểm dự đốn từ mơ hình ❖ Xoay biển số pts1 = np.float32(4_point) pts2 = np.float32([ [0,0], [350,0], [350,200], [0,200]]) M = cv2.getPerspectiveTransform(pts1, pts2) final_plate = cv2.wrapPerspective(image, M, (320, 200)) OpenCV cung cấp hàm cv2.getPerspectiveTransform () nhận cặp điểm tương ứng xuất ma trận chuyển đổi Khi ma trận chuyển đổi (M) tính tốn, chuyển đến hàm cv2.warpPerspective () để áp dụng phép biến đổi phối cảnh cho hình ảnh Hình 28: Kết biển số thu 55 Chương 6: Kết 6.1 Kết thu Sau trình tìm hiểu đề tài nghiên cứu đề tài Tơi tìm hiểu nhiều phương pháp khác để giải toán phát biển số xe để ứng dụng phục vụ trường Đại học Phenikaa Mơ hình tối xây dựng thuật toán CNN Với kết trả tương đối xác Bảng 18: Bảng thể kết sau chạy mơ hình Ảnh gốc Dự đoán điểm Detect biển 6.2 Ưu điểm, nhược điểm 6.2.1 Ưu điểm ● Mơ hình nhận diện tương đối xác hầu hết ảnh ● Nhận diện biển số khung hình ● Nhận diện biển số nhiều trạng thái khác như: nghiêng nhiều hướng khác 56 ● Nhận diện tương đối xác chất lượng ảnh đầu vào chưa tốt mờ, nhiễu, ● Nhận diện tương đối xác biển số bị tác động từ môi trường như: đèn , ánh sáng từ mơi trường , … ● Mơ hình nhận diện tốt với liệu ảnh thực tế trường Đại học Phenikaa ● Có thể xoay biển số biển số nhiều trạng thái khác 6.2.2 Nhược điểm ● Mơ hình chưa thể nhận diện xác tất ảnh hạn chế lượng liệu huấn luyện ● Mơ hình nhận diện yếu biển số khu vực viền ảnh bị cắt ● Mơ hình nhận diện yếu ảnh đầu vào khu vực nhà để xe Đại học Phenikaa mơ hình cần phải train với lượng liệu lớn ● Mơ hình nhận diện biển số khung hình giới hạn ứng dụng nhà xe ● Mơ hình nhận diện yếu ảnh bị mờ nhiễu q mức ● Mơ hình nhận diện yếu có vật thể che biển số bị cắt khung hình ● Mơ hình nhận diện chưa tốt điều kiện môi trường tối, sáng chói 6.3 Hướng phát triển ● Cần bổ sung thêm nhiều liệu để tối ưu hóa mơ liệu biển số buổi tối, ảnh mờ, ảnh nhiễu, ảnh sáng chói, ảnh nhiều vị trí khác khung hình, ảnh bị vật thể che, ● Nghiên cứu mơ hình nhận diện ký tự biển số Và xếp chúng thứ tự thực tế DANH MỤC CỤM TỪ VIẾT TẮT STT Artificial Intelligence AI Công nghệ thông tin CNTT Computational Network Toolkit CNTK Convolutional Neural Network CNN Convert Color Convert Color Deep neural Network DNN Fast Region-based Convolutional Neural FAST-RCNN Cụm từ Viết tắt Networks Faster Region-based Convolutional Neural FASTER-RCNN Networks Graphics Processing Unit GPU 10 Histogram of Oriented Gradient HOG 11 Library Support Vector Machine LibSVM 12 Linear Algebra Package LAPACK 13 Microsoft Disk Operating System MS-DOS 14 Numerical Python Numpy 15 Open Computer Vision OpenCV 16 Principal component analysis PCA 17 "Python and data analysis" and "panel data" Pandas 18 Region-based Convolutional Neural Network R-CNN 19 Scikit-learn Sklearn 20 Single Shot MultiBox Detector SSD 21 You Only Look Once YOLO TÀI LIỆU THAM KHẢO [1] Qinghong Wang (2017), License plate recognition via convolutional neural networks, IEEE, https://ieeexplore.ieee.org/abstract/document/8343061, ISNN: 2327-0594, Số gia nhập INSPEC: 17720191 [2] Lubna, Naveed Mufti and Syed Afaq Ali Shah (2021), Automatic Number Plate Recognition: A Detailed Survey of Relevant Algorithms, https://doi.org/10.3390/s21093028, the Special Issue Advanced Computer Vision Techniques for Autonomous Driving [3] Anjali Suresan, Divyaa Mahalakshmi G, Meenakshi Venkatraman, Shruthi Suresh (2021), Comparison of Machine Learning Algorithms for Smart License Number Plate Detection System, 10.1007/978-3-030-51859-2_7, In book: Image Processing and Capsule Networks (pp.63-75)