BÁO cáo CHUYÊN đề học PHẦN học máy NÂNG CAO đề tài NHẬN DIỆN BIỂN số XE

TRƯỜNG ĐẠI HỌC ĐIỆN LỰC KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO CHUYÊN ĐỀ HỌC PHẦN HỌC MÁY NÂNG CAO ĐỀ TÀI: NHẬN DIỆN BIỂN SỐ XE Sinh viên thực : LƯU TÙNG LINH BÙI XUÂN HÙNG ĐINH TIẾN ĐÔNG Giảng viên hướng dẫn : PHẠM THỊ KIM DUNG Ngành : CÔNG NGHỆ THÔNG TIN Chuyên ngành : CÔNG NGHỆ PHẦN MỀM Lớp : D13CNPM7 Khóa : 2018-2023 Hà Nội, 26 tháng 02 năm 2022 PHIẾU CHẤM ĐIỂM Sinh viên thực hiện: Họ tên Chữ ký Ghi Lưu Tùng Linh (188100310591) Bùi Xuân Hùng (18810310603) Đinh Tiến Đông (18810310593) Giảng viên chấm: Họ tên Chữ ký Giảng viên chấm 1: Giảng viên chấm 2: MỤC LỤC Ghi Điểm CHƯƠNG 1: TỔNG QUAN VỀ HỌC MÁY 1 Tổng quan học máy 1.1 Khái niệm học máy 1.2 Các phương pháp học máy 1.2.1 Học có giám sát .2 1.2.2 Học không giám sát 1.2.3 Học máy bán giám sát 1.2.4 Học máy tăng cường 1.3 Ứng dụng học máy CHƯƠNG 2: BÀI TOÁN NHẬN DIỆN BIỂN SỐ XE Giới thiệu toán 1.1 Đặt vấn đề 1.2 Mô tả 1.3 Yêu cầu toán 1.4 Phân tích tốn .8 Môi trường thực nghiệm 2.1 Cài đặt môi trường python Xây dựng giới thiệu mơ hình 3.1 Mơ hình Yolov4 3.2 Module PaddleOCR 3.3 Xây dựng mơ hình 10 3.3.1 Tiến hành Crawl liệu 10 3.3.2 Gán nhãn liệu qua Labelimg 11 3.3.4 Tiến hành train Model Yolo .12 3.3.5 Kết sau train YOLO 13 3.3.6 Cắt vùng ảnh chứa biển số xe dựa vào tọa độ xác định sau train model 14 3.3.7 Sử dụng PaddleOCR để đọc kí tự biển số cắt .14 3.4 Giao diện sử dụng 15 KẾT LUẬN 16 LỜI MỞ ĐẦU Những năm gần với phát triển vượt bậc công nghệ thông tin “Machine Learning” cụm từ người ý đến với khả tự học hỏi cách nhanh chóng có lượng liệu định với thuật toán phù hợp “Machine learning” cụm từ người ý đến với khả tự học hỏi cách nhanh chóng có liệu định với thuật toán phù hợp Hiện nay, nhiều người ý quan tâm đến Machine learning thành tích đáng kể mà đem lại cho người, ví dụ người gia tăng dung lượng lưu trữ loại liệu sẵn, việc xử lý tính tốn có chi phí thấp hiệu nhiều lần mang lại độ xác cao Ngồi ra, Machine learning thay người số cơng việc kiểm sốt đèn, phương tiện giao thông hay thiết kết bãi đỗ xe thơng minh,… Chính hiệu cơng việc lợi ích mà Marchine Learrning đem lại cho người em định chọn đề tài: “Nhận diện biển số xe” CHƯƠNG 1: TỔNG QUAN VỀ HỌC MÁY Tổng quan học máy 1.1 Khái niệm học máy Hình 1.1: Minh họa học máy - Học máy hay máy học có tên tiếng Anh đầy đủ Machine Learning, viết tắt ML Thuật toán Machine Learning chương trình máy tính có khả học hỏi hoàn thành nhiệm vụ, đồng thời cách để cải thiện hiệu suất theo thời gian vô hiệu - Học máy công nghệ phát triển từ trí tuệ nhân tạo - Ngồi ra, Machine Learning cịn biết cịn cơng nghệ phát triển từ lĩnh vực trí tuệ nhân tạo tiên tiến Để đảm bảo sai lệch khơng xuất liệu giả, Machine Learning cần trình tìm hiểu lựa chọn kỹ thuật phân tích liệu từ người - Học máy ngày mang tính phổ biến toàn giới Sự tăng trưởng vượt bậc liệu lớn (Big Data) thuật toán Machine Learning cải thiện độ xác mơ hình dự đoán tương lai 1.2 Các phương pháp học máy Có loại học máy học có giám sát (supervised learning) và học khơng giám sát (unsupervised learning) 1.2.1 Học có giám sát Hình 1.2.1: Học có giám sát - Trong học có giám sát, máy tính học cách mơ hình hóa mối quan hệ dựa liệu gán nhãn (labeled data) Sau tìm hiểu cách tốt để mơ hình hóa mối quan hệ cho liệu gắn nhãn, thuật toán huấn luyện sử dụng cho liệu - Trong học có giám sát, quan sát bắt buộc phải dán nhãn trước Đây nhược điểm phương pháp này, khơng phải lúc việc dán nhãn xác cho quan sát dễ dàng Tuy nhiên, việc quan sát dán nhãn lại ưu điểm học có giám sát thu thập liệu lớn dán nhãn chuẩn xác, việc huấn luyện trở nên dễ dàng nhiều so với liệu không dán nhãn - Ứng dụng kĩ thuật học có giám sát: Xác định tín hiệu hay biến số tốt để dự báo lợi nhuận tương lai cổ phiếu dự đốn xu hướng thị trường chứng khốn 1.2.2 Học khơng giám sát Hình 1.2.2: Học khơng giám sát - Trong thuật tốn khơng biết liệu đầu  hay nhãn mà có liệu đầu vào Thuật tốn Học khơng giám sát dựa vào cấu trúc liệu để thực cơng việc đó, ví dụ phân nhóm giảm số chiều liệu để thuận tiện việc lưu trữ tính tốn - Một cách tốn học, Học khơng giám sát có liệu vào X mà khơng biết nhãn Y tương ứng - Những thuật tốn loại gọi Học khơng giám sát khơng giống Học có giám sát, khơng biết câu trả lời xác cho liệu đầu vào Giống ta học, khơng có thầy giáo cho ta biết chữ A hay chữ B Cụm không giám sát được đặt tên theo nghĩa - Ứng dụng học không giám sát: Phân loại cơng ty thành nhóm cơng ty tương đồng dựa đặc điểm chúng thay sử dụng tiêu chuẩn nhóm ngành quốc gia 1.2.3 Học máy bán giám sát Hình 1.2.3: Học bán giám sát - Các toán lượng liệu lớn X phần tập liệu gán nhãn gọi học bán giám sát Những toán thuộc nhóm nămg hai nhóm học có giám sát học khơng giám sát - Một ví dụ điển hình cho học bán giám sát có phần ảnh văn gán nhãn (ví dụ ảnh người, động vật văn khoa học, …) phần lớn ảnh/ văn chưa gán nhãn thu thập từ internet - Thực tế có nhiều tốn Machine Learning thuộc vào nhóm việc thu thập liệu có nhãn tốt nhiều thời gian chi phí cao Rất nhiều loại liệu chí cần phải có chun gia gán nhãn được, ngược lại liệu chưa có nhãn thu thập với chi phí thấp từ internet 1.2.4 Học máy tăng cường Hình 1.2.4: Học máy tăng cường - Học tăng cường toán giúp cho hệ thống tự động xác định hành vi dựa hồn cảnh để đạt lợi ích cao Hiện học tăng cường chủ yếu áp dụng vào lý thuyết trị chơi, thuật tốn cần xác định nước để đạt điểm số cao - Ví dụ điển hình cho phương pháp học tăng cường là: AlphaGo gần tiếng với việc chơi cờ vây thắng người 10 1.3 Ứng dụng học máy - Các thuật toán ML sử dụng để phân tích liệu lớn (big data) để giúp dự đoán xu hướng kiện thị trường, ví dụ dự đốn kết bầu cử trị - Các thuật tốn nhận dạng hình ảnh phân tích liệu từ hệ thống chụp ảnh vệ tinh để cung cấp thông tin số lượng khách hàng bãi đậu xe cửa hàng bán lẻ, hoạt động vận chuyển sở sản xuất, sản lượng nông nghiệp Những thông tin cung cấp liệu đầu vào cho mơ hình định giá mơ hình kinh tế  Nhận diện khn mặt: Thể loại mặt so với khơng có mặt Có thể có danh mục riêng cho người sở liệu số cá nhân  Nhận dạng ký tự, chữ viết: Chúng ta phân đoạn đoạn văn thành hình ảnh nhỏ hơn, đoạn chứa ký tự Các danh mục bao gồm 26 chữ bảng chữ tiếng Anh, mười chữ số số ký tự đặc biệt  Nhận dạng giọng nói: Nhận dạng giọng nói (SR) dịch từ nói thành văn Nó cịn gọi nhận dạng giọng nói tự động (ASR), nhận dạng giọng nói máy tính lời nói thành văn bản(STT) 11 CHƯƠNG 2: BÀI TOÁN NHẬN DIỆN BIỂN SỐ XE Giới thiệu toán 1.1 Đặt vấn đề Bài toán nhận diện biển số xe loại tốn khơng mới, ứng dụng triển khai rộng rãi sống thường ngày bãi đỗ xe thông minh, hệ thống thu tiền đường cao tốc hay đến nghiệp vụ truy bắt Bài toán nhận diện biển số xe có mơ hình chung sau: - Thứ nhận diện biển số xe, ta thu thập liệu thông qua video ảnh cắt biển số xe - Thứ hai ta xác định vị trí biển số xe ảnh video, ảnh có nhiều biển số xe, có kích thước góc độ khác 1.2 Mơ tả - Bài tốn thực để nhận dạng biển số xe qua model YOLO để phát biển số xe Sau đó, crop biển số xe sử dụng PaddleOCR để hiển thị liệu biển 1.3 Yêu cầu toán - Bài tốn có bước là:  Phát biển số xe  Nhận diện biển số xe - Bài toán nhận diện biển số xe phải xác định tất biển số xe nhìn thấy hình - Sau hiển thị liệu biển số xe tương ứng 12 1.4 Phân tích tốn - Input: ảnh khơng có kích cỡ định biển số xe - Output: Hiện thông tin biển số xe - Dataset: Bộ liệu biển số xe hầm gửi xe tòa chung cư Ecomart - Xây dựng train model YOLO module có sẵn PaddleOCA Mơi trường thực nghiệm 2.1 Cài đặt môi trường python - Cài đặt phiên python 3.7 trang chủ: https://www.python.org - IDE: Pycharm - Bộ thư viện sử dụng: flask, numpy, opencv, pandas, yolo, paddleOCR, matplotlib, Imutils,… - Sử dụng Google Colab để train mơ hình liệu học máy Xây dựng giới thiệu mơ hình 3.1 Mơ hình Yolov4 - Yolo mơ hình mạng CNN cho việc phát hiện, nhận dạng, phân loại đối tượng Yolo tạo từ việc kết hợp convolutional layers connected layers.Trong đóp convolutional layers trích xuất feature ảnh, cịn full-connected layers dự đốn xác suất tọa độ đối tượng  Họ mơ hình RCNN ( Region-Based Convolutional Neural Networks) để giải toán định vị nhận diện vật thể  Họ mơ hình YOLO (You Only Look Once) dùng để nhận dạng đối tượng thiết kế để nhận diện vật thể real-time 13 Hình 3.2.1: Mơ hình Yolov4 - YOLO sử dụng linear regression để dự đốn thơng tin vng Do đó, layer cuối khơng sử dụng hàm kích hoạt Với ảnh đầu vào 448x448, mơ hình CNN có tầng max pooling với size 2x2 giảm 64 lần kích thước ảnh xuống cịn 7x7 output đầu Đồng thời thay sử dụng tầng full connected tầng cuối cùng, thay tầng 1x1 conv với 13 feature maps để output shape dễ dàng cho 7x7x13 3.2 Module PaddleOCR - Mô-đun ocr_db_crnn sử dụng để nhận dạng ký tự ảnh Dựa hộp văn phát text_detection_db, tiếp tục nhận dạng ký tự Trung Quốc hộp văn Sau đó, phân loại góc hộp văn phát thực Thuật toán nhận dạng văn cuối thông qua CRNN (Mạng nơ-ron tái chế chuyển đổi), cụ thể Mạng nơ-ron tổng hợp tuần hồn Nó kết hợp DCNN RNN chuyên dùng để nhận dạng đối tượng ảnh Được sử dụng với CTC, để nhận dạng văn bản, học trực tiếp từ thích cấp độ từ cấp văn khơng u cầu thích cấp độ ký tự chi tiết Mơ-đun mơ hình OCR chung hỗ trợ dự đốn trực tiếp 14 Hình 3.2.2: Mơ hình PaddleOCR 3.3 Xây dựng mơ hình 3.3.1 Tiến hành Crawl liệu Hình 3.3.1: Tiến hành Crawl liệu 15 - Bộ liệu 1000 ảnh lấy thực tế từ hầm để xe chung cư Hà Nội website - Tiến hành crawl liệu sau có liệu gốc qua WebDriver Hình 3.3.2: Crawl liệu 3.3.2 Gán nhãn liệu qua Labelimg Hình 3.3.3: Gán nhãn liệu 16 - Dữ liệu trả sau gán nhãn Hình 3.3.4: Dữ liệu sau gán nhãn 3.3.4 Tiến hành train Model Yolo Hình 3.3.4: Tiến hành train Model Yolo 17 Hình 3.3.4: Tiến hành train model Yolo 3.3.5 Kết sau train YOLO Hình 3.3.5: Kết sau train model YOLO 18 3.3.6 Cắt vùng ảnh chứa biển số xe dựa vào tọa độ xác định sau train model Hình 3.3.6: Cắt tạo độ xác định ảnh biển xe 3.3.7 Sử dụng PaddleOCR để đọc kí tự biển số cắt - Kết thu được: Hình 3.3.6 Sử dụng PaddleOCR để đọc kí tự biển số cắt 19 3.4 Giao diện sử dụng 3.4.1 Xây dựng web Hình 3.4.1: Giao diện trang chủ Sử dụng Flask để đưa mơ hình nhận diện biển số xe lên Web - Kết thu được: Hình 3.4.2: Kết thu 20 KẾT LUẬN Kết đạt được: chúng em cài đặt thuật toán sử dụng thư viện trình học tập Với kiến thức tảng học trường nỗ lực mình, chúng em hoàn thành đề tài “Nhận dạng biển số xe” Mặc dù cố gắng đầu tư nhiều thời gian có hạn, kiến thức cịn non yếu nên phần mềm chắn nhiều hạn chế Chúng em mong nhận thơng cảm góp ý thầy, cô giáo để đề tài chúng em hoàn thiện Một lần chúng em xin chân thành cảm ơn cô Phạm Thị Kim Dung tận tình giúp đỡ chúng em suốt thời gian thực đề tài 21 TÀI LIỆU THAM KHẢO [1] Giáo trình Machine Learning bản-Vũ Hữu Tập, Nhà xuất khoa học kỹ thuật [2] Slide giảng Học Máy- Nguyễn Nhật Quang, Trường Đại Học Bách Khoa Hà Nội [3] Trang web Kaggle.com [4] Vũ Hữu Tiệp; Machine Learning bản; Last update: March8, 2018 [5] Nguyễn Thanh Tuấn; Deep Learning bản; Last update: October 2019 22 ... cho người em định chọn đề tài: ? ?Nhận diện biển số xe? ?? CHƯƠNG 1: TỔNG QUAN VỀ HỌC MÁY Tổng quan học máy 1.1 Khái niệm học máy Hình 1.1: Minh họa học máy - Học máy? ?hay máy học có tên tiếng Anh đầy... diện biển số xe có mơ hình chung sau: - Thứ nhận diện biển số xe, ta thu thập liệu thông qua video ảnh cắt biển số xe - Thứ hai ta xác định vị trí biển số xe ảnh video, ảnh có nhiều biển số xe, ... để nhận dạng biển số xe qua model YOLO để phát biển số xe Sau đó, crop biển số xe sử dụng PaddleOCR để hiển thị liệu biển 1.3 Yêu cầu tốn - Bài tốn có bước là:  Phát biển số xe  Nhận diện biển