Đang tải... (xem toàn văn)
1 HỌC VIỆN KỸ THUẬT QUÂN SỰ KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO Thực Tập Công Nghiệp Đề tài Nhận dạng và đọc giấy tờ và trích xuất thông tin giấy tờ tùy thân Sinh viên thực hiện Hồ Đắc Thắng Lớp Công Ngh.
HỌC VIỆN KỸ THUẬT QUÂN SỰ KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO Thực Tập Công Nghiệp Đề tài Nhận dạng đọc giấy tờ trích xuất thơng tin giấy tờ tùy thân Sinh viên thực hiện: Hồ Đắc Thắng Lớp: Công Nghệ Dữ Liệu 16-B Mã sinh viên: 17150184 Hà Nội, 06/2020 Mục lục LỜI CẢM ƠN LỜI NÓI ĐẦU I TÊN ĐỀ TÀI II NƠI THỰC TẬP III NỘI DUNG THỰC TẬP Mục đích: Các nội dung tham gia trình thực tập: IV KẾT QUẢ ĐẠT ĐƯỢC A.Nắm bắt kiến thức học sâu ứng dụng mơ hình học sâu vào giải tốn thực tế Nghiên cứu đề tài thu thập tài liệu Nội dung tiến hành: Kết quả: Xây dựng chương tình a Các chức dự kiến xây dựng: b Các chức xây dựng : c Các chức dự kiến chưa xây dựng : 17 Những khó khắn q trình thực tập 18 V Xác nhận kết thực tập điểm giáo viên phụ trách (của sở thực tập), viết thành văn riêng 18 LỜI CẢM ƠN Đầu tiên, em xin gửi lời cảm ơn tới anh Ngô Ngọc Thành, anh Lê Hữu Tôn, anh Nguyễn Minh Quỳnh, anh Nguyễn Bá Trung tất anh chị phận sản xuất toàn thể anh chị công ty cổ phần Beet Innovators góp phần cho em trải nghiệm mơi trường làm việc chuyên nghiệp với dự án thực tế, đồng thời hướng dẫn tạo điều kiện cho em tiếp cận với công nghệ để em nâng cao trình độ Cuối cùng, em xin gửi lời cảm ơn tới tất thầy cô giáo khoa công nghệ thông tin tạo điều kiện thuận lợi giúp em hoàn thành giai đoạn thực tập LỜI NĨI ĐẦU Xã hội phát triển nhu cầu người ngày cao đa dạng Theo phát triển xã hội việc ứng dụng AI vào đời sống thực tiễn để hỗ trợ người làm việc ngày gia tăng Ưu điểm ứng dụng AI thời gian xử lí cơng việc nhanh chóng với độ xác cao Vì thị trường đầy tiềm cho lập trình viên Bài báo cáo kết thực tập Công Ty cổ phần Beet Innovators ứng dụng AI sử dụng python để nhận dạng đọc loại giấy tờ tùy thân Trong thời gian thực tập học củng cố kiến thức Python , cách làm việc nhóm , có sản phẩm ban đầu Em xin chân thành cảm ơn anh Lê Hữu Tôn anh Nguyễn Bá Trung -phụ trách hướng dẫn thực tập nhiệt tình hỗ trợ, cung cấp tài liệu hướng dẫn cho bọn em đợt thực tập Mặc dù cố gắng hoàn thành nhiệm vụ giao kiến thức hạn chế nên cịn nhiều thiếu sót Em mong nhận đóng góp xây dựng người Em xin chân thành cảm ơn ! I TÊN ĐỀ TÀI Đề tài: Nhận dạng đọc thông tin giấy tờ tùy thân Mô tả: Nhận dạng đọc thông tin loại giấy tờ tùy thân như: Chứng minh thư, lái xe, đăng kí xe, … II NƠI THỰC TẬP Công ty thực tập: Công ty cổ phần Beet Innovators Địa chỉ: số 11, ngõ 160/3, Đường Trần Bình - Phường Mai Dịch - Quận Cầu Giấy - Hà Nội III NỘI DUNG THỰC TẬP Mục đích: - Tiếp xúc với mơi trường làm viêc cơng ty cơng nghệ có mơi trường làm việc chuyên nghiệp - Rèn luyện khả làm việc, nghiên cứu, học tập, tự học làm việc theo nhóm - Quan sát, học hỏi, đúc kết kinh nghiệm từ anh chị hướng dẫn từ nhóm - Hồn thiện kỹ năng, trau dồi kiến thức thân - Tiếp cận với ngôn ngữ lập trình framework cơng nghệ - Xây dựng sản phẩm có ý nghĩa giải nhu cầu đồng thời giúp ích cho xã hội Các nội dung tham gia trình thực tập: - Thuật tốn ứng dụng - Làm quen với Python ứng dụng deep learning vào thực tế - Các khái niệm deep learning - Cách ứng dụng mơ hình học sâu vào tốn thực tế - Triển khai mơ hình học sâu tảng x86 ARM - Thảo luận đưa ý kiến thân vấn đề liên quan đến hướng phát triển sản phẩm nâng cao trải nghiệm người dùng - Kỹ làm việc nhóm - Kỹ giao tiếp công việc - Biết thêm số kỹ đến việc quản lý thành viên developer team - Được tiếp xúc với môi trường server thực tế IV KẾT QUẢ ĐẠT ĐƯỢC A.Nắm bắt kiến thức học sâu ứng dụng mơ hình học sâu vào giải toán thực tế Nghiên cứu đề tài thu thập tài liệu : Đề tài : Nhận dạng đọc thơng tin giấy tờ tùy thân Tìm kiếm tài liệu: Các kiến thức Deeplearning ứng dụng model deeplearning vào công việc Ứng dụng mô yolo, unet, paddle,… để thực train model đánh giá kết Nội dung: Học, làm quen với Python model deeplearning Công cụ phát triển : Python Nội dung tiến hành: 2.1 Gán nhãn tiền xử lí liệu huấn luyện cho mơ hình phát đối tượng ( Object Detection - YOLOv4 ) - Tìm hiểu Yolo - Thu thập liệu giấy tờ tuỳ thân (CCCD, CMND, Đăng Ký Xe, Đăng Kiểm Xe, …) - Gán nhãn liệu cho ảnh - Áp dụng phương pháp Data Augmentation cho tập liệu để gia tăng lượng liệu đào tạo mơ hình - Train model mơ hình phát đối tượng (Object Detection – YOLOv4) 2.2 Huấn luyện mơ hình kiểm thử, đánh giá độ xác model Yolo - Đào tạo mơ hình server - Kiểm thử độ xác với tập liệu để đánh giá xác mơ hình 2.3 Gán nhãn liệu huấn luyện mơ hình phân đoạn hình ảnh (Unet Segmentation) - Tìm hiểu Unet Segmentation - Gán nhãn liệu cho mô hình phân đoạn đối tượng - Áp dụng phương pháp Data Augmentation cho tập liệu để gia tăng lượng liệu đào tạo mơ hình - Huấn luyện mơ hình phân đoạn đối tượng (Unet Segmentation) 2.4 Huấn luyện kiểm thử, đánh giá độ xác mơ hình model Unet - Đào tạo mơ hình server - Kiểm thử độ xác với tập liệu để đánh giá xác mơ hình 2.5 Xử lý ảnh trích xuất hình dạng đối tượng - Thiết kế giải thuật trích xuất hình dạng đối tượng dựa ảnh nhị phân - Sử dụng thuật tốn HoughLine để tìm phát đường thẳng 2.6 Gán nhãn chuẩn bị liệu huấn luyện phân lớp đối tượng .- Tìm hiểu tự tạo mạng CNN đơn giản phục vụ toán phân lớp đối tượng - Gán nhãn liệu cho mô hình phân lớp đối tượng - Áp dụng phương pháp Data Augmentation cho tập liệu để gia tăng lượng liệu đào tạo mơ hình - Huấn luyện mơ hình phân lớp đối tượng 2.7 Huấn luyện kiểm thử, đánh giá độ xác model classification - Đào tạo mơ hình server - Kiểm thử độ xác với tập liệu để đánh giá xác mơ hình 2.8 Gán nhãn liệu huấn luyện mơ hình cho tốn phát văn - Tìm hiểu PaddleOCR - Gán nhãn liệu cho cho đoạn văn - Áp dụng phương pháp Data Augmentation cho tập liệu để gia tăng lượng liệu đào tạo mơ hình - Sử dụng pretrained-model PaddleOCR để huấn luyện mơ hình phát văn 2.9 Huấn luyện mơ hình kiểm thử, đánh giá độ xác - Đào tạo mơ hình server - Kiểm thử độ xác với tập liệu để đánh giá xác mơ hình 2.10 Xử lý nối hộp bao quanh vùng phát chữ viết để thực nhận dạng chữ viết - Giải thuật thiết kế dựa giải thuật tìm kiếm theo chiều sâu(DFS) - Kết hợp box thỏa mãn điều kiện đề sau nhận dạng ô văn nhờ detect text thành box lớn phục vụ toán nhận dạng văn 2.11 Gán nhãn liệu huấn luyện mơ hình cho tốn nhận dạng chữ viết .- Tìm hiểu PaddleOCR - Gán nhãn liệu cho đoạn văn - Áp dụng phương pháp Data Augmentation cho tập liệu để gia tăng lượng liệu đào tạo mơ hình - Sử dụng pretrained-model PaddleOCR để huấn luyện mơ hình nhận dạng văn bản(Text Recognition – PaddleOCR) 2.12 Huấn luyện mơ hình kiểm thử, đánh giá độ xác - Đào tạo mơ hình server - Kiểm thử độ xác với tập liệu để đánh giá xác mơ hình 2.13 Cài đặt mơi trường kiểm thử độ xác kiến trúc x86 .- Tìm hiểu Paddle lite - Chuẩn môi trường X86 chạy giả lập Linux - Kiểm thử độ xác mơ hình 2.14 Ứng dụng Opencv để phát khuôn mặt sử dụng C++ - Tìm hiểu QT - Cài đặt mơi trường làm quen với QT - Tìm hiểu phát khuôn mặt dùng opencv c++ 2.15 Ứng dụng NCNN để phát khn mặt - Tìm hiểu phát khuôn mặt sử dụng NCNN 2.16 Kết hợp chạy đa luồng phát khuôn mặt từ luồng livestream - Tìm hiểu Qthread - Dùng QThread để tạo luồng phát khuôn mặt real-time Kết quả: - Hoàn thiện sản phẩm với thời gian ngắn so với thời gian tối đa - Hòa thiện chức độ xác mơ hình học sâu > 98% Xây dựng chương trình: a Các chức dự kiến xây dựng - Chức nhận diện xác định vị trí giấy tờ tùy thân - Chức trích xuất hình dạng đối tượng - Chức phân loại giấy tờ tùy thân - Chức phất văn giấy tờ - Chức xử lý nối hộp bao quanh vùng phát văn bản: - Chức nhận dạng chữ viết - Chức hậu xử lí nhận dạng chữ viết (đang phát triển) - Chức xây dựng API cho phép (đang phát triển) - Chức nhận dạng khuôn mặt - Triển khai đa tảng (đang phát triển) b Các chức xây dựng - Chức nhận diện xác định vị trí giấy tờ tùy thân: Chức nhận diện xác định vị trí giấy tờ tùy thân phát loại giấy tờ tùy thân : chứng minh thư, cước cơng dân, lái xe, đăng kí xe, đăng kiểm xe(Sẽ mở rộng để nhận diện đọc nhiều loại giấy tờ tùy thân như: hộ chiếu ,….) Phát chứng minh thư đóng khung đối tương - Chức trích xuất hình dạng đối tượng: 10 11 Chuyển đổi từ ảnh kênh màu(rgb) sang ảnh nhị phân sử dụng Unet Segmentation 12 Từ ảnh nhị phân trích xuất đối tượng - Chức phân loại giấy tờ tùy thân : Chức phân loại giấy tờ tùy thân giúp phân loại mặt trước hay sau , xuôi hay ngược loại giấy tờ 13 Nhận dạng ảnh thuộc lớp chứng minh thư nhân dân mặt trước xuôi - Chức phất văn giấy tờ: Chức phát văn giúp xác định vùng chứa nội dung văn giấy tờ 14 - Chức xử lý nối hộp bao quanh vùng phát văn bản: Chức xử lý hộp bao quanh vùng phát văn giúp nối từ thuộc dịng thuộc vùng có liên quan lại với 15 - Chức nhận dạng chữ viết: Chức nhận dạng chữ viết giúp chuyển hình ảnh văn thành văn (text) để lấy thông tin giấy tờ tùy thân - Chức nhận dạng khuôn mặt: Phát xác định vị trí khn mặt real time(sử dụng C++ để ứng dụng nhúng vào mạch độc lập) 16 c Các chức dự kiến chưa xây dựng - Chức hậu xử lí nhận dạng chữ viết (đang phát triển): Chức hậu xử lý chữ viết giúp chỉnh sửa từ bị nhận dạng chữ viết nhận dạng sai cho hiệu suất chuyển từ ảnh thành văn đạt hiệu cao xác - Chức xây dựng API cho phép (đang phát triển): - Mở rông dự án cho nhiều loại giấy tờ tùy thân khác như(đang phát triển): cước công dân, cước công dân gắn chip, hộ chiếu, đăng kí xe, đăng kiểm xe,bằng lái xe, - Triển khai đan nên tảng(đang phát triển) : chuyển đổi mơ hình để phát triển thiết bị di động nhúng vào mạch độc lập mà không cần kết nối tới máy chủ - Tối ưu mơ hình thuật tốn để tăng tốc độ xử lí chương trình(đang phát triển) Những khó khan q trình thực tập: • Trong q trình thực tập, thời gian đầu em gặp phải khó khăn mặt kiến thức chưa có kinh nghiệm mảng 17 Ngoài kiến thức mặt kiến thức, kỹ làm việc nhóm kỹ cần trau dồi để giao tiếp tốt với đồng nghiệp nhóm • Những loại liệu để đào tạo mơ hình học sâu khơng phải lúc có sẵn có đủ nên thời gian chuẩn bị tìm kiếm • V Xác nhận kết thực tập điểm giáo viên phụ trách (của sở thực tập), viết thành văn riêng (Chú ý, điểm GVHD có thang điểm 10 dùng để Bộ môn chuyên ngành tham khảo cho điểm cuối cùng) Giảng viên Chủ nhiệm Bộ môn Chủ nhiệm Khoa (Ký ghi rõ họ tên) (Ký ghi rõ họ tên) (Ký ghi rõ họ tên) 18 19