Bài viết này đề xuất một giải pháp siêu phân giải và khử nhiễu sử dụng trí tuệ nhân tạo để giải quyết bài toán nâng cao chất lượng ảnh vân tay đầu vào cho hệ thống nhận dạng vân tay. Siêu phân giải và khử nhiễu hình ảnh là hai nhiệm vụ quan trọng trong xử lý hình ảnh nhằm cải thiện chất lượng hình ảnh.
KHOA HỌC CÔNG NGHỆ P-ISSN 1859-3585 E-ISSN 2615-9619 SIÊU PHÂN GIẢI VÀ KHỬ NHIỄU DÙNG TRÍ TUỆ NHÂN TẠO NÂNG CAO CHẤT LƯỢNG ẢNH TRONG NHẬN DẠNG VÂN TAY SUPER-RESOLUTION AND DENOISE USING ARTIFICIAL INTELLIGENCE FOR IMAGE ENHANCEMENT IN FINGERPRINT RECOGNITION Dỗn Thanh Bình TĨM TẮT Bài báo đề xuất giải pháp siêu phân giải khử nhiễu sử dụng trí tuệ nhân tạo để giải toán nâng cao chất lượng ảnh vân tay đầu vào cho hệ thống nhận dạng vân tay Siêu phân giải khử nhiễu hình ảnh hai nhiệm vụ quan trọng xử lý hình ảnh nhằm cải thiện chất lượng hình ảnh Siêu phân giải hình ảnh làm nhiệm vụ ánh xạ hình ảnh có độ phân giải thấp sang hình ảnh có độ phân giải cao khử nhiễu làm nhiệm vụ khơi phục từ hình ảnh bị nhiễu đầu vào Bằng phân tích kết tính tốn tham số chất lượng ảnh xử lý qua thực nghiệm, chứng minh phương pháp đề xuất vượt trội so với số phương pháp có biến đổi Curvelet, biến đổi wavelet rời rạc (DWT), siêu phân giải sâu (VDSR), mạng nơ ron tích chập siêu phân giải (SRCNN) Từ khóa: Nhận dạng vân tay, siêu phân giải khử nhiễu ABSTRACT This paper presents a super-resolution and denoising solution using artificial intelligence to solve the problem of improving the quality of input fingerprint images for fingerprint recognition systems Super resolution and image noise reduction are two important tasks in image processing to improve image quality Image Super-Resolution is mapping a low-resolution image to a high-resolution image while denoising takes care of restoring from noisy input images By analyzing and calculating the experimental image quality parameters, we will prove that the proposed method is superior to some existing methods such as Curvelet transform, discrete wavelet transform (DWT), very deep hyperresolution (VDSR), hyper-resolution convolution neural network (SRCNN) ứng Vì vậy, vào ảnh vân tay chọn lựa đặc tính cần trích chọn đưa phương án nhận dạng Các nguyên lý nhận dạng vân tay liên quan chặt chẽ đến cách thức tìm tương đồng ảnh vân tay đầu vào với mẫu sở liệu vân tay Ba phương pháp nhận dạng vân tay là: dựa vào đối sánh điểm đặc trưng (Minutiae-base matching), tương quan (Correlation-base matching) đặc tính đường vân tay (Ridge feature-base matching) Phương pháp dựa sở đối sánh điểm đặc trưng phổ biến ứng dụng rộng rãi Hai vân tay so sánh điểm đặc trưng (minutiae) vân tay Giai đoạn thứ cịn gọi tạo mã, điểm đặc trưng tối thiểu tạo thành tập hợp điểm đặc trưng lưu trữ mảng 2D Giai đoạn thứ hai tìm vị trí khớp phù hợp vân tay mẫu ảnh vân tay đầu vào cho số điểm đặc trưng tạo thành cặp tương đồng lớn Hai đặc trưng vân tay “Ride termination” “ridge termination” Keywords: Fingerprint recognition, super-resolution and denoising Trường Đại học Điện lực Email: binhdt@epu.edu.vn Ngày nhận bài: 04/5/2021 Ngày nhận sửa sau phản biện: 02/7/2021 Ngày chấp nhận đăng: 25/8/2021 GIỚI THIỆU Theo số liệu thống kê đóng góp ngành sinh trắc học vân tay đứng vị trí hàng đầu ứng dụng nhận dạng Nhằm mục đích mơ tả, người ta định nghĩa số hình thức thể vân tay Mỗi hình thức thể có hình thức trích chọn đặc tả vân tay tương 60 Tạp chí KHOA HỌC VÀ CƠNG NGHỆ ● Tập 57 - Số (8/2021) Hình Quá trình xử lý nhận dạng vân tay XÂY DỰNG MÔ HÌNH 2.1 Siêu phân giải khử nhiễu Siêu phân giải q trình tạo hình ảnh có độ phân giải cao từ hình ảnh có độ phân giải thấp Để giải toán này, người ta sử dụng phương pháp siêu phân giải hình ảnh dựa nội suy cách thức đơn giản nhanh chóng Các phương pháp xử lý hình ảnh có độ phân giải thấp kỹ thuật tăng tần số lấy mẫu Tuy nhiên, điều gây hiệu ứng làm mờ hình ảnh gốc phương pháp cho kết mức tối ưu việc khơi phục chi tiết hình ảnh mẫu Website: https://tapchikhcn.haui.edu.vn SCIENCE - TECHNOLOGY P-ISSN 1859-3585 E-ISSN 2615-9619 Mục tiêu việc khử nhiễu hình ảnh khơi phục hình ảnh khử nhiễu I từ đối tượng nhiễu K với K = I + V V nhiễu (thường giả định nhiễu cộng Gaussian) Tham số thường sử dụng để đo độ nhiễu hình ảnh tỷ số tín hiệu nhiễu (PSNR) Trước đây, số mơ hình xây dựng nhằm khử nhiễu hình ảnh như: mơ hình Sparse, mơ hình Gradient mơ hình Markov Mặc dù phương pháp cho hiệu suất cao việc khử nhiễu, lại phức tạp mặt tính tốn chúng liên quan đến vấn đề tối ưu hóa độ phức tạp giai đoạn thử nghiệm [3] Phương pháp Discriminative Learning (phân biệt mẫu liệu với nhau) áp dụng gần để khắc phục nhược điểm Một ví dụ tiêu biểu, sử dụng phương pháp Discriminative Learning để tách nhiễu khỏi hình ảnh nhiễu mạng tích chập CNN Cách thức sử dụng rộng rãi để giải vấn đề suy giảm hiệu suất mạng học sâu (Deep Learning) [4] Hướng nghiên cứu báo xây dựng mạng có khả thực siêu phân giải khử nhiễu hình ảnh gọi siêu phân giải khử nhiễu mạng nơ-ron tích chập (SD-CNN) sử dụng phương pháp Residual Learning mạng tích chập Thay học ánh xạ (mapping learning) đầu cuối, huấn luyện mạng để tạo dư ảnh Dư ảnh khác biệt hình ảnh đầu vào hình ảnh gốc (mẫu) Mục đích hệ thống loại bỏ nhiễu sau nâng cao độ phân giải hình ảnh (siêu phân giải) 2.2 Kiến trúc mạng đề xuất Mơ hình đề xuất SDCNN mạng nơ-ron học sâu gồm 20 lớp Hàm kích hoạt (activation function) sử dụng Hàm tổn thất (loss function) sử dụng kết hợp sai số bình phương trung bình (MSE) sai số tuyệt đối trung bình (MAE) Ma trận Kernel có kích thước 3x3 giống cho tất 20 lớp tích chập Số lượng ánh xạ tính cung cấp cho lớp chập tương ứng với kênh RGB hình ảnh Số lượng ánh xạ tính cung cấp cho lớp đến lớp 20 64 Đầu cuối mạng có kênh Tất trọng số khởi tạo từ phân phối ngẫu nhiên chuẩn Với kiến trúc vậy, tổng tham số mạng đề xuất 672.835 670.531 tham số đào tạo 2.304 tham số đào tạo Trong giai đoạn huấn luyện, đầu vào cho mạng hình ảnh nội suy hai chiều 32x32 đầu mục tiêu dư ảnh 32x32 Mạng có khả hoạt động với kích thước hình ảnh đầu vào với trọng số mà học q trình đào tạo Số lượng tham số đào tạo cho lớp tích chập khơng phụ thuộc vào kích thước đầu vào [8] Từ phân tích trên, báo đề xuất kiến trúc mạng với khối Fblock tiền xử lý trích xuất thơng tin, khối Eblock khử nhiễu tăng cường chất lượng ảnh, khối khôi phục đầu Sblock (hình 2) Quy trình trình bày là: I = f(x) Website: https://tapchikhcn.haui.edu.vn (1) Hình Kiến trúc mạng đề xuất SDCNN 2.3 Hàm tổn thất (Hàm Loss - Loss Function) Hai hàm Loss xem xét sử dụng để đo độ lệch hình ảnh độ phân giải cao theo dự đốn I thực tế I tương ứng Hàm sai số bình phương trung bình (MSE), hàm Loss sử dụng rộng rãi để phục hồi hình ảnh chung định nghĩa đây: l = ∑ I −I (2) Tuy nhiên, qua thực nghiệm cho thấy đào tạo với hàm Loss MSE lựa chọn tốt [6] Hàm Loss thứ hai có nghĩa sai số tuyệt đối trung bình (MAE), xây dựng sau: l = ∑ I −I (3) Để cải thiện hiệu suất, mơ hình đề xuất báo thực đào tạo mạng với MAE sau tinh chỉnh theo MSE 2.4 Đơn vị khử nhiễu tăng cường chất lượng ảnh Đơn vị khử nhiễu tăng cường chất lượng ảnh kernel 3x3 Biểu thị kích thước ánh xạ lớp thứ i Di (i = 1, · · ·, 6) Mối quan hệ lớp tích chập biểu thị bằng: D −D =D −D =d (4) Trong đó, d biểu thị độ chênh lệch lớp thứ lớp thứ hai lớp thứ lớp thứ ba Tương tự, kích thước kênh mơ-đun có mối quan hệ mô tả sau: D − D = D − D = d (5) Giả sử đầu vào mô-đun Ik-1, đầu mô-đun biểu diễn: P = C (I ) (6) Trong đó, Ik-1 biểu thị đầu khối trước đồng thời đầu vào khối tại, Ca biểu thị hoạt động tích chập nối tiếp Các ma trận feature map với kích thước đầu vào lớp tích chập liên kết với khuôn khổ kênh: R = C(S P , ,I ) (7) C, S đại diện cho hoạt động ghép nối hoạt động phân chia Cụ thể, kích thước P D3 Do đó, S P , biểu thị đặc trưng kích thước tìm nạp từ Vol 57 - No (Aug 2021) ● Journal of SCIENCE & TECHNOLOGY 61 KHOA HỌC CƠNG NGHỆ P Ngồi ra, S P , P-ISSN 1859-3585 E-ISSN 2615-9619 ghép nối đặc trưng với Bk-1 khuôn khổ kênh Mục đích để kết hợp thơng tin trước với số thông tin Chúng ta lấy phần cịn lại thơng tin đường dẫn ngắn cục làm đầu vào cho kernel, chủ yếu trích xuất thêm ánh xạ tính đường dài, P = C (S P , − ) (8) Trong đó, P , C tương ứng hoạt động tích chập đầu xếp nối kernel Do đó, đơn vị tăng cường trình bày sau: P = P + R = C S C (I ), − s +C S C (I ), ,I (9) Trong đó: Pk đầu đơn vị tăng cường 2.5 Chuẩn hóa theo Batch (BN) Chuẩn hoá theo batch áp dụng cho tầng riêng lẻ (hoặc cho tất tầng) hoạt động sau: Trong vòng lặp huấn luyện, tầng, tính giá trị kích hoạt thường lệ Sau chuẩn hóa giá trị kích hoạt nút việc trừ giá trị trung bình chia cho độ lệch chuẩn Cả hai đại lượng ước tính dựa số liệu thống kê minibatch [8] Ánh xạ đặc tính đầu xác định: x −μ (10) y =w +b σ +ϵ μ = HWT x σ = HWT (x Bước 5: Đánh giá chất lượng hình ảnh khơi phục cách định lượng độ tương tự hình ảnh với hình ảnh tham chiếu có độ phân giải cao qua tham số tính tốn chất lượng ảnh RMSE, PSNR, Entropi, SC, NIQE [6], SSIM [7] Cuối cùng, thực đánh giá hiệu suất thời gian thực thi phương pháp [1 ÷ 5] 3.2 Đánh giá kết Đầu vào cho mạng đề xuất giai đoạn đào tạo hình ảnh (patchs) có kích thước 32 x 32 Tác giả sử dụng thuật toán tối ưu lặp Descent Gradient với tốc độ học 0.001, số Epoch lựa chọn 50 3.2.1 Đánh giá trực quan Kết đánh giá trực quan hình ảnh vân tay mật độ phổ lượng sau sử dụng phương pháp đề xuất thể hình Chúng ta thấy kết trực quan theo phương pháp đề xuất thể chất lượng hình ảnh tốt Ảnh khơi phục với phương pháp đề xuất cho độ nhạy sáng tốt khả quan sát rõ ràng chi tiết ảnh Đối với mật độ phổ lượng, ảnh chất lượng thấp cho mật độ lượng quang phổ phẳng Do đó, từ kết dễ dàng thấy phương pháp đề xuất cho chất lượng xử lý tốt PSD lớn cho thấy kết tăng cường ảnh tốt −μ ) Trong đó, mảng đầu vào đầu coi tensor 4D để làm việc với loạt ánh xạ đặc tính Các tensors w b xác định số nhân cộng thành phần T kích thước batch và: (11) x, y ∈ R × × × , W ∈ R , b ∈ R Hình Đánh giá trực quan ảnh vân tay THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 Thực nghiệm Việc thực khử nhiễu siêu phân giải hình ảnh vân tay mạng đề xuất tiến hành bước sau: Bước 1: Tạo hình ảnh có độ phân giải thấp từ hình ảnh tham chiếu có độ phân giải cao thêm nhiễu Bước 2: Thực khử nhiễu siêu phân giải hình ảnh đầu vào cách sử dụng phép nội suy xoắn bậc (bicubic) Bước 3: Thực khử nhiễu siêu phân giải hình ảnh đầu vào sử dụng mạng nơ ron đề xuất Bước 4: Đánh giá trực quan hình ảnh độ phân giải cao khôi phục phương pháp đề xuất phương pháp có 62 Tạp chí KHOA HỌC VÀ CÔNG NGHỆ ● Tập 57 - Số (8/2021) Website: https://tapchikhcn.haui.edu.vn SCIENCE - TECHNOLOGY P-ISSN 1859-3585 E-ISSN 2615-9619 nhiễu khác ngồi Gaussian Poisson Bên cạnh đó, giải pháp đề xuất có thời gian thực thi thời gian đào tạo tương đối hợp lý, cho thấy hội tốt để trở thành giải pháp cải thiện hình ảnh lĩnh vực xử lý ảnh Hình Mật độ phổ lượng 3.2.2 Đánh giá tham số tính tốn chất lượng hình ảnh Các tham số đánh giá chất lượng hình ảnh thực phương pháp đề xuất SDCNC với phương pháp khác thể bảng với màu xanh mức hiệu suất tốt màu đỏ mức hiệu suất tốt thứ hai Chúng ta thấy có cải thiện đáng kể giá trị PSNR nhiễu Sự cải thiện chất lượng đáng kể đến mức dễ dàng cảm nhận mắt thường Bảng Thông số đánh giá chất lượng ảnh theo phương pháp Method RMSE PSNR Entropi SC NIQE SSIM Time - TÀI LIỆU THAM KHẢO [1] O J Kim, J K Lee, K M Lee, 2016 Accurate image super-resolution using very deep convolutional networks CVPR, pp 1646-1654 [2] C Dong, C C Loy, X Tang, 2016 Accelerating the super-resolution convolutional neural network Computer Vision and Pattern Recognition pp 391407 [3] Zhang, K., W Zuo, Y Chen, D Meng, L Zhang, 2016 Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising IEEE Transactions on Image Processing, Vol 26, Number 7, pp 295-307 [4] C Dong, C C Loy, K He, X Tang, 2017 Image super-resolution using deep convolutional networks IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 38(2), pp 3142-3155 [5] C Patvardan, A.K.Verma, C.V Lakshmi, 2012 Denoising of Document Images using Discrete Curvelet Transform for OCR Applications International Journal of Computer Applications [6] Mittal, A., R Soundararajan, A C Bovik, 2016 Making a Completely Blind Image Quality Analyzer IEEE Signal Processing Letters, Vol 22, Number 3, pp 209-212 [7] Zhou, W., A C Bovik, H R Sheikh, E P Simoncelli, 2004 Image Qualifty Assessment: From Error Visibility to Structural Similarity IEEE Transactions on Image Processing, Vol 13, Number 4, pp 600-612 [8] S Ioe, C Szegedy, 2015 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift ArXiv e-prints Bicubic 34,5615 17,3590 7,7301 0,8989 18,5838 0,7889 CVT 15,8890 24,1089 6,0688 0,9917 19,7447 0,8462 8,2649 DWT 88,1914 9,2223 6,6997 0,8542 28,0550 0,5716 3,1145 AUTHOR INFORMATION DTCWT 27,0834 19,4768 6,0023 0,9003 20,2188 0,7548 3,1622 SRCNN 33,2316 17,6998 7,7082 1,0364 23,9151 0,7357 5,5199 Doan Thanh Binh Electric Power University VDSR 10,2414 30,4753 7,4619 0,9496 26,5871 0,4724 2,5928 SDCNN 6,2839 32,1662 8,4809 0,7007 18,6761 0,8774 1,6397 KẾT LUẬN Từ kết nghiên cứu thực nghiệm cho thấy mạng đề xuất chứng minh tính hiệu việc khử nhiễu siêu phân giải hình ảnh nhận dạng vân tay Mạng có độ học sâu phù hợp để học dạng nhiễu từ hình ảnh vân tay đầu vào Một mạng đơn giản thực tốt tác vụ số lượng lớp dẫn tới số lượng tham số huấn luyện khơng đủ khả để nắm bắt mức độ nhiễu loại nhiễu khác Do đó, thực tác vụ khử nhiễu mà khơng có thơng tin trước nhiễu Trừ mạng có trường tiếp nhận lớn phù hợp khơng khơng thể tạo mơ hình nhiễu Trong mạng đề xuất SDCNN, trường tiếp nhận lớn đạt nhờ số lượng lớn lớp tích chập Vì vậy, mạng đề xuất bắt mẫu Website: https://tapchikhcn.haui.edu.vn Vol 57 - No (Aug 2021) ● Journal of SCIENCE & TECHNOLOGY 63 ... hình ảnh tham chiếu có độ phân giải cao thêm nhiễu Bước 2: Thực khử nhiễu siêu phân giải hình ảnh đầu vào cách sử dụng phép nội suy xoắn bậc (bicubic) Bước 3: Thực khử nhiễu siêu phân giải hình ảnh. .. hiệu việc khử nhiễu siêu phân giải hình ảnh nhận dạng vân tay Mạng có độ học sâu phù hợp để học dạng nhiễu từ hình ảnh vân tay đầu vào Một mạng đơn giản khơng thể thực tốt tác vụ số lượng lớp... trực quan ảnh vân tay THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 Thực nghiệm Việc thực khử nhiễu siêu phân giải hình ảnh vân tay mạng đề xuất tiến hành bước sau: Bước 1: Tạo hình ảnh có độ phân giải thấp