Luận án tiến sĩ công nghệ thông tin nghiên cứu nâng cao các kỹ thuật đối sánh vân tay dựa trên đặc trưng điểm chạc

LỜI CẢM ƠN Luận án thực Trường Đại học Công nghệ - ĐHGQ Hà Nội, hướng dẫn PGS.TS Nguyễn Ngọc Hóa PGS.TS Nguyễn Hà Nam Trước hết, tác giả xin bày tỏ lịng cảm ơn sâu sắc tới thầy Nguyễn Ngọc Hóa, thầy Nguyễn Hà Nam, người hướng dẫn, đưa định hướng giúp tác giả hoàn thành luận án Tác giả cám ơn thầy Hà Quang Thụy, thầy Nguyễn Trí Thành, thầy Nguyễn Hải Châu cho tác giả nhiều lời khuyên quý báu để hoàn thiện nội dung khoa học luận án Tác giả xin g i lời cám ơn tới công ty Sea-Solutions h trợ CS L vân tay chu n quốc tế VC 2002 tr nh thực dự án xây dựng hệ thống nhận dạng vân tay Kokle Tác giả xin g i lời cảm ơn tới NCS Vũ Tiến Thành h trợ nhiều tài liệu quốc tế cập nhật Tác giả xin chân thành cảm ơn Khoa Công Nghệ Thông Tin, Trường Đại Học Công Nghệ tạo điều kiện thuận lợi cho tác giả tr nh học tập nghiên cứu Sau cùng, tác giả xin chân thành cảm ơn gia đ nh, người thân bạn bè giúp đỡ, động viên tác giả suốt thời gian thực luận án LỜI CAM ĐOAN Tôi xin cam đoan công tr nh nghiên cứu riêng Các nội dung viết chung với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết nêu luận án trung thực chưa công bố công tr nh khác Tác giả Lê Hồng Hải MỤC LỤC DANH MỤC CÁC K HIỆU VÀ CH VIẾT TẮT .6 DANH MỤC BẢNG SỐ LIỆU DANH MỤC HÌNH ẢNH DANH MỤC THUẬT TOÁN 12 GIỚI THIỆU CHUNG .13 Động lực nghiên cứu 13 Thực trạng nghiên cứu đối sánh vân tay .15 Mục tiêu nội dung 18 Các đóng góp luận án 19 T chức luận án 20 Chƣơng 1: KHÁI QUÁT VỀ ĐỐI SÁNH VÂN TAY DỰA TRÊN ĐIỂM CHẠC 22 1.1 Hệ thống nhận dạng vân tay tự động 22 1.2 Đặc trưng trích xuất từ ảnh vân tay 24 1.2.1 Thu ảnh vân tay từ cảm biến 26 1.2.2 Nâng cao chất lượng ảnh vân tay 27 1.2.3 Tách đặc trưng điểm chạc .29 1.3 Bài toán đối sánh vân tay dựa điểm chạc 33 1.3.1 Phát biểu toán 33 1.3.2 Một số khó khăn tr nh đối sánh 36 1.3.3 Giá trị tương đồng hai ảnh vân tay .38 1.3.4 Đánh giá kết hệ thống nhận dạng vân tay 38 1.4 Một số nghiên cứu đối sánh vân tay dựa điểm chạc 41 1.4.1 Đối sánh toàn cục 41 1.4.2 Đối sánh cục .44 1.4.2.1 Một số cấu trúc cục biểu diễn điểm chạc 44 1.4.2.2 Hạn chế số biểu diễn truyền thống 49 1.4.2.3 Biểu diễn cục dựa mã trụ MCC Minutia Cylinder-Code) 50 1.4.3 Giai đoạn gia cố thuật toán đối sánh vân tay dựa cấu trúc cục 53 1.5 Kết chương 53 Chƣơng 2: CẢI TIẾN GIAI ĐOẠN GIA CỐ CỦA THUẬT TOÁN ĐỐI SÁNH DỰA TRÊN ĐIỂM CHẠC .55 2.1 Các phương pháp gia cố thường s dụng 55 2.2 Giải thuật gia cố đề xuất .59 2.2.1 Đề xuất cải tiến cho phương pháp gia cố dựa ph p biến h nh .59 2.2.2 Đề xuất cải tiến cho phương pháp gia cố gia tăng 62 2.3 Đánh giá giải thuật gia cố đề xuất 66 2.4 Kết chương 67 Chƣơng 3: PHÁT HIỆN ĐIỂM ĐƠN NHẤT TỪ ẢNH VÂN TAY 68 3.1 Điểm đơn vân tay ứng dụng 68 3.2 Phát điểm đơn vân tay 70 3.3 Đề xuất phát điểm đơn s dụng mạng nơ ron tích chập .74 3.3.1 Học máy sâu 74 3.3.2 Mạng nơ ron tích chập 75 3.3.3 Kỹ thuật phát điểm đơn vân tay s dụng mạng CNN 78 3.3.3.1 Xây dựng mô h nh mạng CNN .78 3.3.3.2 Đánh giá kết 81 3.4 Kết chương 85 Chƣơng 4: CẢI TIẾN HIỆU N NG Đ NH DANH VÂN TAY QUY MÔ LỚN SỬ DỤNG GPU 87 4.1 Đối sánh vân tay mơi trường tính tốn hiệu cao 87 4.2 Kiến trúc x lý đồ họa GPU 89 4.3 Đối sánh vân tay s dụng GPU 91 4.3.1 Đối sánh s dụng mô tả ingerCode .91 4.3.2 Đối sánh s dụng mô tả MCC 91 4.4 Đề xuất đối sánh vân tay GPU luận án 93 4.4.1 Phương pháp đề xuất .93 4.4.2 Kết thực nghiệm .98 4.4.3 Đề xuất gia cố toàn cục GPU 99 4.4.4 Kết thực nghiệm gia cố toàn cục GPU 102 4.5 Mô h nh định danh CS L vân tay lớn dịch vụ Web 103 4.6 Kết chương 105 KẾT UẬN CHUNG VÀ HƢỚNG PHÁT TRIỂN .106 Các đóng góp luận án 106 Hạn chế luận án 108 Hướng phát triển .108 NH MỤC CÁC CÔNG TRÌNH KHO HỌC CỦ TÁC GIẢ LIÊN QU N ĐẾN LUẬN ÁN 110 TÀI LIỆU THAM KHẢO 111 DANH MỤC CÁC K HIỆU VÀ CHỮ VIẾT TẮT Kí hiệu Tiếng Anh Automated Fingerprint Tiếng Việt Hệ thống nhận dạng vân tay Identification System tự động Convolution Neural Network Mạng tích chập nơ rơn Compute Unified Device Kiến trúc tính tốn thiết bị Architecture hợp DB Database Cơ s liệu EER Equal Error Rate T lệ cân b ng l i GPU Graphic Processing Unit FMR False Match Rate T lệ chấp nhận sai FNMR False Not Match Rate T lệ từ chối sai AFIS CNN CUDA ộ x lý đồ họa Field Programmable Gate FPGA FVC Array Fingerprint Verification Mảng c ng lập tr nh Cuộc thi xác thực vân tay Competition Sắp xếp giá trị tương đồng LSS Local Similarity Sort MCC Minutia Cylinder Code Mã trụ cho điểm chạc MLP Multilayer Perceptron Mạng nơ ron đa tầng SIMD Single Instruction Multidata cục DANH MỤC BẢNG SỐ IỆU Bảng 2.1: Kết s dụng phương pháp gia cố đề xuất 66 Bảng 3.1: Kết đánh giá tập liệu đánh giá VC 2002 b-b 83 Bảng 3.2: Kết đánh giá VC 2002 củaZhou Chikkerur 83 Bảng 3.3: Kết đánh giá VC 2002 củaZhou Chikkerur 84 Bảng 4.1: So sánh độ xác thay đ i thuật tốn CS L VC 2002 98 Bảng 4.2: Thời gian thi hành 10 truy vấn với kích thước CS L khác 99 Bảng 4.3: Thời gian thi hành truy vấn 10 kích thước CS L khác s dụng ph p gia cố toàn cục s dụng GPU GTX680 .102 Bảng 4.4: Thời gian thi hành truy vấn 10 kích thước CS L khác s dụng ph p gia cố toàn cục s dụng GPU Nvidia K40 103 DANH MỤC HÌNH ẢNH Hình 1.1: Q tr nh th m định vân tay 23 Hình 1.2: Tác vụ định danh vân tay .24 Hình 1.3: Thuộc tính mức 1: gồm thơng tin hướng đường vân a thông tin điểm đơn màu đỏ điểm lõi, màu xanh điểm tam phân b 25 Hình 1.4: Thuộc tính mức 2: gồm thông tin điểm kết thúc đường vân a điểm đường vân r nhánh b 26 Hình 1.5: H nh ảnh số thiết bị lấy mẫu vân tay 26 Hình 1.6: Từ trái sang phải, chất lượng ảnh vân tay giảm dần 27 Hình 1.7: ộ lọc Gabor [24 28 Hình 1.8: Nâng cao chất lượng ảnh vân tay, từ trái qua phải: ảnh gốc, s dụng lọc Gabor, lọc ST T mạng nơ ron C N [65 29 Hình 1.9: Kết tr nh nhị phân hóa làm mảnh ảnh vân tay 30 Hình 1.10: Giá trị cn, a Điểm trung gian, b Điểm kết thúc đường vân, c Điểm r nhánh [49 30 Hình 1.11: Kết phát điểm chạc từ ảnh vân tay s dụng phương pháp nhị phân làm mảnh 31 Hình 1.12: Phát điểm chạc trực tiếp ảnh đa mức xám 32 Hình 1.13: Mô h nh mạng nơ ron sâu phát điểm chạc trực tiếp từ ảnh vân tay [86] 32 Hình 1.14: Các loại điểm chạc thông tin điểm chạc H nh a: điểm kết thúc đường vân H nh b: điểm đường vân tách làm 33 Hình 1.15: Minh hoạ đối sánh tập điểm chạc 34 Hình 1.16: Các cặp điểm coi phù hợp sau tr nh ch nh thỏa mãn ngưỡng khoảng cách góc Các cặp điểm khoanh tròn phù hợp với ngưỡng khoảng cách ts ngưỡng góc tθ 36 Hình 1.17: Một số thu nhận khác vân tay 37 Hình 1.18: Ảnh bên trái với lực ấn Ảnh bên phải bị m o lực bấm khác 37 Hình 1.19: Các loại thông số dùng đánh giá hệ thống đối sánh sinh trắc học .39 Hình 1.20: Lựa chọn t lệ MR NMR ứng dụng 40 Hình 1.21: Một số cấu trúc cục s dụng để biểu diễn cho điểm chạc [49] 45 Hình 1.22: Biểu diễn k-plet b i Chikkerurvà cộng [6 Các điểm chạc láng giềng lựa chọn phân phối vào vùng xung quanh điểm chạc tâm .45 Hình 1.23: Biểu diễn điểm chạc dựa điểm đường vân hướng xung quanh điểm chạc Tico cộng [67] 46 Hình 1.24: Các thơng tin tam tam giác t tạo từ điểm chạc p1, p2, p3 [48] 47 Hình 1.25: Tam giác hóa 1-order Delaunay [38] 48 Hình 1.26: Sai khác cấu trúc biểu diễn phát điểm chạc thiếu sai .49 Hình 1.27: Cấu trúc cục không phù hợp vấn đề biên 50 Hình 1.28: Cấu trúc biểu diễn cục Minutia Cylinder Code MCC [8 50 Hình 1.29: Các đóng góp điểm chạc vào ô h nh trụ dựa khoảng cách khác hướng 51 Hình 1.30: So sánh sai số R biểu diễn MCC so với số biểu diễn khác[8 52 Hình 2.1: ước gia cố liên quan đến việc ch nh biến đ i xoay dịch chuyển 55 Hình 2.2: Một cặp điểm đối sánh sai có giá trị tương đồng lớn [47] 57 Hình 2.3: Từ trái sang: ch nh không dùng nắn ch nh, s dụng nắn ch nh TPS, s dụng nắn ch nh cục dựa tam giác [35 58 Hình 2.4: Quá tr nh xây dựng đối sánh K-plet [6] 59 Hình 2.5: Đối sánh khơng xác s dụng gia cố truyền thống 60 Hình 2.6: Kết đối sánh s dụng gia cố đề xuất 62 Hình 2.7: Quá tr nh xây dựng đối sánh k-plet .63 Hình 2.8: Đối sánh s dụng gia cố truyền thống K-plet 65 Hình 2.9: Đối sánh xác s dụng gia cố đề xuất cho K-plet 66 Hình 3.10: Các loại điểm đơn ảnh vân tay: điểm core điểm delta 68 Hình 3.11: Phân loại kiểu vân tay [49 69 Hình 3.12: Hướng đường vân tính dựa t ng vector đạo hàm khối 71 Hình 3.13: Ảnh vân tay gốc ảnh hướng tính từ ảnh gốc 71 Hình 3.14: Phát điểm đơn dựa phương pháp Pointcare index 72 Hình 3.15: Phát điểm đơn dựa ch số PI bị ảnh hư ng b i nhiễu 72 Hình 3.16: Hàng trên: áp dụng lọc ảnh hướng Hàng dưới: kết sau áp dụng lọc [51] 73 Hình 3.17: Xu hướng quan tâm đến học máy sâu thống kê từ Google Trends 74 Hình 3.18: Phát đặc trưng đa tầng dựa kiến trúc CNN [78 74 Hình 3.19: Mạng nơ ron truyền thống với tầng n với kết nối đầy đủ .76 Hình 3.20: Kiến trúc mạng CNN với tầng đặc trưng [19 77 Hình 3.21: Lấy mẫu MaxPooling cho 2x2 78 Hình 3.22: Kiến trúc mạng CNN đa tầng Multi-Stage features (MS) [61] 79 Hình 3.23: Một số ảnh core s dụng huấn luyện mạng CNN 80 Hình 3.24: Một số ảnh delta s dụng cho huấn luyện mạng CNN 80 Hình 3.25: Các bước xây dựng mô h nh mạng CNN 81 10 thuật toán đối sánh vân tay dựa điểm chạc như: K-plet giảm sai số thuật toán từ 1.52 R xuống 1.28 , th nghiệm thuật toán m-Triplets giảm sai số thuật toán từ 1.71 xuống 1.52 Thời gian thực thi thuật toán sau cải tiến giai đoạn gia cố so với thuật tốn gốc khơng bị ảnh hư ng Luận án đề xuất kỹ thuật phát điểm đơn từ ảnh vân tay dựa phương pháp học máy s dụng mạng nơ rơn tích chập Covolution Neural NetworkCNN Điểm đơn thường chọn làm tr nh ch nh giúp tăng tốc độ thực thi thuật toán đối sánh vân tay dựa điểm chạc tác vụ phân lớp ảnh vân tay Các phương pháp phát điểm đơn core delta thường s dụng phương pháp Pointcare index ảnh hướng đường vân orientation map , phương pháp dễ bị ảnh hư ng ảnh nhiễu dẫn tới hướng đường vân bị phát sai Các giải pháp lọc lại s dụng lọc phức tạp thường s dụng để loại bỏ điểm phát sai Luận án đề xuất phương pháp phát điểm đơn dựa phương pháp học máy s dụng mạng nơ ron tích chập sâu Convolution Neural Network-CNN Các cấu trúc mạng CNN áp dụng thành cơng nhiều tốn lĩnh vực thị giác máy Kết th nghiệm phát điểm đơn CS L vân tay VC 2002 s dụng mô h nh mạng CNN đa đặc trưng đề xuất b i Semenet cộng cho kết tốt so với phương pháp phát điểm đơn theo phương pháp truyền thống Th nghiệm CS L VC2002, luận án đạt kết xác l i 96 , 7.5 điểm core 90 , cho tr nh phát cho tr nh phát điểm delta Đối với tr nh định danh vân tay CS L vân tay lớn luận án đề xuất phương pháp song song hóa tr nh định danh vân tay x lý GPU s dụng biểu diễn điểm chạc MCC Thuật toán đối sánh dựa biểu diễn MCC tùy biến lại để phù hợp tận dụng mạnh tính tốn hiệu cao kiến trúc x lý song song SIM GPU Luận án đề xuất s dụng 32 điểm chạc cho m i vân tay tr nh đối sánh Việc s dụng 32 điểm chạc khơng ảnh hư ng đến độ xác thuật toán, trung b nh vân tay thường có khoảng 30 điểm chạc, đồng thời tất cá điểm chạc s dụng để tính tốn biểu diễn MCC, chất lượng biểu diễn MCC cho điểm chạc s dụng tr nh đối sánh không bị 107 ảnh hư ng M i khối x lý GPU s dụng để đối sánh vân tay CSDL với vân tay cần truy vấn M i khối gồm 32 lõi, m i lõi s dụng để tính tốn kết cột ma trận tương đồng kích thước 32x32 Kết đánh giá card đồ họa Nvdia GTX 680 cho thấy thuật tốn có khả đối sánh 8.5 triệu vân tay giây không s dụng tr nh gia cố Kết phù hợp với kết tốt công bố Khi kết hợp s dụng tr nh gia cố cho thuật toán GPU, thuật toán cho kết 1.8 triệu đối sánh vân tay giây Tính tốn GPU giúp triển khai hệ thống truy vấn vân tay CS L hàng triệu vân tay tr nên khả thi, với chi phí phần cứng hợp lý Các kết luận án công bố 04 công tr nh đăng k yếu hội nghị quốc tế 01 đăng k yếu hội thảo quốc gia, 01 công tr nh tạp chí quốc tế Hạn chế luận án Do thời gian, nguồn lực hạn chế, luận án ch tập trung chủ yếu vào giai đoạn đối sánh vân tay Các bước tách đặc trưng điểm chạc nh m tạo đầu vào tốt cho tr nh đối sánh chưa thực Đây lý dẫn đến việc chưa gắn kết kết phát điểm đơn vào thuật toán đối sánh/phân lớp vân tay Ngoài ra, hệ thống đối sánh vân tay quy mô lớn dừng bước đề xuất đề xuất kết hợp nhiều máy tính s dụng x lý đồ họa GPU chưa thể triển khai thành hệ thống định danh vân tay hoàn ch nh Hƣớng phát triển Các điểm hạn chế nêu động lực dẫn đến hướng nghiên cứu luận án Hướng nâng cao chất lượng ảnh vân tay trích chọn điểm chạc từ ảnh vân tay nh m nâng cao kết tr nh đối sánh, luận án s dụng cách tiếp cận học máy cho kết tốt gần cách tiếp cận Sahasrabudhe cộng [65 , Jiang cộng [86] 108 Tích hợp điểm đơn vào thuật tốn đối sánh vân tay dựa điểm chạc nh m nâng cao tốc độ độ xác thuật tốn Tích hợp thơng tin chất lượng điểm chạc vào thuật toán đối sánh giúp loại bỏ cặp điểm chạc cần xem x t [88 Phân lớp ảnh vân tay dựa kỹ thuật học máy sâu nh m t m nhanh ứng viên vân tay s dụng cách tiếp cận Peralta cộng [58] Nghiên cứu miền đối tượng khác đối sánh vân tay trường, đối sánh vân tay bảo vệ tính riêng tư vân tay [84 Cũng hoàn thiện, triển khai hệ thống đối sánh quy mô lớn dịch vụ web, kết nối nhiều máy tính s dụng x lý đồ họa GPU 109 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ IÊN QUAN ĐẾN UẬN ÁN [LHHai1] Hong Hai Le, Ngoc Hoa Nguyen, Toward an approach to improving the consolidation stage of fingerprint matching RIVF Addendum 2013, pp 27-30 [LHHai2] Hong Hai Le, Ngoc Hoa Nguyen, and Tri Thanh Nguyen, Exploiting GPU for Large Scale Fingerprint Identification, Intelligent Information and Database Systems (ACIIDS 2016), Volume 9621 of the series Lecture Notes in Computer Science, pp 688-697, 10.1007/978-3-662-49381-6_66, 2016 (ISI Web of Science, Scopus) [LHHai3] Hong Hai Le, Ngoc Hoa Nguyen, and Tri Thanh Nguyen: A Complete Fingerprint Matching Algorithm on GPU for a Large Scale Identification System”, Information Science and Applications (ICISA), Volume 376 of the series Lecture Notes in Electrical Engineering, pp 679-688, 2016 (ISI Web of Science, Scopus) [LHHai4] Hong Hai Le, Ngoc Hoa Nguyen, N ng cao thuật toán đ i sánh mã tr MCC, Hội thảo SOIS, pp 54-57, 2016 [LHHai5] Hong-Hai Le, Ngoc-Hoa Nguyen and Tri Thanh Nguyen, Automatic Detection of Singular Points in Fingerprint Images Using Convolution Neural Networks, Intelligent Information and Database Systems, ACIIDS 2017, Volume 10192 of the series Lecture Notes in Computer Science, pp.207-216 2017, 10.1007/978-3-319-54430-4, 2017 (ISI Web of Science, Scopus) [LHHai6] Hong Hai Le, Ngoc-Hoa Nguyen, Tri-Thanh Nguyen: Speeding up and enhancing a large-scale fingerprint identification system on GPU J Information Telecommunication 2(2): 147-162 (2018) (DBLP) 110 TÀI IỆU THAM KHẢO Tiếng Anh [1] R.N Akram, K.Markantonakis, K.Mayes: An Introduction to Java Card Programming, Secure Smart Embedded Devices, Platforms and Applications 2014: 497-513 (2014) [2] A Bengueddoudj, S Akrouf, F Belhadj, D Nada, Improving fingerprint minutiae matching using local and global structures, in: 8th International Workshop on Systems, Signal Processing and Their Applications, WoSSPA 2013, 2013, pp 279– 282 (2013) [3] F Benhammadi, K.B Bey, Embedded fingerprint matching on smart card, Int J Pattern Recogn Artif.Intell.27 (2013) [4] Bazen A.M.and Gerez S.H., Fingerprint matching by thin-plate spline modelling of elastic deformations, Pattern Recognition, vol 36, no 8, pp 1859–1867, (2003) [5] Zhou W., Hu J., Wang S., Petersen I., Bennamoun M (2014),Fingerprint Indexing Based on Combination of Novel Minutiae Triplet Features In: Au M.H., Carminati B., Kuo CC.J (eds) Network and System Security.NSS 2014 Lecture Notes in Computer Science, vol 8792 Springer (2014) [6] Chikkerur, S., Cartwright, A.N., Govindaraju, V.: K-plet and cbfs: A graph based fingerprint representation and matching algorithm International Conference on Biometricspp 309-315, (2006) [7] H Choi, K Choi, J Kim: Fingerprint Matching Incorporating Ridge Features With Minutiae IEEE Trans Information Forensics and Security 6(2): 338-345 (2011) 111 [8] Cappelli, R.; Ferrara, M.; Maltoni, D Minutia cylinder-code: A new representation and matching technique for fingerprint recognition IEEE Trans Pattern Anal Mach Intell 2010, 32, 2128–2141 (2010) [9] Raffaele Cappelli, Matteo Ferrara, Davide Maltoni: Large-scale fingerprint identification on GPU Inf Sci 306: 1-20 (2015) [10] Chikkerur S., Govindaraju V., Cartwright A.N: Fingerprint Image Enhancement Using STFT Analysis ICAPR (2) 2005: 20-29 (2005) [11] Kai Cao, Anil K Jain: Latent orientation field estimation via convolutional neural network ICB 2015: 349-356 (2015) [12] Cappelli R and Maio D., State-of-the-art in fingerprint classification, in Automatic Fingerprint Recognition Systems, N Ratha and R Bolle (Eds.), Springer, New York, pp 183–205, (2004) [13] Cappelli, R., Maio, D., Maltoni, D., Wayman, J.L., Jain, A.K.: Performance evaluation of fingerprint verification systems IEEE Trans Pattern Anal Mach Intell 28, 3–18, (2006) [14] Chen J and Moon Y.S., A Minutiae-Based Fingerprint Individuality Model, in Proc Conf Computer Vision and Pattern Recognition, (2007) [15] S Chikkerur and N.K Ratha: Impact of Singular Point Detection on Fingerprint Matching Performance, Proc Fourth IEEE Workshop Automatic Identification Advanced Technologies, pp 207-212, (2005) [16] A.C Chau, C.P Soto, Hybrid algorithm for fingerprint matching using delaunay triangulation and local binary patterns, in: 16th Iberoamerican Congress on Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications (CIARP), Lecture Notes in Computer Science, vol 630 7042, 2011, pp 692–700 (2011) [17] K Cao, X Yang, X Chen, X Tao, Y Zang, J Liang, J Tian, Minutia handedness: a novel global feature for minutiae-based fingerprint matching, Pattern Recogn.Lett.33 1411–1421 (2012) 112 [18] H Deng, Q Huo, Minutiae matching based fingerprint verification using delaunay triangulation and aligned-edge-guided triangle matching, in: Proceedings of the 5th International Conference on Audio- and Video-Based Biometric Person Authentication, AVBPA, 2005, pp 270–278 (2005) [19] Deep Learning in a Nutshell: Core Concepts, https://devblogs.nvidia.com/parallelforall/deep-learning-nutshell-core-concepts/ [20] M Friedrichs, P Eastman, V Vaidyanathan, M Houston, S Legrand, A Beberg, Accelerating molecular dynamic simulation on graphics processing units, J Comput Chem, vol 30, no 6, pp 864–872, (2009) [21] Feng, J.: Combining minutiae descriptors for fingerprint matching Pattern Recognition.41, 342–352, (2008) [22] Fukushima, Kunihiko: Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition, Biological Cybernetics 36 (4): 193– 202 (1980) [23] Feng, J., Ouyang, Z., Cai, A.: Fingerprint matching using ridges Pattern Recognition.39, 2131–2140, (2006) [24] Shlomo Greenberg, Mayer Aladjem, Daniel Kogan:Fingerprint Image Enhancement using Filtering Techniques Real-Time Imaging 8(3): 227-236 (2002) [25] State of lfredo Muñoz- riseño, ndr s Gago the Art of Fingerprint lonso, Jos Hernández Palancar: Indexing Algorithms Computación y Sistemas 15(1) (2011) [26] Mikel Galar, Joaquín errac, Daniel Peralta, Isaac Triguero, Daniel Paternain, Carlos Lopez-Molina, Salvador García, Jos Manuel enítez, Miguel Pagola, Edurne Barrenechea Tartas, Humberto Bustince Sola, Francisco Herrera: A survey of fingerprint classification Part I: Taxonomies on feature extraction methods and learning models Knowl.-Based Syst 81: 76-97 (2015) 113 [27] P.D Gutierrez, M Lastra, F Herrera, J.M Benitez, A high performance fingerprint matching system for large databases based on GPU, IEEE Trans Inf Forensics Secur (1) 62–71 (2014) [28] Grother P., McCabe M., Watson C., IndovinaM., Salamon W., Flanagan P., Tabassi E., Newton E and Wilson C., Performance and Interoperability of the INCITS 378 Fingerprint Template, NIST Research Report: NISTIR 7296, Mar (2006) [29] L Hong, A.K Jain, Classification of fingerprint images, in: Proceedings of the 11th Scandinavian Conference on Image Analysis, Kangerlussuaq, Greenland, 1743 June 7–11, (1999) [30] Richard M Jiang, Danny Crookes: FPGA-based minutia matching for biometric fingerprint image database retrieval J Real-Time Image Processing 3(3): 177-182 (2008) [31] A.K Jain, J Feng, Latent fingerprint matching, IEEE Trans Pattern Anal Mach Intell 33 88–100 (2011) [32] Jain A., Prabhakar A., Hong L., Pankanti S.: FingerCode: A Filterbank for Fingerprint Representation and Matching CVPR (1999) [33] Anil K Jain, Karthik Nandakumar, Arun Ross: 50 years of biometric research: Accomplishments, challenges, and opportunities Pattern Recognition Letters79: 80-105 (2016) [34] Jiang X and Yau W.Y., Fingerprint Minutiae Matching Based on the Local and Global Structures, in Proc Int Conf on Pattern Recognition (15th), vol 2, pp 1042–1045, (2000) [35] Kwon D., Yun I.D and Lee S.U., A Robust Warping Method for Fingerprint Matching, in Proc Conf Computer Vision and Pattern Recognition, (2007) [36] M Khalil, D Muhammad, M Khan, K Alghathbar, Singular points detection using fingerprint orientation field reliability, Int J Phys Sci 352–357 (2010) 114 [37] Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, ImageNet Classification with Deep Convolutional Neural Networks NIPS 2012: 1106-1114 (2012) [38] Liang X., Bishnu A.and Asano T., A robust fingerprint indexing scheme using minutia neighborhood structure and low-order delaunay triangles, IEEE Transactions on Information Forensics and Security, vol 2, no 4, pp 721–733, (2007) [39] Miguel Lastra, Jesús Carabo, Pablo enítez, Francisco Herrera:Fast fingerprint avid Guti rrez, Jos identification using Manuel GPUs Inf Sci 301: 195-214 (2015) [40] D Luebke., GPGPU: general-purpose computation on graphics hardware, in: SC „06 Proceedings of the 2006 CM/I Conference on Supercomputing, (2006) [41] L.-M Liu, C.-Y.Huang, D.C.D Hung, A directional approach to fingerprint classification, Int J Pattern Recogn.Artif.Intell.22 (2) 347–365, (2008) [42] M Liu, Fingerprint classification based on adaboost learning from singularity features, Pattern Recogn 43 1062–1070, (2010) [43] Han-Ul Jang, Dongkyu Kim, Seung-Min Mun, Sunghee Choi, Heung-Kyu Lee: DeepPore: Fingerprint Pore Extraction Using Deep Convolutional Neural Networks IEEE Signal Process Lett.24(12): 1808-1812 (2017) [44] Liu C., Xia T and Li H., A Hierarchical Hough Transform for Fingerprint Matching, in Proc Int Conf on Biometric Authentication (1st), LNCS 3072, pp 373– 379, (2004) [45] D Maio, D Maltoni, R Cappelli, J.L Wayman, A.K Jain, FVC2002: second fingerprint verification competition, in: Proceedings 16th International Conference on Pattern Recognition, 2002, vol 3, 2002b, pp 811–814 (2002) [46] D Maio, D Maltoni, R Cappelli, J.Wayman, A Jain, FVC2004: third fingerprint verification competition, Lecture Notes in Computer Science (including 115 subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol 3072, 2004, pp 1–7 (2004) [47] Medina-P rez , Guti rrez-Rodríguez , and García-Borroto M.: Improving fingerprint matching using an orientation-based minutia descriptor, in 14th Iberoamerican Congress on Pattern Recognition, CIARP 2009, Guadalajara, M xico, 2009, pp 121-128 (2009) [48] M.A Medina-P rez, M García-Borroto, A.E Gutierrez-Rodríguez, L Altamirano-Robles, Improving fingerprint verification using minutiae triplets, Sensors 12 3418–3437 (2012) [49] Maltoni, D., Maio, D., Jain, A.K., Prabhakar, S.: Handbook of Fingerprint Recognition Springer, London, (2009) [50] Maio D and Maltoni D., Direct gray-scale minutiae detection in fingerprints, IEEE Transactions on Pattern Analysis Machine Intelligence, vol 19, no 1, (1997) [51] K Nilsson and J Bigun: Localization of corresponding points in fingerprints by complex filtering Pattern Recognition Letters, 24, (2003) [52] Nilsson K.and Bigun J., Prominent Symmetry Points as Landmarks in Fingerprint Images for Alignment, in Proc Int Conf on Pattern Recognition (16th), vol 3, pp 395–398, (2002) [53] Yuval Netzer, Tao Wang, Adam Coates, Alessandro Bissacco, Bo Wu, Andrew Y Ng Reading Digits in Natural Images with Unsupervised Feature Learning, NIPS Workshop on Deep Learning and Unsupervised Feature Learning (2011) [54] Alessandra A Paulino, Jianjiang Feng, Anil K Jain: Latent Fingerprint Matching Using Descriptor-Based Hough Transform IEEE Trans Information Forensics and Security 8(1): 31-45 (2013) 116 [55] Parziale G and Niel A., A Fingerprint Matching Using Minutiae Triangulation, in Proc Int Conf on Biometric Authentication (1st), LNCS 3072, pp 241–248, (2004) [56] Daniel Peralta, Mikel Galar, Isaac Triguero, Daniel Paternain, Salvador García, Edurne Barrenechea, Jos Manuel enítez, Humberto Bustince, Francisco Herrera: A survey on fingerprint minutiae-based local matching for verification and identification: Taxonomy and experimental evaluation Inf Sci 315: 67-87 (2015) [57] M A Medina-P rez, O Loyola-González, Gutierrez-Rodríguez, M García-Borroto, and L Altamirano-Robles, Introducing an experimental framework in C # for fingerprint recognition, Lecture Notes in Computer Science, vol 8495, pp (2014) [58] D Peralta, I Triguero, S García, Y Saeys, JM enitez, Herrera:Robust classification of different fingerprint copies with deep neural networks for database penetration rate reduction, arXiv preprint arXiv:1703.07270 (2017) [59] D Peralta, I Triguero, R Sanchez-Reillo, F Herrera, J.M Benitez, Fast fingerprint identification for large databases, Pattern Recogn 47 (2) 588–602 (2014) [60] Ratha N.K., KaruK., Chen S and Jain A.K., A real-time matching system for large fingerprint databases, IEEE Transactions on Pattern Analysis Machine Intelligence, vol 18, no 8, pp 799–813, 1996 [61] Pierre Sermanet, Soumith Chintala and Yann LeCun: Convolutional Neural Networks Applied to House Numbers Digit Classification, ArXiv (2012) [62] P Sermanet and Y LeCun: Traffic sign recognition with multi-scale convolutional networks In Proceedings of International Joint Conference on Neural Networks, (2011) [63] Szegedy, Christian; Liu, Wei; Jia, Yangqing; Sermanet, Pierre; Reed, Scott; Anguelov, Dragomir; Erhan, Dumitru; Vanhoucke, Vincent; Rabinovich, Andrew: Going Deeper with Convolutions Computing Research Repository, (2014) 117 [64] Bai, Scott, Joseph P Marques, Matthew T McMahon, and Steven H Barry GPU-Accelerated Fingerprint Matching (2011) [65] Mihir Sahasrabudhe, Anoop M Namboodiri: Fingerprint Enhancement Using Unsupervised Hierarchical Feature Learning ICVGIP 2014: 2:1-2:8 (2014) [66] M Schatz, C Trapnell, A Delcher, and A Varshney, High-throughput sequence alignment using graphics processing units, BMC Bioinformat., vol 8, p 474, Dec (2007) [67] Tico, M., Kuosmanen, P.: Fingerprint matching using an orientation-based minutia descriptor IEEE Trans Pattern Anal Mach Intell 25, 1009–1014, (2003) [68] Unique Identification Authority of India, Role of Biometric Technology in Aadhaar Enrollment, (2012) [69] Wang X., LiJ and Niu Y., Definition and extraction of stable points from fingerprint images, Pattern Recognition, vol 40, no 6, pp 1804–1815, (2007) [70] Wang, X., Li, J., Niu, Y.: Fingerprint matching using Orientation Codes and PolyLines Pattern Recognition.40, 3164–3177, (2007) [71] X Wang, M Xie, Fingerprint classification: an approach based on singularities and analysis of fingerprint structure, in: Proceedings of the First International Conference on iometric uthentication IC ‟04 , Hong 1933 Kong, China, July 15–17, (2004) [72] Xu, Chen and Feng (2007) Xu W., Chen X and Feng J., A Robust Fingerprint Matching Approach: Growing and Fusing of Local Structures, in Proc Int Conf on Biometrics, LNCS 4642, pp 134–143, 2007 [73] Jinwei Xu, Jingfei Jiang, Yong Dou, Xiaolong Shen, Zhiqiang Liu: CoarseGrained Architecture for Fingerprint Matching TRETS 9(2): 12:1-12:15 (2016) [74] Y Ying, H Zhang, X Yang, A method based on delaunay triangulation for fingerprint matching, in: SPIE Conference on Biometric Technology for Human Identification II, (2005) 118 [75] VeriFinger SDK, www.neurotechnology.com/verifinger.html [76] Fingerprint Omid Zanganeh, Nandita Alignment and Bhattacharjee, Bala Matching Srinivasan: Through Partial Region-Based Approach MoMM 2015: 275-284 (2015) [77] Jie Zhou, Fanglin Chen, Jinwei Gu: A Novel Algorithm for Detecting Singular Points from Fingerprint Images IEEE Trans Pattern Anal Mach Intell 31(7): 1239-1250 (2009) [78] Matthew D Zeiler, Rob Fergus: Visualizing and Understanding Convolutional Networks CoRR abs/1311.2901 (2013) [79] Yin Zhang, Deng Yi, Baogang Wei, Yueting Zhuang, A GPU-accelerated non-negative sparse latent semantic analysis algorithm for social tagging data, Inform Sci (May) (2014) [80] Q Zhang, H Yan, Fingerprint classification based on extraction and analysis of singularities and pseudo ridges, Pattern Recogn 37 (11) 2233–2243.1975 (2004) [81] E Zhu, J Yin, G Zhang, Fingerprint matching based on global alignment of multiple reference minutiae, Pattern Recogn 38 1685–1694 (2005) [82] Nguyen Thi Huong Thuy; Hoang Xuan Huan; Nguyen Ngoc Ky, An efficient method for fingerprint matching based on local point model, 2013 International Conference on Computing, Management and Telecommunications (2013) [83] A.A Paulino, Contributions to biometric recognition: matching identical twins and latent fingerprint (Doctoral thesis, Michigan State University) (2013) [84] Stan Z Li, Anil K Jain Encyclopedia of Biometrics (2nd edition).Springer US (2015) [85] ISO/IEC 197942:2011, https://www.iso.org/standard/50864.html.(2011) 119 [86] Lu Jiang, Tong Zhao, Chaochao Bai, A Yong, Min Wu: A direct fingerprint minutiae extraction approach based on convolutional neural networks IJCNN2016: 571-578 (2016) [87] Y Prashanth Reddy, Kamlesh Tiwari, Vandana Dixit Kaushik, Phalguni Gupta: An Efficient Fingerprint Minutiae Detection Algorithm SSCC 2015: 186-194 (2015) [88] M Hamed Izadi, Andrzej Drygajlo: Discarding low quality Minutia Cylinder-Code pairs for improved fingerprint comparison BIOSIG 2015: 319-3 (2015) [89] X Zhao, X Zhang, G Zhao, X Li, K Zhang, R Qian, Triangle matching combined with singular features in fingerprints, in: Proceedings 2011 International Conference on Mechatronic Science, Electric Engineering and Computer, MEC 2011, pp 2069–2072 (2011) [90] V Conti, G Vitello, F Sorbello, S Vitabile, An advanced technique for user identification using partial fingerprint, in: Proceedings of the 7th 652 International Conference on Complex, Intelligent, and Software Intensive Systems, CISIS 2013, 2013, pp 236–242 653 (2013) [91] K Cao, X Yang, X Chen, Y Zang, J Liang, J Tian, A novel ant colony optimization algorithm for large-distorted fingerprint matching, Pattern Recogn 605 45 151–161 (2012) [92] K Chen, A Hu, Fingerprint matching using texture feature extracted from minutiae neighborhood, in: Proceedings – 4th International Conference on Computational Intelligence and Communication Networks, CICN 2012, pp 322–326 (2012) [93] R Garg, S Rane, A keypoint descriptor for alignment-free fingerprint matching, in: ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing – Proceedings, pp 2994–2998 (2013) 120 [94] D Peralta, M Galar, I Triguero, O Miguel-Hurtado, J.M Benitez, F Herrera, Minutiae filtering to improve both efficacy and efficiency of fingerprint matching algorithms, Eng Appl Artif Intell.32 37–53 (2014) [95] W Yang, J Hu, M Stojmenovic, Ndtc: a novel topology-based fingerprint matching algorithm using n-layer delaunay triangulation net check, in: Proceedings of the 2012 7th IEEE Conference on Industrial Electronics and Applications, ICIEA 2012, pp 866–870 (2012) [96] Daniel Peralta, Isaac Triguero, Salvador García, Yvan Saeys, Jos Manuel enítez, Francisco Herrera: On the use of convolutional neural networks for robust classification of multiple fingerprint captures Int J Intell Syst 33(1): 213230 (2018) [97] Jian Li, Jianjiang Feng, C.-C Jay Kuo: Deep convolutional neural network for latent fingerprint enhancement Sig Proc.: Image Comm 60: 52-63(2018) [98] Yao Tang, Fei Gao, Jufu Feng, Yuhang Liu: FingerNet: An unified deep network for fingerprint minutiae extraction IJCB 2017: 108-116 (2017) [99] Shaoqing Ren, Kaiming He, Ross B Girshick, Jian Sun: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks IEEE Trans Pattern Anal Mach Intell 39(6): 1137-1149 (2017) 121