Luận án Tiến sĩ Công nghệ thông tin: Nghiên cứu nâng cao các kỹ thuật số sánh vân tay dựa trên đặc trưng điểm trạc

Luận án đặt ra mục tiêu chính là nâng cao cả tốc độ lẫn độ chính xác của các thuật toán đối sánh vân tay dựa trên đặc trưng điểm chạc. Để nâng cao độ chính xác quá trình đối sánh vân tay, các bước trong quá trình so khớp sẽ được chú trọng nghiên cứu để đề xuất những cải tiến. Đối với mục tiêu cải thiện tốc độ đối sánh, một số phương pháp, kỹ thuật song song hoá quá trình đối sánh sẽ được tác giả nghiên cứu để có thể đề xuất được kỹ thuật cải thiện tốc độ.

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1 PGS.TS Nguyễn Ngọc Hóa

2 PGS.TS Nguyễn Hà Nam

Tác giả xin g i lời cám ơn tới công ty Sea-Solutions đã h trợ CS L vân tay chu n quốc tế VC 2002 trong quá tr nh thực hiện dự án xây dựng hệ thống nhận dạng vân tay Kokle Tác giả cũng xin g i lời cảm ơn tới NCS Vũ Tiến Thành đã h trợ nhiều tài liệu quốc tế cập nhật

Tác giả xin chân thành cảm ơn Khoa Công Nghệ Thông Tin, Trường Đại Học Công Nghệ đã tạo điều kiện thuận lợi cho tác giả trong quá tr nh học tập và nghiên cứu

Sau cùng, tác giả xin chân thành cảm ơn gia đ nh, những người thân và bạn bè đã giúp đỡ, động viên tác giả trong suốt thời gian thực hiện luận án

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công tr nh nghiên cứu của riêng tôi Các nội dung viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa vào luận

án Các kết quả nêu trong luận án là trung thực và chưa từng được ai công bố trong các công tr nh nào khác

Tác giả

Lê Hồng Hải

MỤC LỤC

DANH MỤC CÁC K HIỆU VÀ CH VIẾT TẮT 6

DANH MỤC BẢNG SỐ LIỆU 7

DANH MỤC HÌNH ẢNH 8

DANH MỤC THUẬT TOÁN 12

GIỚI THIỆU CHUNG 13

Động lực nghiên cứu 13

Thực trạng nghiên cứu về đối sánh vân tay 15

Mục tiêu và các nội dung chính 18

Các đóng góp của luận án 19

T chức của luận án 20

Chương 1: KHÁI QUÁT VỀ ĐỐI SÁNH VÂN TAY DỰA TRÊN ĐIỂM CHẠC 22

1.1 Hệ thống nhận dạng vân tay tự động 22

1.2 Đặc trưng trích xuất từ ảnh vân tay 24

1.2.1 Thu ảnh vân tay từ bộ cảm biến 26

1.2.2 Nâng cao chất lượng ảnh vân tay 27

1.2.3 Tách đặc trưng điểm chạc 29

1.3 Bài toán đối sánh vân tay dựa trên điểm chạc 33

1.3.1 Phát biểu bài toán 33

1.3.2 Một số khó khăn trong quá tr nh đối sánh 36

1.3.3 Giá trị tương đồng giữa hai ảnh vân tay 38

1.3.4 Đánh giá kết quả hệ thống nhận dạng vân tay 38

1.4 Một số nghiên cứu đối sánh vân tay dựa trên điểm chạc 41

1.4.1 Đối sánh toàn cục 41

1.4.2 Đối sánh cục bộ 44

1.4.2.1 Một số cấu trúc cục bộ biểu diễn điểm chạc 44

1.4.2.2 Hạn chế của một số biểu diễn truyền thống 49

1.4.2.3 Biểu diễn cục bộ dựa trên mã trụ MCC Minutia Cylinder-Code) 50 1.4.3 Giai đoạn gia cố trong thuật toán đối sánh vân tay dựa trên cấu trúc cục bộ 53

1.5 Kết chương 53

Chương 2: CẢI TIẾN GIAI ĐOẠN GIA CỐ CỦA THUẬT TOÁN ĐỐI SÁNH DỰA TRÊN ĐIỂM CHẠC 55

2.1 Các phương pháp gia cố thường s dụng 55

2.2 Giải thuật gia cố đề xuất 59

2.2.1 Đề xuất cải tiến cho phương pháp gia cố dựa trên ph p biến h nh 59

2.2.2 Đề xuất cải tiến cho phương pháp gia cố gia tăng 62

2.3 Đánh giá giải thuật gia cố đề xuất 66

2.4 Kết chương 67

Chương 3: PHÁT HIỆN ĐIỂM ĐƠN NHẤT TỪ ẢNH VÂN TAY 68

3.1 Điểm đơn nhất vân tay và ứng dụng 68

3.2 Phát hiện điểm đơn nhất của vân tay 70

3.3 Đề xuất phát hiện điểm đơn nhất s dụng mạng nơ ron tích chập 74

3.3.1 Học máy sâu 74

3.3.2 Mạng nơ ron tích chập 75

3.3.3 Kỹ thuật phát hiện điểm đơn nhất vân tay s dụng mạng CNN 78

3.3.3.2 Đánh giá kết quả 81

3.4 Kết chương 85

Chương 4: CẢI TIẾN HIỆU N NG Đ NH DANH VÂN TAY QUY MÔ LỚN SỬ DỤNG GPU 87

4.1 Đối sánh vân tay trên môi trường tính toán hiệu năng cao 87

4.2 Kiến trúc bộ x lý đồ họa GPU 89

4.3 Đối sánh vân tay s dụng GPU 91

4.3.1 Đối sánh s dụng mô tả ingerCode 91

4.3.2 Đối sánh s dụng mô tả MCC 91

4.4 Đề xuất đối sánh vân tay trên GPU của luận án 93

4.4.1 Phương pháp đề xuất 93

4.4.2 Kết quả thực nghiệm 98

4.4.3 Đề xuất gia cố toàn cục trên GPU 99

4.4.4 Kết quả thực nghiệm gia cố toàn cục trên GPU 102

4.5 Mô h nh định danh CS L vân tay lớn trên nền dịch vụ Web 103

4.6 Kết chương 105

KẾT UẬN CHUNG VÀ HƯỚNG PHÁT TRIỂN 106

Các đóng góp của luận án 106

Hạn chế của luận án 108

Hướng phát triển tiếp theo 108

NH MỤC CÁC CÔNG TRÌNH KHO HỌC CỦ TÁC GIẢ LIÊN QU N ĐẾN LUẬN ÁN 110

TÀI LIỆU THAM KHẢO 111

DANH MỤC CÁC K HIỆU VÀ CHỮ VIẾT TẮT

Kí hiệu Tiếng Anh Tiếng Việt

AFIS Automated Fingerprint

Identification System

Hệ thống nhận dạng vân tay

tự động CNN Convolution Neural Network Mạng tích chập nơ rơn

CUDA Compute Unified Device

Architecture

Kiến trúc tính toán thiết bị hợp nhất

GPU Graphic Processing Unit ộ x lý đồ họa

FNMR False Not Match Rate T lệ từ chối sai

FPGA

Field Programmable Gate

FVC Fingerprint Verification

Competition Cuộc thi xác thực vân tay

LSS Local Similarity Sort Sắp xếp giá trị tương đồng

cục bộ MCC Minutia Cylinder Code Mã trụ cho điểm chạc MLP Multilayer Perceptron Mạng nơ ron đa tầng

SIMD Single Instruction Multidata

DANH MỤC BẢNG SỐ IỆU

Bảng 2.1: Kết quả s dụng phương pháp gia cố đề xuất 66

Bảng 3.1: Kết quả đánh giá trên tập dữ liệu đánh giá VC 2002 b-b 83

Bảng 3.2: Kết quả đánh giá trên VC 2002 1 củaZhou và Chikkerur 83

Bảng 3.3: Kết quả đánh giá trên VC 2002 2 củaZhou và Chikkerur 84

Bảng 4.1: So sánh độ chính xác khi thay đ i thuật toán trên CS L VC 2002 1 98

Bảng 4.2: Thời gian thi hành của 10 truy vấn với kích thước CS L khác nhau 99

Bảng 4.3: Thời gian thi hành truy vấn 10 kích thước CS L khác nhau s dụng ph p gia cố toàn cục s dụng GPU GTX680 102

Bảng 4.4: Thời gian thi hành truy vấn 10 kích thước CS L khác nhau s dụng ph p gia cố toàn cục s dụng GPU Nvidia K40 103

DANH MỤC HÌNH ẢNH

Hình 1.1: Quá tr nh th m định vân tay 23

Hình 1.2: Tác vụ định danh vân tay 24

Hình 1.3: Thuộc tính mức 1: gồm thông tin về các hướng đường vân a và thông tin về các điểm đơn nhất màu đỏ điểm lõi, màu xanh điểm tam phân b 25

Hình 1.4: Thuộc tính mức 2: gồm thông tin về các điểm kết thúc của đường vân a và các điểm đó đường vân r nhánh b 26

Hình 1.5: H nh ảnh một số thiết bị lấy mẫu vân tay 26

Hình 1.6: Từ trái sang phải, chất lượng ảnh vân tay giảm dần 27

Hình 1.7: ộ lọc Gabor [24 28

Hình 1.8: Nâng cao chất lượng ảnh vân tay, từ trái qua phải: ảnh gốc, s dụng bộ lọc Gabor, bộ lọc ST T và mạng nơ ron C N [65 29

Hình 1.9: Kết quả quá tr nh nhị phân hóa và làm mảnh ảnh vân tay 30

Hình 1.10: Giá trị cn, a Điểm trung gian, b Điểm kết thúc đường vân, c Điểm r nhánh [49 30

Hình 1.11: Kết quả phát hiện điểm chạc từ ảnh vân tay s dụng phương pháp nhị phân và làm mảnh 31

Hình 1.12: Phát hiện điểm chạc trực tiếp trên ảnh đa mức xám 32

Hình 1.13: Mô h nh mạng nơ ron sâu phát hiện điểm chạc trực tiếp từ ảnh vân tay [86] 32

Hình 1.14: Các loại điểm chạc và thông tin về điểm chạc H nh a: điểm kết thúc đường vân H nh b: điểm đó đường vân tách làm 2 33

Hình 1.15: Minh hoạ đối sánh giữa 2 tập điểm chạc 34

Hình 1.16: Các cặp điểm được coi là phù hợp sau quá tr nh căn ch nh nếu thỏa mãn các ngưỡng về khoảng cách và góc Các cặp điểm được khoanh tròn là phù hợp với ngưỡng khoảng cách t và ngưỡng góc t 36

Hình 1.17: Một số thu nhận khác nhau của cùng một vân tay 37 Hình 1.18: Ảnh bên trái với lực ấn đều Ảnh bên phải bị m o do lực bấm khác

nhau 37

Hình 1.19: Các loại thông số dùng trong đánh giá hệ thống đối sánh sinh trắc học

39

Hình 1.20: Lựa chọn t lệ MR và NMR giữa các ứng dụng 40 Hình 1.21: Một số cấu trúc cục bộ được s dụng để biểu diễn cho điểm chạc

[49] 45

Hình 1.22: Biểu diễn k-plet b i Chikkerurvà cộng sự [6 Các điểm chạc láng

giềng được lựa chọn phân phối đều vào 4 vùng xung quanh điểm chạc tâm 45

Hình 1.23: Biểu diễn điểm chạc dựa trên các điểm trên các đường vân hướng

xung quanh điểm chạc Tico và cộng sự [67] 46

Hình 1.24: Các thông tin về tam tam giác t được tạo từ 3 điểm chạc p1, p2, p3

Hình 1.30: So sánh sai số R của biểu diễn MCC so với một số biểu diễn

Hình 2.3: Từ trái sang: căn ch nh không dùng nắn ch nh, s dụng nắn ch nh TPS,

s dụng nắn ch nh cục bộ dựa trên tam giác [35 58

Hình 2.4: Quá tr nh xây dựng cây đối sánh trong K-plet [6] 59

Hình 2.5: Đối sánh không chính xác khi s dụng gia cố truyền thống 60

Hình 2.6: Kết quả đối sánh khi s dụng gia cố đề xuất 62

Hình 2.7: Quá tr nh xây dựng cây đối sánh trong k-plet 63

Hình 2.8: Đối sánh khi s dụng gia cố truyền thống trên K-plet 65

Hình 2.9: Đối sánh chính xác hơn khi s dụng gia cố đề xuất cho K-plet 66

Hình 3.10: Các loại điểm đơn nhất của ảnh vân tay: điểm core và điểm delta 68

Hình 3.11: Phân loại kiểu vân tay [49 69

Hình 3.12: Hướng của đường vân được tính dựa trên t ng vector đạo hàm trong khối 71

Hình 3.13: Ảnh vân tay gốc và ảnh hướng được tính từ ảnh gốc 71

Hình 3.14: Phát hiện điểm đơn nhất dựa trên phương pháp Pointcare index 72

Hình 3.15: Phát hiện điểm đơn nhất dựa trên ch số PI bị ảnh hư ng b i nhiễu 72 Hình 3.16: Hàng trên: áp dụng các bộ lọc trên ảnh hướng Hàng dưới: kết quả sau khi áp dụng các bộ lọc [51] 73

Hình 3.17: Xu hướng quan tâm đến học máy sâu thống kê từ Google Trends 74 Hình 3.18: Phát hiện đặc trưng đa tầng dựa trên kiến trúc CNN [78 74

Hình 3.19: Mạng nơ ron truyền thống với 3 tầng n với kết nối đầy đủ 76

Hình 3.20: Kiến trúc mạng CNN với 2 tầng đặc trưng [19 77

Hình 3.21: Lấy mẫu MaxPooling cho các cùng 2x2 78

Hình 3.22: Kiến trúc mạng CNN đa tầng Multi-Stage features (MS) [61] 79

Hình 3.23: Một số ảnh core s dụng trong huấn luyện mạng CNN 80

Hình 3.24: Một số ảnh delta s dụng cho huấn luyện mạng CNN 80

Hình 3.26: Đánh giá kết quả mạng CNN được huấn luyện 81

Hình 3.27: Một số điểm core phát hiện đúng 82

Hình 3.28: Một số điểm core phát hiện sai 82

Hình 3.29: Một số điểm delta phát hiện đúng 82

Hình 3.30: Một số điểm delta phát hiện sai 82

Hình 3.31: Phân chia tập dữ liệu huấn luyện và dữ liệu kiểm tra 84

Hình 4.1: Kiến trúc cluster s dụng các máy tính gồm nhiều bộvi x lý kết nối với nhau qua mạng [59] 88

Hình 4.2: Mô h nh phân tán Master nhận yêu cầu và g i tới các Slave x lý, Master t ng hợp kết quả từ các Slave [59] 88

Hình 4.3: Card đồ họa GPU h trợ hàng ngh n core tính toán 89

Hình 4.4: Mô h nh phân bố các lõi trong các khối tính toán của GPU 90

Hình 4.5: Đặc trưng ingerCode của vân tay 1 , tính dựa điểm core vân tay 2 Các đặc trưng được chia thành 8 vùng 3 , và các giá trị trong m i vùng được tính s dụng bộ lọc Gabor (4) [32] 91

Hình 4.6: Quá tr nh thực thi thuật toán đối sánh trên GPU 92

Hình 4.7: S dụng m i khối cho đối sánh giữa vân tay của CSDL với vân tay truy vấn 95

Hình 4.8: M i khối gồm 32 luồng, m i luồng s tính toán trên 1 cột của ma trận tương đồng 95

Hình 4.9: Mô h nh đề xuất hệ thống IS trên CS L vân tay lớn 104

DANH MỤC THUẬT TOÁN

Thuật toán 1.1: Thuật toán đối sánh toàn cục dựa trên biến đ i Hough [60] 41 Thuật toán 2.2: T m các cặp điểm phù hợp với nhau từ tập các cặp điểm phù hợp

với cặp điểm căn ch nh 60

Thuật toán 2.3: Thuật toán K-plet [6] 63 Thuật toán 2.4: S a đ i bước 9 của thuật toán K-plet 64 Thuật toán 4.5: Thuật toán định danh vân tay s dụng biểu diễn MCC gốc trên

CPU 92

Thuật toán 4.6: Chi tiết thuật toán đối sánh đề xuất trên GPU 96 Thuật toán 4.7: Đối sánh s dụng bước gia cố trên GPU 100

GIỚI THIỆU CHUNG Động lực nghiên cứu

Nhận dạng sinh trắc học hay đơn giản còn được gọi là sinh trắc học-biometric)

đề cập tới việc s dụng các đặc điểm có tính chất phân biệt của con người để tự động nhận dạng các cá nhân Các đặc điểm sinh trắc thường được chia làm 2 nhóm: i dựa trên đặc trưng cơ thể như đặc trưng vân tay, bàn tay, võng mạc, khuôn mặt, N ; và (ii) dựa trên đặc trưng hành vi của cá nhân như chữ ký, giọng nói Nhận dạng sinh trắc học được s dụng rộng rãi trong các ứng dụng của chính phủ và dân sự [49]

Hiện nay, trong lĩnh vực sinh trắc học, tuy một số đặc điểm sinh trắc như N , võng mạc, mống mắt cho độ chính xác cao, tuy nhiên việc thu thập các đặc điểm sinh trắc này còn tương đối phức tạp, chi phí lớn Vân tay có tính bất biến và đảm bảo được

t lệ khác biệt giữa hai người khác nhau, ngoài ra các thiết bị thu vân tay hiện đã rất

ph biến, chi phí mức hợp lý và có thể tích hợp vào rất nhiều thiết bị khác chẳng hạn như điện thoại thông minh, khoá c a, … Chính v thế, hiện nay vân tay vẫn là đặc điểm sinh trắc học có tính ph dụng nhất

Sinh trắc học dựa trên vân tay được s dụng ph biến trong các ứng dụng như kiểm soát truy cập, định danh khách hàng thực hiện giao dịch: ví dụ tại các máy TM, định danh người dùng trong các giao dịch trực tuyến, quản lý thời gian có mặt của các nhân viên tại các t chức Sinh trắc học dựa trên vân tay được s dụng trong các ứng dụng liên quan đến chính phủ như định danh công dân hộ chiếu), quản lý xuất nhập cảnh, định danh trong pháp y

Hệ thống sinh trắc học dựa trên vân tay thường được chia làm hai loại tiến tr nh

đó là kiểm tra đối tượng verification và tiến tr nh định danh đối tượng (identification) Tiến tr nh kiểm tra nh m mục đích kiểm tra xem vân tay đưa vào kiểm tra có đúng là của người dùng đã đăng ký Trong khi đó tiến tr nh định danh vân tay

nh m mục đích t m ra ai là người s hữu vân tay được đưa vào t m kiếm trong tập người dùng đã đăng ký vân tay

Hai tiến tr nh kiểm tra và định danh thường s dụng chung các mô đun chức năng của hệ thống như: (i) mô đun trích xuất các đặc trưng từ ảnh vân tay thu nhận từ các bộ cảm biến Các hệ thống sinh trắc học dựa trên vân tay thường không s dụng trực tiếp ảnh vân tay mà thường s dụng các đặc trưng có tính chất gọn nhẹ được trích xuất từ ảnh vân tay (ii) s dụng các đặc trưng này trong giai đoạn đối sánh vân tay (matching) Đầu vào của mô đun đối sánh là tập đặc trưng của một vân tay trong

CS L vân tay và tập đặc trưng của vân tay cần nhận dạng, kết quả đầu ra của mô đun

đối sánh ch độ tương đồng giữa hai vân tay similarity score) Giá trị tương đồng này

s được so sánh với giá trị ngưỡng xác định trước trong hệ thống để đưa ra quyết định cuối cùng Nếu giá trị tương đồng lớn hơn ngưỡng, cá nhân đó được nhận dạng

Nh n chung, quá tr nh định danh vân tay thường đòi hỏi nhiều tài nguyên tính toán, đặc biệt khi phải làm việc với tập dữ liệu vân tay người dùng có quy mô lớn hàng trăm triệu đặc trưng vân tay trong cơ s dữ liệu, chẳng hạn như tập dữ liệu vân tay trong dự án định danh cá nhân của Ấn độ [68] Tại Việt Nam, hệ thống C RIS do

Bộ Công an phát triển với mục đích quản lý tàng thư căn cước công dân, căn cước căn phạm và t m kiếm dấu tay hiện trường phục vụ công các quản lý và điều tra tội phạm cung cấp khả năng nhận dạng 2.5 triệu vân tay trong 5 phút, s dụng hệ thống cluster gồm 10 máy tính1 Như vậy tốc độ đối sánh của C RIS đạt khoảng 1000 vân tay/giây trên một máy tính Với các ứng dụng truy vấn vân tay đòi hỏi thời gian thực trên quy mô rất lớn, định danh tức thời từ mẫu vân tay đầu vào cần phải có được hệ thống thi hành có khả năng đối sánh hàng triệu vân tay trong thời gian đơn vị giây Các thuật toán đối sánh vân tay khi thực thi trên môi trường một máy tính với bộ vi x

lý (Central Processing Unit – CPU) thường không thỏa mãn tính chất thời gian thực với cơ s dữ liệu (CSDL) vân tay lớn

Nâng cao chất lượng của quá tr nh trích chọn đặc trưng từ ảnh vân tay và nâng cao độ chính xác và tốc độ của quá tr nh đối sánh vân tay là lĩnh vực nhận được nhiều quan tâm nghiên cứu trong nhận dạng vân tay Nội dung luận án s hướng tới các kỹ thuật đối sánh vân tay

Thuật toán đối sánh vân tay thường s dụng dữ liệu đầu vào là các thuộc tính được trích chọn từ các ảnh vân tay Đầu ra của quá tr nh đối sánh s đánh giá xem liệu hai ảnh vân tay có thuộc cùng một vân tay hay không Một số khó khăn cho quá tr nh đối sánh vân tay như, cùng một vân tay có thể hiện khác nhau do đặt lệnh vị trí, xoay vân tay, lực lấy vân tay khác nhau dẫn đến các biến đ i vân tay khác nhau hoặc do nhiễu trong quá tr nh lấy mẫu vân tay với nguyên nhân như da khô, da có mô hồi, chất lượng của thiết bị lấy mẫu

Thực trạng nghiên cứu về đối sánh vân tay

Mặc dù các nghiên cứu trong lĩnh vực đối sánh vân tay cho kết quả tốt, đối sánh vân tay vẫn là lĩnh vực nhận được nhiều quan tâm nghiên cứu hiện nay [33] Một số lĩnh vực nghiên cứu trong đối sánh vân tay được quan tâm như: tăng tốc quá tr nh đối sánh, đối sánh vân tay với dữ liệu truy vấn là các ảnh vân tay chất lượng thấp, không đầy đủ (ảnh vân tay thu thập từ hiện trường), đối sánh vân tay trên các thiết bị như thẻ thông minh, đối sánh vân tay kết hợp các đặc trưng khác nhau, đối sánh trong đó bảo

vệ tính bí mật, riêng tư của vân tay Các phương pháp đối sánh vân tay thường được phân loại dựa trên 3 cách tiếp cận [49]:

- Dựa trên độ tương quan ảnh (Correlation-based matching): hai ảnh vân tay

được so sánh mức điểm ảnh thông qua việc s dụng các ph p căn ch nh khác nhau Đối sánh vân tay s dụng điểm ảnh thường gặp khó khăn do sự thay đ i về cấu trúc ảnh khi lấy mẫu khác nhau, sự thay đ i về độ sáng và tương phản của ảnh và các điều kiện của da khi lấy mẫu Thêm vào đó quá tr nh đối sánh điểm ảnh đòi hỏi nhiều tài nguyên tính toán

o đó các cách tiếp cận trong đối sánh vân tay thường dựa trên các đặc trưng được trích chọn từ ảnh vân tay thay v dựa trên đối sánh dựa trên các điểm ảnh vân tay

Ví dụ Jain và cộng sự đề xuất biểu diễn ingerCode cho vân tay [32], s dụng các biến

đ i lọc Gabor theo các hướng khác nhau dựa trên hướng đường vân để trích xuất các thông tin ảnh xung quanh điểm trung tâm của vân tay Độ tương đồng giữa 2 vân tay là khoảng cách giữa 2 vector FingerCode Phương pháp đối sánh s dụng ingerCode cần biết điểm core của vân tay Thuật toán s khó áp dụng nếu vân tay không tồn tại

điểm core hoặc gặp khó trong quá tr nh xác định điểm core Gần đây Zanganeh và cộng sự [76 đề xuất phương pháp chia ảnh vân tay thành các vùng nhỏ khác nhau và tiến hành đối sánh giữa các vùng ảnh này Phương pháp này giúp nhanh chóng t m ra các vùng ảnh phù hợp, sau đó tác giả tiến hành t ng hợp kết quả dựa trên các vùng ảnh phù hợp

- Dựa trên các đặc trưng không là điểm chạc: việc trích chọn các điểm chạc có

thể khó khăn đối với các ảnh vân tay có chất lượng chất thấp Các đặc trưng khác từ ảnh vân tay như mẫu đường vân, thông tin về h nh dạng đường vân, tần số của đường vân, kết cấu của đường vân có thể được trích chọn [67], [23], [70], [92], [93]

- Dựa trên điểm chạc: đây là cách tiếp cận ph biến nhất và là kỹ thuật được s

dụng rộng rãi nhất Các thuật toán đối sánh vân tay dựa trên điểm chạc có ưu điểm về việc dễ tách điểm chạc từ ảnh vân tay, thuận tiện cho việc lưu trữ mẫu với kích thước gọn nhẹ và cho kết quả đối sánh có độ chính xác cao và tốc độ x lý nhanh [49] Trong các thuật toán đối sánh vân tay, thường ph biến dựa trên thông tin là các điểm chạc từ ảnh vân tay như trong báo cáo khảo sát [56] Khá nhiều đề xuất liên quan nâng cao độ chính xác của thuật toán đối sánh vân tay dựa trên thông tin điểm chạc được đề xuất như [8], [17], [48], [2]

Một số khó khăn ảnh hư ng đến độ chính xác của các thuật toán đối sánh vân tay như: việc t m thiếu hoặc sai các đặc trưng trong quá tr nh trích chọn đặc trưng là ph biến do chất lượng ảnh lấy mẫu, điều này dẫn đến thêm khó khăn cho quá tr nh đối sánh vân tay Chất lượng vân tay đặc biệt thấp đối với ảnh vân tay hiện trường (latent) [31], [54], [83] o đó một số thuật toán đối sánh vân tay bên cạnh s dụng thông tin

là điểm chạc, có kết hợp với các thông tin không là điểm chạc điểm chạc như thông tin về số đường vân giữa các điểm chạc [7], thông tin về hướng các đường vân bao quanh điểm chạc [47]

Ngoài thuật toán đối sánh vân tay được x lý trên môi trường s dụng máy tính, đối sánh vân tay trên các thiết bị nhúng, smart cards cũng nhận được nhiều quan tâm [3] Đặc điểm đối sánh vân tay trên các thiết bị nhúng thường không h trợ các ph p tính phức tạp như dấu ph y động [1]

i sánh v n tay trên CSDL v n tay lớn

Thuật toán đối sánh vân tay tiên tiến hiện nay dựa trên biểu diễn mã trụ MCC cho các điểm chạc cho hiệu năng cao về tốc độ và độ chính xác cũng cần 3 mili giây để thực hiện đối sánh giữa hai vân tay [56] o đó thuật toán cần 3 giây để xác định một vân tay trong một CS L 1000 vân tay Với các CS L lớn hàng triệu vân tay như

CS L dân sự quá tr nh định danh s tốn nhiều thời gian Đối với quá tr nh định danh vân tay trên CS L vân tay lớn một số phương pháp như lọc trước vân tay, đối sánh trên môi trường tính toán có hiệu năng cao thường được s dụng

Lọc trước vân tay cho ph p lọc nhanh các vân tay là ứng viên cho quá tr nh đối sánh Một phương pháp thường được s dụng trong lọc trước vân tay là phân ảnh vân tay thành các lớp [12], [71], [80], [58] Việc chia vân tay thành các lớp giúp t m nhanh

ra tập ứng viên vân tay s dụng cho quá tr nh đối sánh

Đối sánh vân tay s dụng môi trường tính toán hiệu năng cao thường s dụng cụm máy tính hoặc thiết kế phần cứng chuyên dụng cho quá tr nh đối sánh hay s dụng bộ x lý đồ họa GPU

Jiang và Crookes [30], xây dựng đối sánh vân tay dựa trên thiết kế phần ứng chuyên dụng FPGA (Field-Programmable Gate Array) đạt 1.2 triệuđối sánh vân tay trên giây Xu và cộng sự [73 xây dựng FPGA dựa trên bộ x lý Virtex VII XC7VX485T đạt tốc độ đối sánh 9.6 triệu đối sánh trên giây

Peralta và cộng sự [56], triển khai hệ thống đối sánh vân tay dựa trên CPU, hệ thống chạy trên cluster gồm 12 nút M i nút gồm 2 bộ x lý Intel Xeon E5-2620, kết quả hệ thống đạt 812,700 đối sánh trên giây

Lastra và cộng sự [39 , triển khai hệ thống gồm 4 bộ x lý GPU GTX 680 cho kết quả 1.5 triệu ph p đối sánh trên giây, thuật toán dựa trên mô tả biểu diễn điểm chạc của Jiang

Gutierrez và cộng sự [27], triển khai hệ thống đối sánh vân tay trên dựa trên GPU, đạt kết quả 55.700 đối sánh trên giây, hệ thống s dụng card đồ họa GeForce GTX 680 GPU, thuật toán đối sánh dựa trên biểu diễn MCC

Cappelli và cộng sự [9 đạt kết quả cao nhất được công bố đến nay, thuật toán đối sánh trên GPU s dụng biểu diễn MCC cho kết quả 8.6 triệu đối sánh trên giây

Mục tiêu và các nội dung chính

Động lực nghiên cứu đã phân tích trên cho ph p chúng tôi xác lập luận án với

tên “Nghiên cứu n ng cao các kỹ thuật đ i sánh v n tay dựa trên đặc trưng điểm chạc” Luận án đặt ra mục tiêu chính là nâng cao cả tốc độ lẫn độ chính xác của các

thuật toán đối sánh vân tay dựa trên đặc trưng điểm chạc Để nâng cao độ chính xác quá tr nh đối sánh vân tay, các bước trong quá tr nh so khớp s được chú trọng nghiên cứu để đề xuất những cải tiến Đối với mục tiêu cải thiện tốc độ đối sánh, một số phương pháp, kỹ thuật song song hoá quá tr nh đối sánh s được chúng tôi nghiên cứu

để có thể đề xuất được kỹ thuật cải thiện tốc đô Ngoài ra, việc s dụng thêm đặc trưng ngoài điểm chạc, cụ thể là điểm đơn nhất, cũng được chúng tôi quan tâm nghiên cứu với định hướng có thể góp phần cải thiện cả hiệu năng về tốc độ lẫn thời gian so khớp vân tay

Trong luận án này, các ảnh vân tay được s dụng là các CS L vân tay được thu nhận từ các bộ cảm biến vân tay (chẳng hạn FVC2002 [45],FVC2004 [46] Các ảnh vân tay thu từ hiện trường trong các trường hợp h nh sự, pháp lý không thuộc đối tượng nghiên cứu của luận án

Luận án quan tâm đến những phương pháp, kỹ thuật đối sánh vân tay dựa trên thông tin lưu trữ cho vân tay s dụng chu n ISO/IEC 19794-2 [28], [85] Chu n lưu trữ ISO/IEC 19794-2 giúp trao đ i dữ liệu giữa các hệ thống nhận dạng vân tay khác nhau Với một hệ thống nhận dạng vân tay s dụng s dụng định dạng dữ liệu đóng, khi chuyển sang thuật toán đối sánh của hãng khác s không thực hiện được

Trong chu n ISO/IEC 19794-2, đặc trưng từ ảnh vân tay được lưu trữ bao gồm các đặc trưng điểm chạc của ảnh vân tay và tùy chọn m rộng lưu thông tin về các điểm đơn nhất và số đường vân giữa các điểm đơn nhất Dựa trên đối tượng nghiên cứu và thông tin đặc trưng dựa trên chu n ISO/IEC 19794-2, luận án có mục tiêu nâng

độ chính xác lẫn tốc độ dựa trên thông tin là điểm chạc

Đối với hướng nâng cao tốc độ trong quá tr nh đối sánh khi định danh vân tay trên tập vân tay lớn, môi trường tính toán hiệu năng cao như cụm máy tính hoặc s dụng bộ x lý đồ họa GPU là hai giải pháp chính để thực hiện Theo những nghiên cứu gần đây, giải pháp tận dụng tốc độ bộ x lý đồ họa GPU được quan tâm s dụng hiện nay nhờ hiệu năng tính toán cao và chi phí hợp lý [27], [9] Chính v thế, luận án tập trung nghiên cứu nâng cao hiệu năng đối sánh về tốc độ theo cách tiếp cận s dụng bộ

x lý đồ họa GPU

Từ đó, mục tiêu của luận án được tiến hành thông qua những nội dung nghiên cứu sau:

i Khái quát về quá tr nh đối sánh vân tay dựa trên thông tin điểm chạc

ii Nghiên cứu, đề xuất phương thức nâng cao độ chính xác của các thuật toán đối sánh vân tay dựa trên điểm chạc

iii Nghiên cứu, cài đặt kỹ thuật cải tiến tốc đối sánh vân tay thông qua việc s dụng và khai thác thế mạnh toán hiệu năng năng cao của bộ x lý đồ hoạ GPU

iv Tiến hành thực nghiệm, đánh giá và so sánh kết quả những phương thức, kỹ thuật đã đưa ra trong luận án

2 Các điểm đơn nhất thường được s dụng làm điểm căn ch nh giúp tăng tốc các thuật toán đối sánh vân tay, ngoài ra các điểm đơn nhất cũng là đặc trưng quan trọng được s dụng trong quá tr nh phân lớp vân tay Luận án đề xuất kỹ thuật phát hiện điểm đơn nhất dựa trên phương pháp học máy s dụng mạng nơ ron tích chập (Convolution Neural Networks -CNN Kết quả th nghiệm phát hiện điểm đơn nhất trên CS L vân tay VC 2002 s dụng mô h nh mạng CNN đã thể hiện được kết quả tốt hơn so với một số phương pháp truyền thống Đóng góp này đã được công bố trong công tr nh [LHHai5]

3 Đối với quá tr nh đối sánh vân tay trên CS L vân tay lớn, luận án đề xuất phương pháp đối sánh trên bộ x lý đồ hoạ GPU s dụng biểu diễn MCC Thuật toán đối sánh được tuỳ biến lại để phù hợp và tận dụng được thế mạnh tính toán hiệu năng cao của kiến trúc x lý song song trong GPU Kết quả đánh giá trên hệ thống tính toán

s dụng bộ x lý đồ họa Nvdia GTX 680 cho thấy thuật toán có khả năng đối sánh 8.5 triệu vân tay trên giây khi s dụng ph p đối sánh nhanh, tương đồng với kết quả tốt nhất được công bố hiện nay Khi s dụng quá tr nh đối sánh chi tiết, tốc độ đối sánh đạt được 1.8 triệu ph p đối sánh vân tay trên giây Các kết quả nghiên cứu này đã được thể hiện qua các công bố [LHHai2], [LHHai3], [LHHai6]

- Chương 2: đặc tả đề xuất cải tiến giai đoạn gia cố cho các thuật toán đối sánh vân tay dựa trên điểm chạc, giúp tăng độ chính xác của các thuật toán mà không ảnh hư ng đến tốc độ thi hành của các thuật toán gốc Th nghiệm đánh giá kết quả của đề xuất cũng được đề cập chi tiết trong nội dung chương

- Chương 3: mô tả một số kỹ thuật phát hiện điểm đơn nhất từ ảnh vân tay thường được s dụng Khái quát về mạng nơ ron CNN và đề xuất kỹ thuật áp dụng mạng CNN vào quá tr nh nhận dạng điểm đơn nhất từ ảnh vân tay Từ đó

tr nh bày kết quả th nghiệm kỹ thuật đề xuất này và so sánh với kết quả của một

- Cuối cùng là phần kết luận chung của luận án và một số hướng phát triển tiếp theo

Cấu trúc và tr nh tự của luận án được tr nh bày theo h nh dưới đây Các đường mũi tên ch quan hệ giữa các chương, các chương phía sau mũi tên có s dụng thông tin được đề cập trong các chương phía trước

Chương 2:

“Nâng cao giai đoạn gia cố đối

sánh vân tay dựa trên điểm chạc”

Chương 1:

“Khái quát đối sánh vân tay

dựa trên điểm chạc”

Chương 1: KHÁI QUÁT VỀ ĐỐI SÁNH VÂN TAY DỰA TRÊN

ĐIỂM CHẠC

Trong nội dung chương, luận án s đặc tả chi tiết về bài toán đối sánh vân tay dựa trên đặc trưng điểm chạc và lớp thuật toán đối sánh vân tay dựa trên điểm chạc thường được s dụng Trước khi đi vào đặc tả chi tiết bài toán đối sánh trong mục 1.3, mục 1.1 và 1.2 s nêu về các bước x lý trong một hệ thống nhận dạng vân tay tự động

và giai đoạn tiền x lý nh m trích chọn đặc trưng điểm chạc từ ảnh vân tay vân tay

- Tạo bản mẫu: là quá tr nh t chức một hoặc nhiều tập đặc trưng vào một bản mẫu và lưu trữ trên thiết bị lưu trữ

- Lọc vân tay trước khi đối sánh: là giai đoạn chính được s dụng trong một hệ thống định danh khi số lượng bản mẫu lưu trữ là lớn Vai trò của bước này là giảm số lượng bản mẫu cần đối sánh

- Giai đoạn đối sánh matching : đầu vào là tập đặc trưng của vân tay cần so sánh và bản mẫu lưu trữ, bước đối sánh s tính toán độ tương đồng giữa các vân tay matching score hay similarity score Kết quả đối sánh s được so sánh với ngưỡng của hệ thống để đưa ra kết quả cuối cùng Nếu kết quả đối sánh cao hơn ngưỡng th có thể coi hai vân tay là phù hợp, nếu nhỏ hơn s coi hai vân tay là hai vân tay khác nhau

Đối với quá tr nh lấy mẫu, vân tay người dùng s được thu chụp cùng với thông tin cá nhân s được lưu trữ vào trong hệ thống lưu trữ sinh trắc học Trong quá tr nh lấy mẫu, các đặc tính sinh trắc học vân tay s được thu nhận từ thiết bị vật lý thu chụp đặc trưng vân tay thông thường là ảnh vân tay để tạo ra mẫu ước kiểm tra chất lượng thường được tiến hành trong quá tr nh này để đảm bảo r ng mẫu thu nhận có độ tin cậy để s dụng trong các bước kế tiếp Mô đun trích chọn thuộc tính sau đó được

s dụng để tạo một tập đặc trưng Mô đun tạo bản mẫu s s dụng tập đặc trưng đó để tạo ra một mẫu lưu trữ trên thiết bị lưu trữ Quá tr nh lấy mẫu s lưu trữ mẫu này cũng với các thông tin cá nhân khác của người s dụng như: số định danh, tên, giới tính, nơi trú, Các tiến tr nh sau đó s dựa trên các đặc trưng đã được trích chọn từ quá tr nh lấy mẫu

Các giải thuật đối sánh đặc trưng vân tay s được s dụng để tiến hành so sánh đặc trưng của hai vân tay thường là khác nhau Kết quả của quá tr nh đối sánh s được s dụng trong hai bài toán xác thực sinh trắc học chính là th m định vân tay verification , và định danh vân tay identification

- ài toán th m định verification : đây là bài toán có mục tiêu th m định kiểm tra định danh của chủ thể Trong giai đoạn này, một định danh của chủ thể như username hoặc mã PIN được cung cấp để tuyên bố định danh, hệ thống sinh trắc học

s thu nhận đặc trưng sinh học của chủ thể và lấy mẫu và được x lý b i mô đun trích chọn thuộc tính để tạo ra tập đặc trưng

Hình 1.1: Quá trình thẩm định vân tay

Tập kết quả đặc trưng s được đưa vào bộ đối sánh để so sánh với bản mẫu mà chủ thể tuyên bố Quá tr nh th m định đưa ra quyết định phù hợp hoặc không H nh 1.1)

ên cạnh đối sánh trên máy tính, thẻ thông minh cũng rất ph biến hiện nay, thẻ thông minh thường dựa trên công nghệ Java Card Java Card không h trợ một số kiểu

dữ liệu như: long, double, float [ MM14 o đó bài toán đối sánh vân tay trên thẻ thường có đặc điểm khác với đối sánh vân tay trên máy tính, các đặc trưng tính toán trên thẻ thường đơn giản hơn, và không h trợ các ph p tính phức tạp như ph p xoay vân tay [ 13

- ài toán định danh (identification): với bài toán này, chủ thể không trực tiếp khai báo định danh, hệ thống s so sánh tập đặc trưng được trích chọn từ mẫu sinh trắc học được thu nhập với tập các bản mẫu trong hệ thống lưu trữ Kết quả của quá tr nh này là một danh sách các mẫu có thể trống nếu không t m ra mẫu phù hợp H nh 1.2)

Hình 1.2: Tác vụ định danh vân tay

o quá tr nh định danh với một tập CSDL lớn đòi hỏi việc tính toán lớn, giai đoạn lọc vân tay trước thường được s dụng để lọc nhanh các mẫu là ứng viên trước khi thực hiện bước đối sánh chi tiết Quá tr nh đối sánh thường s dụng các môi trường tính toán hiệu năng cao như cụm máy tính cluster , bộ x lý đồ họa GPU

1.2 Đặc trƣng trích xuất từ ảnh vân tay

Vân tay là những vết l n trên ngón tay tạo nên các đường cong Các đường vân thường chạy song song với nhau, các đường vân có thể thay đ i hướng và có thể kết thúc đột ngột Các đặc trưng được trích xuất từ ảnh vân tay được chia thành các mức khác nhau, dựa vào đặc trưng được quan sát từ mức bao quát xa hay được quan sát

Các đặc trưng thuộc mức 1 là các đặc trưng có thể dễ dàng xác định b ng mắt Trong thông tin mức 1 gồm các hướng đường vân tại một điểm ảnh và các điểm đơn nhất từ ảnh vân tay singular point H nh 1.3)

Hình 1.3: Thu c t nh m c m th n t n v các h n đ n vân a v th n

t n v các đ m đ n nh t m u đ đ m m u anh đ m tam phân

Thông tin về hướng đường vân thường được tính dựa trên thông tin tại điểm ảnh

đó và các giá trị lân cận

Các điểm đơn nhất của ảnh vân tay được chia làm 2 loại là điểm lõi core và điểm tam phân delta Điểm lõi là điểm mà tại đó có sự biến thiên đột ngột về hướng của đường vân Điểm tam phân là điểm hội tụ của các vùng vân có hướng khác nhau Thông thường m i ảnh vân tay thường chứa từ 1 đến 2 điểm đơn nhất Có những trường hợp ảnh vân tay có thể thiếu hoặc khó xác định điểm đơn nhất

Các đặc trưng mức 2 được trích xuất từ ảnh vân tay là các điểm chạc minutiae Các điểm chạc thường được chia làm 2 loại:

- Điểm kết thúc l n ridge ending : là điểm mà tại đó, đường vân kết thúc

H nh 1.4-a)

- Điểm r nhánh bifurcation : là điểm mà tại đó, một đường vân được tách làm hai đường vân khác nhau H nh 1.4-b)

Hình 1.4: Thu c t nh m c m th n t n v các đ m t th c c a đ n vân a

v các đ m đ đ n vân r nhánh

Các đặc trưng mức 3 là các hạt pore trên các đường vân Thông tin mức 3 cần s dụng các máy qu t vân tay có độ phân giải cao o đó thông tin mức 3 ít được s dụng trong các hệ thống nhận dạng vân tay

1.2.1 Thu ảnh vân tay từ bộ cảm biến

Các ứng dụng sinh trắc học dựa trên vân tay phát triển mạnh m nhờ đóng góp quan trọng của quá tr nh lấy mẫu đơn giản Có hai phương pháp lấy mẫu là dựa trên lăn mực hoặc lấy mẫu s dụng các bộ cảm biến Có sự đa dạng trong các thiết bị cảm ứng này

Hình 1.5: Hình ảnh m t số th t ị y mẫu vân tay

H nh 1.5 minh họa h nh ảnh một số thiết bị s dụng trong quá tr nh thu nhận ảnh vân tay

Các thiết bị lấy mẫu có thể được phân loại dựa trên nguyên lý hoạt động của thiết

bị, ví dụ: các thiết bị lấy mẫu dựa trên quang học, dựa trên sóng âm, dựa trên nhiệt hoặc điện

Các bộ cảm biến dựa trên nguyên lý quang học thường có giá thành rẻ hơn, nhưng dễ bị nhiễu hơn Cảm biến dựa trên phản xạ sóng âm cho kết quả chính xác hơn

và khó bị làm giả, và được s dụng ph biến tuy giá cao hơn các loại cảm biến khác

1.2.2 Nâng cao chất lƣ ng ảnh vân tay

Chất lượng ảnh vân tay là yếu tố quan trọng ảnh hư ng đến quá tr nh trích chọn đặc trưng và các thuật toán đối sánh Một ảnh vân tay chất lượng tốt có độ tương phản cao giữa các đường vân và vùng không là vân H nh 1.6 mô tả chất lượng của các ảnh vân tay giảm dần từ trái sang phải

Một ảnh vân chất lượng thấp có độ tương phản thấp, nhiều nhiễu Ảnh có chất lượng thấp dẫn đến phát hiện điểm chạc sai hoặc phát hiện thiếu các đặc trưng từ ảnh vân tay, gây khó khăn cho quá tr nh đối sánh vân tay Mục đích của thuật toán nâng cao chất lượng ảnh làm tăng độ tương phản các cấu trúc đường vân

Hình 1.6: T trá san phả ch t n ảnh vân tay ảm d n

Một số cách tiếp cận s dụng bộ lọc Gabor để nâng cao chất lượng ảnh với hai đặc tính: chọn lọc tần số, chọn lọc hướng [24] Để áp dụng bộ lọc này, cần xác định rõ bốn tham số (, f, x,y) Trong đó  là hướng của bộ lọc Gabor, f là tần số của sóng

h nh sin, x và y là các h ng số của hàm Gaussian tương ứng theo trục x và y H nh 1.7). tương ứng với hướng của đường vân, f tương ứng với ước lượng số điểm ảnh

giữa các đường vân Các tham số x và y được lựa chọn giá trị Nếu hai tham số này

có giá trị lớn s loại bỏ được nhiều nhiễu nhưng có thể tạo ra các đường vân sai, nếu quá nhỏ s không hiệu quả trong việc loại bỏ nhiễu

Với bước nâng cao chất lượng ảnh, bộ lọc Gabor thích hợp để loại bỏ nhiễu, xác định cấu trúc đường vân đúng của ảnh Bộ lọc Gabor áp dụng tại m i điểm ảnh của ảnh vân tay t ng quát có dạng như sau:

( ) { [ ]} ( )

Gần đây Sahasrabudhe và cộng sự [65 áp dụng phương pháp học máy, s dụng

mô h nh mạng CDBN (Convolutional Deep Belief Network) vào quá tr nh nâng cao chất lượng ảnh vân tay và cho kết quả tốt

Hình 1.8: Nân cao ch t n ảnh vân tay t trá qua phả ảnh ốc sử dụn

c Ga or c STFT v mạn n ron CD N 65

H nh 1.8 minh họa nâng cao chất lượng ảnh vân tay s dụng mạng C N ngoài cùng bên phải cho kết quả tốt so với các phương pháp nâng cao chất lượng ảnh truyền thống s dụng bộ lọc Gabor, ST T Thực nghiệm trên CS L vân tay VC2002 , phương pháp C N cho sai số R là 7.40, thấp hơn so với s dụng phân tích ST T

và Gabor với R tương ứng là 8.79 và 8.47

1.2.3 Tách đặc trƣng điểm chạc

Có nhiều phương pháp được đề xuất cho quá tr nh trích chọn điểm chạc từ ảnh vân tay đã được nâng cao chất lượng ảnh Các phương pháp truyền thống thường bao gồm các bước: Đưa về ảnh nhị phân binarization , làm mảnh thinning và cuối cùng

là phát hiện điểm chạc

Quá tr nh nhị phân s chuyển ảnh đa mức xám về ảnh nhị phân, màu đen thể hiện đường và màu trắng thể hiện nền Phương pháp đơn giản để nhị phân hóa ảnh là s dụng ngưỡng Tuy nhiên, cách này không phù hợp với các ảnh nhiễu Phương pháp tốt hơn s dụng các mặt nạ h nh vuông và xoay theo hướng của đường vân

Mục tiêu của quá tr nh làm mảnh là đưa các đường vân về kích thước đúng một điểm ảnh Một đặc trưng quan trọng của quá tr nh làm mảnh là giữ các cấu trúc kết nối Tuy nhiên phương pháp này có thể dẫn tới phát hiện sai các điểm chạc Các thủ tục hậu x lý để loại bỏ các điểm chạc sai thường được áp dụng

Hình 1.9: K t quả quá trình nhị phân h a v m mảnh ảnh vân tay

H nh 1.9 minh họa kết quả của quá tr nh nhị phân hóa ảnh và làm mảnh ảnh vân tay

Trích chọn điểm chạc trên ảnh nhị phân thường dựa trên tính toán giá trị cn( crossing number cho các điểm ảnh [49 Giá trị cn của m i điểm ảnh được tính dựa

trên công thức:

( ) ∑ | ( ) ( )|

Trong đó là các điểm ảnh xung quanh p, ( ) là giá trị các điểm ảnh, và có

giá trị trong tập {0, 1} Các điểm ảnh có giá trị cn là 1 s tương ứng với điểm cuối của đường vân, các điểm ảnh có giá trị cn là 3 s tương ứng với đường vân r nhánh H nh

Hình 1.11: K t quả phát h n đ m chạc t ảnh vân tay sử dụn ph n pháp nhị

phân v m mảnh

Cách tiếp cận phát hiện điểm chạc dựa trên ảnh nhị phân thường có hạn chế đó là:

– Một số lượng thông tin lớn bị loại bỏ trong quá tr nh nhị phân hóa ảnh

– Quá tr nh nhị phân hóa và làm mảnh thường tiêu tốn thời gian

– Quá tr nh làm mảnh thường xuất hiện các điểm chạc sai

Các cánh tiếp cận nhị phân thường không thích hợp khi áp dụng với các ảnh chất lượng thấp

Phát hiện các điểm chạc trực tiếp trên ảnh đa cấp xám thường được s dụng như phương pháp thay thế Các phương pháp tiếp cận thường s dụng dựa trên cách tiếp cận của Maio và cộng sự [50 H nh 1.12 mô tả các bước di chuyển trong quá tr nh phát hiện điểm chạc của thuật toán phát hiện điểm chạc trực tiếp trên ảnh đa cấp xám Phương pháp tiếp cận thường bắt đầu từ điểm ( ) và đi theo hướng của góc của đường vân, thuật toán tính toán điểm di chuyển đến ( ) b ng cách di chuyển µ điểm ảnh theo hướng Thuật toán s t m điểm tiếp ( ) là điểm có cường độ sáng cao nhất trong các điểm lân cận với ( ) theo hướng vuông góc với hướng Quá

tr nh di chuyển s tiếp tục cho đến khi kết thúc đường hoặc gặp điểm r nhánh

Hình 1.12: hát h n đ m chạc tr c t p tr n ảnh đa m c ám

Các điểm chạc có thể phát hiện sai do ảnh hư ng của chất lượng ảnh hoặc các n t đứt trên vân tay Một số luật có thể được áp dụng để loại bỏ các điểm chạc phát hiện sai Ví dụ Reddy và cộng sự [87 áp dụng một số luật như loại bỏ các điểm chạc gần đường biên Các điểm chạc phát hiện cuối đường vân và n m biên thường không đúng là điểm chạc Một luật khác mà tác giả s dụng đó là loại bỏ các điểm chạc n m quá gần nhau Các điểm chạc n m gần nhau thường do các n t đứt trên vân tay tạo ra Peralta và cộng sự [94] x t các điểm chạc là đúng dựa trên tương quan đa giác lồi tạo

b i các điểm chạc và ảnh nền của vân tay

Gần đây các kỹ thuật học máy sâu đã được áp dụng thành công trong các tác vụ trong lĩnh vực thị giác máy

Hình 1.13: M hình mạn n ron sâu phát h n đ m chạc tr c t p t ảnh vân tay

[86]

Jiang và cộng sự [86], Tang và cộng sự [98] đã áp dụng mạng nơ ron tích chập sâu trong phát hiện điểm chạc từ ảnh vân tay cho kết quả tốt so với một số công cụ

thương mại được dùng ph biến H nh 1.13 minh họa mô h nh mạng nơ rơn tích chập

đa tầng được Jiang và cộng sự [86] s dụng trong phát hiện điểm chạc từ ảnh vân tay

1.3 Bài toán đối sánh vân tay dựa trên điểm chạc

Hình 1.14: Các oạ đ m chạc v th n t n v đ m chạc Hình a đ m t th c

đ n vân Hình đ m đ đ n vân tách m

H nh 1.14 minh họa 2 loại điểm chạc được s dụng trong thuật toán đối sánh đó

là các điểm kết thúc của đường vân và điểm đó đường vân r làm 2 nhánh thông tin

đi kèm với điểm chạc được đặc tả với 3 tham số {x,y,θ}, trong đó x,y là vị trí của điểm chạc và θ là góc hướng của điểm chạc

1.3.1 Phát biểu bài toán

ài toán đối sánh vân tay dựa trên điểm chạc là t m ra tập con các điểm trùng khớp lớn nhất có thể từ 2 tập đặc trưng điểm chạc của hai vân tay cho trước.Ví dụ một

ph p đối sánh trong h nh 1.15 Chi tiết bài toán đối sánh giữa 2 tập điểm chạc được định nghĩa như sau:

ịnh nghĩa bài toán đ i sánh [49]: Cho 2 vân tay và được biểu diễn thông qua các tập điểm chạc

* +, với ( ) ,

* +, với ( ), j

T m ph p căn ch nh biến đ i h nh học () sao cho tối đa các cặp điểm chạc giữa 2 vân tay có thể phù hợp với nhau

Hình 1.15: M nh hoạ đố sánh a t p đ m chạc

Quá tr nh căn ch nh thường liên quan đến ph p dịch chuyển và ph p xoay Và có thể liên quan thêm đến một số ph p biến đ i như :

- T lệ giãn 𝑠 giữa các ảnh vân tay do độ phân giải giữa các ảnh vân tay

có thể khác nhau máy qu t vân tay thực thi các chế độ phân giải khác nhau

- iến đ i vặn m o do lực lấy vân tay khác nhau dẫn đến sự vặn m o Các mô tả sau không x t sự biến đ i về t lệ và vặn m o

Công thức hàm sau s đảm nhiệm việc ánh xạ điểm chạc (từ vân tay ) vào b i ph p dịch chuyểnT có giá trị , , - và ph p xoay R theo chiều ngược

2 điểm chạc và được coi là phù hợp sau quá tr nh căn ch nh s dụng hàm () nếu thỏa mãn các ràng buộc:

ài toán đối sánh có thể dễ dàng được giải quyết nếu hàm được biết, trong trường hợp này có thể dễ dàng xác định bộ 3 tham số ( ) từ cặp điểm đối sánh Trong thực tế các tham số căn ch nh ( ) và hàm thường không biết trước, do

đó giải quyết bài toán đối sánh giữa 2 tập điểm chạc là bài toán khó

H nh 1.16 minh họa một số cặp điểm chạc khoanh tròn được coi là phù hợp nếu

thỏa mãn ngưỡng về khoảng cách ts và ngưỡng khác nhau về góc tθ Thông thường, hai

tham số t s và tθ thể hiện c a s chịu l i cho m i ph p so sánh tương ứng

Tuỳ thuộc vào m i kỹ thuật đối sánh mà chúng ta có thể xác lập giá trị của hai

tham số t s và tθ Chẳng hạn, trong thuật toán MTK Modify Tico Kuosmanen [47], các

tác giả đã minh chứng kết quả đối sánh vân tay tốt nhất khi chọn ngưỡng khoảng cách

ts = 12 và ngưỡng góc t θ = π/6

Hình 1.16: Các c p đ m đ c co ph h p sau quá trình c n ch nh n u th a mãn các n n v hoản cách v c Các c p đ m đ c hoanh tr n ph h p v

n n hoản cách ts v n n c tθ

1.3.2 Một số khó khăn trong quá trình đối sánh

Một thuật toán đối sánh vân tay s so sánh hai vân tay và thường trả về một giá trị là độ tương đồng, ví dụ một giá trị giữa 0 và 1 hoặc một quyết định là phù hợp hoặc không Hầu hết các thuật toán đối sánh s dụng các thể hiện trung gian của vân tay thông qua bước trích chọn đặc trưng Đối sánh vân tay là một vấn đề khó, do một số nguyên nhân như:

- Đặt khác vị trí: cùng một vân tay có thể được đặt các vị trí khác nhau trên thiết bị lấy mẫu vân dẫn đến độ dịch chuyển của các vùng vân tay được thu nhận

- Xoay: cùng một vân tay có thể bị xoay các góc khác nhau trên thiết bị cảm biến thu nhận vân tay

- Trùng lặp một phần: việc đặt khác vị trí và xoay vân tay có thể dẫn đến một

số phần của vân tay dời ra ngoài vùng thu nhận của thiết bị cảm ứng, dẫn đến một phần nhỏ trùng nhau giữa vân tay

- Vặn m o không tuyến tính: việc ánh xạ h nh dạng ba chiều của vân tay vào

bề mặt hai chiều của thiết bị cảm biến thu nhận vân tay có thể dẫn đến ph p ánh xạ phi tuyến tính

- Điều kiện của da và lực p khi lấy mẫu vân: Lực p khi lấy vân tay, mức độ khô, mô hôi có thể dẫn đến việc thu nhận vân tay với các đường vân bị nhiễu

và không hoàn toàn chính xác các lần lấy mẫu vân khác nhau

Hình 1.17: M t số thu nh n hác nhau c a c n m t vân tay

Các cặp h nh ảnh trong H nh 1.17 thể hiện sự khác nhau của cùng một vân tay Cùng một vân tay có thể hiện khác nhau do đặt lệnh vị trí, xoay vân tay hoặc do nhiễu trong quá tr nh lấy mẫu vân tay

H nh 1.18 mô tả sự khác nhau về vị trí các điểm chạc giữa 2 ảnh cùng vân tay trong quá tr nh lấy mẫu do có sự khác nhau về lực p trên vân tay

Hình 1.18: Ảnh n trá v c n đ u Ảnh n phả ị méo do c m hác nhau

Nhiễu ảnh có nguyên nhân chủ yếu b i thiết bị cảm ứng được s dụng để lấy mẫu vân tay không có chất lượng tốt nhất Có l i trong quá tr nh trích chọn đặc trưng:

các thuật toán trích chọn đặc trưng có thể không hoàn hảo, thường dẫn đến một số l i như vị trí, kiểu của điểm đơn nhất, các điểm đặc trưng không có thực hoặc không thể phát hiện ra tất cả các điểm đặc trưng Điểm chạc của vân tay có thể không có điểm tương ứng trong ảnh vân tay đối sánh

1.3.3 Giá trị tương đồng giữa hai ảnh vân tay

Các hệ thống đối sánh tự động thường chuyển số lượng các cặp điểm chạc phù hợp giữa 2 vân tay sau quá tr nh đối sánh sang một giá trị ch độ tương đồng giữa hai vân tay Điều này thường được thực hiện b i công thức sau:

s dụng t ng số điểm chạc của 2 vân tay [35

1.3.4 Đánh giá kết quả hệ thống nhận dạng vân tay

Để đánh giá độ chính xác của một hệ thống nhận dạng vân tay Một số ch số

thường được s dụng là Tỷ lệ đúng lỗi alse Match Rate - MR và Tỷ lệ sai lỗi (False Not Match Rate - FNMR), Tỷ lệ c n bằng lỗi (Equal-Error Rate - EER) [13]