Hệ thống nhận diện mống mắt trong Điều kiện không lí tưởng

Sau đó, chúng ta chạy thuật toán liên kết cạnh trênbản đồ cạnh, đạt được danh sách cạnh của các điểm cạnh được kết nối và chọnđiểm dài nhất có số điểm tối đa để định vị ranh giới mống mắ

TRƯỜNG ĐẠI HỌC CÔNG THƯƠNG TP HỒ CHÍ MINH

KHOA CÔNG NGHỆ THÔNG TIN

ĐỒ ÁN CUỐI KÌ MÔN BẢO MẬT SINH TRẮC

ĐỀ TÀI:

HỆ THỐNG NHẬN DIỆN MỐNG MẮT TRONG ĐIỀU KIỆN KHÔNG LÍ TƯỞNG

GVHD: Nguyễn Thị Huyền Trang

Nhóm sinh viên thực hiện:

1 2033223396 - Nguyễn Ngọc Nguyệt Nhi

2 2033223602 - Nguyễn Thành Phát

3 2033225193 - Trần Thị Minh Thư

TP Hồ Chí Minh, tháng 10/2024 MỤC LỤC

Tóm tắt: 3

1 Giới thiệu 3

2 Tiền xử lý hình ảnh mống mắt 5

3 Đăng kí hình ảnh bằng thuật toán Lucas-Kanade 8

4 Lựa chọn bộ lọc Gabor cho nhận diện mống mắt 11

4.1 Bộ lọc Gabor 2D 12

4.2 Lựa chọn bộ lọc Gabor 13

4.2.1 Hàm đánh giá 13

4.2.2 Thuật toán tìm kiếm 15

5 Thí nghiệm 16

5.1 Cơ sử dữ liệu mống mắt và các biện pháp đánh giá: 18

5.2 Lựa chọn bộ lọc và đánh giá hiệu suất 18

5.3 Đánh giá bởi ban tổ chức NICE: 21

6 Kết luận 21

Lời cảm ơn 21

ĐỀ TÀI 5: NHẬN DẠNG MỐNG MẮT TRONG ĐIỀU KIỆN HÌNH ẢNH

KHÔNG LÍ TƯỞNG

Tóm tắt:

Bài báo này nghiên cứu vấn đề nhận dạng mống mắt trong các hình ảnh

mống mắt bị suy giảm được chụp trong điều kiện chụp ảnh không lý tưởng Trong

những trường hợp này, việc nhận dạng mống mắt trở nên khó khăn do các yếu tốnhiễu như hình ảnh lệch trục, thay đổi tư thế, hình ảnh bị mờ, thay đổi độ sáng, chekhuất, điểm sáng phản chiếu và nhiễu Chúng tôi giới thiệu một thuật toándựa trên sự đồng thuận mẫu ngẫu nhiên (RANSAC) để xác định vị

trí ranh giới mống mắt không tròn Nó có thể xác định ranh giới mống mắt chính

xác hơn các phương pháp dựa trên phép biến đổi Hough Để tính đến sự biến dạngmẫu mống mắt, chúng tôi mô tả một phương pháp đăng ký hình ảnh dựa trênthuật toán LucasCKanade Hoạt động trên hình ảnh mống mắt được lọc, phương pháp này chia một hình ảnh thành các hình ảnh con-nhỏ và giải quyết vấn

đề đăng ký cho mọi ảnh hình ảnh con-nhỏ Theo một số giả định hợp lý, phương

pháp này trở nên rất hiệu quả trong khi vẫn duy trì hiệu quả của nó Cuối cùng,chúng tôi nghiên cứu cách trích xuất các đặc điểm rất khác biệt trong các hình ảnhmống mắt bị suy giảm Chúng tôi trình bày một phương pháp lựa chọn tuần tự đểtìm kiếm một tập hợp con bộ lọc không tối ưu từ một họ bộ lọc Gabor Hiệu suấtnhận dạng được cải thiện đáng kể với số lượng bộ lọc được chọn rất nhỏ Các thínghiệm đã được tiến hành trên cơ sở dữ liệu mống mắt UBIRIS.v2 và đã thuđược kết quả khả quan

Từ khóa : Nhận dạng mống mắt, Lựa chọn bộ lọc, Đăng ký hình ảnh, Sự đồng

thuận mẫu ngẫu nhiên (RANSAC)

nhau, nhận dạng mống mắt là mối quan tâm nghiên cứu đặc biệt vì các đặc điểm

1993) Trong những năm qua, đã có những tiến bộ lớn trong các môi trường hạnchế, nơi người dùng hợp tác chặt chẽ Các kỹ thuật nhận dạng mống mắt hiện đạiđược xem xét bởi Bowyer và cộng sự (2008)

Mối quan tâm nghiên cứu gần đây trong lĩnh vực này tập trung vào khả năngnhận dạng trong các điều kiện hình ảnh ít bị hạn chế hơn Trong những trường hợpnhư vậy, hình ảnh mống mắt được chụp có thể bị suy giảm do hình ảnh lệch trục,hình ảnh bị mờ, thay đổi độ sáng, che khuất, điểm sáng phản chiếu và nhiễu(Proenca et al., 2010) Việc nhận dạng mống mắt đúng chính xác trong tình trạngsuy giảm như vậy là một thách thức lớn Daugman (2007) đã báo cáo một số tiến

bộ bao gồm định vị ranh giới mống mắt chính xác với đường viền chủ động vàđăng ký hình ảnh thông qua phép đo lượng giác dựa trên Fourier, trong số nhữngphương pháp khác Proenca và Alexandre (2007) đã nghiên cứu một phương phápphân loại kết hợp nhiều chữ ký để nhận dạng mống mắt không hợp tác (Sun vàTan, 2009) đã trình bày một khuôn khổ chung cho biểu diễn đặc điểm mống mắtdựa trên phép đo thứ tự

Bài báo này nghiên cứu về nhận dạng mống mắt trong các điều kiện hìnhảnh ít bị hạn chế hơn Những đóng góp chính của chúng tôi như sau: (1) Chúngtôi giới thiệu trong Phần 2 một thuật toán dựa trênRANSAC để định vị ranh giới ngoài của mống mắt bằng cáchình elip Thuật toán này mạnh mẽ và có thể cung cấp định vị ranh giới chínhxác hơn (2) Chúng tôi mô tả một phương pháp đăng ký để xử

lý biến dạng mẫu mống mắt trong Phần 3 Phương pháp này hoạtđộng trên các hình ảnh đã lọc và giải quyết vấn đề đăng ký hình ảnh cho các hìnhảnh con- nhỏ (3) Trong Phần 4, chúng tôi trình bày mộtphương pháp lựa chọn tuần tự hướng tới tìm kiếm các bộlọc đặc biệt nhất từ một họ bộ lọc Gabor Với số lượng bộ lọcrất ít được chọn, chúng tôi cải thiện đáng kể hiệu suất của thuật toán nhận dạng.Tổng quan về công trình đề xuất được trình bày trong Hình 1 Chúng tôi đã thamgia Noisy Iris Challenge Evaluation- Phần II (NICE:II) và là một trong nhữngngười tham gia xuất sắc nhất

Hình 1: Tổng quan về công trình đề xuất Với hình ảnh mống mắt và hình ảnh phân đoạn như trong NICE:II, trước tiên chúng tôi xác định ranh giới mống mắt bên trong và bên ngoài Sau đó, chúng tôi chuẩn hóa vùng mống mắt hình vòng thành hình ảnh mống mắt hình chữ nhật; hình ảnh phân đoạn cũng được chuẩn hóa theo cách tương tự Sử dụng các bộ lọc được chọn ngoại tuyến, chúng tôi thực hiện mã hóa và khớp mống mắt Phần được bao quanh bởi hình chữ nhật nét đứt cho thấy quá trình lựa chọn bộ lọc.

2 Tiền xử lý hình ảnh mống mắt

Trong NICE:II, hình ảnh mống mắt gốc và hình ảnh phân đoạn ở định dạngnhị phân được cung cấp Chúng ta cần xác định ranh giới mống mắt bên trong vàbên ngoài Đầu tiên, trong hình ảnh phân đoạn nhị phân, chúng ta sử dụng thuậttoán Canny để phát hiện cạnh Sau đó, chúng ta chạy thuật toán liên kết cạnh trênbản đồ cạnh, đạt được danh sách cạnh của các điểm cạnh được kết nối và chọnđiểm dài nhất có số điểm tối đa để định vị ranh giới mống mắt bên ngoài; xem

Hình 2 để tham khảo Bản đồ cạnh có thể rất nhiễu theo nghĩa là nhiều điểm cạnhkhông phải là điểm thực trên ranh giới do bị che khuất hoặc nhiễu, như thể hiệntrong hình ảnh của cột thứ 2 trong Hình 2 Trong điều kiện chụp ảnh không lýtưởng, ranh giới mống mắt bên ngoài thường không tròn và do đó, chúng ta sửdụng hình elip để phù hợp với ranh giới mống mắt bên ngoài

Do các điểm biên nhiễu như đã phân tích trước đó, việc áp dụng trực tiếp cácphương pháp hiện có, ví dụ, (Fitzgibbon và cộng sự, 1999), để khớp hình elip cóthể cho kết quả kém Do đó, chúng tôi đề xuất một phương pháp mạnh mẽ dựa trênRANSAC (Fischler và Bolles, 1981) để khớp hình elip RANSAC có thể ước tínhcác tham số của một mô hình toán học từ một tập hợp dữ liệu quan sát có chứanhiều giá trị ngoại lai (dữ liệu nhiễu hoặc sai) Đây là một quy trình lặp đi lặp lạinhằm tìm kiếm số lượng giá trị nội tại tối đa (dữ liệu chính xác) bằng cách loại bỏ

các giá trị ngoại lai càng nhiều càng tốt Ở mỗi bước, chúng ta cần ước tính chínhxác hình elip từ một tập hợp các điểm và phương pháp do Fitzgibbon và cộng sự(1999) đề xuất được sử dụng, đây là phương pháp trực tiếp để khớp hình elip bằngcách giải một hệ thống riêng tổng quát.

Thuật toán của chúng tôi được trình bày trong Thuật toán 1 Với một tập hợpcác điểm cạnh T = {zi |i = 0,1, , − 1}, thuật toán RANSAC tiến hành theo lầnN K

lặp Trong mỗi lần lặp, chúng tôi chọn ngẫu nhiên điểm trong T để tạo thành mộtn

tập hợp con , trong đó = 6 là số điểm tối thiểu cần thiết để ước tính một hìnhT k n

elip

Giả sử (viết tắt là r(z) = 0) là hình elip ước tính, trong đó các chỉ số

Hình elip r(z) = 0 được coi là không hợp lệ nếu (1) z nằm ngoài hộp giới hạn tốic

thiểu của vùng đen trong ảnh nhị phân hoặc (2) tỷ lệ |a/b − 1| lớn hơn một ngưỡngnào đó Lưu ý rằng số lượng này đo độ elip của ranh giới mống mắt ngoài Giảđịnh cơ bản là giá trị độ elip không được quá lớn; chúng tôi xác định theo kinhnghiệm giá trị ngưỡng này là 0,1 Nếu hình elip không hợp lệ, thì chúng tôi đặt tậphợp liên tục thành rỗng và tiến hành bước tiếp theo; nếu không, chúng tôi tínhS k

toán tập hợp liên tục như sau:S k

trong đó biểu thị một hình elip với các tham số

và 0 có ý nghĩa tương tự Hai hình elip xácđịnh một hình elip có tâm tại có chiều rộng được điều khiển bởi tham

số Các điểm cạnh nằm trong vòng tròn được coi là thuộc về tập hợp liên tục.ε

Chúng tôi ràng buộc thành một giá trị nhỏ để các điểm cạnh thực sự bị nhiễu cóε

thể chấp nhận được Trong thí nghiệm, = 0,1 được xác định theo kinh nghiệm.ε

Sau lần lặp, chúng ta chọn, trong số các tập hợp liên tụcK S k ,k=0,1, , −K

1, tập hợp có số lượng phần tử tối đa là tập hợp liên tục tối ưu S∗ (trên dòng 12,

Thuật toán 1, | | biểu thị số lượng phần tử trong ) Cuối cùng, chúng ta ước tínhS k S k

hình elip với tất cả các điểm trong tập hợp S∗ là kết quả cuối cùng Hình 2 cho thấy

hai ví dụ về vị trí ranh giới mống mắt Cột cuối cùng cho thấy kết quả định vị sửdụng thuật toán được đề xuất (đường cong màu đỏ) và phương pháp dựa trên phép

biến đổi Hough tròn (đường cong màu xanh lá cây) Rõ ràng là phương pháp trước

mô tả ranh giới chính xác hơn phương pháp sau

Hình 2: Định vị ranh giới bên ngoài và bên trong Cột thứ 1 và thứ 2 hiển thị hình ảnh đầu vào; cột thứ 3 đưa ra danh sách các điểm cạnh được kết nối, trong đó điểm dài nhất (đường cong màu đỏ) có số điểm cạnh tối đa được sử dụng để khớp hình elip; từ cột cuối cùng, rõ ràng là kết quả sử dụng thuật toán được

đề xuất (đường cong màu đỏ) chính xác hơn so với kết quả sử dụng phương pháp dựa trên phép biến đổi Hough tròn (đường cong màu xanh lá cây) (Để giải thích các tham chiếu đến màu trong chú thích hình này, người đọc được giới thiệu phiên bản web của bài viết này.)

Độ phức tạp tính toán của thuật toán là O(KC ) o, trong đó C obiểu thị chi phíliên quan đến một lần lặp chủ yếu liên quan đến việc khớp hình elip Không có giớihạn trên về thời gian RANSAC mất để hội tụ (Fischler và Bolles, 1981) Khi mộtngười tăng số lần lặp , xác suất để có được giải pháp tối ưu tăng lên, nhưng chiK

phí tính toán cũng tăng theo Trong quá trình triển khai của mình, chúng tôi đặt sốlần lặp thành 50 như một sự đánh đổi giữa giải pháp tối ưu và chi phí tính toán.K

Nếu ranh giới bên ngoài được xác định, thì việc định vị ranh giới mống mắtbên trong tương đối đơn giản và chúng tôi sử dụng phương pháp được giới thiệutrong Li et al (2010) để định vị nó Sau khi có được ranh giới bên ngoài và bêntrong, chúng tôi biến đổi vùng mống mắt hình vòng thành một hình ảnh hình chữnhật có kích thước cố định (64 × 256 trong bài báo của chúng tôi) được gọi là hìnhảnh mống mắt được chuẩn hóa bằng phép chiếu không có chiều kép (Daugman,1993) Lưu ý rằng hình ảnh nhị phân phân đoạn cũng được chuẩn hóa để có đượchình ảnh mặt nạ hình chữ nhật theo cách tương tự Trong quá trình chuẩn hóa hìnhhọc này, phương pháp nội suy song tuyến tính được áp dụng để ước tính các giá trịmức xám ở các vị trí không phải số nguyên Để làm cho hình ảnh mặt nạ trở thànhnhị phân, chúng tôi đặt các giá trị mức độ xám nhỏ hơn 128 thành 0 và các giá trịlớn hơn 128 thành 255 Sau đây, không có sự mơ hồ, chúng tôi sử dụng ”hình ảnh

mống mắt” và ”hình ảnh mặt nạ” làm ký hiệu viết tắt của ”hình ảnh mống mắt hìnhchữ nhật chuẩn hóa” và ”hình ảnh phân đoạn hình chữ nhật chuẩn hóa”, tương ứng.

1 Input:

2 while < k K do

3 Chọn ngẫu nhiên một tập hợp các điểm từ T để tạo thành một tập hợp con

4 Ứơc tính một hình elip r(z) = 0 với mọi điểm trong T k

11 Xác định tập hợp bền bỉ tối ưu S k*sao cho

12.Ước tính hình elip r*(z) = 0 bằng cách sử dụng tất cả các điểm trong S*

13. Output: r* z) = 0(

Thuật toán 1: Thuật toán định vị ranh giới ngoài.

3 Đăng kí hình ảnh bằng thuật toán Lucas-Kanade

Vấn đề đăng ký hình ảnh trong nhận dạng mống mắt đã được nhiều nhà nghiên cứu nghiên cứu Wildes (1997) đã sử dụng phép biến đổi tương tự để điều chỉnh hình ảnh mống mắt về hình ảnh mẫu với giả định cường độ mức xám không đổi Điều này giúp bù đắp cho sự thay đổi tỷ lệ và xoay của hình ảnh mống mắt Giả sử mống mắt có cấu trúc phẳng và sử dụng mô hình chiếu trực giao của máy ảnh, Daugman (2007) đã biến đổi một hình ảnh bị lệch trục bằng cách ước lượng các tham số lệch của hướng nhìn dựa trên phép đo lượng giác Fourier Những phương pháp này mang tính toàn cục, nghĩa là chúng giải quyết sự căn chỉnh tổng thể giữa hai vùng mống mắt

Sự biến dạng của mẫu mống mắt thường phức tạp do nhiều yếu tố Sự thay đổi tư thế và việc chụp ảnh lệch trục gây ra biến dạng cứng toàn cục; Mặt khác, vì mống mắt của con người có cấu trúc co giãn ba chiều, nên chuyển động của mắt

cũng như sự co giãn của đồng tử có thể gây ra biến dạng không cứng cục bộ Lưu ýrằng các biến dạng cứng toàn cục và không cứng cục bộ thường kết hợp với nhau Các phương pháp đã đề cập ở trên có thể bù đắp cho biến dạng toàn cục của mống mắt nhưng không tính đến biến dạng không cứng, cục bộ Ý tưởng của chúng tôi làgiải quyết vấn đề đăng ký hình ảnh trên hình ảnh đã được chuẩn hóa (Daugman, 1993), giúp kích thước mống mắt không thay đổi Chúng tôi chia hình ảnh đã chuẩn hóa thành các hình ảnh con nhỏ và ước tính sự biến dạng của từng hình ảnh con nhỏ Phương pháp ước tính sự biến dạng từng phần của mỗi hình ảnh con này

có khả năng tính đến các biến dạng của mống mắt chính xác hơn so với ước tính biến dạng tổng thể của toàn bộ hình ảnh

Thuật toán Lucas-Kanade và các biến thể của nó (Baker và Matthews, 2004), cũng như các phương pháp dựa trên tương quan (Goshtasby, 2005), thường được sử dụng trong nghiên cứu đăng ký hình ảnh Những phương pháp này giả định rằng cường độ mức xám không thay đổi, nhưng giả định này thường bị vi phạm do thay đổi ánh sáng Một giả định khác đằng sau các phương pháp này là khối hình ảnh được đăng ký phải có tính đặc biệt cục bộ cao, nhưng mẫu kết cấu của mống mắt thường tự tương tự cục bộ Để giải quyết những vấn đề này, trước tiên chúng tôi trích xuất các đặc điểm đủ khả năng phân biệt và đáng tin cậy của hình ảnh mống mắt gốc bằng một tập hợp các bộ lọc, sau đó thực hiện đăng ký hình ảnh theo từng biểu mẫu

Trong hệ thống nhận dạng mống mắt, hình ảnh mống mắt thường được chia thành các hình ảnh con nhỏ không chồng lên nhau Với hai hình ảnh mống mắt, bàitoán đăng ký hình ảnh bao gồm việc tìm kiếm mọi ảnh con trong một ảnh mống mắt, một hình ảnh con tương ứng trong hình ảnh kia sao cho hai hình ảnh con có thể được căn chỉnh thông qua một phép biến đổi nào đó Giả sử ,

là hai ảnh mống mắt, trong đó biểu thị tọa độ không gian Giả sử chúng ta có mộtz

tập hợp các bộ lọc có khả năng trích xuất các đặc điểm tần số không gian của mẫu mống mắt, trong đó | | là số lượng bộ lọc trong S

tập Chúng ta có thể tính toán tập hợp các hình ảnh đã lọc S cho hình ảnh như sau:

trong đó là phép tích chập Như đã thảo luận trong Daugman (1993), dấu hiệu ∗của có chứa đủ thông tin phân biệt và đủ mạnh để chống nhiễu Do đó, chúngtôi trích xuất tập hợp các hình ảnh nhị phân bằng phương trình sau:

Giả sử R là tập hợp các tọa độ pixel trong một hình nhỏ của , bài toán đăng ký được mô tả bằng công thức sau:

trong đó biểu thị hàm warp và = [ … ] là các tham số của phép biến p p 1 p n

đổi Hàm warp định nghĩa phép ánh xạ biến đổi một điểm trong thành vị trí z I (0)

mới W(z; p) trong I (1)

Bài toán đăng ký có thể được giải quyết bằng thuật toán gradient-descent (Baker vàMatthews, 2004) Độ phức tạp tính toán của thuật toán đăng ký hình ảnh của một hình ảnh phụ là , trong đó n là số tham số dọc , N là số lần lặp

và |R| là số điểm trong R Để giảm bớt chi phí tính toán cao của phương trình (4), chúng tôi đưa ra hai giả định: (1) phép biến đổi chỉ được suy ra bằng phép tịnh tiến; (2) hình phụ có thể được đặc trưng bởi giá trị trung tâm , trong đó c là Z

tâm của ảnh phụ Với hai giả định này, vấn đề đăng ký có thể được rút gọn thành:

trong đó p=[p 1 p 2] là vectơ tịnh tiến và là phép toán XOR (hoặc loại trừ) Vì chỉ⊕nhận giá trị nhị phân 1 hoặc 0, nên chúng ta có thể tìm kiếm trong một vùng 8x8 xung quanh Zc trong hình ảnh Chi phí tính toán của phương pháp này là, trong đó là chi phí của phép toán XOR trên các bit Hình 3 minh họa hai đường cong DET của cùng một thuật toán nhận dạng với và không có đăng

ký hình ảnh, sử dụng 5 bộ lọc trên một tập dữ liệu thử nghiệm gồm 1.227 hình ảnh mống mắt từ 114 mắt