Nhận dạng vân tay sử dụng mạng nơron nhân tạon

i LỜI CẢM ƠN Trƣớc hết, xin bày tỏ lòng kính trọng lòng biết ơn sâu sắc tới thầy giáo NGƢT.TS Phạm Việt Bình, ngƣời tận tình hƣớng dẫn, bảo cung cấp tài liệu hữu ích để hoàn thành luận văn Xin trân trọng cảm ơn Ban lãnh đạo Trƣờng Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên tạo điều kiện giúp đỡ mặt suốt trình học tập thực luận văn Tôi xin bày tỏ lòng biết ơn tới thầy, cô giáo Viện Công nghệ Thông tin trƣờng Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên truyền đạt kiến thức, phƣơng pháp nghiên cứu khoa học suốt năm học vừa qua Xin chân thành cảm ơn anh chị em học viên lớp cao học K9A bạn đồng nghiệp động viên, khích lệ trình học tập, nghiên cứu Tôi xin bày tỏ lòng biết ơn sâu sắc đến gia đình, ngƣời thân, ngƣời động viên, khuyến khích giúp đỡ mặt để hoàn thành công việc nghiên cứu Thái Nguyên, tháng 08 năm 2012 Tác giả luận văn Phùng Thế Huân ii LỜI CAM ĐOAN Tôi xin cam đoan: Những nội dung luận văn thực dƣới hƣớng dẫn trực tiếp thầy giáo hƣớng dẫn NGƢT.TS Phạm Việt Bình Mọi tham khảo dùng luận văn đƣợc trích dẫn rõ ràng tác giả, tên công trình, thời gian, địa điểm công bố Tôi xin chịu trách nhiệm với lời cam đoan Thái Nguyên, tháng 08 năm 2012 Tác giả luận văn Phùng Thế Huân iii DANH MỤC CÁC HÌNH VẼ TRONG LUẬN VĂN Hình Tên hình Trang 1.1 Vân lồi vân lõm ngón tay 1.2 Các điểm singularity core delta 1.3 Một số loại core thƣờng gặp 1.4 Các điểm điểm kết thúc điểm rẽ nhánh 1.5 Sơ đồ bƣớc nhận dạng vân tay 1.6 a) Ƣớc lƣợng hƣớng ảnh chƣa làm mƣợt; b) Ƣớc lƣợng hƣớng ảnh làm mƣợt 1.7 Cách tính số poincare điểm (i, j ) với N p  1.8 Các bƣớc rút trích đặc trƣng từ ảnh đƣợc nhị phân hóa 10 1.9 a) phần điểm vân tay; b) điểm kết thúc; c) điểm rẽ nhánh 11 1.10 Các đƣờng vân rãnh bề mặt vân tay 11 1.11 Điểm cực đại tƣơng ứng với 12 1.12 Dịch chuyển đoạn μ theo đƣờng vân 13 1.13 Thiết diện đƣờng vân 14 1.14 Minh họa kết chuẩn hóa ảnh 16 1.15 Kết lọc ảnh vân tay hàm gabor 17 1.16 Minh họa việc bắt cặp mảnh vụn 23 1.17 Các đặc tính cấu trúc cục 24 1.18 Sơ đồ nhận dạng vân tay dùng kỹ thuật FingerCode 27 2.1 Cấu trúc nơron sinh học 28 2.2 Nơron nhân tạo 30 2.3 Mô hình toán học mạng nơron nhân tạo 33 2.4 Nơron đầu vào với hàm hoạt hoá hàm hardlimit 35 2.5 Một số dạng hàm hoạt hóa mạng nơron nhân tạo 35 2.6 Liên kết bên lớp cạnh tranh 37 2.7 Kiến trúc mạng Kohonen 38 iv Hình Tên hình Trang 2.8 Học có giám sát 39 2.9 Học giám sát 40 2.10 Học tăng cƣờng 40 2.11 Kiến trúc mạng Perceptron 43 2.12 Biên định không gian mẫu 45 2.13 Không gian mẫu khả tách tuyến tính 46 2.14 Không gian mẫu không khả tách tuyến tính 47 2.15 Phân tách không gian mẫu với mạng Perceptron nơron lớp 48 2.16 Mạng Perceptron đa lớp (MLP) 48 2.17 Mạng MLP giải toán XOR 49 2.18 Không gian mẫu 54 2.19 Phân lớp mẫu với mạng MLP lớp 54 2.20 Quan hệ lân cận lớp Kohonen 55 2.21 Mã hoá vectơ đầu vào với mạng SOFM 57 3.1 Sơ đồ đối sánh vân tay mạng nơron 59 3.2 Mô hình mạng Perceptron lớp 61 3.3 Mô hình mạng Perceptron lớp (1 lớp ẩn đầu ra) 63 3.4 Giao diện chƣơng trình 65 3.5 Huấn luyện mạng nơron 66 v MỤC LỤC MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG VÂN TAY 1.1 Các điểm đặc trƣng ảnh vân tay 1.2 Sơ đồ bƣớc xử lý trình nhận dạng 1.2.1 Quá trình xử lý ảnh (image processing) 1.2.2 Quá trình đối sánh vân tay (matching) 1.3 Trích điểm đặc trƣng 1.3.1 Trích điểm Singularity 1.3.2 Trích điểm Minutiae 1.3.2.1 Rút trích đặc trƣng từ ảnh đƣợc nhị phân hóa 10 1.3.2.2 Rút trích đặc trƣng trực tiếp từ ảnh xám 11 1.4 Làm ảnh vân tay 14 1.5 Một số thuật toán đối sánh vân tay……………………………………………148 1.5.1 Đối sánh dựa vào độ tƣơng quan 19 1.5.2 Đối sánh dựa vào đặc trƣng mảnh vụn 20 1.5.2.1 Hƣớng tiếp cận 20 1.5.2.2 Đối sánh đặc trƣng cục toàn cục 23 1.5.3 Đối sánh dựa vào đặc tính vân 25 CHƢƠNG 2: MẠNG NƠRON VỚI BÀI TOÁN NHẬN DẠNG ẢNH 28 2.1 Các khái niệm chung mạng nơron 28 2.1.1 Mạng nơron sinh học 28 2.1.2 Mạng nơron nhân tạo 30 2.1.2.1 Nơron nhân tạo 30 vi 2.1.2.2 Mạng nơron nhân tạo 31 2.1.2.3 Các ứng dụng mạng nơron 31 2.2 Mô hình toán học kiến trúc mạng nơron 32 2.2.1 Mô hình toán học mạng nơron 32 2.2.1.1 Mô hình toán học nơron nhân tạo 32 2.2.1.2 Cấu trúc mạng nhân tạo 34 2.2.1.3 Hàm truyền (Hàm hoạt hoá) 34 2.2.2 Kiến trúc mạng 36 2.3 Huấn luyện mạng 38 2.3.1 Hoạt động mạng 38 2.3.2 Huấn luyện mạng 39 2.3.2.1 Học có giám sát 39 2.3.2.2 Học giám sát 40 2.3.2.3 Học tăng cƣờng 40 2.3.3 Một số luật học 41 2.4 Mạng Perceptron 43 2.4.1 Kiến trúc mạng 43 2.4.2 Huấn luyện mạng 44 2.4.3 Khả ứng dụng cho nhận dạng ảnh 47 2.5 Mạng perceptron đa lớp 48 2.5.1 Kiến trúc mạng 48 2.5.2 Huấn luyện mạng 49 2.5.3 Khả ứng dụng cho nhận dạng ảnh 53 2.6 Mạng Kohonen 55 vii 2.6.1 Kiến trúc mạng 55 2.6.2 Huấn luyện mạng 56 2.6.3 Khả ứng dụng cho nhận dạng ảnh 57 CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM 59 3.1 Bài toán nhận dạng vân tay mạng nơron nhân tạo 59 3.2 Phƣơng pháp đề nghị 59 3.2.1 Lựa chọn mạng sử dụng cho toán 59 3.2.2 Xây dựng tập mẫu ngõ vào 60 3.2.3 Số lớp sử dụng 61 3.3 Thuật toán huấn luyện mạng nơron 61 3.3.1 Mạng Perceptron lớp 61 3.3.2 Mạng Perceptron lớp 62 3.4 Chƣơng trình nhận dạng vân tay 64 3.4.1 Chức chƣơng trình 64 3.4.2 Sử dụng chƣơng trình 66 3.4.3 Thực nghiệm 67 3.4.4 Đánh giá kết 72 KẾT LUẬN 73 TÀI LIỆU THAM KHẢO 74 MỞ ĐẦU Ngày nay, công nghệ sinh trắc học đƣợc ứng dụng rộng rãi đời sống Trong công nghệ nhận dạng vân tay đƣợc ứng dụng nhiều Ngƣời ta nhận thấy đặc trƣng vân tay dễ dàng bị thay thế, chia sẻ, hay giả mạo, … Ngoài dấu vân tay ngƣời không giống ai, kể sinh đôi trứng xác suất trùng lặp dấu vân tay ngƣời với ngƣời gần nhƣ 0%, không đổi suốt đời Do việc nhận dạng ngƣời, công nghệ đƣợc xem đáng tin cậy so với phƣơng pháp truyền thống nhƣ dùng mật khẩu, mã thẻ, Con ngƣời ứng dụng công nghệ nhận dạng vân tay từ lâu Tuy nhiên, khoảng thời gian dài ngƣời thực việc đối sánh hai dấu vân tay kỹ thuật truyền thống mang nặng tính thủ công Các kết lĩnh vực gần nhƣ không đƣợc ứng dụng lĩnh vực dân thông thƣờng đời sống mà chủ yếu đƣợc sử dụng lĩnh vực hình Với phát triển ngày nhanh chóng ngành công nghệ việc sử dụng dấu vân tay để nhận dạng đƣợc áp dụng rộng rãi đời sống Công nghệ đƣợc ứng dụng lĩnh vực hình mà đƣợc ứng dụng đa dạng lĩnh vực dân sự, thƣơng mại,… cụ thể là: Việc xác nhận nhân thân cá nhân truy cập mạng, hồ sơ cá nhân, khóa phòng trộm, thẻ ngân hàng, hệ thống chấm công, hệ thống bảo mật,… Với nguyện vọng muốn tìm hiểu lý thuyết nhận dạng vân tay nhƣ lĩnh vực ứng dụng thực tế, em chọn đề tài “Nhận dạng vân tay sử dụng mạng nơron nhân tạo” làm Luận văn tốt nghiệp Mục đích đề tài tìm hiểu sở phƣơng pháp nhận dạng vân tay, cách giải toán nhận dạng vân tay sử dụng mạng nơron nhân tạo xây dựng chƣơng trình ứng dụng Luận văn gồm chƣơng không kể phần mở đầu phần kết luận với nội dung sau: Chƣơng 1: Luận văn trình bày tổng quan nhận dạng vân tay bao gồm đặc trƣng vân tay, giới thiệu bƣớc xử lý trình nhận dạng Ngoài luận văn trình bày số thuật toán rút trích đặc trƣng ảnh vân tay từ ảnh nhị phân ảnh đa cấp xám Đặc biệt nghiên cứu số thuật toán đối sánh ảnh vân tay Chƣơng 2: Luận văn trình bày kiến thức mạng nơron nhân tạo, phƣơng pháp huấn luyện mạng,…Ngoài luận văn trình bày mô hình kiến trúc số mạng nơron nhân tạo Đặc biệt trình bày khả áp dụng cho toán nhận dạng ảnh Chƣơng 3: Luận văn đƣa toán nhận dạng vân tay sử dụng mạng nơron nhân tạo, đề nghị phƣơng pháp thuật toán huấn luyện mạng Cuối số hình ảnh, cách thức sử dụng đánh giá chƣơng trình nhận dạng vân tay Trong luận văn đƣa thực nghiệm tính toán kiểm tra độ xác thuật toán dựa phần mềm chạy máy tính CHƢƠNG TỔNG QUAN VỀ NHẬN DẠNG VÂN TAY Nội dung chương trình bày tổng quan nhận dạng vân tay, giới thiệu bước xử lý tiêu biểu nhận dạng vân tay Ngoài chương đề cập đến số thuật toán rút trich đặc trưng, đối sánh ảnh vân tay 1.1 Các điểm đặc trƣng ảnh vân tay Dấu vân tay đƣợc hình thành dƣới tác động hệ thống gen di truyền mà thai nhi đƣợc thừa hƣởng tác động môi trƣờng thông qua hệ thống mạch máu hệ thống thần kinh nằm hạ bì biểu bì Một dấu vân tay đƣợc chép lại từ lớp biểu bì da ấn ngón tay vào bề mặt phẳng Cấu trúc vân tay vân lồi vân lõm (hình 1.1) Vân lồi có màu tối vân lõm có màu sáng Vân lồi thƣờng có độ rộng từ 100 μm đến 300 μm Độ rộng cặp vân lồi lõm cạnh 500 μm Các chấn thƣơng nhƣ: bỏng nhẹ, mòn da, không ảnh hƣởng đến cấu trúc bên dƣới vân tay, da mọc lại cấu trúc khôi phục lại nhƣ cũ Hình 1.1 Vân lồi vân lõm ngón tay 60  Mỗi lần cập nhật thêm mẫu phải huấn luyện lại toàn mạng Vì vậy, luận văn sử dụng mạng truyền thẳng Perceptron ngõ ra, mạng tƣơng ứng với mẫu Nhƣ vậy, cần đối sánh mẫu ta phải so sánh mẫu qua tất mạng sở liệu Bởi vì, việc so mẫu qua mạng đơn giản nhanh thời gian huấn luyện mạng lớn nên phƣơng pháp khả thi Trên sở lựa chọn mạng nhƣ chọn hàm kích hoạt lớp hàm tuyến tính đƣợc huấn luyện mẫu 3.2.2 Xây dựng tập mẫu ngõ vào Ngõ vào mạng vị trí điểm đặc trƣng Để xác định vị trí điểm ta phải có điểm gốc “tƣơng đối” cố định Trong luận văn này, chọn điểm core làm gốc tọa độ, điểm core tồn tƣơng đối cố định ảnh vân tay Việc đối sánh mạng nơron có nhƣợc điểm thứ tự điểm đặc trƣng đƣa vào mạng phải xác, cần sai lệch vị trí làm sai toàn mạng Nhƣng sai lệch tránh khỏi trình xác định điểm đặc trƣng ảnh có chất lƣợng không đảm bảo Để khắc phục nhƣợc điểm này, luận văn sử dụng phƣơng pháp là: không đƣa trực tiếp vị trí điểm minutiae vào mạng (ngoại trừ điểm delta) mà sử dụng vị trí trung bình cộng điểm minutiae Cụ thể nhƣ sau:  Chọn điểm core làm gốc tọa độ, điểm core chia mặt phẳng ảnh thành bốn phần  Trong phần tƣ mặt phẳng ảnh ta tìm vị trí trung bình điểm minutiae phần tƣ Bốn vị trí trung bình điểm minutiae bốn phần tƣ mặt phẳng ảnh đƣợc đƣa vào tám ngõ vào mạng (sử dụng tọa độ decac) 61  Để gia tăng độ phân biệt ta đƣa thêm số điểm minutiae phần tƣ mặt phẳng ảnh vào bốn ngõ vào khác mạng 3.2.3 Số lớp sử dụng Từ kinh ngiệm thực nghiệm sử dụng mạng nơron ngƣời ta nhận thấy việc sử dụng mạng Perceptron nhiều hai lớp không cần thiết Vì vậy, luận văn thử nghiệm kết đối sánh mạng Perceptron lớp hai lớp 3.3 Thuật toán huấn luyện mạng nơron Thuật toán huấn luyện đƣợc sử dụng thuật toán lan truyền ngƣợc suy giảm sai số gradient 3.3.1 Mạng Perceptron lớp Hình 3.2 Mô hình mạng Perceptron lớp Trong đó: vectơ tín hiệu vào [ ] 62 vectơ trọng số lớp [ ] Tín hiệu Thuật toán huấn luyện:  Bƣớc 1: o Khởi động trị o Chọn số học  Bƣớc 2: Lan truyền thuận Tính: ( ) ( ) ( )  Bƣớc 3: Lan truyền ngƣợc ( ) ( ) [ ( ) ( )] ( ( )) ( ) ( a(.) hàm kích hoạt)  Bƣớc 4: Lặp lại bƣớc K lần, với K số mẫu liệu vào  Bƣớc 5: Tính ( ) [ ( ) ( )]  Bƣớc 6: Kiểm tra ( ) đủ bé: o Đủ bé: Kết thúc (lƣu ) o Chƣa đủ bé: Lặp lại bƣớc với giá trị khởi động đƣợc cập nhật từ bƣớc 3.3.2 Mạng Perceptron lớp Mạng Perceptron hai lớp (với lớp ẩn lớp ra), đƣợc huấn luyện giải thuật lan truyền ngƣợc suy giảm sai số gradient Hàm kích hoạt lớp ẩn đƣợc chọn hàm sigmoid, hàm kích hoạt lớp hàm tuyến tính 63 Hình 3.3 Mô hình mạng Perceptron lớp (1 lớp ẩn đầu ra) Trong đó: vectơ tín hiệu vào [ ] vec tơ trọng số lớp ẩn q=(1 H) [ ] vectơ trọng số lớp [ ] vectơ tín hiệu lớp ẩn [ ] Tín hiệu 64 Thuật toán huấn luyện:  Bƣớc 1: Khởi tạo o Khởi động giá trị o Chọn số học  Bƣớc 2: Lan truyền thuận o o ( ) ( ) ( ) ( ( )) ( )  Bƣớc 3: Lan truyền ngƣợc o o ( ( ) ( ) ) ( ) o o ( ( ) ( ) ) ( ) ( )  Bƣớc 4: Lặp lại bƣớc K lần, với K số mẫu liệu vào  Bƣớc 5: Tính: ( ) [ ( ) ( )]  Bƣớc 6: Kiểm tra ( ) đủ bé: o Đủ bé: Kết thúc (lƣu ) o Chƣa đủ bé: Lặp lại bƣớc với giá trị khởi động đƣợc cập nhật từ bƣớc 3.4 Chƣơng trình nhận dạng vân tay 3.4.1 Chức chƣơng trình  Chƣơng trình nhận dạng vân tay từ ảnh số sử dụng mạng nơron nhân tạo  Nút Sampling có chức lấy mẫu huấn luyện mẫu mạng nơron 65  Nút Load dùng để tải mẫu vân tay cần tìm hay cần đối sánh với tập mẫu sở liệu  Nút Mathching dùng để so sánh với mẫu vân tay CSDL mẫu vân tay cần tìm, tìm đƣợc hiển thị thông tin mẫu vân tay Hình 3.4 Giao diện chƣơng trình 66 3.4.2 Sử dụng chƣơng trình Giả sử ban đầu chƣa có sở liệu mẫu vân tay database ta nhấn nút Sampling để huấn luyện tạo mẫu cho sở liệu mạng Khi nhấn vào đƣợc hình sau: Hình 3.5 Huấn luyện mạng nơron Ở ảnh vân tay gồm mẫu vân tay ngón tay Một mẫu dùng để huấn luyện mẫu lại dùng để nhận dạng Nhấn Load tải ảnh vân tay để huấn luyện, nhập thông tin liên quan đến ngƣời sở hữu vân tay (nhƣ hình trên) Sau nhấn OK để lƣu thông tin 67 Tiếp theo nhấn Create Network để xây dựng tập ngõ vào cho mạng nơron Và cuối nhấn Train để huấn luyện mạng Khi lấy mẫu xong nhấn Close để trỏ chƣơng trình nhƣ hình 3.25 Bây muốn đối sánh mâu vân tay ta nhấn Load Image để tải ảnh cần đối sánh Và nhấn Matching để tìm mẫu vân tay Nếu tìm thấy hiển thị thông tin ngƣời Information Image Found 3.4.3 Thực nghiệm Sau hai mẫu ngõ vào (một dùng để huấn luyện dùng để đối sánh) tƣơng ứng với hai dấu vân tay Theo quan sát ta thấy thƣờng dấu vân tay có hai điểm delta (một bên phải bên trái) điểm delta Vì vậy, bốn giá trị mẫu ngõ vào lần lƣợt vị trí hai điểm delta bên phải bên trái có (giá trị 256 256 cho biết điểm delta vị trí đó) Các giá trị lần lƣợt vị trí trung bình điểm minutiae số điểm minutiae bốn phần tƣ mặt phẳng ảnh Nhƣ vậy, có tất 16 ngõ vào Mau1 = -7 40 256 256 25 46 -83 38 -112 68 -46 -68 39 198 60 61 149 Mau2 = -7 39 256 256 36 37 -89 33 -105 -53 -60 36 139 37 83 69 219 Giả sử mẫu đƣợc đem huấn luyện với vector trọng số mạng Perceptron với số học 10-7 sai số cho phép 10-4 nhƣ sau: W= Columns through 0.9998 -1.0001 1.0000 -1.0000 0.9999 -1.0001 0.9998 Columns through 14 -1.0001 0.9998 -1.0002 0.9998 -1.0001 1.0000 -1.0001 Columns 15 through 16 0.9999 -1.0000 V= Columns through -0.0999 0.0064 0.0048 0.0048 0.0065 0.0063 0.0073 0.0066 -0.0996 0.0094 0.0094 0.0069 0.0071 0.0058 0.0067 0.0067 -0.1001 0.0066 0.0067 0.0067 0.0067 0.0067 0.0067 0.0067 -0.0999 0.0067 0.0067 0.0066 0.0067 0.0062 0.0039 0.0039 -0.1003 0.0062 0.0076 0.0066 0.0071 0.0095 0.0095 0.0069 -0.0995 0.0058 0.0067 0.0066 0.0064 0.0064 0.0066 0.0066 -0.0999 0.0066 0.0071 0.0093 0.0093 0.0069 0.0071 0.0058 0.0067 0.0066 0.0065 0.0065 0.0067 0.0066 0.0067 0.0066 0.0068 0.0074 0.0074 0.0067 0.0068 0.0064 0.0067 0.0066 0.0062 0.0062 0.0066 0.0066 0.0068 70 0.0066 0.0071 0.0093 0.0093 0.0069 0.0071 0.0058 0.0067 0.0066 0.0064 0.0064 0.0066 0.0066 0.0067 0.0066 0.0071 0.0096 0.0096 0.0070 0.0072 0.0057 0.0067 0.0062 0.0039 0.0039 0.0064 0.0062 0.0076 0.0066 0.0068 0.0075 0.0075 0.0068 0.0068 0.0064 Columns through 14 0.0064 0.0075 0.0070 0.0072 0.0064 0.0052 0.0062 0.0071 0.0055 0.0062 0.0060 0.0071 0.0087 0.0073 0.0067 0.0067 0.0067 0.0067 0.0067 0.0066 0.0067 0.0067 0.0066 0.0067 0.0067 0.0067 0.0067 0.0067 0.0063 0.0079 0.0072 0.0074 0.0062 0.0045 0.0060 0.0071 0.0054 0.0062 0.0059 0.0071 0.0088 0.0073 0.0066 0.0068 0.0067 0.0067 0.0066 0.0064 0.0066 -0.0996 0.0055 0.0062 0.0060 0.0071 0.0087 0.0073 0.0066 -0.0999 0.0067 0.0067 0.0066 0.0066 0.0066 0.0068 0.0064 -0.1001 0.0065 0.0068 0.0072 0.0068 0.0066 0.0069 0.0067 -0.0999 0.0066 0.0063 0.0066 0.0071 0.0055 0.0062 0.0060 -0.0996 0.0087 0.0073 0.0066 0.0068 0.0067 0.0067 0.0066 -0.1002 0.0066 0.0071 0.0054 0.0061 0.0059 0.0071 0.0089 -0.0993 0.0063 0.0079 0.0072 0.0074 0.0062 0.0045 0.0060 0.0068 0.0063 0.0065 0.0064 0.0068 0.0073 0.0069 Columns 15 through 16 71 0.0062 0.0056 0.0073 0.0082 0.0067 0.0066 0.0067 0.0067 0.0060 0.0050 0.0073 0.0083 0.0066 0.0065 0.0073 0.0082 0.0066 0.0066 0.0068 0.0071 0.0066 0.0064 0.0073 0.0082 0.0066 0.0065 0.0074 0.0084 -0.1007 0.0050 0.0069 -0.0995 giá trị ngõ Y cho lần lƣợt hai mẫu qua mạng đƣợc huấn luyện: Đầu mẫu cho qua mạng là: Y1=0.0119 Đầu mẫu cho qua mạng là: Y2=5.0575 Nhƣ chọn ngƣỡng T=Y2-Y1