xây dựng hệ nhận dạng vân tay dựa trên mã nguồn mở

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỀ TÀI NCKH CẤP SINH VIÊN XÂY DỰNG HỆ NHẬN DẠNG VÂN TAY DỰA TRÊN MÃ NGUỒN MỞ S K C 0 9 MÃ SỐ: SV132-2005 S KC 0 Tp Hồ Chí Minh, 2005 BỘ GIÁO DỤC VÀO ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH -  - ĐỀ TÀI NCKH SINH VIÊN TÊN ĐỀ TÀI: XÂY DỰNG HỆ NHẬN DẠNG VÂN TAY DỰA TRÊN MÃ NGUỒN MỞ MÃ SỐ: SV132-2005 SVTH : GVHD : ĐƠN VỊ : Huỳnh Nguyên Chính MSSV: 01110008 Phạm Xuân Khánh MSSV: 01110036 ThS Trần Tiến Đức Khoa Công Nghệ Thông Tin THÁNG 12-2005 MỤC LỤC TRANG TÓM TẮT ĐỀ TÀI .1 PHẦN 1: ĐẶT VẤN ĐỀ .2 I ĐỐI TƯNG NGHIÊN CỨU II TÌNH HÌNH NGHIÊN CỨU TRONG NƯỚC VÀ NƯỚC NGOÀI II.1 Tình hình nghiên cứu nước II.2 Tình hình nghiên cứu nước III NHỮNG VẤN ĐỀ CÒN TỒN TẠI PHẦN 2: GIẢI QUYẾT VẤN ĐỀ .6 I MỤC ĐÍCH ĐỀ TÀI II PHƯƠNG PHÁP NGHIÊN CỨU III NỘI DUNG III.1 Tổng quan III.1.1 Khái niệm vân tay III.1.2 Tại sử dụng vân tay vào mục đích nhận dạng III.1.3 Các kỹ thuật nhận dạng dựa vào sinh trắc học III.1.4 Các ứng dụng nhận dạng vân tay III.1.5 Đặc điểm vân tay III.2 Giải thuật nhận dạng vân tay III.2.1 Nguyên lý chung III.2.2 Trích đặc điểm ảnh III.2.2.1.Tiền xử lý 11 III.2.2.1.1 Chuẩn hóa 12 III.2.2.1.2 Thiết lập đònh hướng 13 III.2.2.1.3 Thiết lập tần số vân 15 III.2.2.1.4 Thiết lập mặt nạ cho vùng vân tay 17 III.2.2.1.5 Làm đẹp ảnh sử dụng lọc Gabor 18 III.2.2.2 Trích đặc điểm 24 III.2.2.3 Hậu xử lý ảnh 29 III.2.2.4 Cài đặt chi tiết thuật toán trích đặc điểm 33 III.2.2.4.1 Xác đònh hướng đường vân 33 III.2.2.4.2 Xác đònh tần số đường vân 36 III.2.2.4.3 Tạo mặt nạ ảnh 40 III.2.2.4.4 Làm đẹp ảnh 41 III.2.2.4.5 Chuyển ảnh qua dạng nhò phân 44 III.2.2.4.6 Làm mỏng đường vân 44 III.2.2.4.7 Dò tìm đặc điểm 48 III.2.3 Mạng nơron 51 III.2.3.1 Cơ sở lý thuyết 51 III.2.3.1.1 Giới thiệu mạng nơron 51 III.2.3.1.2 Mạng nơron 51 III.2.3.1.3 Cơ sở toán học mạng lan truyền ngược 58 III.2.3.1.4 Các yếu tố học tập lan truyền ngược 63 III.2.3.2 Cài đặt mạng nơron chương trình 63 III.2.3.3 Chức hàm chương trình 73 III.3 Thực nghiệm 77 III.3.1 Tạo liệu cho việc huấn luyện mạng 77 III.3.2 Huấn luyện mạng 77 III.3.3 Nhận dạng 79 III.3 Kết 81 III.3 Kết luận 81 IV KẾT QUẢ ĐẠT ĐƯC 82 IV.1 Tính khoa học 82 IV.2 Khả triển khai ứng dụng vào thực tế 82 IV.3 Hiệu kinh tế – xã hội 82 PHẦN : KẾT LUẬN 83 I KẾT LUẬN 83 II ĐỀ NGHỊ 83 TÀI LIỆU THAM KHẢO 84 PHỤ LỤC A :Hệ thống nhận dạng dựa vào sinh trắc học 86 PHỤ LỤC B :Cài đặt chương trình 87 PHỤ LỤC C :Sử dụng cảm biến để lấy mẫu vân tay 87 PHỤ LỤC D :Mô hình nhận dạng ảnh vân tay NIST 89 DANH SÁCH CÁC BẢNG Bảng : Các kỹ thuật nhận dạng thường sử dụng Bảng : Các ứng dụng phổ biến nhận dạng vân tay Bảng : Một số loại đặc điểm phổ biến Bảng : Thuộc tính CN (Crossing Number) 25 Bảng : Bảng thống kê kết nhận dạng vân tay 81 DANH SÁCH CÁC HÌNH Hình Biểu đồ thông tin thò trường phần mền nhận dạng dựa vào nhân trắc học năm 2002 Hình Vân kết thúc vân rẽ nhánh Hình Sơ đồ khối bước trích đặc điểm Hình Các đặc điểm vân rẽ nhánh (bifurcation) đánh dấu vuông kết thúc (ridge ending) đánh dấu tròn 10 Hình Sự đònh hướng góc đặc điểm 10 Hình Các bước tiền xử lý ảnh vân tay 11 Hình Kết bước chuẩn hóa ảnh 13 Hình Sự đònh hướng đường vân ảnh vân tay 13 Hình Phép chiếu giá trò cường độ pixel dọc theo hướng trực giao tới hướng vân cục 16 Hình 10 Kết phân đoạn 18 Hình 11 Bộ lọc Gabor đối xứng miền không gian 20 Hình 12 Kết tinh chỉnh ảnh sử dụng lọc Gabor với tham số k x , k y khác 23 Hình 13 Các bước bước trích đặc điểm 24 Hình 14 Ví dụ điểm vân kết thúc vân rẽ nhánh 26 Hình 15 Kết chuyển sang nhò phân ảnh làm mảnh 26 Hình 16 Vân kết thúc vân rẽ nhánh làm mảnh 27 Hình 17 Kết việc chuyển ảnh sang dạng nhò phân làm mảnh cho ảnh vân tay giai đọan tiền xử lý 27 Hình 18 Kết bước trích đặc điểm 28 Hình 19 Phóng lớn đặc điểm sai từ hình 18 (a) 29 Hình 20 Bước hậu xử lý ảnh 29 Hình 21 Kết thực thi đánh giá đặc điểm 29 Hình 22 Một số ví dụ cấu trúc đặc điểm sai phổ biến 30 Hình 23 Các hình ảnh minh họa bước trích đặc điểm 31-32 Hình 24 Mô hình mạng nơron 51 Hình 25 Ví dụ luyện mạng 52 Hình 26 Mạng lan truyền ngược ba tầng 59 Hình 27 Mạng nơron thực nghiệm 78 Hình 28 Giao diện huấn luyện mạng nơron 79 Hình 29 Giao diện chương trình nhận dạng 80 Hình 30 Giao diện minh họa hình ảnh bước trích đặc điểm 80 Hình 31 Hệ thống nhận dạng sinh trắc học tổng quát 86 Hình 32 Nguyên lý thu ảnh vân tay cảm biến quang học 87 Hình 33 Dấu vân tay qua cảm biến quang học 88 Hình 34 Các bước trích đặc điểm theo NIST 89 Hình 35 Ảnh direction 90 Hình 36 Ảnh nhò phân 90 Hình 37 Các mẫu pixel dùng để trích đặc điểm ảnh 91 Hình 38 Loại bỏ island lake 91 Hình 39 Hole 91 Hình 40 Xóa bỏ khối giá trò 92 Hình 41 xóa đặc điểm gần khối giá trò 92 Hình 42 Remove or Adjust Side Minutiae 92 Hình 43 Hook 93 Hình 44 Overlap 93 Hình 45 Too Wide 93 Hình 46 Too narrow 94 Hình 47 Kết trình trích đặc điểm 94 Hình 48 Lưu đồ khối mô tả thuật toán phân lớp ảnh vân tay 95 Đề tài nghiên cứu khoa học Trang TÓM TẮT ĐỀ TÀI -  - Nhận dạng ảnh vân tay phát triển đến mức sử dụng số lượng lớn chương trình ứng dụng quan trọng Các lónh vực chòu ảnh kỹ thuật bao gồm: an ninh mạng, giao dòch ATM, … đề tài tìm hiểu thành phần kỹ thuật Đề tài tìm hiểu sở hệ thống nhận dạng vân tay, thuật toán áp dụng nhận dạng, xây dựng hệ nhận dạng vân tay dựa vào mã nguồn mở Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Đề tài nghiên cứu khoa học Trang 83 PHẦN 3: KẾT LUẬN -  - I KẾT LUẬN Đề tài vấn đề mang tính khoa học cao phát triển mạnh nước phát triển, có ảnh hưởng lớn lónh vực điều tra, bảo mật, số hoạt động khác … phục vụ chi lợi ích người Qua thời gian thực đề tài đạt số nội dung sau:  Về lý thuyết tìm hiểu chế hoạt động nhận dạng vân tay, bước thực cho hệ thống nhận dạng, mạng nơron  Về chương trình, cài đặt chương trình nhận dạng vân tay dựa vào mã nguồn mở Chương trình hoạt động đạt mức khoảng 80% với liệu thực nghiệm Chúng cố gắng thu thập nhiều nguồn liệu lónh vực nhận dạng vân tay phục vụ cho đề tài, nhiên nhiều thiếu sót, chương trình gặp số hạn chế sau:  Quá trình hậu xử lý ảnh để loại bỏ đặc điểm sai chưa tốt  Các ảnh có chất lượng xấu số ảnh có chất lượng trung bình thuật toán trích đặc điểm chưa xác Theo đánh giá thuật toán trích đặc điểm mức độ trung bình Do kiến thức hạn chế lónh vực nhận dạng trí tuệ nhân tạo, cộng với thời gian thực đề tài có giới hạn, cố gắng hết khả Xuất phát từ lý xem phần nghiên cứu chủ yếu có giá trò học thuật tảng ban đầu cho phát triển sau II ĐỀ NGHỊ Đề tài mang tính chất khởi đầu, tìm hiều lónh vực nhận dạng vân tay Để có kiến thức thực sâu sắc, để có ứng dụng thực cần có đầu tư nghiên cứu tiếp tục Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Trang 84 Đề tài nghiên cứu khoa học TÀI LIỆU THAM KHẢO -  [1] Davide Maltoni, Dario Maio, Anil K Jain, Salil Prabhakar Handbook of Fingerprint Recognition, 2003 [2] Bir Bhanu, Xuejun Tan, Computational Algorithms for Fingerprint Recognition, 2004 [3] Michael Seul, Lawrence O’Gorman, Michael J Sammom Practical Algorithms for Image Analysis, Cambridge University Press, 2000 [4] Michael D Garris, Craig I Watson, R Michael McCabe, Charles L Wilson User’s Guide to NIST Fingerprint Image Software National Institude of Standard and Technology, 2001 [5] Simon Haykin Neural Networks, A Comprehensive Foundation McMaster University Hamilton, Ontario, Canada,1994 [6] Nguyễn Đình Thúc Trí Tuệ Nhân tạo - Mạng Nơron – Phương Pháp & p Dụng Nhà Xuất Bản Giáo Dục, 2000 [7] Michael D.Garris, James L.Blue, Gerald T.Candela, Patrick J Grother, Stanley A.Janet, and Charles L.Wilson NIST Form-Based Handprint Regconition System (Release 2.0) National Institute of Standards and Technology [8] Nimitha Chama, Fingerprint image enhancement and minutiae extraction, Dept of Electrical & Computer Engineering Clemson University [9] Raymond Thai Fingerprint Image Enhancement and Minutiae Extraction, The University of Western Australia, 2003 [10] Salil Prabhakar, Anil K, Jain, Sharath Pankanti Learning Fingerprint Minutiae and Type* [11] Sharat Chikkerur, Chaohang Wu, Venu Govindaraju A Systematic Approach for Feature Extraction in Fingerprint Images Center for Unified Biometrics and Sensors (CUBS), University at Buffalo, NY, U.S.A Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Đề tài nghiên cứu khoa học Trang 85 [12] http://ffpis.sourceforge.net [13] ftp://sequoyah.nist.gov [14] http://www.itl.nist.gov [15]www.ykhoanet.com (Bài viết: Vân tay gì, vân tay người lại khơng giống nhau? BS Phan Xuân Trung) Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Đề tài nghiên cứu khoa học Trang 86 PHỤ LỤC A: HỆ THỐNG NHẬN DẠNG DỰA VÀO SINH TRẮC HỌC Hình 31: Hệ thống nhận dạng sinh trắc học tổng quát -  - Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Đề tài nghiên cứu khoa học PHỤC LỤC B: Trang 87 CÀI ĐẶT CHƯƠNG TRÌNH Chương trình cài đặt chương trình mã nguồn mở, phần trích đặc điểm lấy trang web http://sourceforce.net/fvs chương trình viết ngôn ngữ C, cài đặt chương trình HĐH Linux Redhat 9.0 Xem chi tiết hướng dẫn cài đặt tập tin Readme.txt CD_ROM kèm theo -  PHỤ LỤC C : SỬ DỤNG CẢM BIẾN ĐỂ LẤY MẪU VÂN TAY Có loại cảm biến để thu dấu vân tay Thứ cảm biến quang học sử dụng lăng kính kỹ thuật tạo ảnh ba chiều có ánh sáng thích hợp; loại gọi cảm biến không dùng ánh sáng (non-optical sensor)  Cảm biến quang học: Hình 32: Nguyên lý thu ảnh vân tay cảm biến quang học Một cảm biến quang học thu ảnh vân tay gồm có : lăng kính hình tam giác vuông (4), nguồn sáng (20), kính mỏng làm nhiệm vụ khuếch tán ánh sáng (3), số thấu kính cảm biến hình ảnh (6) Khi ngón tay đặc vào bề mặt tiếp xúc, vân (ridge) bò ép vào bề mặt tiếp xúc trước nh sánh phát từ nguồn sáng trở nên đồng dạng sau qua kính mỏng khuếch tán nh sáng gặp bề mặt tiếp xúc với dấu tay( vân tay) sau qua lăng kính Nếu ánh sáng chạm đến valley, phản xạ toàn phần xảy đến cảm biến hình ảnh bao gồm thành phần CDD (Carge Coupled Device) thành phần CMOS (complementary Metal Oxide Semiconductior) sau qua thấu Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Đề tài nghiên cứu khoa học Trang 88 kính Mặt khác ánh sáng chiếu đến vân (ridges) đầy gần vào bề mặt, số tia sáng đến cảm biến hình ảnh (image sensor) sau phản xạ toàn phần số tia sáng bi hấp thu vào vân (ridges) Có thay đổi cường độ sáng tia sáng phản xạ từ valley tia sáng từ vân (ridge) cảm biến ảnh thu ảnh dấu tay (ảnh vân tay) cách tính toán thay đổi cường độ ánh sáng phản xạ chúng  Thiết bò cảm biến ảnh vân tay bán dẫn: Hình 33: Dấu vân tay qua cảm biến quang học Cảm biến điện dung bề mặt cảm biến da (lớp bì ngón tay) chuyển đổi thàng hình ảnh Nếu người dùng đặt vân tay (fingerprint) vào bề mặt tiếp xúc, vân ấn gần bề mặt valley có khoảng trống bề mặt tiếp xúc Trong trường hợp vân, khoảng cách vân bề mặt tiếp xúc ngắn điện dung tónh điện cao Mặt khác valley xa bề mặt tiếp xúc nên điện dung tónh điện thu thấp Ảnh vân tay thu tín hiệu thu từ mảng cảm biến bề mặt bán dẫn -  - Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Đề tài nghiên cứu khoa học Trang 89 PHỤC LỤC D: MÔ HÌNH NHẬN DẠNG ẢNH VÂN TAY CỦA NIST [4] I Trích đặc điểm ảnh vân tay: Input ANSI/NIST File Generate Image Maps Binarize Image Detect Minutiae Remove False Minutiae Count Neighbor Ridges Assess Minutiae Quanlity Ouput ANSI/NIST File Hình 34: Các bước trích đặc điểm theo NIST I.1 Input ANSI/NIST File Đọc tìm cấu trúc file ANSI/NIST I.2 Generate Image Maps Vì chất lượng ảnh vân tay khác nhau, đặc biệt đường vân chính, điều kiện để phân tích ảnh I.2.1 Direction Map Mục đích việc ánh xạ để biểu diễn cấu trúc vân tay nh vân tay chia thành block cục tất pixel block gán tập kết Mỗi khối ảnh quay theo chiều kim đồng hồ phân tích furier Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Trang 90 Đề tài nghiên cứu khoa học Hình 35: ảnh direction I.2.2 Low Contrast Map (ánh xạ giảm tương phản) I.2.3 Low Flow Map (ánh xạ vân mờ) I.2.4 High Curve Map (ánh xạ đường cong trung tâm) I.2.5 Quality Map (ánh xạ chất lượng ảnh) I.3 Binarize Image(số hóa ảnh) Pixel black đại diện cho vân(ridge), pixel white đại diện cho valley Để tạo ảnh nhò phân ảnh đưa vào phải phân tích để gán pixel black white Hình 36: ảnh nhò phân Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Trang 91 Đề tài nghiên cứu khoa học I.4 Detect Minutiae (dò tìm chi tiết) Hình 37: Các mẫu pixel dùng để trích đặc điểm ảnh I.5 Remove False Minutiae (xóa đặc điểm sai) I.5.1 Remove Islands and Lakes Hình 38: Loại bỏ island lake I.5.2 Remove Holes Hình 39: Hole Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Đề tài nghiên cứu khoa học Trang 92 I.5.3 Remove pointing to Invalid Block Hình 40: Xóa bỏ khối giá trò I.5.4 Remove Near Invalid Blocks Hình 41: Xóa đặc điểm gần khối giá trò I.5.5 Remove or Adjust Side Minutiae Hình 42: Remove or Adjust Side Minutiae Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Trang 93 Đề tài nghiên cứu khoa học I.5.6 Remove Hooks Hình 43: Hook I.5.7 Remove Overlaps Hình 44: Overlap I.5.8 Remove too Wide Minutiae Hình 45: Too Wide Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Trang 94 Đề tài nghiên cứu khoa học I.5.9 Remove too Narrow Minutiae Hình 46: Too narrow I.6 Count Neighbor Ridges I.7 Assess Minutiae Quanlity I.8 Ouput ANSI/NIST File Hình 47: Kết trình trích đặc điểm Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Trang 95 Đề tài nghiên cứu khoa học II Giải thuật phân lớp ảnh Với CSDL ảnh vân tay lớn, so khớp nên thực với tập ảnh CSDL Để làm điều ảnh vân tay phải phân lớp Người ta phân làm lớp sau: arch, tented arch, left loop, right loop, whorl Khi trạng thái mập mờ, phương pháp chuyển đổi khác phân lớp sử dụng bao gồm: đeấm mật độ tìm điểm khác thường (singular point) Các điểm khác thường phổ biến sử dụng core delta Core điểm cao tận vân (ridge), delta điểm mà vân tỏa từ Input finger image Detection computation Smooth directional image Find singular points >2 Number of Core – Delta pairs Loop or tended arch ? Whord or twin loop ? Left or right loop ? arch Left loop right loop Tended arch whord twin loop Hình 48: Lưu đồ khối mô tả thuật toán phân lớp ảnh vân tay Segmentor Image Enhancement Ridge-Valley orientation Detector Registration Feature Set Transformation Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh Đề tài nghiên cứu khoa học Trang 96 a Karhunen-Loève Transform b Regional Weights c Combined Transform Probabilistic Neuroal Network Classifier Multi-Layer perceptron Neural Network Auxiliary Classifier: Pseudo-ridge Tracer Combining the Classifier and Pseudo-ridge Output file Nhóm thực hiện: Huỳnh Nguyên Chính – Phạm Xuân Khánh S K L 0