Vì điều kiện thực tế chưa cho phép nên coi như là đã lấy được thông tin sinh trắc từ hộ chiếu thông qua reader. Ảnh sinh trắc thu từ người sở hữu được lấy từ mẫu có sẵn. Nhiệm vụ của luận văn là trích chọn các đặc trưng, tiến hành so khớp các nhân tố sinh trắc mống mắt, mặt người, vân tay trên thư viện của bộ công cụ OpenCV, luận văn tiến hành xây dựng bộ công cụ kiểm tra các nhân tố này từ việc tích hợp các thư viện. Đối với mỗi ảnh sinh trắc sẽ tương ứng với thuật toán so khớp khác nhau. Tuy nhiên tất cả đều tuân theo mô hình dưới đây.
Hình 4.1 Mô hình so khớp tích hợp
Thông tin sinh trắc đưa vào hệ thống dưới dạng ảnh. Sau khi nhận được dữ liệu, hệ thống sẽ tiến hành xử lý theo các kỹ thuật so khớp đã chọn và đưa ra kết luận thông báo cần thiết.
Khi nhận được ảnh vân tay, hệ thống sẽ hoạt động theo sơ đồ:
Hình 4.2 Sơ đồ so khớp vân tay
Trong trường hợp hệ thống trả lời với kết quả không khớp thì ta phải kiểm tra lại xem ảnh đưa vào hệ thống đã hợp lý chưa. Ảnh vân tay đó của ngón tay nào, ở bàn tay bên trái hay bên phải. Nếu chưa hợp lý ta phải tiến hành so khớp lại.
Khi nhận được ảnh mống mắt, hệ thống sẽ hoạt động theo sơ đồ:
Hình 4.3 Sơ đồ so khớp mống mắt
Cũng giống như vân tay, khi hệ thống cho ra kết quả là không khớp thì ta phải kiểm tra tính hợp lý của ảnh mống mắt đưa vào để so khớp (ảnh mống mắt đem so khớp ở bên mắt trái hay bên mắt phải). Từ đó ta có thể biết được là có cần kiểm tra lại lần nữa hay không.
Trong thực tế, vân tay, mống mắt lưu bên trong HCST đã được quy định rõ ràng thông tin cụ thể. Khi nhân viên an ninh tiến hành kiểm tra, Họ sẽ lấy thông tin tương ứng của người mang HCST để so khớp và có những hướng dẫn, quy định rõ ràng cho người mang HCST. Do vậy, việc nhầm lẫn vì lấy thông tin không tương ứng để so khớp là việc ít gặp. Ở đây, việc so khớp mống mắt và vân tay, luận văn chỉ tiến hành trên một mống mắt (bên trái hoặc bên phải) và một vân tay của một ngón (ngón trỏ bên tay trái hoặc tay phải) nhằm mục đích bước đầu tích hợp thành công hệ thống công cụ so khớp. Việc hoàn thiện hệ thống so khớp với đầy đủ hai mống mắt và mười vân tay sẽ là hướng được phát triển tiếp theo của luận văn này.
Khi nhận được ảnh khuôn mặt, hệ thống sẽ hoạt động theo sơ đồ:
Hình 4.4 Sơ đồ so khớp khuôn mặt
Trong 3 yếu tố của người mang HCST nêu trên thì khuôn mặt là một yếu tố không thể thiếu (mống mắt và vân tay có thể không có do những tác động ngoại lực hoặc do bẩm sinh) khi tiến hành so khớp. Trong trường hợp vân tay và mống mắt của người mang HCST không có thì khuôn mặt của người mang HCST là yếu tố quan trọng nhất để xác thực.
Trên đây là quy trình kiểm tra riêng với từng yếu tố sinh trắc của người mang HCST. Tuy nhiên, thực tế sẽ có nhiều trường hợp xảy ra và sẽ cần tới kết quả của từng trường hợp để kết hợp đưa ra kết quả quyết định cuối cùng.
a. Trường hợp người mang HCST có đầy đủ các yếu tố sinh trắc: mống mắt, khuôn mặt, vân tay. Sơ đồ của hệ thống như sau:
Hình 4.5 Sơ đồ so khớp bộ 3 đặc trƣng sinh trắc
Nhìn vào sơ đồ trên ta thấy tùy vào tình trạng của dữ liệu đầu vào mà hệ thống sẽ cho ra các kết quả thông báo khác nhau.
b. Trường hợp người mang HCST không có một trong các yếu tố sinh trắc:
mống mắt, vân tay
Hình 4.6 Sơ đồ hệ thống so khớp trường hợp không có mống mắt
Hình 4.7 Sơ đồ hệ thống so khớp trường hợp không có vân tay
c. Trường hợp người mang HCST không có vân tay và mống mắt. Đây là trường hợp mà người mang HCST chỉ còn một đặc điểm là khuôn mặt và là yếu tố kiểm tra chính để hệ thống xác thực người mang
HCST
Hình 4.8 Sơ đồ hệ thống so khớp trường hợp không có vân tay và mống mắt d. Trường hợp người mang HCST cung cấp thông tin nhân tố sinh trắc để hệ thống kiểm tra nhưng hệ thống cho kết quả không khớp. Khi đó hệ thống sẽ thông báo thông tin cụ thể không khớp ở nhân tố sinh trắc nào. Trong trường hợp ta phải chú ý tới thông tin các nhân tố đưa vào đã hợp lý chưa. Nếu chưa thì sẽ tiếp hành so khớp lại. Sau một số lần kiểm tra nào đó mà kết quả không khớp thì có thể dừng bước tiến hành so khớp và có thể tin tưởng vào kết quả của hệ thống.