Nhận dạng tấn công thay đổi ảnh sinh trắc học có watermarking biometric watermarking

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THANH HOAN NHẬN DẠNG TẤN CƠNG THAY ĐỔI ẢNH SINH TRẮC HỌC CĨ WATERMARKING BIOMETRIC WATERMARKING Chuyên ngành: KỸ THUẬT VIỄN THÔNG Mã số: 60520208 LUẬN VĂN THẠC SĨ TP Hồ Chí Minh, năm 2018 i Cơng trình hồn thành tại: Trường Đại học Bách Khoa – ĐHQG - HCM Cán hướng dẫn khoa học: GS TS Lê Tiến Thường (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 1: TS Lưu Thanh Trà (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 2: TS Mai Linh (Ghi rõ họ, tên, học hàm, học vị chữ kỹ) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa – ĐHQG TP Hồ Chí Minh, ngày 12 tháng 01 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) PGS TS Hồ Văn Khương PGS TS Võ Nguyễn Quốc Bảo TS Huỳnh Phú Minh Cường TS Lưu Thanh Trà TS Mai Linh Xác nhận Chủ tịch hội đồng đánh giá Luận Văn Trưởng Khoa quản lý chuyên ngành sau luận văn sữa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ ii ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập – Tự – Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Thanh Hoan MSHV: 1570071 Ngày, tháng, năm sinh: 16/09/1992 Nơi sinh: Bình Định Chun ngành: Kỹ thuật Viễn Thơng Mã số: 60 52 02 08 I TÊN ĐỀ TÀI: NHẬN DẠNG TẤN CƠNG ẢNH SINH TRẮC HỌC CĨ WATERMARKING DETECT ATTACKING BIOMETRIC WATERMAKING II NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu kỹ thuật xử lý ảnh Sinh trắc học, thực trích xuất đặc trưng từ ảnh sinh trắc học dùng cho hệ thống Watermarking Sử dụng đặc trưng trích xuất, thực nhúng thơng tin vào ảnh gốc Giả lập trường hợp công ảnh nhúng, tiến hành trích xuất đặc trưng sinh trắc học đánh giá cơng, độ bền, độ tồn vẹn thơng tin thuật tốn watermarking sử dụng: Dicrete Wavelet, Fast Discrete Curvelet Transform Contourlet Transform III NGÀY GIAO NHIỆM VỤ: (Ghi theo QĐ giao đề tài): 06/01/2017 IV NGÀY HOÀN THÀNH NHIỆM VỤ (Ghi theo QĐ giao đề tài) 06/06/2017 V CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): GS.TS Lê Tiến Thường TP HCM, ngày 06 tháng 01 năm 2017 CÁN BỘ HƯỚNG DẪN CHỦ NGHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ (Họ tên chữ ký) BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG LỜI CẢM ƠN Qua trình tham gia học tập, nghiên cứu, đặc biệt trình thực đề cương thầy Lê Tiến Thường Những kiến thức trao dồi với trình học hỏi, làm việc gian nan thử thách để có tảng nghiên cứu sâu sau Những trải nghiệm suốt thời gian qua cho em động lực để thực đề tài Và để hoàn thành tốt với nội dung nghiên cứu, em may mắn nhận hỗ trợ từ nhiều tập thể Em xin trọng cảm ơn tất thầy cô trường Đại học Bách Khoa, đặc biệt thầy cô thuộc môn Viễn thông, khoa Điện – Điện tử trường Nhờ kiến thức tích luỹ từ q thầy q trình học mà em có đủ tự tin sở để hoàn thành đề tài Em xin dành lời cảm ơn đặc biệt đến giảng viên hướng dẫn em thầy GS.TS Lê Tiến Thường Nhờ vào bảo tận tình hỗ trợ kịp thời thầy, em có định hướng tốt theo hướng nghiên cứu chọn, tiết kiệm nhiều thời gian công sức Những báo tài liệu chuyên ngành hữu ích thầy với động viên đánh giá tâm huyết thầy giúp ích cho em nhiều Em xin chân thành cảm ơn thầy lần Và cuối cùng, em muốn gửi lời cảm ơn to lớn đến gia đình em, đặc biệt ba mẹ, nguồn động lực lớn lao cho em để em bước từ bước chân khám phá tri thức rộng lớn xung quanh Tp Hồ Chí Minh, tháng 12 năm 2017 Nguyễn Thanh Hoan KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG TÓM TẮT ĐỀ TÀI Xử lý ảnh Sinh trắc học (Biometric) trở thành thành phần quan trọng công nghệ nhận dạng ngày phát triển Các hệ thống sinh trắc học nhằm mục đích để xác định xác minh danh tính cá nhân từ hành vi họ và/hoặc đặc tính sinh học Mặc dù có tiến đáng kể, số hệ thống sinh trắc học không đáp ứng nhiều yêu cầu bảo mật mạnh mẽ nghiêm ngặt để hỗ trợ triển khai số tình thực tế Trong nghiên cứu giả mạo, hay chống giả mạo, thu hút quan tâm ngày tăng năm gần Đề tài hướng tới việc thực “Nhận dạng cơng thay đổi ảnh sinh trắc học có watermarking” Qua trình bày giới thiệu cơng nghiên cứu sử dụng thuật tốn bảo mật kết hợp chuyển đổi sử dụng watermarking Đề tài tập trung nghiên cứu thực q trình trích xuất đặc tính trắc học nhúng chúng vào ảnh gốc để bảo vệ chúng trước công Cách tiếp cận multiple watermarking đề xuất báo nhằm cải thiện tính bảo mật tính liệu sinh trắc học; chúng tơi xem xét sử dụng nhiều kỹ thuật watermarking với dấu vân tay, mặt, iris tính chữ ký Thực nhúng thông tin vào ảnh watermarking với thuật toán khác bao gồm: wavelets, contourlet curvelet Trước nhúng, tính dấu vân tay giải phóng Minutiae với lọc Gabor Tính Iris trích xuất lọc Daugman Gabor Face tính chữ ký trích xuất thơng qua lọc Gabor kết hợp PCA Sau tính Iris Vân tay trộn lẫn với nhau, gọi ngón tay-ngón tay Và tính khuôn mặt chữ ký trộn lẫn với theo hệ số, gọi face-sig Bộ tính lấy nét ngón tay nhúng hệ số biến đổi mức Bộ tính face-sig nhúng hệ số biến đổi mức Tất tính dấu vân tay, iris, mặt chữ ký sử dụng để xác thực bảo vệ quyền có vụ công kết so sánh với phương pháp khác Mỗi phương pháp có đặc trưng riêng, cho kết trước công khác Từ việc giả lập công giả mạo làm thay đổi ảnh sinh trắc học, kết thu phân tích đánh giá mức độ đáp ứng chúng cho nghiên cứu phát triển tương lai KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG Abstract The use of biometric data to increase the robustness and security of private data has been mentioned and studied extensively The multiple watermarking approach has proposed in this paper aims to improve the security of biometric data features; we consider using multiple watermarking techniques with fingerprint, face, iris and signature features Before embedding, the fingerprint feature extracted by Minutiae with Gabor filter enhancement Iris feature is extracted by Daugman Gabor filter Face and signature features are extracted through a Gabor filter that combines PCA Then the features of Iris and Fingerprint are mixed together, called iris-finger And facial and signature features are also mixed together in terms of coefficients, called face-sig The iris-finger feature set is embedded in the coefficients at level The face-sig feature set is embedded in coefficients at level We using Dicrete Wavelet, Fast Discrete Curvelet Transform or Contourlet Transform for Watermarking processing All features of the fingerprint, iris, face and signature are used for authentication and copyright protection if there are attacks the results have been also compared to others approaches KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG MỤC LỤC Chương GIỚI THIỆU ẢNH SINH TRẮC HỌC VÀ ĐẶT VẤN ĐỀ NGHIÊN CỨU 1.1 Ảnh sinh trắc học dạng công 1.1.1 Giới thiệu vấn đề 1.1.2 Các loại công 1.2 Mục tiêu nghiên cứu 11 1.3 Phương pháp nghiên cứu 12 Chương TÌNH HÌNH NGHIÊN CỨU LIÊN QUAN VÀ PHƯƠNG PHÁP ĐỀ XUẤT 2.1 Mô hình bảo vệ sinh trắc học 14 2.2 Phương pháp tối ưu watermarking với ảnh kỹ thuật số 14 2.3 Multiple Watermarking 19 2.4 Kỹ thuật watermarking tham khảo 21 2.5 Tổng quát kỹ thuật Watermarking đề xuất 22 Chương LÝ THUYẾT VÀ PHƯƠNG PHÁP TRÍCH XUẤT ĐẶC TÍNH SINH TRẮC HỌC 25 3.1 TRÍCH ĐẶC TÍNH MỐNG MẮT – IRIS BẰNG GABOR DAUGMAN 25 3.1.1 Giới thiệu 25 3.1.2 Q trình trích xuất đặc tính Iris 28 3.1.3 Một số lỗi gặp phải 32 3.1.3 Kết trích xuất Iris 33 3.2 TRÍCH ĐẶC TÍNH VÂN TAY DÙNG MINUTIAE 33 3.2.1 Giới thiệu 33 3.2.2 Hệ thống trích đặc tính vân tay 34 3.2.3 Phân tích trích xuất đặc tính vân tay 36 3.2.4 Rút trích đặc trưng minutiae 40 3.2.5 Kết trích xuất đặc tính Fingerprint 46 3.3 TRÍCH ĐẶC TÍNH PCA VÀ GABOR TĂNG CƯỜNG (FACE VÀ SIGNATURE) 3.3.1 Giới thiệu 47 3.3.2 Thuật Toán PCA 50 3.3.3 Kết trích xuất đặc tính Face Signature 54 3.4 TÍCH HỢP ĐẶC TÍNH ẢNH SINH TRẮC HỌC 54 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG Chương CÁC THUẬT TOÁN CHUYỂN ĐỔI WAVELETS, CURVELET VÀ CONTOURLET 56 4.1 PHÉP BIẾN ĐỔI WAVELETS 56 4.1.1 Giới thiệu 56 4.1.2 Biến đổi wavelet liên tục 57 4.1.3 Biến đổi wavelet rời rạc 58 4.1.3 Watermarking với Wavelets 61 4.2 PHÉP BIẾN ĐỔI CURVELET 65 4.2.1 Giới thiệu 65 4.2.2 Curvelet Transform 67 4.2.3 Quá trình Watermarking Algorithm Based on FDCT 69 4.2.4 Qúa trình trích xuất dùng FDCT 70 4.3 BIẾN ĐỔI CONTOURLET 71 4.3.1 Giới thiệu 71 4.3.2 Cơ sở thuật toán Contourlet 73 4.3.3 Iterated directional filter banks 75 4.3.4 Multiscale and directional decomposition: the discrete contourlet transform 77 Chương ỨNG DỤNG NHẬN DẠNG TẤN CÔNG THAY ĐỔI ẢNH SINH TRẮC HỌC CÓ WATERMARKING 83 Chương ĐÁNH GIÁ KẾT LUẬN VÀ GIẢI PHÁP TƯƠNG LAI 87 PHỤ LỤC 88 TÀI LIỆU THAM KHẢO 105 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING Chương 1.1 CBHD: GS.TS LÊ TIẾN THƯỜNG GIỚI THIỆU ẢNH SINH TRẮC HỌC VÀ ĐẶT VẤN ĐỀ NGHIÊN CỨU Ảnh sinh trắc học dạng công 1.1.1 Giới thiệu vấn đề Sinh trắc học - Biometric khái niệm sinh lý (khuôn mặt, vân tay, hình học tay, vv) hành vi (lời nói, chữ ký, vv) đặc điểm nhận dạng người Thuật ngữ "sinh trắc học" bắt nguồn từ chữ Hy Lạp bio-sinh học(life) metric-số liệu (to measure) [3] Những đặc điểm cho người Sinh trắc học sử dụng để xác định người sử dụng đáng tin cậy nhiều ứng dụng xác thực, chẳng hạn kiểm soát truy cập thương mại điện tử Hầu hết hệ thống xác thực sinh trắc học cung cấp tiện lợi lớn mà khơng địi hỏi người sử dụng sở hữu nhớ thông tin bí mật Ứng dụng bao gồm nhận dạng tội phạm, kiểm tra sân bay, đăng nhập máy tính thiết bị di động, xây dựng kiểm soát truy cập sở hạ tầng quan trọng kỹ thuật số đa phương tiện Đối với ứng dụng đòi hỏi bảo mật cao hơn, sinh trắc học sử dụng việc bổ sung với mật thẻ an ninh, cung cấp chứng thực đa hệ Database biometric reference Sensor biometric data Feature Extractor Decision Comparator biometric feature score Hình.1.1: Một hệ thống sinh trắc học chung Đầu tiên, mẫu sinh trắc học (ví dụ hình ảnh khn mặt) thu thập từ cảm biến (ví dụ máy ảnh kỹ thuật số), đặc tính sinh trắc học (ví dụ độ tương phản gương mặt, màu sắc kết cấu) sau chiết xuất Đây tập hợp thông số (hoặc hệ số) cung cấp đặc tính nhỏ gọn mẫu sinh trắc học giúp phân biệt tn theo mơ hình xác thực Mẫu sinh trắc học thu thập từ người dùng tùy thuộc vào thay đổi khơng tương thích điều kiện môi trường giới hạn mẫu sinh trắc học dùng Quyết định xác thực hệ thống sinh trắc học thường thực cách kiểm tra với mẫu ghi vào hệ thống thời gian trước Để xác định xác minh danh tính tương ứng với mẫu sinh trắc học đưa ra, tính so sánh với mẫu đơn (xác thực) tập hợp mẫu (nhận dạng) tham chiếu sinh trắc học trước giai đoạn học nhận dạng Những so sánh thực với trình phản ánh số điểm giống thuộc tính mẫu Quyết định chấp nhận từ chối trường hợp xác thực, phát trùng khớp gần trường hợp nhận dạng Tuy nhiên, mẫu sinh trắc học sử dụng để đánh giá tương tự không lưu trữ hệ thống dễ bị xâm phạm Các mẫu bị đánh cắp sử dụng để mạo danh người KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG dùng tương ứng ứng dụng khác Cũng như, sinh trắc học thu hồi thay bị hư hỏng (a) 3D face mask attack (b) Fingerprint attack Hình.1.2: Ví dụ giả mạo công: (a) Nhận dạng khuôn mặt giả mạo cách sử dụng mặt nạ 3D; (b) Nhận dạng vân tay giả mạo cách sử dụng dấu vân tay giả Chúng ta thừa nhận hệ thống sinh trắc học dễ bị cơng Có hai hình thức cơng thơng thường: trực tiếp gián tiếp Các công trực tiếp, gọi giả mạo công lộ diện, thực mức độ cảm biến, giới hạn kỹ thuật số hệ thống sinh trắc học Các công gián tiếp thực phạm vi kỹ thuật số kẻ xâm nhập hacker, tội phạm mạng Những cơng cố gắng để bỏ qua trích xuất đặc tính so sánh, để thay đổi mẫu sinh trắc học, để khai thác lỗ hổng kênh truyền thơng Một giải pháp để bảo vệ mẫu sinh trắc học với chương trình mã hóa biện pháp bảo mật hệ thống mật mã (thường gọi RSA) Tuy nhiên, tương tự mẫu trước mã hóa khơng thể bảo quản lĩnh vực mật mã Đồng thời, mẫu giải mã tương thích khơng dẫn đến phơi nhiễm mẫu Kết là, kỹ thuật bảo vệ mẫu phát triển để bảo quản mẫu bí mật cho phép đánh giá tương tự thực đồng thời Hình.1.3: Một hệ thống kiểm tra sinh trắc học cần chấp nhận người dùng hãng mà từ chối giả mạo khơng chủ đích giả mạo cơng KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG [WF1,WF2]= wfilters('haar', 'd'); [WLL_1,WLH_1,WHL_1,WHH_1] = dwt2(imWM1,'haar','d'); [WLL1_1,WLH1_1,WHL1_1,WHH1_1] = dwt2(WLL_1,'haar','d'); k=1; for ii=1:64:128 % To address row 6X25 blocks of image for jj=1:128:128 % To address columns 8X8 blocks of image for i=ii:(ii+63) % To address rows of blocks dr=dr+1; for j=jj:(jj+127) % To address columns of block dc=dc+1; z(dr,dc)=(WLL1_1(i,j) - LLo1(i,j))/k3; %if (k>1) % retIF(dr,dc) = (retIF(dr,dc) + z(dr,dc))/2; %else retIF(dr,dc) = z(dr,dc); %end end k=k+1; z=[]; dc=0; end dr=0; end end %Wavelet filter [WF1,WF2]= wfilters('haar', 'd'); [WLL_2,WLH_2,WHL_2,WHH_2] = dwt2(imWM2,'haar','d'); [WLL1_2,WLH1_2,WHL1_2,WHH1_2] = dwt2(WLL_2,'haar','d'); k=1; for ii=1:128:128 % To address row 6X25 blocks of image for jj=1:128:128 % To address columns 8X8 blocks of image for i=ii:(ii+127) % To address rows of blocks dr=dr+1; for j=jj:(jj+127) % To address columns of block dc=dc+1; z(dr,dc)=(WLL1_2(i,j) - WLL1_1(i,j))/k4; %if (k>1) % retIF(dr,dc) = (retIF(dr,dc) + z(dr,dc))/2; %else retFS(dr,dc) = z(dr,dc); %end end k=k+1; z=[]; dc=0; end dr=0; end end exwtFaceSign = retFS; exwtIrisFinger = retIF; %imwrite(Watermarkedimage_final,'WatermarkedImage.jpg'); end 98 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG Chương trình Curvelet Embedding Watermarking: function [embimg1,embimg2,p]=wtmark_curvelet(imOrigin,wtIrisFinger,wtFaceSign) % wtmark function performs 3-level image watermarking in Curvelet % % % % im wt embimg p = = = = Input Image Watermark Output Embedded image PSNR of Embedded image % Checking Dimnesions imP1=im2double(imOrigin); imP = imresize(imP1,[512 512]); % Resize image wtIF1 = im2double(wtIrisFinger); wtIF = imresize(wtIF1,[43 43]);% Resize wtFS1 = im2double(wtFaceSign); wtFS = imresize(wtFS1,[43 43]);% Resize k3 = 0.005; k4 = 0.05; dr=0; dc=0; %Curvelet filter COrig = fdct_wrapping(imP,1,2); CtCOrig = COrig; CrOrig = COrig{1}{1}; [s w] = size(CrOrig); for ii=1:43:43 % To address row 6X25 blocks of image for jj=1:43:43 % To address columns 8X8 blocks of image for i=ii:(ii+42) % To address rows of blocks dr=dr+1; for j=jj:(jj+42) % To address columns of block dc=dc+1; CrOrig(i,j)=CrOrig(i,j)+ k3*wtIF(dr,dc); end dc=0; end dr=0; end end CtCOrig{1}{1} = CrOrig; WatermarkedImg1 = real(ifdct_wrapping(CtCOrig,1)); COrigR1 = fdct_wrapping(WatermarkedImg1,1,2); CtCOrigR1 = COrigR1; CrOrig1 = COrigR1{1}{1}; [s w] = size(CrOrig1); for ii=1:43:43 % To address row 6X25 blocks of image for jj=1:43:43 % To address columns 8X8 blocks of image for i=ii:(ii+42) % To address rows of blocks dr=dr+1; for j=jj:(jj+42) % To address columns of block dc=dc+1; CrOrig1(i,j)=CrOrig1(i,j)+ k4*wtFS(dr,dc); end dc=0; 99 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG end dr=0; end end CtCOrigR1{1}{1} = CrOrig1; %Reverse WatermarkedImg2 = real(ifdct_wrapping(CtCOrigR1,1)); imwrite(WatermarkedImg2,'.\data\out\WatermarkedImage.bmp'); embimg1 = WatermarkedImg1; embimg2 = WatermarkedImg2; p=psnr(imOrigin,embimg2); end Chương trình Curvelet Extract Watermarking: function [exwtIrisFinger,exwtFaceSign]=exwmark_curvelet(imOrigin,imWatermarked1, imWatermarked2) % wtmark function performs 3-level image watermarking in Wavelet % % % % im wt embimg p = = = = Input Image Watermark Output Embedded image PSNR of Embedded image % Checking Dimnesions imP1=im2double(imOrigin); imP = imresize(imP1,[512 512]); % Resize image imWM1_1 = im2double(imWatermarked1); imWM1 = imresize(imWM1_1,[512 512]);% Resize imWM2_1 = im2double(imWatermarked2); imWM2 = imresize(imWM2_1,[512 512]);% Resize %retIF = zeros(64,128); %retFS = zeros(128,128); k3 = 0.005; k4 = 0.05; dr=0; dc=0; %Curvelet filter COrig = fdct_wrapping(imP,1,2); CtCOrig = COrig; CrOrig = COrig{1}{1}; [s w] = size(CrOrig); CWM1 = fdct_wrapping(imWM1,1,2); CrWM1 = CWM1{1}{1}; [s w] = size(CrWM1); k=1; for ii=1:43:43 % To address row 6X25 blocks of image for jj=1:43:43 % To address columns 8X8 blocks of image for i=ii:(ii+42) % To address rows of blocks dr=dr+1; for j=jj:(jj+42) % To address columns of block 100 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG dc=dc+1; z(dr,dc)=(CrWM1(i,j) - CrOrig(i,j))/k3; %if (k>1) % retIF(dr,dc) = (retIF(dr,dc) + z(dr,dc))/2; %else retIF(dr,dc) = z(dr,dc); %end end k=k+1; z=[]; dc=0; end dr=0; end end CWM2 = fdct_wrapping(imWM2,1,2); CrWM1 = CWM1{1}{1}; CrWM2 = CWM2{1}{1}; [s w] = size(CrWM2); k=1; for ii=1:43:43 % To address row 6X25 blocks of image for jj=1:43:43 % To address columns 8X8 blocks of image for i=ii:(ii+42) % To address rows of blocks dr=dr+1; for j=jj:(jj+42) % To address columns of block dc=dc+1; z(dr,dc)=(CrWM2(i,j) - CrWM1(i,j))/k4; %if (k>1) % retIF(dr,dc) = (retIF(dr,dc) + z(dr,dc))/2; %else retFS(dr,dc) = z(dr,dc); %end end k=k+1; z=[]; dc=0; end dr=0; end end exwtFaceSign = imresize(retFS,[43 43]); exwtIrisFinger = imresize(retIF,[43 43]); %imwrite(Watermarkedimage_final,'WatermarkedImage.jpg'); end 10 Chương trình Contourlet Embedding Watermarking: function [embimg1,embimg2,p]=wtmark_contouret(imOrigin,wtIrisFinger,wtFaceSign) % wtmark function performs 3-level image watermarking in Curvelet % % % % im wt embimg p = = = = Input Image Watermark Output Embedded image PSNR of Embedded image 101 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG % Checking Dimnesions imP1=im2double(imOrigin); imP = imresize(imP1,[512 512]); % Resize image wtIF1 = im2double(wtIrisFinger); wtIF = imresize(wtIF1,[64 128]);% Resize wtFS1 = im2double(wtFaceSign); wtFS = imresize(wtFS1,[128 128]);% Resize k3 = 0.0025; k4 = 0.01; dr=0; dc=0; nlevels = [1, 1, 2, 4] ; % Decomposition level pfilter = 'pkva' ; % Pyramidal filter dfilter = 'pkva' ; % Contourlet decomposition COrig = pdfbdec( imP, pfilter, dfilter, nlevels ); CtCOrig = COrig; CrOrig = COrig{4}{1}; [s w] = size(CrOrig); for ii=1:64:128 % To address row 6X25 blocks of image for jj=1:128:128 % To address columns 8X8 blocks of image for i=ii:(ii+63) % To address rows of blocks dr=dr+1; for j=jj:(jj+127) % To address columns of block dc=dc+1; CrOrig(i,j)=CrOrig(i,j)+ k3*wtIF(dr,dc); end dc=0; end dr=0; end end CtCOrig{4}{1} = CrOrig; WatermarkedImg1 = pdfbrec( CtCOrig, pfilter, dfilter ) ; % Contourlet decomposition COrigR1 = pdfbdec( WatermarkedImg1, pfilter, dfilter, nlevels ); CtCOrigR1 = COrigR1; CrOrig1 = COrigR1{4}{1}; [s w] = size(CrOrig1); for ii=1:128:128 % To address row 6X25 blocks of image for jj=1:128:128 % To address columns 8X8 blocks of image for i=ii:(ii+127) % To address rows of blocks dr=dr+1; for j=jj:(jj+127) % To address columns of block dc=dc+1; CrOrig1(i,j)=CrOrig1(i,j)+ k4*wtFS(dr,dc); end dc=0; end dr=0; end end CtCOrigR1{4}{1} = CrOrig1; %Reverse 102 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG WatermarkedImg2 = pdfbrec( CtCOrigR1, pfilter, dfilter ) ; imwrite(WatermarkedImg2,'.\data\out\WatermarkedImage.bmp'); embimg1 = WatermarkedImg1; embimg2 = WatermarkedImg2; p=psnr(imOrigin,embimg2); end 11 Chương trình Wavelet Extract Watermarking: function [exwtIrisFinger,exwtFaceSign]=exwmark_contourlet(imOrigin,imWatermarked1, imWatermarked2) % wtmark function performs 3-level image watermarking in Wavelet % % % % im wt embimg p = = = = Input Image Watermark Output Embedded image PSNR of Embedded image % Checking Dimnesions imP1=im2double(imOrigin); imP = imresize(imP1,[512 512]); % Resize image imWM1_1 = im2double(imWatermarked1); imWM1 = imresize(imWM1_1,[512 512]);% Resize imWM2_1 = im2double(imWatermarked2); imWM2 = imresize(imWM2_1,[512 512]);% Resize %retIF = zeros(64,128); %retFS = zeros(128,128); k3 = 0.0025; k4 = 0.01; dr=0; dc=0; nlevels = [1, 1, 2, 4] ; % Decomposition level pfilter = 'pkva' ; % Pyramidal filter dfilter = 'pkva' ; % Contourlet decomposition COrig = pdfbdec( imP, pfilter, dfilter, nlevels ); CtCOrig = COrig; CrOrig = COrig{4}{1}; [s w] = size(CrOrig); CWM1 = pdfbdec( imWM1, pfilter, dfilter, nlevels ); CrWM1 = CWM1{4}{1}; [s w] = size(CrWM1); k=1; for ii=1:64:128 % To address row 6X25 blocks of image for jj=1:128:128 % To address columns 8X8 blocks of image for i=ii:(ii+63) % To address rows of blocks dr=dr+1; for j=jj:(jj+127) % To address columns of block dc=dc+1; z(dr,dc)=(CrWM1(i,j) - CrOrig(i,j))/k3; 103 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG %if (k>1) % retIF(dr,dc) = (retIF(dr,dc) + z(dr,dc))/2; %else retIF(dr,dc) = z(dr,dc); %end end k=k+1; z=[]; dc=0; end dr=0; end end CWM2 = pdfbdec( imWM2, pfilter, dfilter, nlevels ); CrWM1 = CWM1{4}{1}; CrWM2 = CWM2{4}{1}; [s w] = size(CrWM2); k=1; for ii=1:128:128 % To address row 6X25 blocks of image for jj=1:128:128 % To address columns 8X8 blocks of image for i=ii:(ii+127) % To address rows of blocks dr=dr+1; for j=jj:(jj+127) % To address columns of block dc=dc+1; z(dr,dc)=(CrWM2(i,j) - CrWM1(i,j))/k4; %if (k>1) % retIF(dr,dc) = (retIF(dr,dc) + z(dr,dc))/2; %else retFS(dr,dc) = z(dr,dc); %end end k=k+1; z=[]; dc=0; end dr=0; end end exwtIrisFinger = imresize(retIF,[64 128]); exwtFaceSign = imresize(retFS,[128 128]); %imwrite(Watermarkedimage_final,'WatermarkedImage.jpg'); end 104 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG TÀI LIỆU THAM KHẢO [1] G Langelaar, I Setyawan and R Lagendijk, “Watermarking Digital Image and Video Data – A State of the Art Overview”, IEEE Signal Processing Magazine, vol 17, issn 1053-5888, 2000 [2] Mauro Barni, Giulia Droandi, and Riccardo Lazzeretti, “Privacy Protection in BiometricBased Recognition Systems”, IEEE Signal Processing Magazine, vol 32, pp 66-76, Sept 2015 [3] Meng-Hui Lim, Andrew Beng Jin Teoh, and Jaihie Kim, “Biometric Feature Type Transformation”, IEEE Signal Processing Magazine, vol 32, pp 77-87, August 2015 [4] S.M.E Sahraeian, M.A Akhaee, S.A Hejazi and F Marvasti, “Contourlet Based Image Watermarking Using Optimum Detector in The Noisy Environment”, IEEE Image Processing, International Conference 15th ICIP, 2008 [5] S Edward, S Sumathi and R Ranihemamalini, “Person Authentication using Multimodal Biometrics with Watermarking”, in International Conference on Signal Processing, Communication, Computing and Networking Technologies IEEE, pages 100-104, July 2011 [6] Mandy Douglas, Fingerprint watermarking using svd and dwt based steganography to enhance security, in CUAL Repository, Master Thesis, Sept 2015 [7] Leung Hon Yin, Study of Digital Image Watermarking in Curvelet Domain, Degree of Master of Philosophy, City University of Hong Kong, July 2009 [8] A Othman and A Ross, "Fingerprint + Iris = IrisPrint", in Proc 12th SPIE Biometric and Surveillance Technology for Human and Activity Identification, vol 9457, April 2015 [9] B Alekya Hima Bindu, V Saraswati, “Watermarking of digital images with iris based biometric data using wavelet and SVD”, in International Journal of Engineering Development and Research (IJEDR), vol.4, issue 1, pp.726-731, March 2016 [10] Thien Huynh-The, Oresti Banos, Sungyoung Lee, Yongik Yoon, Thuong Le-Tien, “Improving digital image watermarking by means of optimal channel selection”, of Expert Systems with Applications, vol 62, pp 177–189, November 2016 [11] V Inamdar and P Rege, “Dual Watermarking Technique with Multiple Biometric Watermarks”, in Indian Academy of Sciences, Sadhana, vol 39, part 1, pp 3-26, February 2014 [12] Rohit M Thanki, Ved Vyas Dwivedi, Komal R Borisagar, “A Watermarking Technique Using Discrete Curvelet Transform for Security of Multiple Biometric Features”, in International Journal of Information Processing, vol 10, issue 1, pp 103-114, Jan 2017 [13] Neeta Deshpande, “Robust Invisible Video Watermarking Using Log Gabor Mask”, in International Science Press IJCTA, vol 10, issue 9, pp 315-326, 2017 [14] Haohao Song, Songyu Yu, Xiaokang Yang, Li Song, Chen Wang, “Contourlet-based image adaptive watermarking”, Image Communication, vol 23, pp 162–178, Jan 2008 [15] N Suresh Kumar1 and B Mathan Kumar, “Improved Image Watermarking with Curvelet Wavelet”, in International Journal of Computer Science and Mobile Computing, IJCSMC, vol 2, issue 4, pp.363–368, April 2013 105 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG [16] Jindong Xu, Huimin Pang, Jianping Zhao, “Digital Image Watermarking Algorithm Based on Fast Curvelet Transform”, in Journal of Software Engineering and Applications, vol 3, no 10, pp 939-943, 2010 [17] P Bedi, R Bansal and P Sehgal, “Multimodal Biometric Authentication Using PSO based Watermarking”, Procedia Technology, vol 4, pp 612-618, 2012 [18] M Vatsa, R Singh, A Noore, M Houck and K Morris, “Robust Biometric Image Watermarking for Fingerprint and Face”, IEICE Electronics Express, vol 3, issue 2, pp 23-28, 2006 [19] Gaurav Bhatnagar, Q.M Jonathan Wu and Balasubramanian Raman, “Biometric Template Security based on Watermarking”, Procedia Computer Science, vol 2, pp 227–235, 2010 [20] Morgan Barbier, Jean-Marie Le Bars, Christophe Rosenberger, “Image Watermarking with Biometric Data for Copyright Protection”, in ARES International Conference 10th, pp 2427, Aug 2015 [21] C Low, A Theoh and C Thee, “Fusion of LSB and DWT Biometric Watermarking for Offline Handwritten Signature”, in Congress on Image and Signal Processing, 5:702-708, May 2008 [22] Emmanuel J.Candes, David L.Donoho, “New tight frames of curvelets and optimal repesentations of objects with C2 singularities”, in Communications on Pure and Applied Mathematics, 2004, vol.57, No.2, pp.219-266 [23] Emmanuel J.Candes, David L.Donoho, “Fast Discrete Curvelet Transform”, Applied and Computational Mathmatics, California Institute of Technology, 2005, pp.1-43 [24] Thai Duy Hien, Ikeda Kei, Hanane Harak, Yen Wei Chen, Yasunori Nagata and Zensho Nakao, “Curvelet-Domain Image Watermarking Based on EdgeEmbedding”, Lecture Notes in Computer Science, Vol 4693, 2007, pp 311—317 [25] Shi, W.Z., Zhu, C.Q., Zhu, C.Y., and Yang, X.M., 2003 “Multi-Band Wavelet for Fusing SPOT Panchromatic and Multispectral Images”, Photogrammetric Engineering and Remote Sensing, 69(5), pp 513-520 [26] S Mallat, A Wavelet Tour of Signal Processing, 2nd ed Academic Press, 1999 [27] M Vetterli and J Kovacevic, Wavelets and Subband Coding PrenticeHall, 1995 [28] E J Cand`es and D L Donoho, “Curvelets – a surprisingly effective nonadaptive representation for objects with edges,” in Curve and Surface Fitting, A Cohen, C Rabut, and L L Schumaker, Eds Saint-Malo: Vanderbilt University Press, 1999 [29] E J Cand`es and D L Donoho, “Ridgelets: a key to higher-dimensional intermittency?” Phil Trans R Soc Lond A., pp 2495–2509, 1999 [30] E L Pennec and S Mallat, “Sparse geometric image representation with bandelets,” IEEE Trans Image Proc., vol 14, pp 423–438, Apr 2005 106 KS: NGUYỄN THANH HOAN BIOMETRIC WATERMARKING CBHD: GS.TS LÊ TIẾN THƯỜNG [31] A Cohen and B Matei, “Compact representation of images by edge adapted multiscale transforms,” in Proc IEEE Int Conf on Image Proc., Special Session on Image Processing and Non-Linear Approximation, Thessaloniki, Greece, Oct 2001 [32] D L Donoho, “Wedgelets: nearly-minimax estimation of edges,” Ann Statist., vol 27, pp 859–897, 1999 [33] M B Wakin, J K Romberg, H Choi, and R G Baraniuk, “Ratedistortion optimized image compression using wedgelets,” in Proc IEEE Int Conf on Image Proc., Rochester, New York, Oct 2002 [34] R Shukla, P L Dragotti, M N Do, and M Vetterli, “Rate-distortion optimized tree structured compression algorithms for piecewise smooth images,” IEEE Trans Image Proc., vol 14, pp 343–359, Mar 2005 [35] P J Burt and E H Adelson, “The Laplacian pyramid as a compact image code,” IEEE Trans Commun., vol 31, no 4, pp 532–540, April 1983 [36] M N Do and M Vetterli, “Framing pyramids,” IEEE Trans Signal Proc., pp 2329–2342, Sep 2003 [37] R H Bamberger and M J T Smith, “A filter bank for the directional decomposition of images: Theory and design,” IEEE Trans Signal Proc., vol 40, no 4, pp 882–893, April 1992 [38] M Vetterli, “Multidimensional subband coding: Some theory and algorithms,” Signal Proc., vol 6, no 2, pp 97–112, February 1984 [39] S.-I Park, M J T Smith, and R M Mersereau, “Improved structures of maximally decimated directional filter banks for spatial image analysis,” IEEE Trans Image Proc., vol 13, pp 1424–1431, Nov 2004 [40] M N Do, “Directional multiresolution image representations,” Ph.D dissertation, Swiss Federal Institute of Technology, Lausanne, Switzerland, December 2001, http://www.ifp.uiuc.edu/˜minhdo/publications 107 KS: NGUYỄN THANH HOAN Multiple Watermarking with Biometric data using Discrete Curvelets and Contourlets Hoan Nguyen-Thanh Dept of Electronics Engineering, University of Technology, Ho Chi Minh City, VietNam Email: hoannguyen1609@gmail.com Thuong Le-Tien Dept of Electronics Engineering, University of Technology, Ho Chi Minh City, VietNam Email: thuongle@hcmut.edu.vn Thang Nguyen-Duy Dept of Electronics Engineering, University of Technology, Ho Chi Minh City, VietNam Email: nguyenduy.thang10@gmail.com Abstract—The use of biometric data to increase the robustness and security of private data has been mentioned and studied extensively The multiple watermarking approach has proposed in this paper aims to improve the security of biometric data features; we consider using multiple watermarking techniques with fingerprint, face, iris and signature features Before embedding, the fingerprint feature extracted by Minutiae with Gabor filter enhancement Iris feature is extracted by Daugman Gabor filter Face and signature features are extracted through a Gabor filter that combines PCA Then the features of Iris and Fingerprint are mixed together, called iris-finger And facial and signature features are also mixed together in terms of coefficients, called face-sig The iris-finger feature set is embedded in the curvelet coefficients at level The face-sig feature set is embedded in curvelet coefficients at level All features of the fingerprint, iris, face and signature are used for authentication and copyright protection if there are attacks the results have been also compared to others approaches. Index Terms—Biometric Features, Multilevel Discrete Curvelet Transform, Contourlet Transform, Multiple Watermarking, Daugman Gabor filter, Gabor Wavelet, Minutiae, PCA I INTRODUCTION The development of modern science and technology; as well as the rapid increase of communication technologies, poses problems of copyright and security authentication In particular, Digital watermarking allows embedding of hidden information into digital data The Biometrics features contain individual characteristics It is used for an individual verification and authentication [2] to improve security and sustainability, in watermarking [10], to embed digital images via DWT level, or other techniques [1], [3] The current watermaking methods largely use original images, as well as text information, digital images, video and audio [1], [9], [11] The review aims to change Manuscript received Nov 5, 2017; Manuscript accepted Nov 20, 2017; Manuscript revised Nov 28, 2017 watermark information in different combinations such as Othman & Ros's IrisPrint [1] And multiple watermaking methods like Rohit Thanki [12] use a variety of biometric features with embedded methods of embedding different features on different discrete curvelet transform frequencies However, we are concerned that separating features at different frequencies can lead to unsustainability when attacks eliminate those frequencies In another work by Thien Huynh-The [10] on improving the optimization of watermarking techniques, he mentions embedding coding information into 4-DWT blocks, to improve the complexity and sustainability of watermarking information before the attack Multiple watermarking technique uses a variety of features to protect one or more of the original information, such as using fingerprint, iris, face or signature simultaneously embedded on the original image [1, 5, 17, 18] This helps ensure the robust, reliable, and robust requirements of confidential information Multiple watermarking techniques can be divided into the following categories: Composite Watermarking, Segmented Watermarking, Successive Watermarking; it's described as the refer [12] In this paper, we combine both methods: Composite Watermarking and Successive Watermarking, as shown in Figure Firstly, we integrate the feature of irisfingerprint and face-signature pairs, then use Multilevel Discrete Curvelet Transforms and Contourlet to decompose the original image with levels Irisfingerprint embedded at level 1, then use decomposition coefficient and embedded face-signature at level Watermark 1, Watermark Watermark 3, Watermark Coefficient Watermarked Image Host Image H 1st Stage Watermarked Image 2nd Stage Figure Propose Combine Composite and Successive Multiple Watermarking II REFERENCED WATERMARKING TECHNIQUE biometric data are different, requiring appropriate extraction techniques and the ability to recognize this information as needed In addition, embedding different frequencies can lead to vulnerabilities that damage the watermark at certain frequencies According to a study by Rohit Thanki and his colleagues, the multiple watermarking technique uses biometric features extracted from original information such as iris, fingerprint, face and signature, using ISEF Shen-Castan edge detection and Principal Component Analysis (PCA) Features are given the same size and are embedded in the original image based on Fast Discrete Curvelet Transform (FDCT) [12] The schema is as follows: Host Image I Forward Discrete Curvlet Transform Fingerprint, Iris, Face and Signature Multiple Watermark Embedding Feature Extraction using ISEF Edge Detection, PCA Watermarke d Image Watermark Biometric Features of Irisprint, Face and Signature Multiple Watermark Extraction Extracted Features of Irisprint, Face and Signature No Individual Unauthenticate Figure Block Diagram of Reference Watermarking Technique Watermark information are extracted as a PCA feature then each feature is embedded in the FDCT wrapping at different frequencies The method enables rapid watermarking through an FDCT transform However, the method of limiting the extraction of the features of each Host Image H Forward Discrete Curvlet Transform level Fingerprint Minutiae Extract Iris Daugman Gabor Extract Face PCA Gabor Extract Signature PCA Gabor Extract Embedding PROPOSED WATERMARKING TECHNIQUE In this paper, we embed multiple biometric features into an original image Forms of attack include compression, histogram, watermarked image editing Implementing a combination of attributes into a different domain and embedding one at a time will have limitations Therefore, we consider this technical proposal watermarking The watermark embedding technique is shown in Figure We set out the problem of combining Composite Watermarking and Successive Watermarking In this technique, the fingerprint feature is extracted through Gabor and Minutiae filters; Iris feature extracted through Daugman Gabor filter; Face feature filtered through PCA and Gabor algorithms; Signature filtered through Gabor The results are extracted in the form of Gabor matrix, these Gabor coefficients are combined in pairs (Fingerprint + Iris, Face + Signature), the composite feature set will be embedded in the original image at different levels In that, original image will be decomposed to levels using Multilvel Discrete Curvlet or Multilevel Contourlet Transform At level 1, the transform coefficients are embedded with the feature set iris-finger; Then, get the result, continue decomposing at level At level 2, the coefficients are embedded with the feature set face-sig Finally, to the reverse level transform, we obtain the watermarked image Multiple Verification of Individual Watermark Yes Individual Authenticate Reverse Discrete Curvlet Transform III Embedding Forward Contourlet Transform level Reverse Discrete Curvlet/Contourlet level Transform Iris-finger Watermarked Image Face-sig Figure Block Diagram of Proposed Embedding Multiple Watermarking Technique Watermarked Image Fingerprint Iris Extract Forward Discrete Curvlet/Contourlet Level Transform Minutiae Extract Daugman Gabor Extract Reverse Contourlet Transform to level Reverse Discrete Curvlet Transform Iris-finger Face-sig Compare feature Extract Face PCA Gabor Extract Signature PCA Gabor Extract Compare feature Extracted Image Summary comparision decision Figure Block Diagram of Proposed Extraction Multiple Watermarking Technique The biometric data feature will be saved and used in extracting and comparing properties separated from the waterkmarked image, as shown in Figure The watermarked image is decomposed at level to separate the attribute set Face-sig first, then reverse at level to separate the Iris-Finger attribute, the opposite process of embedding Both sets of attributes are parsed back to their original attributes: Face, Signature, Iris and Finger Feature We compared the extracted attribute sets with the original attribute set to evaluate criteria such as PSNR, SSIM for attack detection, sustainability, and security of the method Feature Extraction of Biometric Watermarks With various extraction methods as mentioned in [3, 6, 13, 18, 20], in which we consider the extraction ability of the Gabor filter bank, they are performed based on frequencies, orientations tham số gaussian In this paper, we propose a new approach to the Gabor filter bank, the filter that creates a compact Gabor filter bank, and reduces the computational complexity of attribute extraction The form of the Gabor function that given as We extract Face and signature features using the Gabor filter bank to reduce the size of the Principal Component Analysis (PCA) This combination enhances responsiveness as well as extracts the best features from biometric data a) b) c) Figure Examples of (a) input Face images, (b) Gabor Extracted, (c) PCA+Gabor Extracted A (1) where, f represents the local ridge frequency of the fingerprint where an iris minutia will be appended, and δx and δy are the space constants of the filter envelope along x and y axes, respectively In extracting iris features, we rely on log-Gabor filters modified similarly to the method proposed by Daugman to extract the iris phase information instead of the complex Gabor filters used Daugman algorithm (2) a) b) c) Figure Examples of (a) input Signature images, (b) Gabor Extracted, (c) PCA+Gabor Extracted In the feature extraction process, we propose to use the advantage of the gabor filter that has been appreciated in this regard B Mixing pair of feature Iris-Fingerprint, FaceSignature For the purpose of enhancing complexity and mutual authentication, we consider mixing the watermark feature in kit, including: iris watermark feature with fingerprint watermark feature, face watermark feature with signature watermark feature In order to this, the combined features will be rescaled to the same size and then combined under the equation (4), (5) (2) , (4) where I(x, y) is the eye image, r is the radius to searches over the image (x,y), G(r) is a Gaussian smoothing function A log-Gabor filter is used for capturing the local structure of the normalized annular iris Refer to Figure below , (5) , (3) c) a) d) b) Figure Examples of (a) input images, (b) circle iris images, (c) normalized Daughman mask images and (d) Gabor Feature The extraction of fingerprint feature, we use the Minutiae extraction algorithm after the enhancement by Gabor Filter a) b) c) Figure Examples of (a) input fingerprint images, (b) Minutiae Gabor images, (c) Minutiae Gabor feature extracted where k1, k2 are gain factor, is the Iris feature, is the Fingerprint feature, is the Face is the signature, is the irisfeature, is the face-signature fingerprint combination, and combination IV MULTIPLE BIOMETRIC WATERMARK PROCESSING In this proposed method, the original image will be embedded with multiple biometric features information at transform levels Multiple watermark data will be embedded in the Multilevel Discrete Curvelet Transform and Contourlet Transform (CCT) coefficients, to perform and evaluate the watermarking capabilities of the two algorithms A Multiple Biometric Watermark Embedding 1) Take a fingerprint, iris, face and signature of the individual as a watermark information 2) Then Iris feature is extracted by Daugman Gabor filter Face and signature features are extracted through a Gabor filter that combines PCA These biometric watermark features are denoted as (iris - fingerprint) and (face-signature) 3) Implement Fast Discrete Curvelet Transform and Contourlet Transform (CCT) to calculate the coefficients of the host image at levels, and embed the information at each level as follows , (6) , (7) 4) Applied reverse frequency UFFT based Multilevel Fast Discrete Curvelet Transform and Contourlet Transform (CCT) on modified coefficients with another unmodified coefficient to get watermarked biometric image B Multiple Biometric Watermark Extraction 1) Take a watermarked image and apply Multilevel Fast Discrete Curvelet Transform and Contourlet Transform (CCT) to calculate the coefficients of the host image at levels on it to convert into various coefficients 2) Extracted sparse measurements of a watermark biometric image using the reverse procedure of embedding , (8) , (9) Where k = gain factor, RFIF = recovered features of iris-fingerprint watermark, RFPS = recovered features of face-signatue watermark 3) Using biometric watermark features are denoted as (iris - fingerprint) and (face-signature) to compare with RFIF and RFPS C Comparison of features extracted with original features For the evaluation of quality, authentication and robustness of the proposed method, we used the Structural Similarity Index Measure (SSIM) to compute similarity between two features (10) Where S1 = similarity between iris-fingerprint watermark features, S2 = similarity between facesignature watermark features, S = average similarity between multiple watermark features Similar to the evaluation method in [12], we consider the SSIM results in two cases: - Confirm not attack if S> μ - Confirm attack if S