Thiết kế mô hình và mô phỏng hệ thống nhận dạng khuôn mặt người,đề tài nghiên cứu khoa học sinh viên

Nhận Dạng Khuôn Mặt Người Bằng PP PCA Mục Lục Mục Lục i Danh Mục Hình Ảnh iii Phần MỞ ĐẦU .1 Tính cấp thiết đề tài .2 Mục tiêu đề tài .2 Đối tượng phạm vi nghiên cứu .2 Phần NỘI DUNG Chương NGUYÊN LÝ HOẠT ĐỘNG CỦA CÁC HỆ THỐNG NHẬN DẠNG MẶT NGƯỜI 1.1 Hệ thống kết nạp 1.2 Hệ thống truy vấn 1.3 Khó khăn thách thức việc xác định khuôn mặt người Tóm tắt kết nghiên cứu chương : Chương ĐẠI CƯƠNG VỀ XỬ LÝ ẢNH .8 2.1 Một số khái niệm ảnh xử lý ảnh 2.1.1.Khái niệm ảnh 2.1.2 Điểm ảnh 2.1.3 Phân loại ảnh số .10 2.1.4 Xử lý ảnh ? 13 2.2 Các bước xử lý ảnh 13 2.2.1 Thu nhận ảnh (Image Acquisition) 13 2.2.2.Tiền xử lý (Image Processing) 14 2.2.3.Phân đoạn (Segmentation) hayphânvùngảnh .14 2.2.4.Biểu diễn ảnh (Image Representation) .14 2.2.5.Nhận dạngvà nội suy ảnh (ImageRecognition and Interpretation) 14 2.3 Áp dụng xử lý ảnh vào đề tài nghiên cứu .14 2.3.1 Thu nhận ảnh cắt lấy phần ảnh chứa mặt người 14 2.3.2 Tăng cường độ tương phản lọc nhiễu 16 2.3.3 Làm biên ảnh .16 2.3.4 Phân đoạn ảnh 16 Tóm tắt kết nghiên cứu chương : 17 Chương ỨNG DỤNG CỦA MATLAB TRONG XỬ LÝ ẢNH 18 3.1 Đọc hiển thị ảnh 18 3.2 Xử lý histogram 18 3.3 Một số hàm chuyển đổi ảnh 23 3.3.1Chuyển đổi kiểu liệu ảnh .23 3.3.2 Chuyển đổi giửa kiểu ảnh 23 3.4 Giới thiệu tách biên ảnh .24 3.5 Lọc ảnh 26 3.5.1 Lọc miền không gian 26 SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn i GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA 3.5.2 Lọc miền tần số 27 3.5.3 Lọc thích nghi 28 3.6 Nén ảnh 28 Tóm tắt kết nghiên cứu chương : 29 Chương TRÍCH ĐẶC TRƯNG ẢNH 30 4.1 Đặc trưng ảnh 30 4.2.Phương pháp trích đặc trưng ảnh PCA 31 4.2.1 Các khái niệm 31 4.2.2 Ứng dụng giải thuật PCA để trích đặc trưng ảnh: 37 4.2.3 Áp dụng phương pháp PCA vào đề tài nghiên cứu 40 4.3 Lưu đồ giải thuật trích đặc trưng ảnh .40 Tóm tắt kết nghiên cứu chương 4: 41 Phần KẾT LUẬN VÀ KIẾN NGHỊ 42 Kết đề tài 43 Kiến thức thu 43 Những hạn chế đề tài .43 Hướng phát triển 43 Kết mô 44 TÀI LIỆU THAM KHẢO 52 PHỤ LỤC 53 CÁC CHƯƠNG TRÌNH CHÍNH CỦA ĐỀ TÀI .53 SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn ii GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khn Mặt Người Bằng PP PCA Danh Mục Hình Ảnh Hình 1.1: Hệ thống nhận dạng mặt người Hình 2.1: Cấu tạo tổng quát ảnh số Hình 2.2: Ảnh mức xám 10 Hình 2.3: Ảnh nhị phân 11 Hình 2.4: Ảnh số 11 Hình 2.5: Ảnh màu 12 Hình 2.6: Quá trình xử lý ảnh 13 Hình 2.7: Các bước xử lý ảnh 13 Hình 2.9: Phân đoạn ảnh .17 Hình 3.1: Trước cân histogram .19 Hình 3.2: Sau cân histogram 19 Hình 3.3: Đầu mức xám 20 Hình 3.5: Sau phối histogram 21 Hình 3.6: Mức xám ban đầu ảnh .22 Hình 3.7: Cường độ mức xám sau phối hợp 22 Hinh 3.8: Tách biên ảnh dung hàm edge 26 Hình 3.9: Lọc ảnh tuyến tính miền khơng gian 26 Hình 3.10: Lọc phi tuyến miền không gian 27 Hình 3.11: Lọc miền tần số 27 Hình 3.12: Lọc thích nghi median 28 Hình 3.13: Nén ảnh 28 Hình 3.14: Biến đổi Wavelet hai chiều 29 Hình 4.1: Trích chọn đặc tính liệu giải thuật PCA 34 Hình 4.2: Lưu đồ giải thuật trích đặc trưng ảnh 40 SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn iii GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA Phần MỞ ĐẦU SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA Tính cấp thiết đề tài Lĩnh vực nhận dạng ảnh, đặc biệt nhận dạng mặt người ngày thu hút quan tâm nhà khoa học giới Trên giới nhận dạng mặt người khơng cịn lãnh vực mẻ, nghiên cứu từ lâu Nhưng Nhận dạng mặt người đề tài mẻ Việt Nam Cùng với phát triển kinh tế, khoa học kỹ thuật không ngừng phát triển nước ta năm qua Chúng ta cần phải tiếp cận lĩnh vực giới, chúng tơi định chọn đề tài nghiên cứu “nhận dạng mặt người” Trong Đề tài trước hết xin giới thiệu phương pháp xử lý ảnh phương pháp nhận dạng truyền thống.Trong ứng dụng xử lý ảnh, bước xử lý đóng vai trò to lớn việc khử nhiểu, khôi phục ảnh làm cho ảnh sắc nét Trong phần đề tài, phần đề tài, chúng tơi giới thiệu nhận dạng mặt người phương pháp PCA.Trong phần này, nhận dạng mặt người sở liệu ảnh có sẵn (ảnh gray, kích thước 111x111) Chúng tơi trình bày kết đạt phân tích ưu điểm nhược điểm phương pháp Mục tiêu đề tài - Tìm hiểu chế làm việc hệ thống nhận dạng mặt - Tìm hiểu sở lý thuyết phương pháp PCA - Tìm hiểu việc ứng dụng phương pháp PCA để xây dựng hệ thống nhận dạng mặt - Nghiên cứu, tìm hiểu cơng cụ xử lý ảnh Matlab - Xây dựng chương trình demo Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu đề tài khuôn mặt người.Bằng phương pháp phân tích xử lý ảnh tĩnh khn mặt người chụp từ camera Đề tài nhằm xây dựng chương trình demo xử lý nhận dạng mặt người có sẵn sở liệu đưa thông báo SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA Phần NỘI DUNG SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA Chương NGUYÊN LÝ HOẠT ĐỘNG CỦA CÁC HỆ THỐNG NHẬN DẠNG MẶT NGƯỜI Con người nhận người quen dễ dàng nhờ mắt quan thị giác vỏ não Tuy nhiên khả nhớ người lại hạn chế, sản sinh thiết bị nhận dạng Ở ta quan tâm đến pương pháp nhận dạng mặt người Lợi ích lớn so với phương pháp nhận dạng dựa đặc điểm sinh trắc học khác nhận dạng vân tay, ngươi, giọng nói khơng thể thực đám đông, sơ đồ khối hệ thống nhận dạng sau: So khớp ảnh Hình 1.1: Hệ thống nhận dạng mặt người SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA 1.1 Hệ thống kết nạp Ảnh thông tin mặt người đưa vào hệ thống kết nạp để rút trích đặc trưng.Mỗi khn mặt người khác có đặc trưng khác Các đặc trưng mắt, mũi, miệng, lơng mày, …sau rút trích lưu trữ lại tạo tập sở liệu 1.2 Hệ thống truy vấn Ảnh mặt người cần nhận dạng đưa vào hệ thống truy vấn để rút trích đặc trưng.Các đặc trưng so khớp với đặc trưng sở liệu Quá trình so khớp đưa xác nhận thỏa mãn ngưỡng hệ thống nhận dạng yêu cầu Nhận dạng mặt người nhiều người nghiên cứu với nhiều phương pháp khác nhau, giải thuật nhiều người biết đến là: PCA, Mơ hình ẩn Markov, Neural Networks Phân tích đặc trưng Mỗi giải thuật thường thực tốt điều kiện định có ứng dụng yêu cầu thực tiễn cụ thể Nhận dạng mặt vấn đề phức tạp người ảnh mặt thay đổi khi: • Tư khác • Nét biểu cảm khác • Sự chiếu sáng (độ tương phản) ảnh • Trang điểm , bị che khuất, thay đổi râu tóc • Góc nhìn chụp ảnh khơng cố định Những hệ thống nhận dạng mặt người cài đặt sân bay, nơi truyền thông đa phương tiện nơi cơng cộng khác phát diện người đám đông Một số ứng dụng điển hình phần mềm nhận dạng mặt: - Nhận dạng người có phải tội phạm truy nã hay không giúp quan an ninh quản lý tốt người - Hệ thống quan sát theo dỏi bảo vệ Các camera xác định đâu người đưa yêu cầu, cảnh báo hay xác định người - Trong trường hợp ảnh so sánh với tất ảnh sở liệu (1:N) để xác định xem người số người ta biết lưu ảnh sở liệu SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA - Theo dõi thời gian làm việc nhân viên - Hệ thống nhận dạng mặt theo dõi diện nhân viên nơi làm việc, ngăn chặn tình trạng trốn việc Ta sử dụng hệ thống vào việc chống gian lận thi cử cách thi hộ - Một khả ứng dụng khác phải kể đến ATM an ninh kiểm tra việc gởi lĩnh tiền qua ngân hàng Hệ thống xác nhận mặt khách hàng cách nhanh chóng Sau khách hàng vào buồng lĩnh tiền, camera kỹ thuật số chụp ành cùa khách hàng Phần mềm nhận dạng mặt sau sử dụng để ngăn chặn trường hợp bị ăn cắp thẻ Ngoài ra, việc sử dụng phần mềm nhận dạng mặt, ta khơng cần dùng thẻ ATM, số PIN (Personal Identify Number) để xác nhận khách hàng - Trong đề tài ta quan tâm đến phương pháp nhận dạng mặt người dùng PCA 1.3 Khó khăn thách thức việc xác định khuôn mặt người Việc xác định khuôn mặt người có khó khăn định sau: • Hướng (pose) khuôn mặt máy ảnh, như: nhìn thẳng, nhìn nghiêng hay nhìn từ xuống Cùng ảnh có nhiều khn mặt tư khác Sự có mặt chi tiết đặc trưng riêng khn mặt người, như: râu quai nón, mắt kính, … • Các nét mặt (facial expression) khác khuôn mặt, như: vui, buồn, ngạc nhiên,… • Mặt người bị che khuất đối tượng khác có ảnh • Điều kiện ảnh, đặc biệt độ sáng chất lượng ảnh, chất lượng thiết bị thu hình • Trục toạ độ máy ảnh so với ảnh chụp • Kích thước khác khn mặt người, đặc biệt ảnh • Màu sắc môi trường xung quanh, hay màu sắc quần áo người chụp lấy ảnh • Xuất thành phần khn mặt hay khơng • Nhiều khn mặt có vùng da dính lẫn Các khó khăn chứng tỏ phương pháp giải (thuật tốn) tốn xác định khn mặt người tránh khỏi số khiếm khuyết định Để SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA đánh giá so sánh phương pháp xác định mặt người, người ta thường dựa tiêu chí sau: • Tỷ lệ xác định xác tỷ lệ số lượng khuôn mặt người xác định từ hệ thống sử dụng phương pháp để xây dựng so với số lượng khn mặt người thật có ảnh (detection rate) • Số lượng xác định nhầm số lượng vùng ảnh khuôn mặt người mà hệ thống xác định nhầm khuôn mặt người (false positives) • Thời gian thực thời gian để máy tính xác định khn mặt người ảnh (running time) Tóm tắt kết nghiên cứu chương : -Hiểu nguyên lý bước làm việc hệ thống nhận dạng mặt người -Hướng phát triển ứng dụng nhận dạng mặt người -Những khó khăn thách thức việc nhận dạng SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA B4: Kích chuột vào NHẬP ẢNH để chọn ảnh vừa chụp cắt thành ảnh chuẩn 111*111 (ảnh có tên chup.jpg) -Ảnh nhập vào hiển thị axes3 SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn 47 GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA B5: Kích chuột vào PHÂN TÍCH đề phân tích ảnh vừa nhập vào Ảnh sau phân tích hiển thị axes4 SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn 48 GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA B6: Kích chuột vào EUCLID để tính khoản cách EUCLID hiển thị axes6 SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn 49 GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA B7: Kích chuột vào NHẬN DẠNG để nhận dạng, tùy vào trường hợp khớp hay không mà hiển thị hình ảnh trùng khớp axes5 SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn 50 GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA Nếu kết nhận dạng sai đưa thông báo: SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn 51 GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA TÀI LIỆU THAM KHẢO Rafael C.Gonzalez – Digital Image Processing – Addison Scott E Umbaugh – Computer Vision and Image Processing – Prentice Hall 1998 NXB Đại Học Quốc Gia TP Hồ Chí Minh - Giáo trình xử lý ảnh www.wikipedia.org/ https://www.google.com.vn SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn 52 GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA PHỤ LỤC CÁC CHƯƠNG TRÌNH CHÍNH CỦA ĐỀ TÀI Chươngtrìnhcamera.m: vid=videoinput('winvideo',1); preview(vid); chươngtrìnhtachmat (chụp): global a1 a2 I=getsnapshot(vid); %cat hinhanh RGB imwrite(I,'chup1.jpg','jpg'); %luuhinhvoi ten chup1.jpg A=imread('chup1.jpg'); %doc hinh %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% vic=findobj('tag','axes1') axes(vic); imshow(A); set(gca,'tag','axes1'); %%%%%%%%%%%%%%%%%%%%%%%%%%% [h,c,m]=size(A); %kichthuoccuahinh A RGB %che mat na:R>95 G>40,B>20,R-G>15,R>G,R>B fori=1:h for j=1:c if (A(i,j,1)>95)&(A(i,j,2)>40)&(A(i,j,3)>20)& ((A(i,j,1)-A(i,j,2))>15)&(A(i,j,1)>A(i,j,2))& (A(i,j,1)>A(i,j,3)) A(i,j,1)=255; % A(i,j,2)=255; % mautrang A(i,j,3)=255; % else A(i,j,1)=0; % A(i,j,2)=0; %mau den A(i,j,3)=0; % end end end T1=im2bw(A); %chuyenanh A raanhnhiphan T1 hoac T2 = imfill(T1,'holes'); %Lap day lo trong, lam trangcaccham den mat S=bwarea(T2); % tinhdientichcuahinh T2 T3 = bwareaopen(T2,round(S*0.3)); %round: lam tron den so nguyengannhat , valoaibocachinhanhnhiphannhotronghinh T2 TL=findobj('tag','axes2') axes(TL); imshow(T3); %hienthihinh T3 SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn 53 GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA set(gca,'tag','axes2'); %Tinh tong cac diem mautrangtrenmoi hang fori=1:h Tam1(i)=0; for j=1:c Tam1(i)=T3(i,j)+Tam1(i); % tinhcac diem anhtrang end; end; %Tim hang nao co tong so diem mautrangnhieunhat Max1=Tam1(1); Hang=1; fori=2:h if Tam1(i)>Max1 Max1=Tam1(i); Hang=i; end end; %Tinh tong cac diem mautrangtrenmoi cot for j=1:c Tam2(j)=0; fori=1:h Tam2(j)=T3(i,j)+Tam2(j); end; end; %Tim cot nao co tong so diem mautrangnhieunhat Max2=Tam2(1); Cot=1; for j=2:c if Tam2(j)>Max2 Max2=Tam2(j); Cot=j; end end; %cat khuon mat nguoi y=Hang; x=Cot; T4=imcrop(I,[x-55 y-55 110 110]); % cat hinhanh de tachkhuon mat ag1 = rgb2gray(T4); % chuyenthanhanh Gray imwrite(ag1,'chup.jpg','jpg'); TI=findobj('tag','axes7'); axes(TI); imshow(ag1); set(gca,'tag','axes7'); %lam cho chat an phongkhikichthuockhong dung I=imread('chup.jpg'); I=imresize(I,[111 111]); imwrite(I,'chup.jpg','jpg'); SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn 54 GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA chươngtrìnhnhapanh (nhậpảnh): functionnhapanh [filename,pathname]=uigetfile('*.jpg','*.bmp','pick an image file'); ag2=[pathname,filename]; t1=findobj('tag','axes3'); axes(t1); imshow(ag2); set(gca,'tag','axes3'); chươngtrìnhmatnaPCA (phântích): functionmatnaPCA h=findobj('tag','axes3'); %xacdinhdoituongtrong axes3 la hinhduocduavao img= getimage(h); T1=[]; load m %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%5 temp=img(:,:,1); %tat cacac hang, cot cua lop [irowicol] = size(temp); % lay kichthuoc InImage = reshape(temp',irow*icol,1); %xeplaithanh cot Difference = double(InImage)-m; T1= [T1 Difference]; L = T1'*T1; [V D] = eig(L); L_eig_vec = []; fori = : size(V,2) if( D(i,i)>1) L_eig_vec = [L_eig_vec V(:,i)]; end end %%%%%%%%%%%%%%%%%%%%%%%% Calculating the eigenvectors of covariance matrix 'C' % Eigenvectors of covariance matrix C (or so-called "Eigenfaces") % can be recovered from L's eiegnvectors Eigenfaces = T1* L_eig_vec; % A: centered image vectors EVE=Eigenfaces; [m,n]=size(EVE); %EVEm=EVE(:,1:10); EVA=diag(D); b=zeros(111,111); t=0; % for i=1:15 for j=1:111:111*111-111+1 t=t+1; SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn 55 GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA % b(t,:,i)=Eigenfaces(j:j+111-1,i); b(t,:)=EVE(j:j+111-1,1)*(-500); end %t=0; %end b=b-min(min(min(b))); b=b/(max(max(max(b)))); t1=findobj('tag','axes4'); axes(t1); imshow(b); set(gca,'tag','axes4'); chuongtrình EUCLID: load Euc_dist t1=findobj('tag','axes6'); axes(t1); stem( Euc_dist); set(gca,'tag','axes6'); chươngtrìnhnhandangPCA (nhậndạng): functionnhandangPCA h=findobj('tag','axes3'); InputImage= getimage(h); %% Extracting the PCA features from test image load m load PCA temp = InputImage(:,:,1); [irowicol] = size(temp); InImage = reshape(temp',irow*icol,1); Difference = double(InImage)-m; % %DO LECH ANH KTRA SO VOI ANH TRUNG BINH ProjectedTestImage = Eigenfaces'*Difference; % Test image feature vector %% Calculating Euclidean distances load dactrungdatabase Train_Number = size(Eigenfaces,2); Euc_dist = []; fori = : Train_Number q = dactrungdatabase(:,i); temp = ( norm( ProjectedTestImage - q ) )^2; Euc_dist = [Euc_dist temp]; end save Euc_dist [Euc_dist_min , Recognized_index] = min(Euc_dist) SVTH: Trần Đức Như Đạo Nguyễn Văn Tuấn 56 GVHD: ThS Võ Thiện Lĩnh Nhận Dạng Khuôn Mặt Người Bằng PP PCA OutputName = strcat(int2str(Recognized_index),'.jpg'); sim=Euc_dist_min; ifsim