Ứng dụng mạng Nơ ron để phân loại khuôn mặt

Header Page of 126 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGUYỄN TRƢỜNG TÂN ỨNG DỤNG MẠNG NƠ RON ĐỂ PHÂN LOẠI KHUÔN MẶT Chuyên ngành : Tự động hóa Mã số : 60.52.60 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2013 Footer Page of 126 Header Page of 126 Công trình đƣợc hoàn thành ĐẠI HỌC ĐÀ NẴNG Ngƣời hƣớng dẫn khoa học: TS Nguyễn Văn Minh Trí Phản biện 1: GS.TSKH Nguyễn Phùng Quang Phản biện 2: TS Võ Nhƣ Tiến Luận văn đƣợc bảo vệ trƣớc Hội đồng chấm Luận văn tốt nghiệp thạc sĩ kỹ thuật họp Đại học Đà nẵng vào ngày 05 tháng 01 năm 2013 Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin - Học liệu, Đại học Đà nẵng - Trung tâm Học liệu, Đại học Đà Nẵng Footer Page of 126 Header Page of 126 MỞ ĐẦU Tính cấp thiết đề tài Công nghệ thông tin đƣợc ứng dụng lĩnh vực sống Với hệ thống máy tính, làm đƣợc nhiều việc, tiết kiệm thời gian công sức Điển hình nhƣ công việc nhận dạng mặt ngƣời Ngày xƣa, muốn tìm kiếm kẻ tình nghi siêu thị hay sân bay, nhân viên an ninh phải tìm kiếm hình camera theo dõi Ngày nay, công việc đƣợc làm tự động nhờ hệ thống nhận dạng mặt ngƣời Phát mặt ngƣời ảnh phần quan trọng hệ thống nhận dạng mặt ngƣời đó, giải tốt việc phát hiên mặt ngƣời giúp tiết kiệm thời gian nâng cao độ xác việc nhận dạng khuôn mặt Mặc dù việc nhận dạng khuôn mặt thƣờng gắn với việc nhận dạng tội phạm, nhƣng trở lên phổ biến ứng dụng dân nhƣ điều khiển vào việc truy nhập vào hệ thống yêu cầu độ an toàn cao, kiểm tra việc sử dụng thẻ tín dụng… Bài toán “Phân loại khuôn mặt” có ý nghĩa quan trọng bƣớc đầu toán “Nhận dạng khuôn mặt” Mục tiêu nghiên cứu Nghiên cứu số giải pháp nhận dạng khuôn mặt mạng Nơ ron sau ứng dụng vào toán “Phân loại khuôn mặt” Đối tƣợng phạm vi nghiên cứu Tập trung vào đối tƣợng nghiên cứu kỷ thuật xử lý ảnh mạng Nơron sở nghiên cứu: thuật toán trích đăc trƣng PCA Do hạn chế thời gian thiết bị , đề tài tập trung Footer Page of 126 Header Page of 126 nghiên cứu tập ảnh số database có sẵn [13] Đề tài tập trung nghiên cứu ứng dụng mạng Nơ ron để phân loại khuôn mặt Phƣơng pháp nghiên cứu Để thực đề tài khoa học này, cần phải kết hợp hai phƣơng pháp sau: - Phương pháp nghiên cứu lý thuyết: xử lý ảnh, PCA phýõng pháp phân tích thành phần mạng Nõ ron - Phương pháp mô phỏng: Viết chƣơng trình xây dựng giao diện GUI để kiểm chứng phần mềm Matlab Trên sở kết thu đƣợc để rút đánh giá, kết luận Đề tài sử dụng kiến thức liên quan đến xử lý ảnh mạng Nơron Phần lớn phƣơng pháp nhận dạng mặt tập trung phân tích đặc trƣng riêng nhƣ mắt, miệng, tƣ đầu định nghĩa mô hình mặt vị trí, kích thƣớc mối liên hệ đặc trƣng Trích đặc trƣng đóng vai trò đặc biệt quan trọng giai đoạn tiền xử lý PCA phýõng pháp phân tích thành phần (Principal Component Analysis) thƣờng đƣợc sử dụng toán nhận dạng mặt PCA có ƣu điểm thuật toán khác tốc độ nhanh tính đơn giản tính toán Trong đề tài PCA đƣợc sử dụng giai đoạn tiền xử lý để trích đặc trƣng từ ảnh mặt Bố cục đề tài Luận văn đƣợc trình bày thành chƣơng nhƣ sau: CHƢƠNG1 : TỔNG QUAN VỀ HỆ THỐNG NHẬN DẠNG KHUÔN MẶT NGƢỜI CHƢƠNG 2: LÝ THUYẾT XỬ LÝ ẢNH VÀ ỨNG DỤNG CHO BÀI TOÁN PHÂN LOẠI KHUÔN MẶT Footer Page of 126 Header Page of 126 CHƢƠNG 3: MẠNG NƠ RON VÀ ỨNG DỤNG CHO BÀI TOÁN PHÂN LOẠI KHUÔN MẶT CHƢƠNG 4: THỰC HIỆN CHƢƠNG TRÌNH Footer Page of 126 Header Page of 126 CHƢƠNG TỔNG QUAN VỀ HỆ THỐNG NHẬN DẠNG KHUÔN MẶT NGƢỜI 1.1 GIỚI THIỆU BÀI TOÁN XÁC ĐỊNH MẶT NGƢỜI TRONG ẢNH 1.1.1 Nhận diện vật thể ảnh số, tầm quan trọng ứng dụng thực tế 1.1.2 Nhận diện khuôn mặt ngƣời ảnh số 1.1.2.1 Giới thiệu nhận diện khuôn mặt Ở hệ thống này, từ đầu vào ảnh đoạn Video (một chuỗi ảnh), máy tính phân biệt hóa khuôn mặt nằm vị trí Qua xử lý tính toán hệ thống xác định đƣợc vị trí mặt ngƣời ảnh (nếu có) xác định ngƣời số ngƣời hệ thống đƣợc biết (qua trình học) Có nhiều thuật toán đƣợc phát triển nhằm cải thiện trình nhận dạng khuôn mặt ngƣời ngày tốt Với sở liệu so sánh lớn, thuật toán phức tạp, hỗ trợ từ phần cứng hay chíp xử lý, hệ thống nhận diện nhận diện mặt ngƣời quay ngang hay nhìn lên, nhìn xuống, chuyển động hay đứng yên, chí khuôn mặt chiếm phần nhỏ toàn khung hình Bài toán nhận dạng mặt ngƣời toán đặc biệt nhận dạng vật thể Tuy nhiên, toán khó nên nghiên cứu chƣa đạt đƣợc kết mong muốn Chính vấn đề đƣợc nhiều nhà nghiên cứu giới quan tâm Đây vấn đề lớn ngành thị giác máy tính (Computer Vision) Hệ thống nhận diện mặt ngƣời ảnh số đƣợc minh họa nhƣ hình 1.2 Footer Page of 126 Header Page of 126 Ảnh Inputs Ảnh Outputs Bill Clinton Hệ thống nhận dạng Hillary khuôn mặt Clinton Không có sở liệu Hình 1.2 Nhận diện khuôn mặt ảnh số 1.1.2.2 Bốn bước nhận diện mặt người ảnh số 1.1.2.3 Các ứng dụng nhận diện khuôn mặt - Hệ thống phát tội phạm - Hệ thống theo dõi nhân đơn vị - Kiểm tra trạng thái ngƣời lái xe có ngủ gật, tập trung hay không hỗ trợ thông báo cần thiết - Lƣu trữ (rút tiền ATM, để biết rút tiền vào thời điểm đó) - Hệ thống giao tiếp ngƣời máy: Thay việc tƣơng tác ngƣời máy theo cách truyền thống nhƣ: bàn phím, chuột, Thay vào sử dụng giao tiếp trực quan: biểu cảm khuôn mặt, dấu hiệu, cử tay Footer Page of 126 Header Page of 126 - Tìm kiếm tổ chức liệu liên quan đến ngƣời thông qua khuôn mặt ngƣời nhiều hệ sở liệu lƣu trữ thật lớn, nhƣ internet, hãng truyền hình,… - An ninh sân bay, xuất nhập cảnh - Các thệ thống bảo mật dựa thông tin trắc sinh học: Mặt ngƣời, vân tay,v.v thay xác nhận mật khẩu, khóa 1.2 CÁC KHÓ KHĂN TRONG BÀI TOÁN NHẬN DẠNG KHUÔN MẶT 1.2.1 Tƣ thế, góc chụp 1.2.2 Sự xuất thiếu số thành phần khuôn mặt 1.2.3 Sự biểu cảm khuôn mặt 1.2.4 Sự che khuất 1.2.5 Hƣớng ảnh 1.2.6 Điều kiện ảnh 1.3 CÁC CÔNG TRÌNH NGHIÊN CỨU VÀ HƢỚNG TIẾP CẬN LIÊN QUAN ĐẾN NHẬN DẠNG KHUÔN MẶT 1.3.1 Hƣớng tiếp cận dựa tri thức 1.3.1.1 Tư tưởng 1.3.1.2 Các nghiên cứu 1.3.2 Hƣớng tiếp cận dựa đặc trƣng không thay đổi 1.3.3 Hƣớng tiếp cận dựa so sánh khớp mẫu 1.3.4 Hƣớng tiếp cận dựa diện mạo 1.4 NHẬN DẠNG KHUÔN MẶT DÙNG THUẬT TOÁN 1.5 NHẬN DẠNG ẢNH DỰA TRÊN PCA Footer Page of 126 Header Page of 126 CHƢƠNG LÝ THUYẾT XỬ LÝ ẢNH VÀ ỨNG DỤNG CHO BÀI TOÁN PHÂN LOẠI KHUÔN MẶT 2.1 LÝ THUYẾT XỬ LÝ ẢNH 2.1.1 Giới thiệu ảnh số 2.1.2 Biểu diễn ảnh số 2.1.3 Ảnh màu 2.1.4 Các định dạng ảnh xử lý ảnh 2.1.5 Các kiểu hình ảnh Matlab 2.1.6 Chuyển đổi kiểu liệu 2.1.7 Các phép toán số học liệu ảnh 2.1.8 Các hàm hiển thị ảnh Matlab - Hàm image(x,y,c) hiển thị hình ảnh biểu diễn ma trận c kích thƣớc mxn lên hệ trục tọa độ x,y véctơ xác định vị trí điểm c(1,1) c(m,n) - Hàm imagesc có chức tƣơng tự hàm image, ngoại trừ việc liệu ảnh đƣợc co giãn để sử dụng toàn đồ màu hành - Hàm imview cho phép hiển thị ảnh sổ riêng Java, gọi Image Viewer - Hàm imshow cho phép hiển thị ảnh Figure tự động thiết lập giá trị đối tƣợng image, axes, figure để hiển thị hình ảnh Footer Page of 126 Header Page 10 of 126 2.2 10 ỨNG DỤNG CÁC HÀM XỬ LÝ ẢNH TRONG PHÂN LOẠI KHUÔN MẶT + [filename,pathname]=uigetfile(filterspec,title): hiển thị hộp thoại chọn đƣờng dẫn file Giá trị trả tên file đƣờng dẫn + T=strcat(s1,s2,s3…): ghép chuỗi lại với nhau, trả chuỗi nối tiếp s1s2s3… + Strcmp(s1,s2): hàm so sánh, trả s1 giống s2, ngƣợc lại trả + T=dir(pathname): Lấy thông tin Folder bao gồm: số file chứa folder, tên file, ngày tạo, kích thƣớc file… + S=int2str(x): Chuyển đổi số kiểu integer thành chuỗi ký tự + N=num2str(x): Chuyển đổi số(bất kỳ số nguyên thực) thành chuỗi ký tự + D=size(a): Trả giá trị ma trận có dạng [x,y] kích thƣớc ma trận a + T=reshape(X,M,N): Trả ma trận có kích thƣớc MxN với phần tử phần tử nằm ma trận X + Mean(X): Ma trận X có kích thƣớc MxN, hàm trả ma trận có kích thƣớc 1xN phần tử trung bình cột ma trận X + Mean(X,dim): với dim chiều lấy trung bình, dim lấy trung bình theo cột, dim lấy trung bình theo hàng Không có tham số dim mặc định dim + Double(X): Chuyển đổi gấp đôi xác giá trị ma trận X + E=eig(X): Trả vector chứa giá trị riêng ma trận vuông X Footer Page 10 of 126 Header Page 12 of 126 12 CHƢƠNG MẠNG NƠ RON VÀ ỨNG DỤNG CHO BÀI TOÁN PHÂN LOẠI KHUÔN MẶT 3.1 GIỚI THIỆU MẠNG NƠ RON NHÂN TẠO 3.1.1 Từ ý tƣởng mạng nơ ron sinh học 3.1.2 Đến mạng nơ ron nhân tạo Giá trị Giá trị ngưỡng ngõ vào Trọng số X1 Hàm bi Wi1 truyền Giá trị ngõ tín tín X2 Xj Wi2 f(fi) ∑ … Wij yi fi Win Xn Hình 3.1 Cấu trúc nơ ron nhân tạo – phần tử xử lý Xj : Giá trị ngõ vào thứ j Wij: Trọng số kết nối ngõ vào thứ j với nơ ron i n fi wij x j bi j ( fi gọi hàm tổng trọng hóa) f( fi ): Hàm truyền hay gọi hàm tác động yi=f(fi) : Ngõ nơ ron thứ i Footer Page 12 of 126 Header Page 13 of 126 13 3.1.3 Ứng dụng mạng nơ ron nhân tạo 3.1.4 Huấn luyện mạng nơ ron Có hai loại huấn luyện sử dụng mạng nơ ron huấn luyện có giám sát không giám sát Mạng nơ ron đƣợc huấn luyện thuật toán học có giám sát (ví dụ backpropagation – lan truyền ngƣợc), sử dụng liệu để điều chỉnh trọng số ngƣỡng mạng cho cực tiểu hóa sai số việc dự báo mạng tập huấn luyện Nếu mạng đƣợc huấn luyện xác, nghĩa học mô hàm chƣa biết với mối liên hệ ngõ ngõ vào, với tín hiệu vào đến sau, mạng dự báo tín hiệu tƣơng ứng 3.1.5 Thu thập liệu huấn luyện mạng nơ ron 3.2 CƠ SỞ LÝ THUYẾT CỦA MẠNG NƠ RON NHÂN TẠO 3.2.1 Phần tử xử lý 3.2.1.1 Hàm tổng hợp Nếu xj ngõ vào từ môi truờng bên ngoài, wij trọng số kết nối xj phần tử xử lý thứ i, bi giá trị ngƣỡng phần tử xử lý thứ i, hàm tổng hợp fi để kết hợp tất thông tin từ ngõ vào phần tử xử lý thứ i đƣợc định nghĩa dạng sau: Hàm tổng hợp tuyến tính: n fi wij x j bi j Hàm tổng hợp tuyến tính bình phƣơng: 3.2.1.2 Hàm tác động Các loại hàm tác động thường dùng: Hàm Threshold hay gọi Hardlimit (hàm nấc): Footer Page 13 of 126 Header Page 14 of 126 14 1, x>=0 f(x) = Khoảng trả về: [0, 1] 0, x