Nhận dạng khuôn mặt sử dụng phương pháp biến đổi Eigenfaces và mạng Nơron

Header Page of 126 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG TRƯƠNG CÔNG LỢI NHẬN DẠNG KHUÔN MẶT SỬ DỤNG PHƯƠNG PHÁP BIẾN ĐỔI EIGENFACES VÀ MẠNG NƠRON Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2013 Footer Page of 126 Header Page of 126 Công trình hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS HUỲNH HỮU HƯNG Phản biện 1: PGS.TS LÊ VĂN SƠN Phản biện 2: TS NGUYỄN MẬU HÂN Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Kỹ thuật họp Đại học Đà Nẵng vào ngày 19 tháng năm 2013 Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin - Học liệu, Đại Học Đà Nẵng Footer Page of 126 Header Page of 126 MỞ ĐẦU Lý chọn đề tài Với phát triển nhanh chóng loại máy móc đại máy ảnh số, máy quay phim kỹ thuật số, máy vi tính,… lượng thông tin người thu dạng hình ảnh lớn Xử lý ảnh lĩnh vực ngày phổ biến đời sống xã hội Không dừng lại việc xử lý vết nhòe, tái chế phục hồi ảnh cũ, ngày kỹ phương pháp xử lý ảnh mang lại tiến vượt bậc nhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng đối tượng kết hợp với lĩnh vực trí tuệ nhân tạo Bên cạnh đó, vấn đề an ninh bảo mật yêu cầu khắc khe quốc gia giới Các hệ thống xác định, nhận dạng người đời với độ tin cậy cao Một toàn nhận dạng người quan tâm nhận dạng qua khuôn mặt Có hai phương pháp nhận dạng phổ biến nhận dạng dựa đặc trưng phần tử khuôn mặt biển đổi Sóng Wavelet (Gabor Wavelet) Mạng Nơron (Neural Network), Support Vector Machine (SVN),… nhận dạng dựa xét tổng thể toàn khuôn mặt phương pháp Phân tích thành phần (Principal Component Analysis – PCA) phương pháp Phân tích khác biệt tuyến tính (Linear Discriminant Analysis – LDA), phương pháp Phân tích đặc điểm vùng (Local Feature Analysis – LFA) Nhận dạng khuôn mặt dùng Eigenfaces mạng Nơron mang lại hiệu nhận dạng cao hoạt động ổn định có tính thích Footer Page of 126 Header Page of 126 nghi cao liệu đầu vào thay đổi nhiều Đó lí chọn đề tài: “Nhận dạng khuôn mặt sử ụng phương pháp biến đổi Eigenfaces Mạng Nơron” Mục tiêu nhiệm vụ Mục tiêu nghiên cứu: - Nghiên cứu phương pháp trích rút đặc trứng Eigenfaces - Nghiên cứu phương pháp nhận dạng mạng Nơron - Áp dụng thành công phương pháp vào việc nhận dạng khuôn mặt Nhiệm vụ đề tài: - Nghiên cứu tổng quan nhận dạng khuôn mặt - Nghiên cứu phương pháp nhận dạng mạng Nơron, Eigenfaces - Áp dụng phương pháp vào thực tế việc nhận dạng khuôn mặt Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu bao gồm: - Lý thuyết nhận dạng khuôn mặt - Các vấn đề liên quan đến phương pháp nhận dạng khuôn mặt - Phương pháp nhận dạng khuôn mặt mạng Nơron Eigenfaces Footer Page of 126 Header Page of 126 Phạm vi nghiên cứu: - Dữ liệu xử lý file ảnh tĩnh với ảnh chụp với góc nghiên không đáng kể (không 10) - Ảnh chụp điều kiện ánh sáng bình thường (không chụp ngược sáng, chụp máy kỹ thuật số) Phương pháp nghiên cứu Phương pháp tài liệu: - Tìm hiểu cách lập trình với Matlab - Tìm hiểu tổng quan toán nhận dạng khuôn mặt - Tìm hiểu phương pháp nhận dạng khuôn mặt - Tìm hiểu phương phương pháp trích rút đặc trưng Eigenfaces - Tìm hiểu phương pháp nhận dạng mạng Nơron Phương pháp thực nghiệm: - Tiến hành phân tích cài đặt: thuật toán phát khuông mặt PCA, mạng Nơron, kết hợp Eigenfaces mạng Nơron - So sánh đánh giá kết đạt Ý nghĩa khoa học thực tiễn đề tài Ý nghĩa khoa học: - Nghiên cứu việc nhận dạng khuôn mặt - Nghiên cứu phương pháp nhận dạng khuôn mặt Eigenfaces mạng Nơron việc nhận dạng khuôn mặt Footer Page of 126 Header Page of 126 - Ứng dụng thành công phương pháp xử lý ảnh vào thực tế - Tạo tiền đề cho nghiên cứu tương lai Ý nghĩa thực tiễn: - Cung cấp thuật toán hỗ trợ cho thiết bị phát nhận dạng khuôn mặt người - Giúp giảm giá thành cho công tác bảo vệ bảo mật - Tạo tiền đề cho việc xây dựng sở liệu nhận dạng khách hàng cách tự động thông qua khuôn mặt Bố cục luận văn Nội dung luận văn chia thành phần sau: Mở đầu Chương 1: Tổng quan xử lý ảnh: Chương giới thiệu tổng quan kỹ thuật sử lý ảnh số, không gian màu RGB, HSV, CIE,… Chương 2: Các phương pháp nhận dạng khuôn mặt: Chương trình bày phương pháp nhận dạng khuôn mặt phổ biến Eigenfaces, mạng Nơron, SVM, Mô hình Markov ẩn,… Chương 3: Nhận dạng khuôn mặt sử dụng Eigenfaces mạng Nơron: Chương trình bày hệ thống phương pháp nhận dạng khuôn mặt thực đề tài Kết luận hướng phát triển Phụ lục Footer Page of 126 Header Page of 126 CHƯƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH SỐ 1.1 GIỚI THIỆU CHUNG VỀ XỬ LÝ ẢNH SỐ VÀ ỨNG DỤNG Xử lý ảnh ứng dụng rộng cần nhiều kiến thức sở khác Đầu tiên phải kể đến lĩnh vực xử lý tín hiệu số, kiến thức tảng cho xử lý tín hiệu chung, khái niệm tích chập, biến đổi Fourier, biến đổi Laplace, lọc hữu hạn, Thứ hai công cụ toán học Đại số tuyến tính xác suất thống kê Ngoài ra, kiến thức cần thiết khác Trí tuệ nhân tạo, Mạng Nơron nhân tạo, lý thuyết mờ, thường áp dụng trình phân tích ảnh nhận dạng ảnh 1.2 TỔNG QUAN VỀ CÁC KỸ THUẬT XỬ LÝ ẢNH SỐ Phân đoạn ảnh Biễu diễn mô tả Tiền xử lý ảnh Cơ sở tri thức Miền vấn đề Nhận dạng nội suy ảnh Thu nhận ảnh Hình 1.1: Các bước xử lý ảnh số Footer Page of 126 Kết luận Header Page of 126 1.3 XỬ LÝ MỨC THẤP 1.3.1 Thu nhận ảnh 1.3.2 Tiền xử lý ảnh 1.4 XỬ LÝ MỨC TRUNG 1.4.1 Phân đoạn ảnh 1.4.2 Biễu diễn ảnh 1.5 XỬ LÝ MỨC CAO 1.6 CƠ SỞ TRI THỨC 1.7 CÁC KHÔNG GIAN MÀU VÀ ẢNH MÀU 1.7.1 Ảnh màu xử lý ảnh số 1.7.2 Không gian màu RGB 1.7.3 Không gian màu HSV 1.7.4 Không gian màu CIE 1.8 XỬ LÝ HÌNH THÁI HỌC TRÊN ẢNH NHỊ PHÂN 1.8.1 Khái nhiệm 1.8.2 Phép co giãn ảnh nhị phân 1.8.3 Phép đóng mở ảnh nhị phân Footer Page of 126 Header Page of 126 CHƯƠNG 2: CÁC PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT 2.1 EIGENFACES Eigenface phương pháp áp dụng trực tiếp phép phân tích thành phần PCA, áp dụng nhiều vào biễu diễn, phát nhận dạng mặt Ưu điểm phương pháp biểu diễn toàn ảnh có độ nén tốt (loại bỏ nhiễu dư thừa) 2.1.1 Các gian đoạn eigenfaces a Giai đoạn khởi tạo b Giai đoạn nhận dạng 2.1.2 Tính toán Eigenface 2.1.3 Sử dụng Eigenface để phân lớp 2.1.4 Kết luận nhận dạng Eigenface 2.2 MẠNG NƠRON Mạng nơron nhân tạo, Artificial Neural Network (ANN) gọi tắt mạng nơron, mô hình xử lý thông tin theo cách thức xử lý thông tin hệ nơron sinh học Nó tạo lên từ số lượng lớn phần tử (gọi phần tử xử lý hay nơron) kết nối với thông qua liên kết (gọi trọng số liên kết) làm việc thể thống để giải vấn đề cụ thể Một mạng nơron nhân tạo cấu hình cho ứng dụng cụ thể (nhận dạng mẫu, phân loại liệu, ) thông qua trình Footer Page of 126 Header Page 10 of 126 học từ tập mẫu huấn luyện Về chất học trình hiệu chỉnh trọng số liên kết nơron 2.2.1 Giới thiệu mạng Nơron nhân tạo 2.2.2 Mô hình mạng Nơron a Các kiểu mô hình mạng Nơron Tự kết hợp Kết hợp khác kiểu Kiến trúc truyền thẳng b Perceptron c Mạng học Học có giám sát Học tăng cường Học không giám sát d Hàm mục tiêu e Hàm sigmoid f Mạng nhiều tầng truyển thẳng 2.3 MÔ HÌNH MARKOV ẨN Andrei A Markov (1895-1922) đưa mô hình dùng để mô hình hoá chuỗi kiện mà xác suất kiện thời điểm có liên quan đến xuất kiện thời điểm trước Mô hình gọi chuỗi Markov Footer Page 10 of 126 Header Page 12 of 126 10 CHƯƠNG 3: NHẬN DẠNG KHUÔN MẶT BẰNG EIGENFACE 3.1 HỆ THỐNG NHẬN DẠNG KHUÔN MẶT Ảnh tĩnh Tiền xử lý Trích rút đặc trưng Nhận dạng khuôn mặt Hình 3.1: Hệ thống nhận dạng khuôn mặt ản 3.1.1 Tiền xử lý Quá trình tiền xử lý khuôn mặt nhằm nâng cao chất lượng ảnh, chuẩn hóa liệu, kích thước ảnh Các ảnh nghiên cứu có chất lượng tương đối tốt nên ta không cần dùng thuật toán nâng cao chất lượng ảnh mà ta cần chuẩn hóa ảnh (Normalize Image) Việc chuẩn hóa khiến độ lệch điểm ảnh giảm xuống làm trình rút đặc trưng thêm xác 3.1.2 Trích rút đặc trưng Trích rút đặc trưng kỹ thuật sử dụng thuật toán để lấy thông tin mang đặc điểm riêng biệt người Các khâu trình trích chọn đặc trưng: Footer Page 12 of 126 Header Page 13 of 126 11 - Đầu vào: Ảnh chuẩn hóa - Đầu ra: vector đặc trưng ảnh đầu vào Quá trình trích rút đặc trưng thể qua lưu đồ sau: Tập ảnh học Chuẩn hóa ma trận ảnh Trunh bình ảnh Khối trích chọn đặc trưng Ma trận ảnh so với ảnh trung bình Tính Eigenfaces Eigenfaces Ảnh đầu Chiếu lên không gian Eigenfaces Vector đặc trưng Hình 3.2: Sơ đồ khối trích chọn đặc trưng sử dụng Eigenfaces a Tính toán Eigenfaces Mô hình xây dựng kiểm nghiệm liệu Faces94 Bộ liệu lựa chọn có người, người 20 ảnh Các ảnh học xếp vào thư mục có đánh số thứ tự Ảnh có kích thước 180x200 pixel, xanh Footer Page 13 of 126 Header Page 14 of 126 12 Hình 3.3: Dữ liệu ảnh đầu vào - Chuẩn hóa ma trận ảnh Chuẩn hóa vector khâu cần thực sử dụng thuật toán PCA Sự phân bố vector không gian thể qua trung bình (mean) chuẩn (standard) vector Cho vector , trung bình chuẩn vector X tính sau: (3.1) (3.2) Theo từ ảnh Footer Page 14 of 126 ban dầu, ta có trung bình chuẩn Header Page 15 of 126 13 Phép chuẩn hóa ma trận ảnh thực theo công thức sau: (3.3) Kết trình chuẩn hóa thể sau: Ảnh đầu vào Ảnh sau chuẩn hóa Hình 3.4: Chuẩn hóa ảnh - Tính trung bình tập ảnh đầu vào Bước cho ta xác định gốc tọa độ không gian vector biễu diễn ảnh Ảnh trung bình tính trung bình cộng tất ảnh Ảnh trung bình thể điểm giống tất khuôn mặt Gọi số ảnh học , ảnh có kích thước (3.4) Trung bình Footer Page 15 of 126 ảnh tính theo công thức: Header Page 16 of 126 14 Kết thực liệu: Hình 3.5 Trung bình ảnh tập liệu học - Eigenface: Theo lý thuyết, eigenface vector riêng u ứng với giá trị riêng có giá trị lớn ma trận covariance: (3.11) Để tính nhanh eigenface này, người ta chuyển sang tính toán với ma trận Ma trận C có kích thước N2xN2, vấn đề tìm vector riêng ma trận C khó thực kích thước lớn Để tìm vector riêng Giả sử C ta thực sau: vector riêng ma trận Footer Page 16 of 126 , tức là: Header Page 17 of 126 15 Nhân vế với ma trận ta vector riêng C Bây ta cần tim vector riêng ma trận có kích thước , ma trận vector riêng tìm Lúc đó, vector riêng Giả sử ma trận C cần tìm là: Theo công thức (3.12), 80 giá trị riêng cần tìm thể 80 eigenface tương ứng với 80 giá trị riêng thể hình 3.6: Hình 3.6: Eigenface tìm b Quá trình trích rút đặc trưng 3.1.3 Nhận dạng khuôn mặt Footer Page 17 of 126 Header Page 18 of 126 16 3.2 NHẬN DẠNG KHUÔN MẶT BẰNG MẠNG NƠRON 3.2.1 Cấu hình mạng Ta khởi tạo mạng Nơron ban đầu với thông số sau: Đầu vào mạng vector đặc trưng trích rút phương pháp Eigenfaces, 80 nơron đầu vào, 25 nơron lớp ẩn, nơron lớp đầu ra, dụng hàm truyền log-sig nơron hai lớp mạng, chọn tốc độ học lr = 0.01, dùng phương pháp độ dốc gradient để tính lỗi, chọn giá trị lỗi mse = 1e-10 Ngoài trọng số hệ số phân cực khởi tạo ngẫu nghiên trước huấn luyện mạng 3.2.2 Quá trình huấn luyện mạng Mạng Nơron huấn luyện mạng Nơron truyền thẳng, sử dụng thuật toán loan truyền ngược 3.3 KẾT QUẢ VÀ PHÂN TÍCH 3.3.1 Cơ sở liệu Cơ sở liệu cho tài toán lấy từ tập ảnh Faces94 Tập liệu gồm có 3060 ảnh 153 người, người có 20 ảnh khác Các ảnh chụp từ khoản cách cố định, đối tượng chụp mẫu nói chuyện suốt trình chụp Ảnh liệu có kích thước 180x200, xanh Dữ liệu ta chọn để huấn luyện kiểm tra sau: - Chọn tập liệu gồm: Tập (80 ảnh), Tập (160 ảnh), Tập (320 ảnh), Tập (400 ảnh) - Trong tập, người chọn 20 ảnh khác 16 Ảnh đưa vào huấn luyện ảnh đưa vào tập kiểm tra Footer Page 18 of 126 Header Page 19 of 126 17 3.3.2 Giao diện chương trình Hình 3.8: Giao diện chương trình Chương trình gồm phần - Phần Data: Tùy chỉnh thư mục chứa liệu Train thư mục chứa liệu Test - Phần Neural Network: Huấn luyện mạng Nơron - Phần Face Recognition: Nhận dạng mặt sử dụng mạng Nơron vừa huấn luyện a.Tạo tập liệu mẫu Ta chọn đường dẫn đến thư mục dữa liệu (ảnh) để học thư mục chứa liệu kiểm tra Nhấn “Make Sample Data” để tạo liệu mẫu Footer Page 19 of 126 Header Page 20 of 126 18 Hình 3.9: Chọn đường dẫn đến tập liệu mẫu Lúc này, chương trình chuẩn hóa ảnh đầu vào, tính toán eigenface, trích rút đặc trưng lưu vector đặc trưng vào file z_vectors.txt Các vector đặc trưng đưa vào mạng Nơron để huấn luyện b Huấn luyện mạng Nơron Chọn số nơron lớp ẩn nhấn vào “Training Network” để bắt đầu huấn luyện mạng Nơron Hình 3.10: Chọn số nơron lớp ẩn Mạng Nơron huấn luyện gồm 80 vector đầu vào, 25 nơron lớp ẩn, lớp đầu Footer Page 20 of 126 Header Page 21 of 126 19 Hình 3.11: Thông tin mạng Nơron vừa huấn luyện Mạng có kết đầu thực tế với đầu mong muốn, hiệu suất đạt 100% Footer Page 21 of 126 Header Page 22 of 126 20 Hình 3.12: Kết huấn luyện mạng Tập 80 ảnh / người b Nhận dạng khuôn mặt Hình 3.13: Chọn ảnh để nhận dạng Chương trình xử lý trả kết có nhận dạng người hay không nhận dạng Footer Page 22 of 126 Header Page 23 of 126 21 Hình 3.14: Nhận dạng ảnh đầu vào Hình 3.15: Không nhận dạng ảnh đầu vào 3.3.3 Kết thực nghiệm Bảng 3.1: Hiệu suất nhận dạng thay đổi số nơron lớp ẩn Số Nơron 10 15 20 25 30 35 lớp ẩn Hiệu suất 98.39 99.37 99.81 99.83 99.90 99.82 99.81 (%) Footer Page 23 of 126 Header Page 24 of 126 22 Số liệu Bảng 3.1 lấy từ thực nghiệm Tập (160 ảnh) liệu, ta thấy số nơron lớp ẩn 25 cho hiệu suất nhận dạng cao Khi liệu đầu vào không đổi, số nơron lớp ẩn nhiều gây ta khó khăn cho việc học mạng (cấu trúc phức tạp, liệu ít, ) làm cho tỉ lệ nhận dạng thấp Ta chọn số nơron lớp ẩn theo phương pháp thực nghiệm, toán khác có số nơron lớp ẩn khác cho hiệu suất nhận dạng cao Theo kết ta chọn số nơron lớp ẩn 25 cho lần học mạng Nơron Mỗi lần huấn luyện mạng Nơron trọng số khởi tạo ngẫu nhiên, nên cho kết khác lần huấn luyện Với tập liệu, ta cho huấn luyện nhiều lần lấy kết trung bình kết huấn luyện cao để đưa vào Bảng 3.2 Bảng 3.2: Hiệu suất nhận dạng mạng Nơron Tập liệu kiểm Hiệu suất (%) tra Trung bình Lớn Tập 99.99 100 Tập 99.94 100 Tập 99.21 100 Tập 98.89 100 Bảng 3.3: Hiệu suất nhận dạng phương pháp khác Phương pháp Hiệu suất nhận dạng (%) Waveletface+k – NN Curveletface+k – NN Discriminant Waveletface+k – NN Discriminant Waveletface – MLP Discriminant Waveletface – NFP Eigenface – NN Footer Page 24 of 126 94.5 95.5 95.5 93.9 96.9 98.9 Header Page 25 of 126 23 Kết thực từ liệu Faces94, Mỗi người chọn 20 ảnh, 12 ảnh huấn luyện ảnh kiểm tra Từ bảng ta thấy hiệu suất nhận dạng Eigeinface kết hợp với mạng Nơron cao hẳn phương pháp sóng Wavelet kết hợp với mạng Nơron Footer Page 25 of 126 Header Page 26 of 126 24 KẾT LUẬN Đề tài xây dựng hệ thống nhận dạng khuôn mặt dùng phương pháp Eigenfaces kết hợp với mạng Nơron, phương pháp có hiệu suất nhận dạng cao ổn định hẳn phương pháp sóng Wavelet Một ưu điểm thấy qua kết dù lượng thông tin vào mạng kết nhận dạng cao Để thu kết nhận dạng với độ xác cao cần tối ưu cấu trúc thông số mạng, điều đòi hỏi thời gian thử nghiệm huấn luyện mạng lâu hõn Mạng Nơron mạng có tính linh hoạt nên ta áp dụng không cho nhận dạng khuôn mặt, mà ứng dụng cho nhận dạng vân tay, điệu Đây ưu mạng Nơron mà thuật toán khác khó có Tuy nhiên kết nhận dạng ta thu nằm điều kiện cụ thể Việc ứng dụng hệ thống vào thực tế gặp vấn đề thách thức thông số môi trường, chất lượng ảnh thu Đây hướng phát triển đề tài để đưa hệ thống vào ứng dụng thực tế quản lý nhân viên, quản lý an ninh, kiểm soát vào Footer Page 26 of 126 ... đặc trứng Eigenfaces - Nghiên cứu phương pháp nhận dạng mạng Nơron - Áp dụng thành công phương pháp vào việc nhận dạng khuôn mặt Nhiệm vụ đề tài: - Nghiên cứu tổng quan nhận dạng khuôn mặt - Nghiên... Một toàn nhận dạng người quan tâm nhận dạng qua khuôn mặt Có hai phương pháp nhận dạng phổ biến nhận dạng dựa đặc trưng phần tử khuôn mặt biển đổi Sóng Wavelet (Gabor Wavelet) Mạng Nơron (Neural... cứu phương pháp nhận dạng mạng Nơron, Eigenfaces - Áp dụng phương pháp vào thực tế việc nhận dạng khuôn mặt Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu bao gồm: - Lý thuyết nhận dạng khuôn