HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG CƠ SỞ TẠI THÀNH PHỐ HỒ CHÍ MINH BÀI TIỂU LUẬN Môn Xử lý ảnh ĐỀ TÀI NHẬN DIỆN KHUÔN MẶT Giảng viên Lê Thái Hoàng I GIỚI THIỆU NHẬN DẠNG KHUÔN MẶT Nhận dạng khuôn[.]
HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG CƠ SỞ TẠI THÀNH PHỐ HỒ CHÍ MINH BÀI TIỂU LUẬN Mơn: Xử lý ảnh ĐỀ TÀI: NHẬN DIỆN KHUÔN MẶT Giảng viên: Lê Thái Hồng GIỚI THIỆU NHẬN DẠNG KHN MẶT Nhận dạng khuôn mặt (Face Recognition) phương pháp sinh trắc để xác định xác minh cá nhân cách so sánh liệu hình ảnh chụp trực tiếp hình ảnh kỹ thuật số với ghi lưu trữ cho người đó.Nó xem lĩnh vực nghiên cứu ngành Biometrics (tương tự nhận dạng vân tay – Fingerprint Recognition, hay nhận dạng mống mắt – Iris Recognition) Xét ngun tắc chung, nhận dạng khn mặt có tương đồng lớn với nhận dạng vân tay nhận dạng mống mắt, nhiên khác biệt nằm bước trích chọn đặc trưng (feature extraction) lĩnh vực Trong nhận dạng vân tay mống mắt đạt tới độ chín, tức áp dụng thực tế cách rộng rãi nhận dạng khn mặt người cịn nhiều thách thức lĩnh vực nghiên cứu thú vị với nhiều người.So với nhận dạng vân tay mống mắt, nhận dạng khn mặt có nguồn liệu phong phú (chúng ta nhìn thấy mặt người ảnh, video clip liên quan tới người mạng) địi hỏi tương tác có kiểm sốt (để thực nhận dạng vân tay hay mống mắt, liệu input lấy từ người địi hỏi có hợp tác mơi trường có kiểm sốt) Các hệ thống nhận dạng khn mặt thường sử dụng cho mục đích an ninh kiểm sốt an ninh tịa nhà, sân bay, máy ATM, tra cứu thông tin tội phạm, phát tội phạm nơi công cộng, ngày ứng dụng rộng rãi sống Bên cạnh thành cơng ghi nhận nhận dạng khn mặt cịn gặp nhiều khó khăn độ sáng, hướng nghiêng, kích thước hình ảnh, diện mạo, biểu cảm xúc khuôn mặt hay ảnh hưởng tham số môi trường Để xây dựng hệ thống nhận dạng khn mặt có đầu vào hệ thống hình ảnh kỹ thuật số hay khung hình video từ nguồn video Đầu xác định xác minh người hình video Hướng tới mục tiêu thường chia thủ tục nhận dạng khn mặt gồm ba bước: Phát khn mặt, trích rút đặc trưng nhận dạng khn mặt I Hình 1.1.Hệ thống nhận dạng khuôn mặt Phát khuôn mặt (Face Detection): Chức bước phát khn mặt xem có xuất hình hay đoạn video hay khơng? Tỷ lệ phát khuôn mặt phụ thuộc nhiều vào điều kiện độ sáng, hướng khuôn mặt, biểu cảm xúc khuôn mặt hay yếu tố môi trường khác Để hệ thống nhận dạng hoạt động đạt hiệu cao hình ảnh khn mặt sau phát cần chuẩn hóa kích thước, ánh sáng Trích rút đặc trưng (Feature Extraction): Sau phát khuôn mặt ảnh, tiến hành trích rút đặc trưng khn mặt Bước trích xuất vector đặc trưng đại diện cho khn mặt Nó phải đảm bảo tính khn mặt Nhận dạng khn mặt (Face Recognition): Với hình ảnh đầu vào sau phát khn mặt, trích rút đặc trưng khuôn mặt đem so sánh đặc trưng với sở liệu khn mặt Bài tốn nhận dạng khuôn mặt ứng dụng nhiều lĩnh vực đời sống đặc biệt lĩnh vực công nghệ cao, yêu cầu an ninh, bảo mật Do để hệ thống nhận dạng khn mặt hoạt động mạnh mẽ với tốc độ độ tin cậy có nhiều phương pháp nhận dạng khn mặt đưa Các phương pháp phân loại theo tiêu chí khác nhận dạng với liệu ảnh đầu vào ảnh tĩnh 2D (Elastic Bunch Graph, Active Appearance Model) Phương pháp phổ biến tương lai 3D (3D Morphable Model) Tuy nhiên thực tế người ta hay chia phương pháp nhận dạng khuôn mặt thành loại: - Nhận dạng dựa đặc trưng phần tử khuôn mặt (Feature Base Face Recognition) o Đây phương pháp nhận dạng khuôn mặt dựa việc xác định đặc trưng hình học chi tiết khuôn mặt vị trí, diện tích, khoảng cách mắt, mũi, miệng, ….và mối quan hệ chúng ví dụ khoảng cách hai mắt Ưu điểm phương pháp gần với cách mà người sử dụng để nhận biết khuôn mặt Hơn với việc xác định đặc tính mối quan hệ, phương pháp cho kết tốt điều kiện khơng có kiểm soát Nhược điểm phương pháp cài đặt thuật toán phức tạp việc xác định mối quan hệ đặc tính, địi hỏi thuật toán phức tạp phương pháp hoạt động khơng hiệu kích thước hình ảnh nhỏ khó phân biệt đặc tính - Nhận dạng dựa xét tổng thể tồn khn mặt (Appearance Based Face Recognition) o Nội dung hướng tiếp cận xem ảnh có kích thước R x C vector khơng gian có R x C chiều Ta xây dựng không gian có chiều nhỏ cho biểu diễn khơng gian đặc điểm khn mặt khơng bị Trong khơng gian ảnh người tập trung lại thành nhóm gần cách xa so với nhóm khác Hai phương pháp thường sử dụng hướng tiếp cận là: • PCA (Principle Components Analysis) • LDA (Linear Discriminant Analysis) II KỸ THUẬT NHẬN DẠNG KHN MẶT Phát khn mặt Nhận diện khn mặt thực cách sử dụng phân loại Bộ phân loại thuật tốn định xem hình ảnh cho tích cực (khn mặt) hay tiêu cực (khơng phải khn mặt) Trong tiểu luận trình bày phân loại Haar Classifier Bộ phân loại thác dựa tính Haar Các tính giống Haar tính hình ảnh kỹ thuật số sử dụng nhận dạng đối tượng Chúng có tên gọi tương đồng trực quan với wavelet Haar sử dụng máy dị khn mặt thời gian thực Paul Viola Michael Jones báo họ có tiêu đề "Phát đối tượng nhanh chóng cách sử dụng tầng tăng cường tính đơn giản" sử dụng ý tưởng phân loại tính Haar dựa wavelets Haar Bộ phân loại sử dụng rộng rãi cho nhiệm vụ phát khuôn mặt ngành thị giác máy tính Bộ phân loại tầng Haar sử dụng phương pháp học máy để phát đối tượng trực quan có khả xử lý hình ảnh nhanh chóng đạt tỷ lệ phát cao Điều ba lý : Bộ phân loại Haar sử dụng khái niệm 'Hình ảnh tích hợp' cho phép tính sử dụng máy dị tính tốn nhanh chóng - Thuật tốn học tập dựa AdaBoost Nó chọn số nhỏ tính quan trọng từ tập hợp lớn đưa phân loại hiệu cao - Các phân loại phức tạp kết hợp để tạo thành ' thác ' loại bỏ vùng khn mặt hình ảnh, chi tiêu nhiều tính tốn vùng giống đối tượng đầy hứa hẹn - a Trích xuất 'tính Haar' Sau lượng liệu huấn luyện khổng lồ (dưới dạng hình ảnh) đưa vào hệ thống, phân loại bắt đầu cách trích xuất đặc trưng Haar từ hình ảnh Tính Haar loại nhân chập, chủ yếu phát xem tính phù hợp có xuất hình ảnh hay khơng Một số ví dụ tính Haar đề cập đây: Các Tính Haar giống cửa sổ đặt hình ảnh để tính tốn tính Đối tượng địa lý giá trị thu cách trừ tổng số pixel vùng màu trắng vùng màu đen Q trình dễ dàng hình dung ví dụ Đặc điểm dựa vào điểm vùng mắt đậm vùng má mũi lân cận Đặc điểm thứ hai tập trung vào thực tế mắt tối so với sống mũi Do đó, cửa sổ tính di chuyển qua mắt, tính tốn giá trị Giá trị sau so sánh với số ngưỡng vượt qua ngưỡng đó, kết luận có lợi số tính tích cực b Khái niệm 'Hình ảnh tích hợp' Thuật tốn Viola Jones đề xuất sử dụng kích thước cửa sổ sở 24X24 điều dẫn đến 180.000 tính tính tốn cửa sổ Hãy tưởng tượng tính tốn khác biệt pixel cho tất tính năng? Giải pháp nghĩ cho trình tính tốn chun sâu đến khái niệm Hình ảnh Tích hợp Hình ảnh tích hợp có nghĩa để tìm tổng tất pixel hình chữ nhật nào, cần bốn giá trị góc Điều có nghĩa là, để tính tổng pixel cửa sổ tính nào, khơng cần phải tính tổng chúng riêng lẻ Tất cần tính tốn hình ảnh tích hợp cách sử dụng giá trị góc Ví dụ làm cho trình trở nên minh bạch c 'Adaboost': để cải thiện độ xác trình phân loại Như trên, 180.000 giá trị tính dẫn đến cửa sổ 24X24 Tuy nhiên, khơng phải tất tính điều hữu ích để nhận dạng khn mặt Để chọn tính tốt số tồn phần, thuật tốn học máy có tên Adaboost sử dụng Về bản, chọn tính giúp cải thiện độ xác phân loại Nó làm cách xây dựng phân loại mạnh kết hợp tuyến tính số phân loại yếu Điều làm giảm đáng kể số lượng tính từ khoảng 180.000 xuống khoảng 6000 tính d Sử dụng 'Cascade of Classifier' Một cách khác mà Viola Jones đảm bảo thuật toán hoạt động nhanh chóng sử dụng loạt phân loại Bộ phân loại tầng bao gồm giai đoạn giai đoạn bao gồm trình phân loại mạnh Điều có lợi loại bỏ cần thiết phải áp dụng tất tính lúc cửa sổ Thay vào đó, nhóm tính thành cửa sổ riêng biệt phân loại giai đoạn xác định xem cửa sổ có phải khn mặt hay khơng Trong trường hợp không, cửa sổ phụ bị loại bỏ với tính cửa sổ Nếu cửa sổ phụ di chuyển qua phân loại, tiếp tục đến giai đoạn tiếp theo, nơi áp dụng giai đoạn thứ hai tính Quá trình hiểu với trợ giúp sơ đồ Tiền xử lý Quá trình giúp nâng cao chất lượng hình ảnh, chuẩn hóa mặt liệu, kích thước hình ảnh Giúp cho việc trích rút đặc trưng xác Rút trích đặc trưng Trích rút đặc trưng kỹ thuật sử dụng thuật toán để lấy thông tin mang đặc điểm riêng biệt người Principle Components Analysis - PCA thuật tốn sử dụng để tạo hình ảnh từ hình ban đầu Ảnh có kích thước nhỏ nhiều so với ảnh ban đầu mang đặc trưng ảnh cần nhận dạng Về chất, PCA tìm không gian theo hướng biến thiên mạnh tập hợp vector không gian cho trước Trong không gian người ta hy vọng việc phân loại mang lại kết tốt so với khơng gian ban đầu a Thuật tốn PCA Không gian tạo tạo PCA cấu thành từ K vector đơn vị có chiều N Mỗi vector gọi Eigenfaces Phép biến đổi: Theo công thức: W = T.A Với T ma trận chuyển đổi, T có kích thước K x N Gọi M số ảnh đầu vào, ảnh chuyển thành vector N chiều Ta có tập hợp đầu vào X = {x1, x2, x3, …., xM} Trung bình vector đầu vào theo cơng thức: Tính sai lệch ảnh đầu vào so với trung bình: Tính ma trận hiệp phương sai C: C cho kích thước N x N Trong đó: A = [Φ1,Φ2, Φ3, … , ΦM] A có kích thước N x M Gọi giá trị riêng C 𝜆1, 𝜆2, … , 𝜆𝑁 xếp theo thứ tự giảm dần, tương ứng với N vector riêng u1,u2, , uN Các vector riêng trực giao đôi Mỗi vector riêng ui gọi eigenface Tập hợp vector ban đầu biểu diễn không gian tạo N eigenface theo mô tả: Chọn lấy K vector riêng u tương ứng với K giá trị riêng λ lớn Vector hệ số khai triển [w1,w2,…,wK] biểu diễn ảnh tạo không gian PCA Ảnh giữ đặc điểm so với ảnh đầu vào Vector [w1,w2,…,wK] tính theo cơng thức Vấn đề cần giải ma trận C = A.AT có kích thước N2 Lấy ví dụ ảnh có kích thước 100 x 100 N = 100 x 100 = 104 Khối lượng tính tốn lớn, u cầu hệ thống xử lý mạnh mẽ không phù hợp với tốn thời gian thực Do để tính eigenfaces mà khơng cần tính ma trận C, người ta đưa phương pháp tính nhanh dựa vào vector riêng (eigenvector) giá trị riêng (eigenvalue) ma trận L = AT A có kích thước M x M với M số ảnh đầu vào Ta chứng minh sau: Gọi 𝜐𝑖 , 𝜇𝑖 vector riêng giá trị riêng ma trận L: Nhân vế với A ta có: Ta thấy A.vi vector riêng C = A.AT ứng với giá trị riêng 𝜇𝑖 b Áp dụng PCA vào trích chọn vector đặc tính Mỗi ảnh khn mặt coi vector Nếu ảnh có kích thước w x h pixel khơng gian chứa vector có số chiều N = w x h Mỗi pixel mã hóa thành phần vector Khâu quan trọng tốn nhận dạng trích chọn vector đặc tính.Các bước để trích chọn vector đặc tính phục vụ cho việc nhận dạng: Bước 1: Tạo tập S gồm M ảnh (ảnh học) Mỗi ảnh có kích thước RxC Mỗi ảnh chuyển thành vector N = RxC chiều Biểu diễn ảnh Mi thành Γ𝑖 𝑆 = (Γ1, Γ2, … , Γ𝑀) Bước 2: Tính vector khn mặt trung bình theo cơng thức: Bước 3: Tính sai lệch ảnh đầu vào so với trung bình: Φ𝑖 = Γi − Ψ Bước 4: Tìm tập gồm M vector trực giao, u, biểu diễn chiều phân bố mạnh tập liệu S Tập vector u gọi eigenfaces tập liệu học Bước 5: Xây dựng ảnh vi theo M vector u Trong vi = 𝑢𝑖 𝑡 Φ𝑡 vector đặc tính ảnh thứ i không gian Ω tập eigenfaces, thành phần cho ảnh cần nhận dạng Nhận dạng khn mặt Sau trích chọn vector đặc tính, cần đối chiếu vector với sở liệu, từ đưa kết nhận dạng Để thực việc phân loại có nhiều phương pháp khoảng cách Euclid, Mahalandobis, mạng Noron, SVM, ….trong Euclid phương pháp đơn giản Nó cho kết tốt trường hợp đối tượng tạo thành nhóm cách xa Vector đặc tính đối tượng cần nhận dạng so sánh với vector đặc tính ảnh mẫu tập ảnh học Các khoảng cách ngắn lưu lại 𝜀𝑘 = ‖Ω − Ω𝑘‖ 𝑣ớ𝑖 𝑘 = 1, 2,3 … , 𝑀 Trong Ω𝑘 vector mặt thứ k sở liệu Nếu 𝜀𝑘 nhỏ ngưỡng xác định trước ảnh nhận dạng mặt thứ k sở liệu ... THUẬT NHẬN DẠNG KHUÔN MẶT Phát khuôn mặt Nhận diện khuôn mặt thực cách sử dụng phân loại Bộ phân loại thuật toán định xem hình ảnh cho tích cực (khn mặt) hay tiêu cực (không phải khuôn mặt) Trong... Extraction): Sau phát khuôn mặt ảnh, tiến hành trích rút đặc trưng khn mặt Bước trích xuất vector đặc trưng đại diện cho khuôn mặt Nó phải đảm bảo tính khuôn mặt Nhận dạng khuôn mặt (Face Recognition):... ta hay chia phương pháp nhận dạng khuôn mặt thành loại: - Nhận dạng dựa đặc trưng phần tử khuôn mặt (Feature Base Face Recognition) o Đây phương pháp nhận dạng khuôn mặt dựa việc xác định đặc