Báo cáo xử lý ảnh nhận diện khuon mặt 3d

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG CƠ SỞ TẠI THÀNH PHỐ HỒ CHÍ MINH XỬ LÝ ẢNH CHỦ ĐỀ: NHẬN DẠNG KHUÔN MẶT CHIỀU(3D Face Recognition) GIẢNG VIÊN HƯỚNG DẪN: LÊ HOÀNG THÁI SINH VIÊN THỰC HIỆN: PHAN ĐÌNH HỒNG LONG MÃ SỐ SINH VIÊN: N18DCCN112 LỚP: D18CQCN01-N I Đặt vấn đề: Thiết bị di động cung cấp cho ngày nhiều liệu cung cấp quyền truy cập vào loạt dịch vụ Người dùng cần hành động dễ dàng, đơn giản để mở khố điện thoại thơng minh họ Nhận diện vân tay áp dụng rộng rãi kể từ năm 2013, góp phần vào việc tổng quát hoá việc sử dụng sinh trắc học thực tiễn Tuy nhiên việc sử dụng sinh trắc học không đáp ứng tất mong đợi tiện lợi bảo mật đạt mức độ bảo mật cần thiết Để đạt mức độ bảo mật cần thiết, nhận dạng khuôn mặt cổ điển 2D yêu cầu người dùng thực thêm hành động khác điều khơng tương thích với trường hợp sử dụng để mở khóa điện thoại Nó tỏ hiệu môi trường ánh sáng yếu, thay đổi tư khuôn mặt hay gặp vật cản trình nhận diện khn mặt 2D Việc sử dụng nhận diện vân tay khơng đem lại độ bảo mật cần thiết nhận diện khuôn mặt 2D lại gặp số vấn đề điều kiện không thực phù hợp Vậy đâu cách giải vừa mang lại độ bảo mật cho thông tin, vừa thực cách dễ dàng nhanh chóng mà không gặp trở ngại trình thực Nhận dạng khn mặt chiều (3D Face Recogition) phương pháp nhận dạng sinh trắc học hiệu bắt đầu phổ biến thời gian gần II Giới thiệu nhận diện khuôn mặt nhận diện khuôn mặt 3D Nhận diện khuôn mặt: - Nhận dạng khuôn mặt (Face Recognition) phương pháp sinh trắc học để xác định xác minh cá nhân cách so sánh liệu hình ảnh chụp trực tiếp hình ảnh kỹ thuật số với ghi lưu trữ cho người đó.Nó xem lĩnh vực nghiên cứu ngành Biometrics (tương tự nhận dạng vân tay – Fingerprint Recognition, hay nhận dạng mống mắt – Iris Recognition) Xét nguyên tắc chung, nhận dạng khuôn mặt có tương đồng lớn với nhận dạng vân tay nhận dạng mống mắt, nhiên khác biệt nằm bước trích chọn đặt trưng (feature extraction) lĩnh vực Trong nhận dạng vân tay mống mắt đạt tới độ chín, tức áp dụng thực tế cách rộng rãi nhận dạng khn mặt người cịn nhiều thách thức lĩnh vực nghiên cứu thú vị với nhiều người.So với nhận dạng vân tay mống mắt, nhận dạng khn mặt có nguồn liệu phong phú (chúng ta nhìn thấy mặt người ảnh, video clip liên quan tới người mạng) địi hỏi tương tác có kiểm sốt (để thực nhận dạng vân tay hay mống mắt, liệu input lấy từ người địi hỏi có hợp tác mơi trường có kiểm sốt) - Các hệ thống nhận dạng khuôn mặt thường sử dụng cho mục đích an ninh kiểm sốt an ninh tòa nhà, sân bay, máy ATM, tra cứu thông tin tội phạm, phát tội phạm nơi công cộng, ngày ứng dụng rộng rãi sống - Bên cạnh thành công ghi nhận nhận dạng khn mặt cịn gặp nhiều khó khăn độ sáng, hướng nghiêng, kích thước hình ảnh, diện mạo, biểu cảm xúc khuôn mặt hay ảnh hưởng tham số môi trường Nhận diện khuôn mặt 3D: - Nhận dạng 3D xu hướng lên, tuyên bố cải thiện độ - - III xác nhận diện Kỹ thuật sử dụng cảm biến 3D để nắm bắt thơng tin hình dạng khn mặt Thơng tin sau sử dụng để xác định đặc điểm đặc biệt bề mặt khuôn mặt, chẳng hạn đường viền hốc mắt, mũi cằm Thành công số phương pháp nhận dạng khn mặt chiều TrueDepth áp dụng dòng điện thoại iPhone X hãng Apple, hệ thống tới coi hoàn hảo phương pháp nhận dạng khuôn mặt Lợi kỹ thuật không bị ảnh hưởng thay đổi ánh sáng kỹ thuật khác Nhận dạng khuôn mặt 3D xác định khn mặt từ góc nhìn khác nhau, có góc nhìn nghiêng Các đặc điểm liệu ba chiều khn mặt góp phần cải thiện lớn độ xác cho nhận dạng khuôn mặt Việc nghiên cứu kỹ thuật 3D tăng cường phát triển cảm biến tinh vi giúp nắm bắt hình ảnh chụp khuôn mặt 3D tốt Các cảm biến hoạt động cách chiếu ánh sáng có cấu trúc lên gương mặt Hàng chục nhiều cảm biến hình ảnh đặt lên chip CMOS-mỗi cảm biến thu phần khác hình ảnh Bài tốn nhận diện khuôn mặt Để xây dựng hệ thống nhận dạng khn mặt có đầu vào hệ thống hình ảnh kỹ thuật số hay khung hình video từ nguồn video Đầu xác định xác minh người hình video Hướng tới mục tiêu thường chia thủ tục nhận dạng khuôn mặt gồm ba bước: Phát khn mặt, rút trích đặc trưng nhận dạng khuôn mặt Các bước tiến hành nhận dạng khuôn mặt: - Phát khuôn mặt (Face Detection): Chức bước phát khn mặt xem có xuất hình hay đoạn video hay khơng? Tỉ lệ phát khuôn mặt phụ thuộc nhiều vào điều kiện độ sáng, hướng khuôn mặt, biểu cảm xúc khuôn mặt hay yếu tố môi trường khác Để hệ thống nhận dạng hoạt động đạt hiệu cao hình ảnh khn mặt sau phát cần chuẩn hóa kích thước, ánh sáng - Trích rút đặc trưng (Feature Extraction): Sau phát khuôn mặt ảnh, tiến hành trích rút đặc trưng khn mặt Bước trích xuất vector đặc trưng đại diện cho khn mặt Nó phải đảm bảo tính khn mặt - Nhận dạng khn mặt (Face Recognition): Với hình ảnh đầu vào sau phát khn mặt, trích rút đặc trưng khuôn mặt đem so sánh đặc trưng với sở liệu khuôn mặt - Bài tốn nhận dạng khn mặt ứng dụng nhiều lĩnh vực đời sống đặc biệt lĩnh vực công nghệ cao, yêu cầu an ninh, bảo mật Do để hệ thống nhận dạng khn mặt hoạt động mạnh mẽ với tốc độ độ tin cậy có nhiều phương pháp nhận dạng khuôn mặt đưa Các phương pháp phân loại theo tiêu chí khác nhận dạng với liệu ảnh đầu vào ảnh tĩnh 2D (Elastic Bunch Graph, Active Appearance Model) Phương pháp phổ biến tương lai 3D (3D Morphable Model) Tuy nhiên thực tế người ta hay chia phương pháp nhận dạng khuôn mặt thành loại: - Nhận dạng dựa đặc trưng phần tử khuôn mặt (Feature Base Face Recognition) - Nhận dạng dựa xét tổng thể tồn khn mặt (Appearance Based Face Recognition) Nhận dạng dựa xét tồn khn mặt - Nội dụng hướng tiếp cận xem ảnh có kích thước R x C vector khơng gian có R x C chiều Ta xây dựng khơng gian có chiều nhỏ cho biểu diễn khơng gian đặc điểm khn mặt khơng bị Trong khơng gian ảnh người tập trung lại thành nhóm gần cách xa so với nhóm khác - Hai phương pháp thường sử dụng hướng tiếp cận là: + PCA (Principle Components Analysis) + LDA (Linear Discriminant Analysis) NHẬN DẠNG KHUÔN MẶT a Tiền xử lý: Quá trình giúp nâng cao chất lượng hình ảnh, chuẩn hóa mặt liệu, kích thước hình ảnh Giúp cho việc trích rút đặc trưng xác b Rút trích đặc trưng: Rút trích đặc trưng kỹ thuật sử dụng thuật toán để lấy thông tin mang đặc điểm riêng biệt người Principle Components Analysis - PCA thuật tốn sử dụng để tạo hình ảnh từ hình ban đầu Ảnh có kích thước nhỏ nhiều so với ảnh ban đầu mang đặc trưng ảnh cần nhận dạng Về chất, PCA tìm không gian theo hướng biến thiên mạnh tập hợp vector không gian cho trước Trong không gian người ta hy vọng việc phân loại mang lại kết tốt so với khơng gian ban đầu • Thuật tốn PCA - Khơng gian tạo tạo PCA cấu thành từ K vector - đơn vị có chiều N Mỗi vector gọi Eigenfaces Phép biến đổi: - Theo công thức: W = T.A - Với T ma trận chuyển đổi, T có kích thước K x N - Gọi M số ảnh đầu vào, ảnh chuyển thành vector N chiều Ta có tập - hợp đầu vào X = {x1, x2, x3, , xM} Trung bình vector đầu vào theo cơng thức: Tính sai lệch ảnh đầu vào so với trung bình: Tính ma trận hiệp phương sai C: C cho kích thước N x N Trong đó: A = [Φ1, Φ2, Φ3, , ΦM] A có kích thước N x M Gọi giá trị riêng C λ1, λ2, , λ xếp theo thứ tự giảm dần, tương ứng với N vector riêng u1,u2, , uN Các vector riêng trực giao đôi Mỗi vector riêng ui gọi eigenface Tập hợp vector ban đầu biểu diễn không gian tạo N eigenface theo mô tả: Chọn lấy K vector riêng u tương ứng với K giá trị riêng λ lớn nhất: - Vector hệ số khai triển [w1,w2, ,wK] biểu diễn ảnh tạo không gian PCA Ảnh giữ đặc điểm so với ảnh đầu vào Vector [w1,w2, ,wK] tính theo cơng thức - Vấn đề cần giải ma trận C = A.AT có kích thước N2 Lấy ví dụ ảnh có kích thước 100 x 100 N = 100 x 100 = 104 Khối lượng tính tốn lớn, u cầu hệ thống xử lý mạnh mẽ không phù hợp với tốn thời gian thực - Do để tính eigenfaces mà khơng cần tính ma trận C, người ta đưa phương pháp tính nhanh dựa vào vector riêng (eigenvector) giá trị riêng (eigenvalue) ma trận L = AT.A có kích thước M x M với M số ảnh đầu vào Ta chứng minh sau: Gọi υi, i vector riêng giá trị riêng ma trận L: Nhân vế với A ta có: - Ta thấy A.vi vector riêng C = A.AT ứng với giá trị riêng i • Áp dụng PCA vào trích chọn vector đặc tính - Mỗi ảnh khuôn mặt coi vector Nếu ảnh có kích thước wx h pixel khơng gian chứa vector có số chiều N = w x h Mỗi pixel mã hóa thành phần vector - Khâu quan trọng tốn nhận dạng trích chọn vector đặc tính - Các bước để trích chọn vector đặc tính phục vụ cho việc nhận dạng: Bước 1: Tạo tập S gồm M ảnh (ảnh học) Mỗi ảnh có kích thước RxC Mỗi ảnh chuyển thành vector N = RxC chiều Biểu diễn ảnh Mi thành Γi Bước 2: Tính vector khn mặt trung bình theo cơng thức: Bước 3: Tính sai lệch ảnh đầu vào so với trung bình: Bước 4: Tìm tập gồm M vector trực giao, u, biểu diễn chiều phân bố mạnh tập liệu S Tập vector u gọi eigenfaces tập liệu học Bước 5: Xây dựng ảnh vi theo M vector u - Trong vi = uit.Φt vector đặc tính ảnh thứ i không gian Ω tập eigenfaces, thành phần cho ảnh cần nhận dạng c Thuật tốn Kernel Nhận dạng khn mặt: Sau trích chọn vector đặc tính, cần đối chiếu vector với sở liệu, từ đưa kết nhận dạng Để thực việc phân loại có nhiều phương pháp khoảng cách Euclid, Mahalandobis, mạng Noron, SVM, Euclid phương pháp đơn giản Nó cho kết tốt trường hợp đối tượng tạo thành nhóm cách xa Vector đặc tính đối tượng cần nhận dạng so sánh với vector đặc tính ảnh mẫu tập ảnh học Các khoảng cách ngắn lưu lại - Trong Ωk vector mặt thứ k sở liệu Nếu εk nhỏ threshold xác định trước ảnh nhận dạng mặt thứ k sở liệu Đánh giá thuật tốn: Nhìn chung thuật tốn mang lại vơ hiệu áp dụng vô thành công vào thực tiễn Tác động nhận diện khuôn mặt đến mảng • • • • • • • Công nghệ hàng đầu Tác động đến trình học tập Những động thái thị trường bước chiếm ưu ngành Mạng lưới nhận diện người dùng Công nghệ nhận diện khuôn mặt hệ thống pháp luật Chương trình ngăn chặn nhận diện khn mặt Hướng đến giải pháp kết hợp Ứng dụng khác nhận dạng khn mặt chiều • Xác thực danh tính ATM • • • • • • Phục vụ nhu cầu bảo mật Mở khóa điện thoại Quảng cáo thông minh Nhận diện người mạng xã hội Hỗ trợ điều tra pháp y Nhận diện tài xế… Một số phần mềm nhận diện khuôn mặt • • • • • • • digiKam (KDE) iPhoto (Apple) OpenCV (Open Source)[9] Photoshop Elements (Adobe Systems) Picasa (của Google) Picture Motion Browser (Sony) Windows Live Photo Gallery (Microsoft) Đánh giá tiềm phát triển, tương lai công nghệ - Công nghệ nhận dạng khuôn mặt chuyên gia tiến hành nghiên cứu - phát triển theo nhiều cách thức khác để chỉnh sửa hạn chế Trong tương lai, công nghệ nhận dạng khuôn mặt hứa hẹn phát triển mạnh mẽ công cụ hỗ trợ đảm bảo bảo mật, kiểm soát an ninh chặt chẽ Trong tương lai, nhận dạng khuôn mặt chiều kết hợp từ tất khía cạnh, giải pháp sinh trắc học khác Điều dẫn đến hỗn hợp sinh trắc học có khả đảm bảo an ninh tổng thể cho tất bên liên quan hệ sinh thái Từ tạo kết hợp hoàn hảo để xác thực người dùng cách an toàn cho dịch vụ ngân hàng trực tuyến dịch vụ phủ  ... thực Nhận dạng khuôn mặt chiều (3D Face Recogition) phương pháp nhận dạng sinh trắc học hiệu bắt đầu phổ biến thời gian gần II Giới thiệu nhận diện khuôn mặt nhận diện khuôn mặt 3D Nhận diện. .. ghi nhận nhận dạng khn mặt cịn gặp nhiều khó khăn độ sáng, hướng nghiêng, kích thước hình ảnh, diện mạo, biểu cảm xúc khuôn mặt hay ảnh hưởng tham số môi trường Nhận diện khuôn mặt 3D: - Nhận. .. ánh sáng yếu, thay đổi tư khn mặt hay gặp vật cản q trình nhận diện khuôn mặt 2D Việc sử dụng nhận diện vân tay khơng đem lại độ bảo mật cần thiết nhận diện khuôn mặt 2D lại gặp số vấn đề điều