Báo cáo xử lý ảnh

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG CƠ SỞ TẠI THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO MƠN HỌC XỬ LÝ ẢNH ĐỀ TÀI: “NHẬN DIỆN KHUÔN MẶT ” Giảng viên: PGS.TS Lê Hoàng Thái Sinh viên thực : Ngô Mạnh Cường Mã số sinh viên : N18DCCN020 Lớp : D18CQCN02-N Contents I GIỚI THIỆU VỀ NHẬN DIỆN KHUÔN MẶT GIỚI THIỆU CÁC ỨNG DỤNG CỦA CÔNG NGHỆ NHẬN DIỆN KHUÔN MẶT II.BÀI TỐN NHẬN DẠNG KHN MẶT 1.NHẬN DẠNG KHUÔN MẶT III CHỨNG MINH TÍNH HIỆU QUẢ CỦA THUẬT TỐN 12 KẾT QUẢ 14 I GIỚI THIỆU VỀ NHẬN DIỆN KHUÔN MẶT GIỚI THIỆU - Hệ thống nhận dạng khuôn mặt ứng dụng máy tính tự động xác định nhận dạng người từ hình ảnh kỹ thuật số khung hình video từ nguồn video Một cách để thực điều so sánh đặc điểm khn mặt chọn trước từ hình ảnh sở liệu khuôn mặt - Hệ thống thường sử dụng hệ thống an ninh so sánh với dạng sinh trắc học khác hệ thống nhận dạng vân tay hay tròng mắt (theo wikipedia) CÁC ỨNG DỤNG CỦA CÔNG NGHỆ NHẬN DIỆN KHUÔN MẶT 2.1 Ngăn chặn tội phạm cửa hàng bán lẻ - Camera nhận dạng khuôn mặt sử dụng để xác định thông tin tội phạm đến người bán hàng người có tiền sử gian lận vào cửa hàng bán lẻ, để họ kịp thời phịng tránh Hình ảnh cá nhân tội phạm kết hợp với liệu có thông báo đến chủ cửa hàng bán lẻ có tội phạm đột nhập vào khu mua sắm Hệ thống nhận dạng khuôn mặt giảm hoàn toàn tội phạm bán lẻ 2.2 Mở khóa điện thoại - Một loạt điện thoại có iPhone sử dụng tính nhận dạng khn mặt để mở khóa điện thoại Cơng nghệ cách để bảo vệ liệu cá nhân bạn cách an toàn đảm bảo rằng, điện thoại bị đánh cắp, tội phạm tiếp cận liệu nhạy cảm điện thoại bạn 2.3 Quảng cáo thông minh - Nhận dạng khn mặt có khả làm cho quảng cáo nhắm mục tiêu cách đưa đoán giáo dục tuổi giới tính người Các cơng ty Tesco có kế hoạch lắp đặt hình trạm xăng với nhận diện khuôn mặt tích hợp sẵn Tất cịn vấn đề thời gian trước nhận dạng khuôn mặt trở thành cơng nghệ quảng cáo đại 2.4 Tìm người tích - Nhận dạng khn mặt sử dụng để tìm trẻ em bị tích nạn nhân tệ nạn buôn người Miễn cá nhân tích thêm vào sở liệu,cơ quan thực thi pháp luật cảnh báo sau chúng nhận diện nhận diện khuôn mặt sân bay, cửa hàng bán lẻ không gian công cộng khác Trong thực tế, sử dụng nhận diện khuôn mặt này, 3000 trẻ em tích phát bốn ngày Ấn Độ 2.5 Hỗ trợ người mù - Listerine phát triển ứng dụng nhận diện khuôn mặt đột phá giúp người mù sử dụng nhận dạng khuôn mặt Các ứng dụng nhận người mỉm cười cảnh báo với người mù chế độ rung Điều giúp họ hiểu rõ tình xã hội 2.6 Bảo vệ thực thi pháp luật - Các ứng dụng nhận dạng khuôn mặt di động, giống ứng dụng cung cấp FaceFirst, giúp nhân viên cảnh sát cách giúp họ nhận dạng cá nhân lĩnh vực từ khoảng cách an toàn Điều cung cấp cho họ liệu theo ngữ cảnh cho họ biết họ đối phó với liệu họ có cần tiến hành thận trọng hay khơng Ví dụ, nhân viên cảnh sát theo dõi tội phạm giết người điểm dừng giao thông thường lệ, nhân viên biết nghi can có vũ khí nguy hiểm hay khơng, từ định nên gọi thêm lực lượng hỗ trợ không 2.7 Hỗ trợ điều tra pháp y - Nhận diện khn mặt hỗ trợ điều tra pháp y cách tự động nhận dạng cá nhân cảnh quay bảo mật video khác Phần mềm nhận dạng khuôn mặt sử dụng để xác định cá nhân chết bất tỉnh trường vụ án 2.8 Nhận diện người mạng xã hội - Facebook sử dụng công nghệ tự động nhận dạng khuôn mặt để nhận thành viên Facebook xuất ảnh Điều giúp người dễ dàng tìm thấy họ ảnh đề xuất gắn thẻ ảnh có mặt 2.9 Chuẩn đốn bệnh - Nhận diện khn mặt sử dụng để chẩn đốn bệnh gây thay đổi phát Ví dụ, Viện Nghiên cứu Viện Genome Quốc gia, sử dụng nhận diện khuôn mặt để phát bệnh gặp gọi hội chứng DiGeorge, có phần nhiễm sắc thể 22 bị thiếu Nhận diện khn mặt giúp chẩn đốn bệnh 96% trường hợp Khi thuật toán trở nên tinh vi hơn, nhận diện khuôn mặt trở thành cơng cụ chẩn đốn vơ giá cho tất loại điều kiện 2.10 Bảo vệ trường học khỏi mối đe dọa - Hệ thống giám sát nhận diện khn mặt nhận dạng học sinh bị trục xuất, phụ huynh nguy hiểm, người buôn bán ma túy cá nhân khác đe dọa đến an toàn trường học vào sân trường Bằng cách cảnh báo đến nhân viên bảo vệ trường học thời điểm đó, nhận diện khn mặt giảm nguy hành vi bạo lực 2.11 Theo dõi diện học sinh - Ngoài việc giúp trường học an toàn hơn, nhận diện khn mặt có khả theo dõi tham dự học sinh Theo cách điểm danh truyền thống, tờ điểm danh cho phép học sinh ký thay học sinh khác vắng mặt lớp Nhưng Trung Quốc sử dụng nhận diện khuôn mặt để đảm bảo học sinh không bỏ lớp máy tính bảng sử dụng để quét khuôn mặt học sinh kết hợp ảnh họ với sở liệu để xác thực danh tính họ 2.12 Giúp giao dịch diễn an toàn thuận tiện - Ở Trung Quốc, có cơng ty dịch vụ tài có tên Ant Financial cho phép khách hàng toán tiền ăn cách quét khuôn mặt họ Khách hàng đặt hàng thông qua menu kỹ thuật số sau sử dụng tính qt khn mặt để tùy chọn toán Sau cung cấp số điện thoại, họ mua bữa ăn 2.13 Xác thực danh tính ATM - Cuối dường khả qt khn mặt thay thẻ ATM hồn tồn Trong đó, nhận dạng khn mặt sử dụng để đảm bảo cá nhân sử dụng thẻ ATM người mà họ cho biết Nhận dạng khuôn mặt sử dụng máy ATM Macau để bảo vệ danh tính người 2.14 Làm cho ngành du lịch hàng không thuận tiện dễ dàng - Các hãng hàng không bắt đầu sử dụng nhận dạng khuôn mặt để giúp người kiểm tra hành lý, tiến hành check-in lên máy bay nhanh Có vẻ nhanh chóng tiến tới tương lai du lịch hàng khơng khơng an tồn mà cịn thuận tiện dễ dàng hết 2.15 Nhận diện tài xế - Nhiều công ty xe thử nghiệm cách sử dụng nhận dạng khuôn mặt Một cách sử dụng nhận dạng khuôn mặt cho xe ô tô sử dụng khuôn mặt để thay cho chìa khóa phương tiện để khởi động xe Nhận dạng khuôn mặt sử dụng để chuyển kênh radio tùy chọn chỗ ngồi dựa vào người lái xe Nhận diện khn mặt chí làm cho tài xế lái xe an toàn cảnh báo tài xế họ lơ không tập trung vào việc lái xe 2.16 Kiểm soát quyền vào khu vực nhạy cảm - Nhận dạng khn mặt hoạt động phương tiện kiểm soát truy cập để đảm bảo người ủy quyền vào sở phịng thí nghiệm, phịng họp, hầm ngân hàng, trung tâm đào tạo vận động viên địa điểm nhạy cảm khác II.BÀI TỐN NHẬN DẠNG KHN MẶT - Nhận dạng khuôn mặt (Face Recognition) phương pháp sinh trắc để xác định xác minh cá nhân cách so sánh liệu hình ảnh chụp trực tiếp hình ảnh kỹ thuật số với ghi lưu trữ cho người đó.Nóđược xem lĩnh vực nghiên cứu ngành Biometrics (tương tự nhận dạng vân tay – Fingerprint Recognition, hay nhận dạng mống mắt – Iris Recognition) Xét ngun tắc chung, nhận dạng khn mặt có tương đồng lớn với nhận dạng vân tay nhận dạng mống mắt, nhiên khác biệt nằm bước trích chọn đặt trưng (feature extraction) lĩnh vực Trong nhận dạng vân tay mống mắt đạt tới độ chín, tức áp dụng thực tế cách rộng rãi nhận dạng khn mặt người cịn nhiều thách thức lĩnh vực nghiên cứu thú vị với nhiều người.So với nhận dạng vân tay mống mắt, nhận dạng khn mặt có nguồn liệu phong phú (chúng ta nhìn thấy mặt người ảnh, video clip liên quan tới người mạng) địi hỏi tương tác có kiểm sốt (để thực nhận dạng vân tay hay mống mắt, liệu input lấy từ người địi hỏi có hợp tác mơi trường có kiểm sốt) - Các hệ thống nhận dạng khuôn mặt thường sử dụng cho mục đích an ninh kiểm sốt an ninh tịa nhà, sân bay, máy ATM, tra cứu thông tin tội phạm, phát tội phạm nơi công cộng, ngày ứng dụng rộng rãi sống Bên cạnh thành công ghi nhận nhận dạng khn mặt cịn gặp nhiều khó khăn độ sáng, hướng nghiêng, kích thước hình ảnh, diện mạo, biểu cảm xúc khuôn mặt hay ảnh hưởng tham số môi trường - Để xây dựng hệ thống nhận dạng khn mặt có đầu vào hệ thống hình ảnh kỹ thuật số hay khung hình video từ nguồn video Đầu xác định xác minh người hình video Hướng tới mục tiêu thường chia thủ tục nhận dạng khuôn mặt gồm ba bước: Phát khn mặt, trích rút đặc trưng nhận dạng khn mặt Các bước tiến hành nhận dạng khuôn mặt - Phát khn mặt (Face Detection): Chức bước phát khn mặt xem có xuất hình hay đoạn video hay không? Tỉ lệ phát khuôn mặt phụ thuộc nhiều vào điều kiện độ sáng, hướng khuôn mặt, biểu cảm xúc khuôn mặt hay yếu tố môi trường khác Để hệ thống nhận dạng hoạt động đạt hiệu cao hình ảnh khuôn mặt sau phát cần chuẩn hóa kích thước, ánh sáng - Trích rút đặc trưng (Feature Extraction): Sau phát khuôn mặt ảnh, tiến hành trích rút đặc trưng khn mặt Bước trích xuất vector đặc trưng đại diện cho khuôn mặt Nó phải đảm bảo tính khuôn mặt - Nhận dạng khuôn mặt (Face Recognition): Với hình ảnh đầu vào sau phát khn mặt, trích rút đặc trưng khn mặt đem so sánh đặc trưng với sở liệu khn mặt - Bài tốn nhận dạng khn mặt ứng dụng nhiều lĩnh vực đời sống đặc biệt lĩnh vực công nghệ cao, yêu cầu an ninh, bảo mật Do để hệ thống nhận dạng khuôn mặt hoạt động mạnh mẽ với tốc độ độ tin cậy có nhiều phương pháp nhận dạng khuôn mặt đưa Các phương pháp phân loại theo tiêu chí khác nhận dạng với liệu ảnh đầu vào ảnh tĩnh 2D (Elastic Bunch Graph, Active Appearance Model) Phương pháp phổ biến tương lai 3D (3D Morphable Model) Tuy nhiên thực tế người ta hay chia phương pháp nhận dạng khuôn mặt thành loại: - Nhận dạng dựa đặc trưng phần tử khuôn mặt (Feature Base Face Recognition) - Nhận dạng dựa xét tổng thể tồn khn mặt (Appearance Based Face Recognition) Nhận dạng dựa xét toàn khn mặt - Nội dụng hướng tiếp cận xem ảnh có kích thước R x C vector khơng gian có R x C chiều Ta xây dựng không gian có chiều nhỏ cho biểu diễn khơng gian đặc điểm khn mặt khơng bị Trong khơng gian ảnh người tập trung lại thành nhóm gần cách xa so với nhóm khác - Hai phương pháp thường sử dụng hướng tiếp cận là: PCA (Principle Components Analysis) - LDA (Linear Discriminant Analysis) 1.NHẬN DẠNG KHUÔN MẶT 1.2 Tiền xử lý - Quá trình giúp nâng cao chất lượng hình ảnh, chuẩn hóa mặt liệu, kích thước hình ảnh Giúp cho việc trích rút đặc trưng xác 1.3 Trích rút đặc trưng - Trích rút đặc trưng kỹ thuật sử dụng thuật tốn để lấy thơng tin mang đặc điểm riêng biệt người - Principle Components Analysis - PCA thuật toán sử dụng để tạo hình ảnh từ hình ban đầu Ảnh có kích thước nhỏ nhiều so với ảnh ban đầu mang đặc trưng ảnh cần nhận dạng Về chất, PCA tìm khơng gian theo hướng biến thiên mạnh tập hợp vector không gian cho trước Trong không gian người ta hy vọng việc phân loại mang lại kết tốt so với khơng gian ban đầu a Thuật tốn PCA - Khơng gian tạo tạo PCA cấu thành từ K vector đơn vị có chiều N Mỗi vector gọi Eigenfaces - Phép biến đổi: - Theo công thức: W = T.A Với T ma trận chuyển đổi, T có kích thước K x N Gọi M số ảnh đầu vào, ảnh chuyển thành vector N chiều Ta có tập hợp đầu vào X = {x1, x2, x3, …., xM} Trung bình vector đầu vào theo cơng thức: Tính sai lệch ảnh đầu vào so với trung bình: Tính ma trận hiệp phương sai C: C cho kích thước N x N Trong đó: A = [Φ1, Φ2, Φ3, … , ΦM] A có kích thước N x M Gọi giá trị riêng C λ1, λ2, … , λ xếp theo thứ tự giảm dần, tương ứng với N vector riêng u1,u2, , uN Các vector riêng trực giao đôi Mỗi vector riêng ui gọi eigenface Tập hợp vector ban đầu biểu diễn không gian tạo N eigenface theo mô tả: họn lấy K vector riêng u tương ứng với K giá trị riêng λ lớn - Vector hệ số khai triển [w1,w2,…,wK] biểu diễn ảnh tạo không gian PCA Ảnh giữ đặc điểm so với ảnh đầu vào Vector [w1,w2,…,wK] tính theo công thức - Vấn đề cần giải ma trận C = A.AT có kích thước N2 Lấy ví dụ ảnh có kích thước 100 x 100 N = 100 x 100 = 104 Khối lượng tính tốn lớn, u cầu hệ thống xử lý mạnh mẽ không phù hợp với toán thời gian thực - Do để tính eigenfaces mà khơng cần tính ma trận C, người ta đưa phương pháp tính nhanh dựa vào vector riêng (eigenvector) giá trị riêng (eigenvalue) ma trận L = AT.A có kích thước M x M với M số ảnh đầu vào Ta chứng minh sau: Gọi 𝜐𝑖, 𝑖 vector riêng giá trị riêng ma trận L: Nhân vế với A ta có: - Ta thấy A.vi vector riêng C = A.AT ứng với giá trị riêng 𝑖 b Áp dụng PCA vào trích chọn vector đặc tính - Mỗi ảnh khn mặt coi vector Nếu ảnh có kích thước wx h pixel khơng gian chứa vector có số chiều N = w x h Mỗi pixel mã hóa thành phần vector - Khâu quan trọng tốn nhận dạng trích chọn vector đặc tính - Các bước để trích chọn vector đặc tính phục vụ cho việc nhận dạng: Bước 1: Tạo tập S gồm M ảnh (ảnh học) Mỗi ảnh có kích thước RxC Mỗi ảnh chuyển thành vector N = RxC chiều Biểu diễn ảnh Mi thành Γ𝑖 Bước 2: Tính vector khn mặt trung bình theo cơng thức: Bước 3: Tính sai lệch ảnh đầu vào so với trung bình: Bước 4: Tìm tập gồm M vector trực giao, u, biểu diễn chiều phân bố mạnh tập liệu S Tập vector u gọi eigenfaces tập liệu học Bước 5: Xây dựng ảnh vi theo M vector u - Trong vi = u𝑖𝑡.Φ𝑡 vector đặc tính ảnh thứ i không gian Ω tập eigenfaces, thành phần cho ảnh cần nhận dạng 1.4.Thuật tốn Kernel – PCA 2.3.3 Nhận dạng khn mặt - Sau trích chọn vector đặc tính, cần đối chiếu vector với sở liệu, từ đưa kết nhận dạng Để thực việc phân loại có nhiều phương pháp khoảng cách Euclid, Mahalandobis, mạng Noron, SVM, ….trong Euclid phương pháp đơn giản Nó cho kết tốt trường hợp đối tượng tạo thành nhóm cách xa Vector đặc tính đối tượng cần nhận dạng so sánh với vector đặc tính ảnh mẫu tập ảnh học Các khoảng cách ngắn lưu lại - Trong Ω𝑘 vector mặt thứ k sở liệu Nếu 𝜀𝑘 nhỏ threshold xác định trước ảnh nhận dạng mặt thứ k sở liệu III CHỨNG MINH TÍNH HIỆU QUẢ CỦA THUẬT TOÁN 1.ÁP DỤNG VÀO SO SÁNH CÁC KHUÔN MẶT - Đầu tiên ta load liệu hình ảnh Ảnh minh họa liệu hình ảnh - Tiếp theo ta tính tốn eigenvector - Tính tốn ma trận hiệp phương sai Ta có avgFace để so sánh So sánh mặt dataset vs avgFace - Nếu =>> Correct Sai => Incorrect Trả tổng số gương mặt so sánh sai KẾT QUẢ =>> Kết thuật toán sau so sánh : ... M ảnh (ảnh học) Mỗi ảnh có kích thước RxC Mỗi ảnh chuyển thành vector N = RxC chiều Biểu diễn ảnh Mi thành Γ