Csdl của nhận diện khuôn mặt

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG CƠ SỞ TẠI THÀNH PHỐ HỒ CHÍ MINH BÀI BÁO CÁO Môn Xử lý ảnh Đề tài CSDL CỦA NHẬN DIỆN KHUÔN MẶT Mục lục I Tổng quan về xử lý ảnh 1 1 Khái niệm 1 2 Ứng dụng 1 II G[.]

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG CƠ SỞ TẠI THÀNH PHỐ HỒ CHÍ MINH BÀI BÁO CÁO Mơn: Xử lý ảnh Đề tài CSDL CỦA NHẬN DIỆN KHUÔN MẶT Mục lục I Tổng quan xử lý ảnh 1 Khái niệm Ứng dụng II Giới thiệu đề tài III Cơ sở liệu nhận dạng khuôn mặt .2 1.Face Recognit Grand Challenge (FRGC) database 2 FERET database Pose Illumination Expression (PIE) database AR database…………………………………………………………………… Yale Face database………….………………………………………………… IV Đánh giá: V Tài liệu tham khảo .9 I Tổng quan xử lý ảnh Khái niệm Xử lý ảnh đối tượng nghiên cứu lĩnh vực thị giác máy, trình bi ến đổi từ ảnh ban đầu sang ảnh với đặc tính tuân theo ý mu ốn c người sử dụng Xử lý ảnh gồm q trình phân tích, phân lớp đ ối t ượng, làm tăng chất lượng, phân đoạn tách cạnh, gán nhãn cho vùng hay trình biên dịch thơng tin hình ảnh ảnh Ứng dụng Ngày xử lý ảnh áp dụng rộng rãi đ ời sống nh ư: photoshop, nén ảnh, nén video, nhận dạng biển s ố xe, nh ận d ạng khuôn m ặt, nhận dạng chữ viết, xử lý ảnh thiên văn, ảnh y tế,.… Ảnh dải ngân hà trước sau xử lý ảnh II Giới thiệu đề tài Trong bối cảnh phát triển công nghệ mạnh m ẽ, thiết b ị s d ụng thu ật toán xử lý ảnh sử dụng phổ biến, với nhiều mục đích khác Dùng cho h ệ thống bảo mật dò vân tay, giọng nói, giác m ạc m đến thi ết b ị an ninh, truy tìm tội phạm , phương pháp phổ bi ến x lý ảnh nhận diện khuôn mặt Hệ thống nhận dạng khuôn mặt ứng dụng máy tính tự đ ộng xác đ ịnh nhận dạng người từ hình ảnh kỹ thuật số khung hình video từ nguồn video Một cách để th ực hi ện ều so sánh đặc điểm khuôn mặt chọn trước từ hình ảnh m ột c s d ữ li ệu v ề khuôn mặt Hệ thống thường sử dụng hệ thống an ninh có th ể so sánh với dạng sinh trắc học khác nh h ệ thống nh ận d ạng vân tay hay tròng mắt III Cơ sở liệu nhận dạng khuôn mặt Một số sở liệu khn mặt có sẵn cơng khai cho cộng đồng nghiên cứu sử dụng để phát triển thuật toán, cung cấp điểm chuẩn tiêu chuẩn báo cáo kết Các sở liệu khác thu thập để giải loại thách thức biến thể khác độ chiếu sáng, t th ế, kh ớp cắn, v.v Một số sở liệu tiêu chuẩn bao gồm PIE , FERET, FRGC, Yale AR 1.Face Recognit Grand Challenge (FRGC) database 1.1 Tổng quan FRGC Không phải từ năm 1990, người ta quan tâm đến việc phát triển phương pháp để nhận dạng khuôn mặt tự động Mối quan tâm mẻ thúc đẩy tiến k ỹ thu ật th ị giác máy tính, thiết kế máy tính, thiết kế cảm biến quan tâm đ ến vi ệc h ỗ trợ hệ thống nhận dạng khuôn mặt Các kỹ thuật hứa h ẹn s ẽ gi ảm t ỷ lệ lỗi hệ thống nhận dạng khuôn mặt theo cấp độ so với kết Bài kiểm tra nhà cung cấp nhận dạng khuôn mặt (FRVT) năm 2002 The Face Recognition Grand Challenge (FRGC) thực v ới n ỗ l ực th ực lời hứa kỹ thuật 1.2 Cấu trúc FRGC Có ba khía cạnh FRGC cộng đồng nhận dạng khuôn mặt Khía cạnh kích thước FRGC v ề m ặt d ữ li ệu T ập d ữ liệu FRGC chứa 50.000 ghi Khía cạnh thứ hai phức tạp c FRGC Các liệu nhận dạng khuôn mặt trước bị hạn chế ảnh tĩnh FRGC bao gồm ba chế độ: hình ảnh tĩnh có độ phân giải cao, hình ảnh 3D nhiều hình ảnh người Khía cạnh thứ ba sở hạ tầng Cơ sở hạ tầng cho FRGC cung cấp Mơi trường Thí nghiệm Sinh trắc học (BEE), m ột khuôn kh ổ dựa XML để mơ tả ghi lại thí nghiệm tính tốn BEE s ẽ cho phép mô tả phân phối thí nghiệm định dạng chung, ghi lại kết thơ thí nghiệm định dạng chung, phân tích trình bày kết thô định dạng chung tài liệu định dạng thí nghiệm định dạng chung Đây lần môi tr ường thử nghiệm tính tốn hỗ trợ vấn đề thách thức nhận dạng khuôn m ặt ho ặc sinh trắc học 1.3 Tập liệu FRGC Phân phối liệu FRGC bao gồm ba phần Đầu tiên t ập d ữ li ệu FRGC Phần thứ hai FRGC BEE Phân phối BEE bao g ồm t ất c ả b ộ liệu để thực cho điểm sáu thử nghiệm Phần thứ ba tập hợp thuật tốn cho thí nghiệm từ đến V ới c ả ba thành phần, chạy thí nghiệm từ đến 4, từ việc xử lý hình ảnh thơ để tạo Đặc tính Hoạt động Máy thu (ROC) Dữ liệu cho FRGC bao gồm 50.000 ghi chia thành phân vùng đào tạo xác nhận Phân vùng huấn luyện thiết kế cho thuật toán huấn luyện phân vùng xác nhận để đánh giá hiệu suất phương pháp tiếp cận mơi trường phịng thí nghiệm Phân vùng xác thực bao gồm liệu từ 4.003 phiên chủ đề Phiên chủ đề t ập h ợp t ất hình ảnh người chụp liệu sinh tr ắc h ọc c người thu thập bao gồm bốn hình ảnh tĩnh kiểm sốt, hai hình ảnh tĩnh khơng kiểm sốt hình ảnh ba chiều Các hình ảnh kiểm sốt chụp bối cảnh studio, hình ảnh tồn khn mặt trực diện chụp hai điều kiện ánh sáng v ới hai bi ểu cảm khuôn mặt (tươi cười trung tính) Các hình ảnh khơng kiểm sốt chụp điều kiện ánh sáng khác nhau; ví dụ: hành lang, nhĩ thất bên ngồi Mỗi ảnh khơng kiểm sốt có hai bi ểu c ảm, t ươi cười trung tính Hình ảnh 3D chụp điều kiện ánh sáng kiểm soát Hình ảnh 3D bao gồm phạm vi hình ảnh kết c ấu Hình ảnh 3D thu thập cảm biến dòng Minolta Vivid 900/910 Phân phối FRGC bao gồm sáu thử nghiệm 3 -Trong thử nghiệm 1, sưu tập bao gồm hình ảnh tĩnh ki ểm soát người đầu dị bao gồm hình ảnh tĩnh kiểm sốt Thí nghiệm thí nghiệm đ ối ch ứng Thí nghiệm nghiên cứu ảnh hưởng việc sử dụng nhiều ảnh tĩnh người hiệu suất Trong thí nghiệm 2, mẫu sinh tr ắc h ọc bao gồm bốn hình ảnh kiểm soát người chụp phiên chủ đề Ví dụ: sưu tập bao gồm bốn hình ảnh m ỗi ng ười tất hình ảnh chụp phiên chủ đề Tương tự vậy, đầu dò bao gồm bốn hình ảnh người -Thử nghiệm đo hiệu suất nhận dạng khuôn mặt 3D Trong thí nghiệm 3, sưu tập thăm dị bao gồm hình ảnh 3D c m ột người Thử nghiệm đo hiệu suất nhận dạng từ hình ảnh khơng kiểm sốt Trong thử nghiệm 4, sưu tập bao gồm hình ảnh tĩnh đ ược kiểm sốt đầu dị bao gồm hình ảnh tĩnh khơng kiểm sốt -Thí nghiệm kiểm tra việc so sánh hình ảnh 3D 2D Trong c ả hai thử nghiệm, sưu tập bao gồm hình ảnh 3D Trong thí nghi ệm 5, đầu dò bao gồm tĩnh điều khiển Trong thí nghi ệm 6, đầu dị bao gồm tĩnh khơng kiểm sốt ẢNH MINH HỌA FERET database Tổng quan FERET Trước FRGC, NIST tổ chức sở liệu FERET đánh giá giao thức để tạo điều kiện phát triển hệ thống nhận dạng khuôn m ặt thương mại Cơ sở liệu FERET thiết kế để đo lường hiệu suất khn mặtcác thuật tốn nhận dạng sở liệu lớn cài đặt th ực t ế FERETchương trình cung cấp sở liệu lớn hình ảnh khn mặt chụp từ 1.199 cá nhân thu thập từ tháng năm 1993 đ ến tháng năm 1996 để hỗ trợ thuật toán phát triển đánh giá Cơ sở liệu FERET bao gồm 14.126 hình ảnh tổng số 1.564 b ộ (1.199 gốc 365 trùng lặp) Vì mục đích phát triển, 503 hình ảnh phát hành cho nhà nghiên cứu, phần lại tập hợp cô lập để đánh giá độc lập Pose Illumination Expression (PIE) database 3.1 Giới thiệu Mọi người trông khác tùy thuộc vào số yếu tố Có lẽ yếu tố quan trọng là: (1) tư thế; tức góc mà bạn nhìn h ọ, (2) ều kiện ánh sáng vào thời điểm đó, (3) nét mặt họ; ví d ụ m ỉm c ười, cau mày, v.v Mặc dù số sở liệu khuôn mặt khác tồn với số lượng lớn đối tượng với thay đổi tư ánh sáng đáng kể.Nhưng cần sở liệu bao gồm số lượng lớn đ ối tượng, đối tượng chụp số lượng lớn thời gian, từ số tư khác nhau, thay đổi ánh sáng đáng kể với nhiều cách thể nên PIE tạo để giải vấn đề 3.2 Thí nghiệm *Tư chụp: Để có hình ảnh người từ nhiều tư yêu c ầu nhiều máy ảnh chụp ảnh đồng thời nhiều “bức ảnh” chụp liên tiếp (hoặc k ết hợp hai.) Có số lợi ích việc sử dụng nhiều máy ảnh: (1) trình diễn thời gian, (2) máy ảnh cố định khơng gian, tư (tương đối) giống đối tượng s ẽ khó khăn việc định vị đối tượng để có tư cụ thể, (3) biết ảnh chụp đồng thời điều kiện hình ảnh (tức chiếu sáng tới, v.v.) giống *Hệ thống đèn chiếu sáng : Để có thay đổi đáng kể độ chiếu sáng, Phòng 3D mở rộng với “hệ thống đèn flash” tương tự Yale Dome sử dụng để thu thập liệu Thí nghiệm sử dụng bo mạch đầu kỹ thuật số Advantech PCL-734, 32 kênh để điều khiển 21 đèn flash Minolta 220X Bo m ạch Advantech kết nối trực tiếp với "hot-shoe" đèn flash Sau đó, việc tạo xung kênh đầu s ẽ làm cho đèn flash t ương ứng tắt Thí nghiệm đặt bo mạch Advantech vào 17 máy tính sử dụng để chụp ảnh Phịng 3D tích hợp mã điều khiển đèn flash vào quy trình chụp ảnh để đèn flash, thời lượng xấp xỉ 1ms, xuất hi ện cửa trập (thời lượng xấp xỉ 16ms) mở Sau đó, thí nghi ệm sửa đổi mã chụp ảnh để đèn flash tắt cho ảnh chụp Sau đó, thí nghiệm chụp 21 hình ảnh, hình ảnh có đ ộ chi ếu sáng khác Vị trí đèn flash, đo máy kinh vĩ đưa vào siêu liệu sở liệu, với vị trí camera 5 Trong giới thực, chiếu sáng thường bao gồm ánh sáng xung quanh với hai nguồn điểm Để có hình ảnh đại diện trường hợp (thích hợp để xác định mức độ mạnh mẽ thuật tốn nhận dạng khn mặt thay đổi ánh sáng), định chụp ảnh đèn phòng bật tắt Thí nghiệm quy ết đ ịnh bao gồm hình ảnh đèn tắt để tạo s ố chồng chéo m ột ph ần v ới sở liệu 3.3 Nội dung sở liệu: Trung bình tồn quy trình chụp khoảng 10 phút cho m ỗi đ ối tượng Trong thời gian đó, chúng tơi chụp (và giữ lại) h ơn 600 hình ảnh từ 13 tư thế, với 43 ánh sáng khác với biểu c ảm T th ế thay đ ổi từ chế độ hoàn tồn bên trái sang hồn tồn diện chuyển sang ch ế độ hoàn toàn bên phải camera quét ngang cách khoảng 22,5 độ camera lại gồm camera camera dưới, camera góc phịng, vị trí tiêu biểu cho camera giám sát -Hiệu biến đổi tư : Có thể thấy, có khác biệt lớn tư từ đầy đủ hồ sơ đến tồn diện Tập hợp li ệu s ẽ hữu ích để đánh giá mức độ mạnh mẽ thuật toán nhận d ạng khn mặt tư Vì biết vị trí camera nên có th ể đ ược sử dụng để đánh giá thuật tốn ước tính tư Cuối cùng, hữu ích cho việc đánh giá thuật tốn kết hợp thông tin t nhi ều ch ế đ ộ xem phân tách rộng rãi - Sự thay đổi tư độ sáng: sử dụng để đánh giá mức độ mạnh mẽ thuật tốn nhận dạng khn mặt để t ạo dáng chi ếu sáng -Sự thay đổi biểu cảm: Dữ liệu biến đổi tư biểu cảm có th ể đ ược sử dụng để kiểm tra mức độ mạnh mẽ thuật toán nhận dạng khuôn mặt biểu cảm (và tư thế) Ảnh minh họa AR database 4.1 Giới thiệu Cơ sở liệu khuôn mặt AR tạo Trung tâm Th ị giác Máy tính (CVC), Đại học Aut`onoma de Barcelona Nó chứa h ơn 4.000 hình ảnh màu tương ứng với 126 khuôn mặt người (70 nam 56 nữ) Những hình ảnh có tư nhìn trực diện với biểu khuôn mặt, điều kiện ánh sáng khớp cắn khác (chẳng hạn người đeo kính râm quàng khăn) khiến sở liệu trở thành sở liệu phổ biến để thử nghiệm thuật tốn nhận d ạng khn mặt có tượng khớp cắn Khơng có giới hạn v ề m ặc (quần áo, kính, v.v.), trang điểm, kiểu tóc, v.v nh ững ng ười tham gia Mỗi người tham gia hai buổi, cách hai tuần 4.2 Cách sử dụng: Đánh dấu tay: Để cho phép kiểm tra chi tiết xây dựng mơ hình, hình ảnh khn mặt AR gắn nhãn thủ công với 22 đặc điểm m ỗi khuôn m ặt 22 điểm chọn quán tất hình ảnh S đ m ốc đ ược trình bày đây: Dự định điểm đánh dấu sử dụng cho nhiều mục đích khác nhau: Tìm kiếm đặc điểm khuôn mặt : Đánh dấu cung cấp s ự th ật c b ản đ ể kiểm tra phần mềm tìm kiếm đặc điểm khn mặt khn mặt t ự đ ộng Xây dựng Mơ hình Khn mặt : Các mơ hình đối tượng phức tạp, chẳng hạn phương pháp Tiếp cận Mơ hình Hình thức Hoạt động yêu cầu d ữ liệu gắn nhãn thủ công, với điểm tương ứng quán làm liệu đào tạo Nhận dạng / Xác minh khn mặt :Các điểm đánh d ấu có th ể sử dụng để kiểm tra hiệu suất xác minh nhận dạng khn mặt, vị trí xác khuôn mặt đặc điểm biết (tức lo ại b ỏ lỗi đăng ký) Dữ liệu điểm Hiện mốc 22 điểm có sẵn cho biểu thức 01,02,03,05 Thí nghiệm làm việc đánh dấu cho bi ểu th ức khác D ữ li ệu nén vào tệp sau: -ar_face_22pt_markup.zip Tên tệp hình ảnh khn mặt AR có định dạng sau: -X-Y-Z.raw Với: X = m w tùy đối tượng nam / nữ Y = id người Z = id biểu thức Các tệp hình ảnh tệp điểm có tên tương ứng ví dụ "m-016-06.raw" có điểm tệp "m-016-06.pts" Định dạng tệp điểm sau: (Điểm bỏ qua phiên t ệp s ố điểm này) n_points: 22 (Số điểm gắn nhãn hình ảnh) { xxxx yyyy } Đối với điểm, xxxx tọa độ x góc bên trái yyyy tọa độ y tương tự góc bên trái hình ảnh Tất tệp điểm chứa 22 điểm với điểm đại diện cho điểm c ụ thể khuôn mặt (xem sơ đồ trên) 5.Yale Face database: 5.1 Giới thiệu: Ảnh minh họa Yale face database tọa nhầm hoàn thiện tang tích xác cho việc nhận diện khuôn với với nhiều trường hợp khác 5.2 Nội dung: Cơ sở liệu chứa 165 ảnh GIF 15 đối tượng (chủ đề01, chủ đề02, v.v.) Có 11 hình ảnh cho đối tượng, hình ảnh cho m ỗi c ấu hình biểu cảm khn mặt sau: ánh sáng trung tâm, khơng đeo kính, vui vẻ, ánh sáng trái, khơng đeo kính, bình thường, ánh sáng phải, buồn, buồn ngủ, ngạc nhiên nháy mắt IV Đánh giá: -Việc nghiên cứu sở liệu điều quan trọng tạo tiền đề cho ph ần mềm nghiên cứu đạt hiệu cao -Nắm rõ ưu nhược điểm sở liệu để thiết kế hay chọn sở liệu phù hợp với phần mềm nghiên cứu V Tài liệu tham khảo (1) http://www.cs.cmu.edu/~simonb/pie_db/pami.pdf (2) https://www.nist.gov/itl/products-and-services/color-feret-database (3) https://www.geeksforgeeks.org/python-opencv-cv2-imread-method/ (4) Handbook-of-Biometrics ... ninh, truy tìm tội phạm , phương pháp phổ bi ến x lý ảnh nhận diện khuôn mặt Hệ thống nhận dạng khn mặt ứng dụng máy tính tự đ ộng xác đ ịnh nhận dạng người từ hình ảnh kỹ thuật số khung hình video... tương ứng quán làm liệu đào tạo Nhận dạng / Xác minh khuôn mặt :Các điểm đánh d ấu có th ể sử dụng để kiểm tra hiệu suất xác minh nhận dạng khn mặt, vị trí xác khuôn mặt đặc điểm biết (tức lo ại... mặt Các kỹ thuật hứa h ẹn s ẽ gi ảm t ỷ lệ lỗi hệ thống nhận dạng khuôn mặt theo cấp độ so với kết Bài kiểm tra nhà cung cấp nhận dạng khuôn mặt (FRVT) năm 2002 The Face Recognition Grand Challenge