Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2d giá rẻ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LÊ NGUYỄN ANH HUY NHẬN DẠNG VÀ ĐỊNH DANH KHUÔN MẶT NGƯỜI THỜI GIAN THỰC VÀ SỬ DỤNG CAMERA 2D GIÁ RẺ NGÀNH: KỸ THUẬT ĐIỆN TỬ SKC007474 Tp Hồ Chí Minh, tháng 10/2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LÊ NGUYỄN ANH HUY NHẬN DẠNG VÀ ĐỊNH DANH KHUÔN MẶT NGƯỜI THỜI GIAN THỰC VÀ SỬ DỤNG CAMERA 2D GIÁ RẺ NGÀNH : KỸ THUẬT ĐIỆN TỬ - 60520203 Tp Hồ Chí Minh, tháng 10/2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LÊ NGUYỄN ANH HUY NHẬN DẠNG VÀ ĐỊNH DANH KHUÔN MẶT NGƯỜI THỜI GIAN THỰC VÀ SỬ DỤNG CAMERA 2D GIÁ RẺ NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 Hướng dẫn khoa học: TS NGUYỄN VĂN THÁI Tp Hồ Chí Minh, tháng 10/2017 %*,ẩ2'&9ơ272 751*,+&63+0.7+87 7+ơ1+3++&+ậ0,1+ 3+,81+1;e7/81917+&6 'jQKFKRJLQJYLrQSKQELQ 7rQWjLOXQYQWKFV 1KQGQJYjQKGDQKNKX{QPWQJLWKLJLDQWKFYjVGQJFDPHUD 'JLiU 7rQWiFJL /ầ1*8 d { % điều ngụ ý ta tìm thấy mơ hình tốt % kiểm tra tốt bettermodel = model tham số phù hợp cho tất điểm maybeinliers alsoinliers thiserr = thước đo mơ hình tốt phù hợp với điểm if thiserr < besterr { bestfit = bettermodel besterr = thiserr } } tăng iterations } Return bestfit * Lưu đồ thuật toán tham khảo từ https://en.wikipedia.org/wiki/Random_sample_consensus 2.7.4 Thông số Giống mơ tả phần đầu thuật tốn, RANSAC cần số tham số xác định trước cho kích thước tập mẫu (n), ngưỡng dung sai (t), ngưỡng đồng thuận tối thiểu (d) số lần lặp lại (k) Ngoài ra, điều quan trọng ước tính tỷ lệ inliers (w) tập liệu, để tính tốn số tham số HVTH: Lê Nguyễn Anh Huy 49 GVHD: TS Nguyễn Văn Thái Vì Ransac thuật toán ngẫu nhiên nên cần phải ước tính xác thơng số, để tăng khả tìm mơ hình tối ưu, giữ lợi ích tính tốn thuật tốn ngẫu nhiên so với thuật toán xác định đầy đủ Dưới số khám phá để tính tốn tham số  Tỷ lệ Inliers Mặc dù khơng phải tham số trực tiếp thuật tốn, tỷ lệ inliers sử dụng tính tốn tham số thuật tốn chí ảnh hưởng đến phức tạp thuật tốn ẩn Do đó, có lợi có số thông tin tỷ lệ outliers liệu trước chạy RANSAC  Kích thước mẫu phân nhóm Kích cỡ mẫu số lượng mẫu chọn ngẫu nhiên RANSAC để mơ hình ban đầu lần lặp Nó liên quan trực tiếp với mơ hình dự định phù hợp với liệu Ransac sử dụng số lượng tối thiểu mẫu cần thiết để xác định mơ hình làm kích cỡ tập hợp mẫu ví dụ để phù hợp với mơ hình tuyến tính chọn mẫu liệu để phù hợp với hình trịn mơ hình chọn mẫu liệu điểm đủ để xác định vòng tròn n = số lượng mẫu tối thiểu để xác định mơ hình Ta nghĩ sử dụng nhiều mẫu liệu tập nhỏ thuận lợi, thu ước tính tốt xác mơ hình Tuy nhiên, có nhiều mẫu tập hợp mẫu làm tăng khơng gian tìm kiếm cho việc chọn tập hợp Vì vậy, để giữ xác suất tìm mơ hình tối ưu mức độ, cần phải thử thêm tập mẫu Do đó, gia tăng số lượng lặp lại cần thiết, chủ yếu làm tăng phức tạp mặt tính tốn, vượt trội ưu điểm việc có tập lớn Đây mối quan hệ kích thước tập số lần lặp lại ảnh hưởng trực tiếp đến phức tạp  Ngưỡng dung sai lỗi Ngưỡng dung sai lỗi RANSAC sử dụng để xác định xem mẫu liệu có đồng ý với mơ hình hay khơng Các mẫu ngưỡng sau tạo đồng HVTH: Lê Nguyễn Anh Huy 50 GVHD: TS Nguyễn Văn Thái thuận cho mơ hình đó, giá trị đầu vào tập liệu tìm thấy mơ hình Do đó, nên lựa chọn theo lỗi gaussian inliers  Ngưỡng đồng thuận tối thiểu (Minimum Consensus Threshold) Ngưỡng đồng thuận tối thiểu số lượng tối thiểu mẫu chấp nhận đồng thuận hợp lệ để tạo mơ hình cuối cho lần lặp Vì RANSAC cố gắng nắm bắt giá trị đầu vào có cấu kết đồng thuận, số lượng mẫu đồng thuận hợp lệ có liên quan trực tiếp với số inliers tập liệu Do đó, RANSAC sử dụng giá trị ngưỡng tương đương nhỏ chút so với số inliers để chấp nhận đồng thuận hợp lệ Nếu tổng số mẫu tập liệu [Data Set] d ≈ w [Data Set]  Số lần lặp Các thuật toán xác định toàn diện thử tập hợp có để tìm tập hợp tốt nhất, thực tế khơng tính tốn khơng khả thi, mà cịn khơng cần thiết Do đó, thay cách xác định, RANSAC chọn tập hợp mẫu ngẫu nhiên Tuy nhiên, quan trọng để xác định số lượng lựa chọn ngẫu nhiên để có xác suất cao RANSAC chọn tập mẫu mà không bao gồm ngoại lệ Số lần lặp lại dự kiến để chạy thành cơng với xác suất xác định tính sau: Xác suất lựa chọn đầu vào: P(inlier) ≡ w Xác suất việc chọn tập hợp n mẫu mà khơng có giá trị outlier: P(subset with no outlier) ≡ wn Xác suất việc chọn tập hợp n mẫu mà có giá trị outlier: P(subset with outliers) ≡ 1- wn Xác suất việc chọn tập hợp n mẫu mà có giá trị outlier tất k lần lặp: P(k subset with outliers) ≡ (1- wn)k HVTH: Lê Nguyễn Anh Huy 51 GVHD: TS Nguyễn Văn Thái Xác suất hoạt động không thành công P(fail) ≡ (1- wn)k Xác suất hoạt động thành công P(success) ≡ 1- (1- wn)k Số lần lặp lại mong đợi ( ( ( )) ) ( ) Do đó, với xác định xác suất thích hợp P(success) theo tính thực tế mong muốn, số lần lặp ước tính Ví dụ số số tính tốn lặp lặp lại cho RANSAC : [Data Set] ≡ 12 , n ≡ 2, P(success) = 0.99 w = 0.95 k=2 w = 0.75 k=6 w = 0.6 k = 11 w = 0.5 k = 17 Hơn nữa, số lần lặp lại tăng đáng kể tỷ lệ outlier tập liệu tăng lên Với n ≡ 2, P(success) = 0.99 Hình 2.25: Tỉ lệ outlier tập liệu HVTH: Lê Nguyễn Anh Huy 52 GVHD: TS Nguyễn Văn Thái 2.7.5 Bài tốn thử nghiệm : Ước lượng chức tuyến tính 30 mẫu liệu tạo với y = 2x + w = 0,6 với tổng sai sót để gây outlier với tiếng ồn gaussian trắng inliers Outliers tô màu đỏ, inliers màu xanh Hồi quy tuyến tính Đây kết phương pháp hồi quy tuyến tính mà khơng có RANSAC Do khơng xem xét mẫu có sai sót, nên mẫu phù hợp tạo bị ảnh hưởng lớn sai lệch outlier Các ví dụ lặp RANSAC Dưới số đồ thị tập liệu từ lần lặp lại RANSAC Lần lặp Trong lần lặp lại này, tập hợp ngẫu nhiên bao gồm hai giá trị outlier HVTH: Lê Nguyễn Anh Huy 53 GVHD: TS Nguyễn Văn Thái Vì mơ hình tạo outlier, chắn khơng phải ước tính tốt cho dịng Do khơng vượt qua ngưỡng thỏa thuận tối thiểu mong muốn Lần lặp Trong lần lặp lại này, tập mẫu ngẫu nhiên bao gồm giá trị inlier giá trị outlier HVTH: Lê Nguyễn Anh Huy 54 GVHD: TS Nguyễn Văn Thái Do tồn outlier tập hợp mẫu, mơ hình tạo khơng có đủ hỗ trợ, không vượt qua ngưỡng đồng thuận tối thiểu Lần lặp Trong lần lặp lại này, tập hợp ngẫu nhiên bao gồm hai giá trị inlier Do tập hợp mẫu bao gồm giá trị inlier, với ngưỡng chịu dung sai phù hợp, tất giá trị inlier thu thập đồng thuận HVTH: Lê Nguyễn Anh Huy 55 GVHD: TS Nguyễn Văn Thái Có tất inlier đồng thuận, mơ hình vượt qua ngưỡng đồng thuận tối thiểu Sau đó, mơ hình cuối tính cách sử dụng tất mẫu liệu đồng thuận với tối ưu hóa leastsquare Đến , RANSAC bỏ qua tất outlier đào tạo mơ hình sử dụng inliers  Ảnh hưởng tham số  Số lần lặp lại W = 0.6 ; P(success) = 0.99 ; n= ( ( ( )) ) ( ( ) )  Ngưỡng dung sai lỗi Ngưỡng dung sai lỗi nên chọn phù hợp với cài đặt Nếu khơng, RANSAC khơng tìm kết xác Nếu t chọn nhỏ cần thiết, RANSAC chọn hai giá trị inliers cho tập mẫu, khơng đạt đồng thuận bao gồm tất inliers Hoặc t lựa chọn lớn, đồng thuận tạo bao gồm số outliers tập mẫu bao gồm giá trị inliers HVTH: Lê Nguyễn Anh Huy 56 GVHD: TS Nguyễn Văn Thái  Ngưỡng đồng thuận tối thiểu Ngưỡng đồng thuận tối thiểu có vai trị quan trọng hành vi RANSAC Nếu d chọn nhỏ, số dòng ngẫu nhiên phù hợp với phần mẫu coi đồng thuận hợp lệ Một mơ hình cuối tạo với tham số thiết lập sai HVTH: Lê Nguyễn Anh Huy 57 GVHD: TS Nguyễn Văn Thái Hoặc, d chọn lớn, chí ước tính tốt khơng vượt qua ngưỡng đồng thuận tối thiểu khơng có kết mơ hình cuối tìm thấy RANSAC Tóm lại q trình thực thuật tốn RANSAC mơ tả đây: Từ tập liệu đầu vào gồm có nhiễu không nhiễu ta chọn liệu ngẫu nhiên, tối thiểu để xây dựng mơ hình Tiến hành xây dựng mơ hình với liệu đó, sau đặt ngưỡng dùng để kiểm chứng mơ hình Gọi tập liệu ban đầu trừ tập liệu để xây dựng mơ hình tập liệu kiểm chứng Sau đó, tiến hành kiểm chứng mơ hình xây dựng tập liệu kiểm chứng Nếu kết thu từ mơ hình vượt q ngưỡng, điểm nhiễu, cịn khơng ngược lại Quá trình lặp lặp lại vài lần Với tính theo cơng thức Tại vịng lặp giá trị tính lại Kết mơ hình có số liệu khơng nhiễu nhiều chọn mơ hình tốt HVTH: Lê Nguyễn Anh Huy 58 GVHD: TS Nguyễn Văn Thái CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH 3.1 Q trình nhận dạng định danh khn mặt Ảnh thu từ camera Phát khuôn mặt Lưu ảnh Ảnh chọn trước Trích đặc trưng cục bất biến Trích đặc trưng cục bất biến So khớp đặc trưng Xác minh danh tính Hình 3.1: Sơ đồ nhận dạng khuôn mặt Từ camera ta thu ảnh, dựa vào đặc trưng Haar Like mô hình Cascade ta xác định khn mặt ảnh Để tăng độ nhận danh xác khn mặt ảnh, ta cần giảm bỏ yếu tố không cần thiết ảnh, luận văn cắt khuôn mặt so sánh với khuôn mặt sở liệu 3.2 Thuật toán phát đối tượng Đối tượng luận văn khuôn mặt, tập huấn luyện “haarcascade_frontalface_default.xml” lấy thư viện Emgu CV HVTH: Lê Nguyễn Anh Huy 59 GVHD: TS Nguyễn Văn Thái Hình 3.2: Lưu đồ phát đối tượng  Bước 1: Sau khởi tạo giá trị ban đầu cho thuật toán lưu đồ, vùng ảnh cần phát đối tượng đưa vào phân tích (kích thước ban đầu người lập trình qui định, thường 20x20 Pixel) Vùng ảnh góc bên trái khung hình Sau vùng ảnh đưa qua phân loại huấn luyện thuật toán Adaboost đặc trưng Haarlike trước Qua bước chương trình biết liệu vùng ảnh đưa vào có đối tượng cần phát hay khơng Nếu có đối tượng lưu vào biến tạm HVTH: Lê Nguyễn Anh Huy 60 GVHD: TS Nguyễn Văn Thái  Bước 2: vùng ảnh ban đầu dịch sang bên trái đến pixel bắt đầu lại bước dịch hết tồn hình Các đối tượng phát được lưu vào biến tạm  Bước 3: chương trình tăng kích thước vùng ảnh ban đầu Tỉ lệ tăng phụ thuộc vào thơng số mà người lập trình thiết lập Nếu 1.1 tỉ lệ tăng 10%, 1.2 tỉ lệ tăng 20%,… Sau thược lại bước bước đề cập kích thước vùng ảnh kích thước khung hình dừng chương trình Đây tập liệu thu từ camera Hình 3.3: Tập liệu khn mặt 3.3 Cài đặt chương trình Chương trình cài đặt Dell Inspiron 7537 hệ điều hành Windows 10, Ram 6G xử lý CORE i5-4210U CPU @1.7GHz Sử dụng Visual Studio 2013 thư viện Emgu CV 3.1.0 HVTH: Lê Nguyễn Anh Huy 61 GVHD: TS Nguyễn Văn Thái 3.4 Chương trình mơ - Một số kết Đây hai ảnh so khớp đặc trưng dùng SIFT, chưa sử dụng RANSAC , ta thu số lượng so khớp nhiều bao gồm ln outlier Hình 3.4: So khớp ảnh dùng SIFT HVTH: Lê Nguyễn Anh Huy 62 GVHD: TS Nguyễn Văn Thái Đây hai ảnh so khớp đặc trưng dùng SIFT sử dụng RANSAC, ta thu số lượng so khớp nhiều loại bỏ outlier Tùy vào giá trị cài đặt ngưỡng Ransac mà ta thu số lượng so khớp (a) (b) (c) Hình 3.5: So khớp ảnh dùng SIFT kết hợp RANSAC HVTH: Lê Nguyễn Anh Huy 63 ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LÊ NGUYỄN ANH HUY NHẬN DẠNG VÀ ĐỊNH DANH KHUÔN MẶT NGƯỜI THỜI GIAN THỰC VÀ SỬ DỤNG CAMERA 2D GIÁ RẺ... BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LÊ NGUYỄN ANH HUY NHẬN DẠNG VÀ ĐỊNH DANH KHUÔN MẶT NGƯỜI THỜI GIAN THỰC VÀ SỬ DỤNG CAMERA 2D GIÁ RẺ... định danh Hiệu hệ thống nhận dạng phụ thuộc vào phương pháp sử dụng Khóa luận ? ?Nhận dạng định danh khuôn mặt người thời gian thực sử dụng camera 2D giá rẽ” nhằm tìm hiểu phương pháp trích chọn