(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ

(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ(Luận văn thạc sĩ) Nhận dạng và định danh khuôn mặt người thời gian thực và sử dụng camera 2D giá rẻ

GVHD: TS Nguyễn Văn Thái LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tơi xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc Tp Hồ Chí Minh, ngày 24 tháng 09 năm 2017 Học viên thực Lê Nguyễn Anh Huy HVTH : Lê Nguyễn Anh Huy iii GVHD: TS Nguyễn Văn Thái LỜI CẢM ƠN Trước hết xin gửi lời cảm ơn sâu sắc đến thầy TS Nguyễn Văn Thái, người giúp đỡ nhiều định hướng nghiên cứu, hướng dẫn cho suốt thời gian thực đề tài Tôi xin bày tỏ lời cảm ơn sâu sắc đến thầy cô giáo giảng dạy thời gian học trường, kiến thức mà nhận từ thầy cô hành trang giúp vững bước tương lai Tôi muốn gửi lời cảm ơn đến anh chị bạn lớp giúp đỡ cho tơi lời khun bổ ích chun mơn trình nghiên cứu Vì kiến thức thời gian có hạn nên chắn khơng tránh khỏi sai sót, tơi mong thầy bạn đóng góp ý kiến q báu để luận văn hoàn thiện Học viên thực Lê Nguyễn Anh Huy HVTH : Lê Nguyễn Anh Huy iv GVHD: TS Nguyễn Văn Thái MỞ ĐẦU Trong khoa học kỹ thuật nay, công nghệ kỹ thuật số đóng vai trị quan trọng việc hỗ trợ người công việc vấn đề xã hội, đặc biệt xử lý ảnh Lĩnh vực xử lý ảnh ngành khoa học mẻ so với ngành khoa học khác lĩnh vực thu hút đông đảo nhà khoa học quan tâm phát triển Công nghệ xử lý ảnh số hỗ trợ đắc lực nhiều lĩnh vực như: giám sát an ninh, nhận dạng đối tượng, nhận dạng khuôn mặt, phát chuyển động, theo dõi chuyển động, nhận dạng khối u y học, hiệu chỉnh ảnh video,… Nhận dạng khuôn mặt ứng dụng phổ biến công nghệ xử lý ảnh Ứng dụng sử dụng khu vực kiểm tra an ninh Với việc ứng dụng rộng rãi vậy, nhận dạng khuôn mặt đề tài thích hợp để sinh viên học viên bước đầu nghiên cứu tìm hiểu xử lý ảnh Hệ thống nhận dạng mặt người bao gồm hai bước: phát khn mặt định danh đối tượng Cơng việc dựa vào kỹ thuật rút trích đặc trưng cục bất biến từ ảnh đối tượng thực đối sánh để định danh Hiệu hệ thống nhận dạng phụ thuộc vào phương pháp sử dụng Khóa luận “Nhận dạng định danh khn mặt người thời gian thực sử dụng camera 2D giá rẽ” nhằm tìm hiểu phương pháp trích chọn đặc trưng ảnh dùng đặc trưng so sánh với tập sở liệu lưu trữ trước để định danh Khóa luận bao gồm nội dung sau: Chương Tổng quan nhận dạng khuôn mặt Chương Cơ sở lý thuyết thuật toán Chương Xây dựng chương trình Chương 4: Kết luận HVTH : Lê Nguyễn Anh Huy v GVHD: TS Nguyễn Văn Thái MỤC LỤC Trang tựa TRANG Quyết định giao đề tài Lý lịch khoa học i Lời cam đoan iii Lời cảm ơn iv Mở đầu v Mục lục vi Danh mục chữ viết tắt ký hiệu ix Danh sách hình x Danh sách bảng xii CHƯƠNG TỔNG QUAN 1.1 Tổng quan đề tài 1.2 Mục đích đề tài 1.3 Nhiệm vụ giới hạn đề tài 1.3.1 Nhiệm vụ đề tài: 1.3.2 Giới hạn đề tài 1.4 Phương pháp nghiên cứu 1.5 Giới thiệu thuật toán 1.5.1 SIFT 1.5.2 SURF CHƯƠNG CƠ SỞ LÝ THUYẾT THUẬT TOÁN 2.1 Đặc trưng Haar Like 2.2 Integral Image 2.3 Phương pháp AdaBoost 2.4 Mơ hình phân tầng cascade 10 2.5 Thuật toán SIFT [4] [5] 12 2.5.1 Giới thiệu 12 HVTH : Lê Nguyễn Anh Huy vi GVHD: TS Nguyễn Văn Thái 2.5.2 Các nghiên cứu liên quan 13 2.5.3 Phát cực trị không gian tỉ lệ 15 2.5.3.1 Phát cực trị địa phương 17 2.5.3.2 Tần suất lấy mẫu tỉ lệ 18 2.5.3.3 Tần suất lấy mẫu miền không gian 20 2.5.4 Định vị Keypoint 21 2.5.4.1 Loại trừ điểm có tính tương phản 22 2.5.4.2 Loại bỏ điểm dư thừa theo biên 23 2.5.5 Gán hướng 24 2.5.6 Bộ mô tả hình ảnh cục 26 2.5.6.1.Bộ mô tả 27 2.5.6.2 Kiểm thử mô tả 28 2.5.6.3 Độ nhạy với biến đổi Affine 29 2.5.6.4 So khớp với sở liệu lớn 30 2.5.7 Đối sánh đặc trưng SIFT 31 2.5.7.1 Độ đo tương tự độ đo khoảng cách 31 2.5.7.2 Đối sánh đặc trương cục bất biến 32 2.5.7.3 Độ đo tương đồng cho đặc trưng cục bất biến 33 2.5.8 Ứng dụng cho nhận dạng đối tượng 33 2.5.8.1.So khớp Keypoint 34 2.5.8.2 Hiệu việc đánh số điểm lân cận gần 35 2.5.8.3.Cụm biến đổi Hough 36 2.5.8.4 Giải pháp cho thông số Affine 37 2.5.9 Ví dụ nhận dạng 39 2.6 Thuật toán SURF 41 2.6.1 Giới thiệu 41 2.6.2 Bộ mô tả SURF 42 2.6.2.1 Bộ dò Fast-Hessian 42 2.6.2.2 Gán hướng cho điểm bật mô tả đặc trưng SURF 43 HVTH : Lê Nguyễn Anh Huy vii GVHD: TS Nguyễn Văn Thái 2.6.2.3 So khớp đặc trưng 45 2.7 Thuật toán RANSAC 46 2.7.1 Giới thiệu 46 2.7.2 Phương pháp 47 2.7.3 Thuật toán 47 2.7.4 Thông số 49 2.7.5 Bài toán thử nghiệm : 53 CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH 59 3.1 Quá trình nhận dạng định danh khn mặt 59 3.2 Thuật toán phát đối tượng 59 3.3 Cài đặt chương trình 61 3.4 Chương trình mơ 62 3.5 Định danh khuôn mặt 65 3.6 Thực nghiệm 65 CHƯƠNG KẾT LUẬN 70 4.1 Kết luận chung 70 4.2 Kiến nghị 70 DANH MỤC TÀI LIỆU THAM KHẢO 71 HVTH : Lê Nguyễn Anh Huy viii GVHD: TS Nguyễn Văn Thái DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU Chữ viết tắt Giải thích FLANN Fast Library for Approximate Nearest Neighbour Search ANN Viết tắt thuật ngữ “Approximative Nearest Neibour” CSDL Cơ sở liệu DoG Viết tắt thuật ngữ “Difference-of-Gaussian”: Gaussian Hàm Gauss (Biểu đồ hàm Gauss đường cong đối xứng ) Keypoint Những điểm đặc trưng dùng trình nhận dạng ảnh kNN NBNN RANSAC k Nearest Neighbor Viết tắt thuật ngữ “Naive Bayes Nearest Neighbor” Viết tắt thuật ngữ “Random Sample Consensus” SIFT Viết tắt thuật ngữ “Scale Invariant Feature Transform” SURF Viết tắt thuật ngữ “Speeded Up Robust Features” HVTH : Lê Nguyễn Anh Huy ix GVHD: TS Nguyễn Văn Thái DANH SÁCH CÁC HÌNH HÌNH TRANG Hình 1.1: Sơ đồ nhận dạng khn mặt Hình 2.1: Các đặc trưng Haar Like Hình 2.2: Các đặc trưng Haar Like mở rộng Hình 2.3: Tính giá trị ảnh tích phân điểm có tọa độ (x, y) Hình 2.4: Tính nhanh giá trị vùng ảnh D Hình 2.5: Máy phân lớp AdaBoost 11 Hình 2.6: Mơ tả hàm Gaussian hàm Difference-of-Gaussian (DoG) 16 Hình 2.7: Phát cực trị hàm DoG 18 Hình 2.8: Số lượng mẫu tỷ lệ Octave 19 Hình 2.9: Thứ tự làm mịn cho Octave 20 Hình 2.10: Các giai đoạn lựa chọn điểm Keypoint 22 Hình 2.11: Đồ thị độ nhiễu ảnh 25 Hình 2.12: Hướng phân bố ảnh mô tả điểm Keypoint 27 Hình 2.13: Độ rộng mơ tả (góc 50 độ, đỗ nhiễu ảnh 4%) 29 Hình 2.14: Sự ổn định việc phát vị trí Keypoint 29 Hình 2.15: Số lượng Keypoint sở liệu 31 Hình 2.16: Đối sánh ảnh quay đối sánh điểm đặc trưng 32 Hình 2.17: Tỷ lệ khoảng cách từ điểm điểm lân cận tới điểm 35 Hình 2.18: Ví dụ minh họa vê thuật toán SIFT 38 Hình 2.19: Ví dụ nhận dạng đối tượng 40 Hình 2.20: Xấp xỉ đạo hàm cấp hàm Gaussian hộp lọc 43 Hình 2.21: Lọc Haar wavelet để tính ảnh hưởng hai hướng x y 44 Hình 2.22: Vùng hình trịn xung quanh hướng đại diện cho điểm đặc trưng 44 Hình 2.23: 4x4 hình vng xung quanh điểm đặc trưng 45 Hình 2.24: So khớp đặc trưng 46 Hình 2.25: Tỉ lệ outlier tập liệu 52 Hình 3.1: Sơ đồ nhận dạng khuôn mặt 59 HVTH : Lê Nguyễn Anh Huy x GVHD: TS Nguyễn Văn Thái Hình 3.2: Lưu đồ phát đối tượng 60 Hình 3.3: Tập liệu khuôn mặt 61 Hình 3.4: So khớp ảnh dùng SIFT 62 Hình 3.5: So khớp ảnh dùng SIFT kết hợp RANSAC 63 Hình 3.6: Thực đối sánh ảnh từ camera ảnh lưu sở liệu 64 Hình 3.7: Hai ảnh chứa khn mặt khơng có ngoại cảnh ánh sáng bình thường 66 Hình 3.8: Hai ảnh chứa khn mặt có ngoại cảnh 66 Hình 3.9: Hai ảnh chứa khn mặt ánh sáng tối 67 Hình 3.10: So khớp hai ảnh bị xoay 67 HVTH : Lê Nguyễn Anh Huy xi GVHD: TS Nguyễn Văn Thái DANH SÁCH CÁC BẢNG BẢNG TRANG Bảng 1.1: Tỷ lệ nhận dạng tập liệu Bảng 1.2: So sánh kết công nghệ Bảng 3.1: Tỷ lệ nhận dạng tập liệu 69 HVTH : Lê Nguyễn Anh Huy xii GVHD: TS Nguyễn Văn Thái Dựa vào kết thu ta thấy giá trị ngưỡng RANSAC làm cho số lượng so khớp hai ảnh thay đổi Khi giá trị ngưỡng RANSAC cao số lượng so khớp hai ảnh tăng lên, xảy trường hợp số lượng so khớp hai ảnh không người lớn giá trị cài đặt, dẫn đến định danh nhầm Hoặc giá trị ngưỡng RANSAC nhỏ số lượng so khớp thấp, số lượng so khớp hai ảnh người nhỏ giá trị cài đặt, dẫn đến tình trạng khơng định danh Tập liệu Tổng số ảnh Face94 3040 Face95 1440 Ngưỡng RANSAC Tỷ lệ nhận dạng 0.5 86.84% 1.5 93.42% 0.5 58.3% 1.5 72.2% Bảng 3.1: Tỷ lệ nhận dạng tập liệu HVTH: Lê Nguyễn Anh Huy 69 GVHD: TS Nguyễn Văn Thái CHƯƠNG KẾT LUẬN 4.1 Kết luận chung SIFT + RANSAC thuật toán mạnh phức tạp toán đối sánh ảnh Trong luận văn tơi tìm hiểu cài đặt thuật toán với đầy đủ bước SIFT , xây dựng chương trình ứng dụng mô việc đối sánh ảnh tương tự sử dụng SIFT dùng RANSAC để giảm bớt đối sách không Ưu điểm + Phát khuôn mặt qua webcam + Tốc độ phát đối tượng nhận dạng nhanh Tuy nhiên, đề tài tồn hạn chế: + Độ xác nhận dạng phụ thuộc nhiều vào cường độ ánh sáng 4.2 Kiến nghị Luận văn nghiên cứu chi tiết thuật toán, cách thức hoạt động ưu nhược điểm thuật toán Trong thời gian tới tác giả cố gắng nghiên cứu sử dụng phương pháp trích đặc trưng khác kết hợp với để nâng cao hiệu nhận dạng HVTH: Lê Nguyễn Anh Huy 70 GVHD: TS Nguyễn Văn Thái DANH MỤC TÀI LIỆU THAM KHẢO [1] Châu Ngân Khánh Đoàn Thanh Nghị Nhận Dạng Mặt Người Với Giải Thuật Haar Like Feature – Cascade Of Boosted Classifiers Và Đặc Trưng SIFT Tạp chí khoa học trường đại học An Giang Quyển (2), trang 15 – 24 năm 2014 [2] Rainer Lienhart, Alexander Kuranov, Vadim Pisarevsky Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection, MRL Technical Report 2002 [3] P.Viola, M.Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, Computer Vision and Vision and Pattern Recognition In CVPR 2001, Proceeding of the 2001 IEEE Computer Society Conference on (Volume:1 ), Page(s):I-511 - I-518 vol.1,2001 [4] David G Lowe, Distinctive Image Featuresfrom Scale-Invariant Keypoints, Computer Science Department, University of British Columbia 2004 [5] Nguyễn Thị Lanh Luận văn tốt nghiệp “Truy vấn thông tin dựa việc đối sánh ảnh qua đặc điểm bất biến” [6] Kamarul Hawari Ghazali Feature Extraction technique using SIFT keypoints descriptors The International Conference on Electrical and Engineering and Informatics Institut technology Bandung, Indonesia, june 17-19, 2007 [7] Nguyễn Thị Hồn Phương pháp trích chọn đặc trưng ảnh thuật tốn học máy tìm kiếm ảnh áp dụng vào tốn tìm kiếm sản phẩm, Đại học quốc gia Hà Nội 2010 [8] Faraj Alhwarin, Chao Wang, Danijela Risti -Durrant, Axel Gräser, Improved SIFT-Features Matching for Object Recognition, Institute of Automation, University of Bremen 2008 [9] Harris C and Stephens M , A combined corner and edge detector, Proceedings of the Alvey Vision Conference.1998 HVTH: Lê Nguyễn Anh Huy 71 GVHD: TS Nguyễn Văn Thái [10] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool, SURF: Speeded Up Robust Features [11] Orhan-Sonmez RANSAC, 2006 (“http://www.math-info.univ- paris5.fr/~lomn/Cours/CV/SeqVideo/Material/RANSAC-tutorial.pdf” [12] Wikipedia - RANSAC (http://en.wikipedia.org/wiki/RANSAC) [13] Vinay A, Avani S Rao, Vinay S Shekhar, Akshay Kumar C, K N Balasubramanya Murthy, S Natarajan Feature Extractionusing ORB-RANSAC for Face Recognition , PES University and PES Institute of Technology India 2015 [14] Massimiliano Di Mella and Francesco Isgr`o Face Recognition from Robust SIFT Matching Dipartimento di Ingegneria Elettrica E Delle Tecnologie Dell’Informazione, Universit`a Degli Studi di Napoli Federico II, Napoli, Italy 2015 HVTH: Lê Nguyễn Anh Huy 72 NHẬN DẠNG VÀ ĐỊNH DANH KHUÔN MẶT NGƯỜI SỬ DỤNG THUẬT TOÁN SIFT - RANSAC (1) Lê Nguyễn Anh Huy, (2) Nguyễn Văn Thái (1) Trường đại học Sư phạm Kỹ thuật TP.HCM (2) Trường đại học Sư phạm Kỹ thuật TP.HCM TÓM TẮT Bài báo xây dụng ứng dụng xử lý ảnh –thị giác máy tính vào việc phát nhận dạng khn mặt từ camera 2D Đầu tiên dùng đặc trưng Haar like Adaboost để phát khuôn mặt người khung ảnh Tính trích đặc trưng cục bất biến SIFT (Scale Invariant Feature Transform) thuật toán sử dụng để phát mô tả tính cục bộ, tính chuyển đổi xoay hình ảnh Khi xác định khn mặt thành cơng, chương trình trích đặc trưng SIFT khn mặt để tìm kiếm điểm hấp dẫn (key-points) tạo mô tả SIFT, kết hợp với thuật toán RANSAC (Random Sample Consensus) bước sau xử lý để loại bỏ key-points nhiễu (outliers) làm tăng hiệu việc đưa hệ thống mạnh mẽ để nhận hình ảnh khn mặt So khớp đặc trưng khuôn mặt, so sánh số lượng so khớp để xác định khả tương đồng hai ảnh Từ khóa : Nhận dạng khn mặt, SIFT , RANSAC ABSTRACT This article builds the image-processing computer vision app for face detection and recognition from a 2D camera The first is the use of Haar like and Adaboost features to detect the human face in the photo frame SIFT (Scale Invariant Feature Transform) is an algorithm used to detect and describe local features, converting and rotating features in images Once the face has been determined successfully, the program extracts the facial features of SIFT to search for key-points and creates a SIFT descriptor, combined with the RANSAC algorithm (Random Sample Consensus) as a step-by-step process to remove keypoints and outliers and increase the efficiency of delivering a powerful system for recognizing facial images Matching the features of the faces, comparing the number of matches to determine the similarity between the two images Từ khóa : Face detection, SIFT , RANSAC 73 I GIỚI THIỆU Hình mơ tả đặc trưng Nhận dạng khuôn mặt Haar Like sau: lĩnh vực xử lý ảnh Và ngày nhận dạng ứng dụng rộng rãi nhiều lĩnh vực đời sống nhận dạng lĩnh vực thương mại, phát Hình 2.1: Các đặc trưng Haar Like tội phạm lĩnh vực an ninh, hay Dùng đặc trưng trên, ta tính lĩnh vực xử lý video, hình ảnh Hiện giá trị đặc trưng Haar-like có nhiều các phương pháp nhận chênh lệch tổng pixel dạng khác xây dựng để nhận vùng đen vùng trắng dạng người cụ thể giới thực công thức sau: Hệ thống nhận dạng mặt người bao gồm f(x) = Tổngvùng đen(mức xám pixel) - hai bước: phát khuôn mặt định Tổngvùng trắng(mức xám pixel) danh đối tượng Cơng việc 2.2 Integral Image báo dựa vào kỹ thuật rút trích Integral Image [3] mảng hai đặc trưng cục bất biến từ ảnh đối tượng chiều với kích thước kích thước thực đối sánh để định danh ảnh cần tính giá trị đặc trưng Haar Like Với phần tử mảng tính cách tính tổng điểm ảnh phía (dịng-1) bên trái (cột-1) Bắt đầu từ vị trí bên trái đến vị trí bên phải ảnh, việc tính tốn đơn dựa phép cộng số nguyên đơn giản, tốc độ thực nhanh Hình 1.1 : Sơ đồ nhận dạng khuôn mặt II CƠ SỞ LÝ THUYẾT 2.1 Đặc trưng Haar Like Hình 2.2: Tính giá trị ảnh tích phân Đặc trưng Haar Like [3] tạo thành việc kết hợp hình chữ nhật đen, điểm có tọa độ (x, y) trắng với theo trật tự, kích Giá trị ảnh tích phân điểm P có tọa độ (x,y) tính sau: thước dùng tính độ chênh lệch giá trị điểm ảnh vùng kề ( 74 ) ∑ ( ) Dùng integral image việc tính tổng yếu định với đặc trưng giá trị mức xám vùng ảnh Haar-Like ảnh thực theo cách sau, Mơ hình Cascade of Classifiers ví dụ tính giá trị vùng D sau: xây dựng nhằm rút ngắn thời gian xử lý, D=A+B+C+D-(A+B)-(A+C)+A giảm thiểu nhận dạng lầm (false alarm) cho phân loại Cascade trees gồm nhiều tầng (stage hay cịn gọi layer), tầng mơ hình AdaBoost với phân lớp yếu định Hình 2.3: Tính nhanh giá trị vùng ảnh Một mẫu để phân loại đối tượng cần phải qua hết tất tầng D 2.3 Phương pháp AdaBoost 2.5 Thuật toán SIFT AdaBoost [2] phân loại mạnh 2.5.1 Phát điểm cực trị phi tuyến phức, hoạt động nguyên tắc Các điểm hấp dẫn với đặc trưng SIFT kết hợp tuyến tính phân loại yếu để tương thích với cực trị địa phương tạo nên phân loại mạnh Bộ phân lọc difference-of-Gaussian (DoG) loại yếu hk biểu diễn sau: tỉ lệ khác Định nghĩa không gian tỉ ( ) { ( ) lệ hình ảnh hàm L(x,y,kσ ) mô tả sau: Với x cửa sổ cần quét, hk giá trị L(x,y,kσ ) = G(x,y,kσ ) * I(x,y) trả đặc trưng Haar-like thứ k, pk Với G(x,y,kσ ): biến tỉ lệ Gaussian hệ số chuẩn hóa fk giá trị đặc trưng I(x,y): Ảnh đầu vào Haar-like thứ k k ngưỡng ( Cơng thức diễn giải ) ( ) √ sau: giá trị vector đặc trưng Để phát điểm Keypoint [4] [5] [6] mẫu cho hàm fk phân loại vượt ổn định hiệu không gian tỉ lệ, qua ngưỡng cho trước mẫu Lowe đề xuất sử dụng khơng gian cực object (đối tượng cần nhận dạng), ngược trị dùng hàm Gaussian khác mẫu background (khơng phải đối hình ảnh D(x, y, σ), chúng tượng) tính tốn từ khác biệt hai tỉ lệ lân 2.4 Mơ hình phân tầng cascade cận cách số số k không Cascade of Boosted Classifiers [2] [3] đổi: D(x,y,σ) = (G(x,y,kσ) – G(x,y,σ)) * I(x,y) mơ hình phân tầng với tầng D(x,y,σ) = L(x,y,kσ) – L(x,y,σ) mơ hình AdaBoost sử dụng phân lớp 75 Hàm sai khác DoG sử dụng Các ảnh cuộn nhóm thành để tạo xấp xỉ gần với đạo hàm bậc octave (mỗi octave tương ứng với giá trị hai Laplace có kích thước chuẩn hàm gấp đôi ) Giá trị k chọn Gaussian (σ22G) tác giả Lindeberg đề cho số lượng ảnh mờ (blured images) cho xuất năm 1994 Ông việc octave cố định Điều đảm bảo chuẩn hóa đạo hàm bậc hai với hệ số σ2 cho số lượng ảnh DoG cho octave cần thiết cho bất biến đo trở nên Cụ không thay đổi Các điểm hấp dẫn thể, ông công bố giá trị cực đại xác định cực đại cực tiểu cực tiểu (σ22G) giá ảnh DoG qua tỉ lệ Mỗi điểm ảnh trị có tính ổn định (bất biến cao) Mối quan hệ D σ2 ∇2G sau:  Từ đây, thấy σ2 ∇2G tính xấp xỉ để ∂G/∂σ đạt khác biệt gần tỉ lệ kσ σ: (  ) ( ) Do đó: ( ) ( ) ( )  Từ công thức này, ta thấy mà hàm sai khác DoG tính tốn tham Hình 2.4: Biểu đồ mơ việc tính tốn số đo lệch số , ta DoG ảnh từ ảnh kề mờ sử dụng DoG để xấp xỉ đạo hàm bậc hai DoG so sánh với điểm ảnh láng Laplace Gaussian Vì hệ số (k-1) giềng tỉ lệ láng phương trình số giềng kề tỉ lệ trước sau khơng gian đo nên khơng ảnh hưởng Nếu điểm ảnh đạt giá trị cực tiểu đến việc tìm vị trí cực trị cực đại chọn làm điểm hấp dẫn tiềm Như vậy, bước giải thuật SIFT phát điểm hấp dẫn với lọc Gaussian tỉ lệ khác ảnh DoG từ khác ảnh kề mờ 76 Hình 2.6 : Biểu diễn vector đặc trưng Ảnh trái mô biên độ gradient Hình 2.5: Quá trình tìm điểm cực trị hướng mẫu ảnh vùng hàm sai khác DoG lân cận với điểm keypoint Các giá trị 2.5.2 Định vị Keypoint tập trung cửa sổ gaussian (nằm Mỗi điểm hấp dẫn tiềm sau bên vòng tròn) Các mẫu sau chọn đánh giá xem có được gom lại thành lược đồ hướng mô giữ lại hay khơng Các điểm hấp dẫn có độ tả vắn tắt nội dung 4x4 vùng tương phản thấp số điểm hấp dẫn mô tả bên phải với độ dài dọc theo cạnh khơng giữ tính ổn hàng tương ứng với tổng biên độ gradient định ảnh bị nhiễu bị loại bỏ Các gần hướng bên vùng điểm hấp dẫn lại xác định 2.5.4 Đối sánh đặc trương cục bất hướng biến 2.5.3 Mô tả điểm hấp dẫn Để đối sánh ảnh với cần Các phép xử lý thực dị tìm trích xuất tập keypoint tương ứng từ gán tọa độ, kích thước, hướng cho ảnh bước Sau điểm bật Các tham số yêu cầu việc đối sánh thực tập hệ thống tọa độ cục 2D lặp keypoint Bước kĩ thuật lại để mơ tả vùng ảnh cục nhờ đối sánh thực tìm tập keypoint tạo bất biến tham số so khớp hai ảnh, để thực việc Bước tính tốn mơ tả [4] tìm cặp keypoint trùng lần [6] cho môt vùng ảnh cục mà có tính lượt hai ảnh Tập keypoint so đặc trưng cao (bất biến với thay đổi khớp vùng ảnh tương đồng Việc khác độ sáng, thu – phóng ảnh, đối sánh hai tập hợp điểm đặc trưng quy xoay) tốn tìm láng giềng gần điểm đặc trưng 77 RANSAC [13] kỹ thuật ước tính mạnh mẽ cao phù hợp với mơ hình cách loại bỏ giá trị ngoại biên (outliers) tập liệu định Nó hoạt động dựa nguyên tắc rút gọn Hình 2.7 : Đối sánh ảnh quay đối có khả tính tốn hiệu sánh điểm đặc trưng có diện số lượng lớn Có vấn đề cần quan tâm : outlier (hơn 50%) xử lý Tổ chức tập hợp điểm cho phép tìm liệu cấu trúc đa dạng Một minh hoạ thực kiếm láng giềng cách hiệu việc RANSAC, nơi mà outlier (có đối sánh phải đạt độ xác định màu đỏ) khơng ảnh hưởng đến kết Một phương pháp đề xuất D cuối bị loại bỏ hình 2.8 Mount cho phép tìm kiếm nhanh điểm lân cận sử dụng[4], ANN viết tắt Approximative Nearest Neibour Nó cho phép tổ chức liệu dạng kd-tree , việc tìm kiếm láng giềng gần mang tính xấp xỉ kd-tree Cụ thể hai điểm Hình 2.8 : Đường phù hợp RANSAC không gian đặc trưng coi RANSAC [11] [12] đại diện cho cụm từ giống khoảng cách Euclidean “Random Sample Consensus”, tức hai điểm nhỏ tỉ số “đồng thuận mẫu ngẫu nhiên”, thuật khoảng cách gần với khoảng cách gần tốn khử nhiễu cơng bố Fischler nhì phải nhỏ ngưỡng cho trước Bolles vào năm 1981 Giả sử cặp keypoint có mơ tả Ý tưởng RANSAC sau: là: Từ tập liệu ban đầu, ta có hai loại A = (a1, a2, a3, … , a128) B = (b1, b2, b3, liệu nhiễu không nhiễu (outlier … , b128) inlier), ta phải tính tốn để tìm Thì khoảng cách Euclid A B mơ hình tốt cho tập liệu Việc tính tính cơng thức: tốn chọn mơ hình tốt ( ) √∑ ( lặp lặp lại k lần, với giá trị k chọn ) cho đủ lớn để đảm báo xác suất p 2.6 Thuật toán RANSAC (thường rơi vào giá trị 0.99 ) tập 78 liệu mẫu ngẫu nhiên không chứa liệu - Kết mơ hình có số liệu không nhiễu nhiều chọn nhiễu Gọi u ước lượng liệu không nhiễu mô hình tốt v = 1-u ước lượng liệu nhiễu III KẾT QUẢ THỰC NGHIỆM m số lượng liệu đầu vào cần xây Việc đánh giá kết thực dựng mơ hình Khi ta có: máy tính Dell Inspiron 7537 hệ điều 1-p = (1-um)k hành Windows 10, Ram 6G xử lý k tính theo cơng thức: CORE i5-4210U CPU @1.7GHz Sử dụng ( ( ) ( Visual Studio 2013 thư viện Emgu CV ) ) 3.1.0 Dùng đặc trưng Haar like Kết thu mơ hình cần xây thuật tốn Adaboost để phát dựng phù hợp với liệu đầu vào, tập khuôn mặt camera thông qua tập liệu nhiễu tập liệu khơng huấn nhiễu “haarcascade_frontalface_default.xml” Q trình thực thuật tốn RANSAC luyện lấy thư viện Emgu CV Trích mô tả đây: đặc trưng SIFT kết hợp SANSAC Từ tập liệu đầu vào gồm có nhiễu khn mặt phát được, ta so khớp không nhiễu ta chọn liệu ngẫu nhiên, khuôn mặt với khn mặt tối thiểu để xây dựng mơ hình: sở liệu Nếu số lượng so khớp - Tiến hành xây dựng mơ hình với (score) khn mặt danh sách liệu đó, sau đặt ngưỡng dùng để lớn nhất, ta kết luận người kiểm chứng mơ hình ảnh Thiết lập ngưỡng so khớp để - Gọi tập liệu ban đâu trừ tập tránh tình trạng khn mặt liệu để xây dựng mơ hình tập liệu khơng có sở liệu ta thu kiểm chứng Sau đó, tiến hành kiểm chứng số lượng so khớp ảnh mơ hình xây dựng tập liệu khơng xác, ta nên cài đặt giá trị kiểm chứng Nếu kết thu từ mô score để tránh tình trạng nhận danh nhầm hình vượt ngưỡng, điểm nhiễu, cịn khơng ngược lại - Quá trình lặp lặp lại k lần Tại vòng lặp giá trị tính lại 79 face95 Tiến sĩ Libor Spacek tập ảnh không chịu ảnh hưởng ngoại cảnh xung quanh Hình 3.3 với ngưỡng RANSAC 0.5 ta có 20 điểm so khớp Hình 3.1 So khớp ảnh dùng SIFT Hình 3.4 với ngưỡng RANSAC 1.5 ta thu 54 điểm so khớp IV KẾT LUẬN Các ảnh chứa khuôn mặt điều kiện ánh sáng bình thường khơng có tác động ngoại cảnh số lượng so khớp hai ảnh cao 50 điểm điểm nằm khn mặt Các ảnh có chứa khn mặt chịu tác động ngoại cảnh số lượng so khớp Hình 3.2 So khớp ảnh dùng SIFT kết hai ảnh cao có nhiều điểm hợp RANSAC không nằm khuôn mặt Chọn giá trị ngưỡng RANSAC phù hợp để tăng số lượng so khớp ảnh Các ảnh có chứa khn mặt điều giảm số lượng so khớp hai kiện ánh sáng tối số lượng so khớp khn mặt khác Chương trình hai ảnh thấp dễ bị nhầm lẫn SIFT + RANSAC thuật tốn sử dụng hình ảnh khn mặt face94, mạnh phức tạp toán đối 80 sánh ảnh Chúng tơi tìm hiểu cài đặt Tốc độ phát đối tượng nhận thuật toán với đầy đủ bước dạng nhanh SIFT , xây dựng chương trình ứng dụng Tuy nhiên, đề tài cịn tồn mơ việc đối sánh ảnh tương tự sử hạn chế: dụng SIFT dùng RANSAC để giảm bớt Độ xác nhận dạng phụ thuộc đối sách không nhiều vào cường độ ánh sáng Ưu điểm Phát khuôn mặt qua webcam Tập liệu Tổng số ảnh Face94 3040 Face95 1440 Ngưỡng RANSAC Tỷ lệ nhận dạng 0.5 86.84% 1.5 93.42% 0.5 58.3% 1.5 72.2% Bảng : Tỷ lệ nhận dạng tập liệu DANH MỤC TÀI LIỆU THAM KHẢO [1] Châu Ngân Khánh Đoàn Thanh Nghị Nhận Dạng Mặt Người Với Giải Thuật Haar Like Feature – Cascade Of Boosted Classifiers Và Đặc Trưng SIFT Tạp chí khoa học trường đại học An Giang Quyển (2), trang 15 – 24 năm 2014 [2] Rainer Lienhart, Alexander Kuranov, Vadim Pisarevsky Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection, MRL Technical Report 2002 [3] P.Viola, M.Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, Computer Vision and Vision and Pattern Recognition In CVPR 2001, Proceeding of the 2001 IEEE Computer Society Conference on (Volume:1 ), Page(s):I511 - I-518 vol.1,2001 [4] David G Lowe, Distinctive Image Featuresfrom Scale-Invariant Keypoints, Computer Science Department, University of British Columbia 2004 [5] Nguyễn Thị Lanh Luận văn tốt nghiệp “Truy vấn thông tin dựa việc đối sánh ảnh qua đặc điểm bất biến” [6] Kamarul Hawari Ghazali Feature Extraction technique using SIFT keypoints descriptors The International Conference on Electrical and Engineering and Informatics Institut technology Bandung, Indonesia, june 17-19, 2007 81 [7] Nguyễn Thị Hồn Phương pháp trích chọn đặc trưng ảnh thuật tốn học máy tìm kiếm ảnh áp dụng vào tốn tìm kiếm sản phẩm, Đại học quốc gia Hà Nội 2010 [8] Faraj Alhwarin, Chao Wang, Danijela Risti -Durrant, Axel Gräser, Improved SIFT-Features Matching for Object Recognition, Institute of Automation, University of Bremen 2008 [9] Harris C and Stephens M , A combined corner and edge detector, Proceedings of the Alvey Vision Conference.1998 [10] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool, SURF: Speeded Up Robust Features [11] Orhan-Sonmez RANSAC, 2006 (“http://www.math-info.univ- paris5.fr/~lomn/Cours/CV/SeqVideo/Material/RANSAC-tutorial.pdf” [12] Wikipedia - RANSAC (http://en.wikipedia.org/wiki/RANSAC) [13] Vinay A, Avani S Rao, Vinay S Shekhar, Akshay Kumar C, K N Balasubramanya Murthy, S Natarajan Feature Extractionusing ORB-RANSAC for Face Recognition , PES University and PES Institute of Technology India 2015 Tác giả chịu trách nhiệm viết: Họ tên: Lê Nguyễn Anh Huy Đơn vị: Trường Đại học Sư Phạm Kỹ Thuật TP.HCM Điện thoại: 0938 269304 Email: anhhuyspkt@gmail.com 82 S K L 0 ... định danh Hiệu hệ thống nhận dạng phụ thuộc vào phương pháp sử dụng Khóa luận ? ?Nhận dạng định danh khuôn mặt người thời gian thực sử dụng camera 2D giá rẽ” nhằm tìm hiểu phương pháp trích chọn... lĩnh vực như: giám sát an ninh, nhận dạng đối tượng, nhận dạng khuôn mặt, phát chuyển động, theo dõi chuyển động, nhận dạng khối u y học, hiệu chỉnh ảnh video,… Nhận dạng khuôn mặt ứng dụng phổ biến... dụng phương pháp nhận dạng có độ xác cao mà khối lượng thời gian tính tốn lại Hệ thống nhận dạng mặt người bao gồm hai bước: phát khuôn mặt định danh tự động đối tượng Cơng việc dựa vào kỹ thuật