Nghiên cứu phương pháp nhận dạng và định danh người sử dụng deep learning

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu phương pháp nhận dạng định danh người sử dụng Deep learning LÊ XUÂN HƯNG Ngành: Kỹ thuật Viễn thông Giảng viên hướng dẫn: TS Võ Lê Cường Viện: Điện tử - Viễn thông HÀ NỘI, 2020 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu phương pháp nhận dạng định danh người sử dụng Deep learning LÊ XUÂN HƯNG Ngành: Kỹ thuật Viễn thông Giảng viên hướng dẫn: TS Võ Lê Cường Chữ ký GVHD Viện: Điện tử - Viễn thông HÀ NỘI, 2020 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn đến thầy cô giáo Viện Điện tử - Viễn thông; bạn: Phạm Văn Mười, Nguyễn Mạnh Tuân, Trương Bá Mạnh thành viên phòng thí nghiệm AICS Lab Đặc biệt, xin gửi lời cảm ơn chân thành sâu sắc tới thầy giáo, TS Võ Lê Cường tận tình giúp đỡ tơi hồn thành luận văn Tóm tắt nội dung luận văn Trí thơng minh nhân tạo với robot, xe tự hành, hệ thống cơng phịng thủ qn sự, thành phố thông minh … áp dụng đời sống xã hội nước giới Thị giác máy tính với giải thuật với độ xác cao phần thiếu phát triển Để chủ động nắm bắt phần thành tựu khoa học phù hợp với công tác chuyên môn đơn vị Tôi lựa chọn đề tài “Nghiên cứu phương pháp nhận diện định danh người sử dụng Deep learning” Luận văn nghiên cứu thử nghiệm hệ thống phát giả mạo khn mặt dựa thuật tốn học máy Hệ thống xây dựng dựa định dạng liệu đầu vào khác nhau, cụ thể liệu hai chiều (2D) dạng ảnh màu (ảnh RGB) ảnh cận hồng ngoại (ảnh NIR) Các bước hệ thống phát giả mạo khuôn mặt bao gồm: tiền xử lý hình ảnh, xác định vị trí khn mặt ảnh, trích chọn đặc trưng phân loại khn mặt thật hay giả mạo Các đặc trưng khuôn mặt trích xuất bao gồm độ sáng mắt, vùng mũi hay tỷ lệ phản xạ loại vật liệu, sau tổng hợp lại thành vector đặc trưng Bộ phân loại SVM sử dụng để huấn luyện phân loại khuôn mặt thật hay giả Tồn chương trình phát giả mạo khn mặt viết ngơn ngữ lập trình Python Đầu vào chương trình ảnh mầu chụp từ camera RGB camera NIR, chương trình thử nghiệm thực tế dựa mơ hình học máy huấn luyện Kết độ xác mơ hình phân loại ảnh thật hay giả mạo đạt 96% tập liệu tự thu nêu HỌC VIÊN Lê Xuân Hưng MỤC LỤC CHƯƠNG CỞ SỞ LÝ THUYẾT 1.1 Xử lý ảnh 1.2 Convolution Neural Network 1.3 Machine learning [6] 13 1.3.1 Trích xuất đặc trưng 21 1.3.2 Phân lớp 24 1.4 Kết luận 24 CHƯƠNG TỔNG QUAN VỀ HỆ THỐNG PHÁT HIỆN GIẢ MẠO KHUÔN MẶT 25 2.1 Khái niệm chống giả mạo khuôn mặt 25 2.2 Phương pháp công hệ thống nhận dạng khuôn mặt 26 2.2.1 Tấn công trực tiếp 26 2.2.2 Tấn công gián tiếp 29 2.3 Các phương thức chống giả mạo 29 2.3.1 Các phương thức chống giả mạo 2D 29 2.3.2 Phương thức chống giả mạo 3D 32 2.4 Phương pháp phát giả mạo khuôn mặt dựa phân tích đặc trưng ảnh RGB NIR 32 2.4.1 Tổng quan hệ thống 33 2.4.2 Đặc điểm ảnh RGB, NIR 34 2.4.3 Phát vị trí khn mặt 35 2.4.4 Trích xuất đặc trưng 42 2.4.5 Phân loại 49 2.5 Kết luận 50 i CHƯƠNG KẾT QUẢ VÀ ĐÁNH GIÁ 51 3.1 Bộ liệu ảnh RGB NIR 51 3.2 Điều kiện thử nghiệm 53 3.2.1 Camera RGB+ IR 54 3.2.2 Cấu hình PC 55 3.2.3 Môi trường phần mềm hệ thống 56 3.3 Phương pháp đánh giá 57 3.3.1 Đánh giá phát khuôn mặt 58 3.3.2 Đánh giá trích xuất đặc trưng 60 3.3.3 Đánh giá phân loại 60 3.4 Kết đánh giá 60 3.4.1 Đánh giá phát vị trí khn mặt 60 3.4.2 Đánh giá trích xuất landmarks 61 3.4.3 Đánh giá phân loại 62 KẾT LUẬN 66 TÀI LIỆU THAM KHẢO 67 ii DANH MỤC HÌNH VẼ Hình 1.1-1 Ảnh kỹ thuật số Hình 1.1-2 Độ phân giải ảnh Hình 1.1-3 Mức xám ảnh Hình 1.1-4 Ví dụ ảnh màu Hình 1.1-5 Ví dụ liệu viết tay scikit-learning [2] Hình 1.1-6 Ví dụ trích xuất đặc trưng HoG [3] Hình 1.2-1 Mạng nơ-ron ba lớp thơng thường [5] Hình 1.2-2 Mạng nơ-ron tích chập xếp nơ-ron chiều Hình 1.2-3 Kiến trúc mạng LeNet-5 cho nhận diện chữ số viết tay Hình 1.2-4 Kiến trúc mạng AlexNet (hai pipeline) Hình 1.2-5 Kiến trúc mạng ZFNet 10 Hình 1.2-6 Inception module (bên trái module dạng nguyên thủy, bên phải dạng giảm đa chiều) 11 Hình 1.2-7 Kiến trúc mạng GooogleNet .11 Hình 1.2-8 Kiến trúc mạng VGGNet (16 layers) 12 Hình 1.2-9 Kiến trúc mạng ResNet 12 Hình 1.3-1 Quá trình hình thành Machine learning[4] 14 Hình 1.3-2 Ví dụ hồi quy tuyến tính[6] 15 Hình 1.3-3 Hồi quy logic [7] 16 Hình 1.3-4 Cây phân loại hồi quy [7] 17 Hình 1.3-5 Navie Bayes [7] 18 Hình 1.3-6 K-NN[10] 19 Hình 1.3-7 Support vector machine[11] 20 Hình 1.3-8 Phép nhân tích chập [13] 21 Hình 1.3-9 Ví dụ lấy mẫu [13] 23 iii Hình 1.3-10 Ví dụ lấy mẫu tối đa [13] 23 Hình 2.2-1 Phương pháp giả mạo khuôn mặt [14] .27 Hình 2.2-2 Tấn cơng ảnh 27 Hình 2.2-3 Tấn công video 28 Hình 2.2-4 Mặt nạ 3D 29 Hình 2.3-1 Local binary pattern 30 Hình 2.3-2 Ví dụ ảnh thật giả mạo 31 Hình 2.4-1 Sơ đồ khối hệ thống chống giả mạo 33 Hình 2.4-2 Khác bước sóng ánh sáng nhìn thấy cận hồng ngoại [18] 34 Hình 2.4-3 Đặc trưng HOG ảnh chứa khuôn mặt 35 Hình 2.4-4 Các đặc trưng Haar .36 Hình 2.4-5 Các đặc trưng Haar khuôn mặt vị trí khác [24] 37 Hình 2.4-6 Sơ đồ khối hệ thống detect khn mặt thuật tốn Viola-Jones 38 Hình 2.4-7 Ảnh trước sau chạy thuật tốn NMS .38 Hình 2.4-8 Kiến trúc mạng SSD YOLO 39 Hình 2.4-9 Mơ hình mạng R-CNN .40 Hình 2.4-10 Mơ hình mạng Fast-RCNN 40 Hình 2.4-11 Mơ hình mạng Faster-RCNN 40 Hình 2.4-12 Các điểm landmarks khuôn mặt 41 Hình 2.4-13 Khác mắt thật giả mạo [34] .43 Hình 2.4-14 Mắt người thật giả mạo ảnh cận hồng ngoại 43 Hình 2.4-15 Mắt lấy từ điểm landmark 44 Hình 2.4-16 So sánh vùng mũi ảnh thật giả mạo [33] 45 Hình 2.4-17 Khác mũi người thật giả mạo ảnh cận hồng ngoại45 Hình 2.4-18 Biểu đồ chiết suất phản xạ da mặt [34] 47 iv Hình 2.4-19 5-fold cross validation [36] 49 Hình 3.1-1 Ảnh người thật camera RGB (trái) NIR (phải) 52 Hình 3.1-2 Ảnh giả mạo thiết bị 53 Hình 3.2-1 Hệ thống phát giả mạo khuôn mặt 54 Hình 3.2-2 Camera DJU T201 54 Hình 3.2-3 Các framework Machine Learning 56 Hình 3.3-1 Hình ảnh minh họa IOU Bgt (màu xanh) Bp (màu đỏ) 59 Hình 3.4-1 Kết thực nghiệm PC 63 Hình 3.4-2 Một số trường hợp nhận diện sai 64 v DANH MỤC BẢNG BIỂU Bảng 3.2-1 Thông số kỹ thuật camera DJU T201 55 Bảng 3.4-1 Kết đánh giá phát khuôn mặt 61 Bảng 3.4-2 Kết đánh giá landmarks 61 Bảng 3.4-3 Độ xác mơ hình PC 62 Bảng 3.4-4 Tốc độ triển khai hệ thống PC 64 vi CHƯƠNG CỞ SỞ LÝ THUYẾT Chương trình bày khái niệm sử dụng xử lý ảnh bao gồm: định nghĩa liên quan đến ảnh kỹ thuật trích xuất đặc trưng Chương đồng thời trình bày q trình phát triển Machine learning, thuật tốn Machine learning kiến trúc CNN 1.1 Xử lý ảnh Xử lý ảnh [1] đối tượng nghiên cứu lĩnh vực thị giác máy, trình biến đổi từ ảnh ban đầu sang ảnh với đặc tính tuân theo ý muốn người sử dụng Xử lý ảnh gồm q trình phân tích, phân lớp đối tượng, làm tăng chất lượng, phân đoạn tách cạnh, gán nhãn cho vùng hay trình biên dịch thơng tin hình ảnh ảnh Cũng xử lý liệu đồ hoạ, xử lý ảnh số lĩnh vực tin học ứng dụng Xử lý liệu đồ họa đề cập đến ảnh nhân tạo, ảnh xem xét cấu trúc liệu tạo chƣơng trình Xử lý ảnh số bao gồm phương pháp kỹ thuật biến đổi, để truyền tải mã hố ảnh tự nhiên Mục đích xử lý ảnh gồm: Biến đổi ảnh làm tăng chất lượng ảnh Tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá nội dung ảnh Nhận biết đánh giá nội dung ảnh phân tích hình ảnh thành phần có ý nghĩa để phân biệt đối tượng với đối tượng khác, dựa vào ta mơ tả cấu trúc hình ảnh ban đầu Có thể liệt kê số phương pháp nhận dạng nhận dạng ảnh đối tượng ảnh, tách cạnh, phân đoạn hình ảnh,… Kỹ thuật dùng nhiều y học (xử lý tế bào, nhiễm sắc thể), nhận dạng chữ văn Trước sâu vào tốn phát giả mạo khn mặt, cần biết số khái niệm xử lý ảnh Cụ thể: + Ảnh kỹ thuật số: dạng biểu diễn ảnh dạng ma trận số chiều 3.2.3 Môi trường phần mềm hệ thống Trong lĩnh vực Machine learning, có nhiều framework hỗ trợ cho người lập trình để mang lại nhiều lợi ích đơn giản sử dụng phải kể đến Theano, Tensorflow Pytorch, Mxnet, … (Hình 3.2-3) Mỗi Framework hỗ trợ mạnh mẽ việc huấn luyện mơ hình phân loại, có điểm mạnh riêng phù hợp với mục đích sử dụng khác Tensorflow khơng phải mã nguồn mở hồn tồn, không đơn phục vụ cho máy học (machine learning) mà cịn hỗ trợ cơng cụ tính tốn cho học tăng cường (Reinforcement Learning) nhiều thuật toán khác Trong nhiều báo đánh giá hiệu framework Học sâu phổ biến, TF thường đạt kết không cao phần lớn test Tuy vậy, TF có ưu điểm mạnh số lượng công cụ bổ trợ, đặc biệt cho việc gỡ lỗi (debug), đảm bảo hỗ trợ liên tục từ Google Hay Pytorch framework hỗ trợ Facebook framework lâu đời nhận quan tâm chăm sóc từ ông lớn cộng đồng sử dụng Pytorch mang đến cho người dùng đơn giản, đa chức hỗ trợ nhiều mơ hình huấn luyện trước phù hợp cho tốn phân loại Hình 3.2-3 Các framework Machine Learning 56 Scikit-learn (viết tắt sklearn) thư viện mã nguồn mở dành cho Machine Learning sử dụng Data Science Đây công cụ mạnh mẽ thông dụng với cộng đồng Python, thiết kế NumPy SciPy Scikit-learn chứa hầu hết thuật toán Machine Learning đại nhất, kèm với tài liệu, cập nhật Công cụ cung cấp việc sử dụng API tìm kiếm ngẫu nhiên dễ dàng Nhưng lợi việc sử dụng ScikitLearn, tốc độ thực đánh giá khác dataset Sau q trình tìm hiểu tơi lựa chọn sử dụng Scikit-learn frame work hỗ trợ cho thuật toán phân loại SVM 3.3 Phương pháp đánh giá Khi xây dựng mơ hình dự đốn, cần phép đánh giá để xem mơ hình sử dụng có hiệu khơng khả dự đốn mơ hình có tốt hay khơng để từ đưa kết luận cải thiện mơ hình Như ta biết, camera IR giúp ta lọc hình ảnh giả mạo hiển thị LCD in phun giấy A4 Vì phần đánh giá này, đề tài sử dụng ảnh in laser giấy A4 làm ảnh giả mạo Có nhiều cách đánh giá mơ hình phân loại Tùy vào toán khác mà ta sử dụng phương pháp khác Tuy nhiên nôi dung Đồ án thường sử dụng phương pháp: ACC, TP, TN, FP, FN Ta coi ảnh điểm liệu + ACC: viết tắt Accuracy – độ xác Cách đánh giá đơn giản tính tỉ lệ số điểm dự đốn tổng số điểm tập sở liệu ảnh đánh giá + TP, TN, FP, FN – cách đánh giá áp dụng cho toán phân loại lớp liệu Cụ thể hơn, lớp liệu có lớp quan trọng cần dự đốn xác Trong tốn phân loại ảnh giả mạo ảnh thật, việc xác định 57 ảnh ảnh giả mạo hay khơng việc khơng bị sót (miss) quan trọng việc dự đoán nhầm ảnh thật thành ảnh giả mạo Trong toán người ta thường định nghĩa lớp liệu quan trọng cần xác định lớp Positive (P), lớp lại Negative (N) + TP: viết tắt True Positive, dự đoán trường hợp ưu tiên (quan trọng) liệu + FP: viết tắt False Positive, dự đoán sai trường hợp ưu tiên liệu + TN: viết tắt True Negative, dự đốn trường hợp cịn lại (kém ưu tiên hơn) tập liệu + FN: viết tắt False Negative, dự đoán sai trường hợp lại (kém ưu tiên hơn) tập liệu Mối tương quan cách đánh giá mơ hình: Tỉ lệ xác (Percision) biểu thị: Percision = Tỉ lệ tái (Recall) biểu thị tỉ lệ: Recall = 3.3.1 Đánh giá phát khuôn mặt IoU (Intersection Over Union) [31] sử dụng để đánh giá performance object detector HOG + Linear SVM Convolutional Neural Network (R-CNN, FasterR-CNN, YOLO, v.v ) tiền đề quan để bàn tốn tính tốn xác bước 58 IOU tính tốn dựa giải thuật Jaccard để đánh giá phần chồng lấn khung chứa khuôn mặt thật Bgt (ground truth bounding box) khung chứa khuôn mặt phát Bp (detected bounding box) Giá trị IOU lớn tính diện tích phần chồng lấn Bp với Bgt chia cho diện tích hợp Bp Bgt : IOU = Hình 3.3-1 Hình ảnh minh họa IOU Bgt (màu xanh) Bp (màu đỏ) Khi đó, với đầu vào hình ảnh có khn mặt, ta có khái niệm sau: TP: phát khn mặt xác, IOU > ngưỡng FP: phát khuôn mặt, sai vị trí, IOU < ngưỡng FN: khơng phát khn mặt TN: đầu vào khơng có khn mặt Dlib phát có khn mặt Trong trường hợp này, TN không áp dụng Trong đề tài, sử dụng ngưỡng 0.5 59 3.3.2 Đánh giá trích xuất đặc trưng Từ thuật toán phát khoanh vùng khng mặt, xử lý bước trích xuất đặc trưng dựa facial landmarks 68 điểm thư viện Dlib Vậy cơng việc đánh giá trích xuất đặc trưng đánh giá độ xác landmarks với hình ảnh đầu vào khn mặt Các khái niệm bản: TP: landmarks xác định xác vị trí phận khn mặt FP: landmarks xác định khơng xác tồn bộ phận khuôn mặt FN: landmarks không xác định khuôn mặt 3.3.3 Đánh giá phân loại Phân loại tầng cuối hệ thống, đầu kết luận hình ảnh đầu vào khn mặt thật hay hình ảnh giả mạo Vì tơi đánh giá phân loại : - Lý thuyết : sử dụng thuật toán SVM để đánh giá liệu thu - Thực tế : đưa hình ảnh giả mạo, khn mặt thật để đánh giá hệ thống Các khái niệm: TP: đầu vào ảnh giả mạo, hệ thống kết luận ảnh giả mạo FP: đầu vào ảnh giả mạo, hệ thống kết luận ảnh thật TN: đầu vào ảnh thật, hệ thống kết luận ảnh thật FN: đầu vào ảnh thật, hệ thống kết luận ảnh giả mạo 3.4 Kết đánh giá 3.4.1 Đánh giá phát vị trí khn mặt Hệ thống đưa hình ảnh phát khn mặt vào phận trích xuất landmarks Những trường hợp khơng phát khuôn mặt hệ thống bỏ qua 60 Bảng 3.4-1 Kết đánh giá phát khuôn mặt Bộ phát khuôn mặt TP FP FN Percision Recall mAP (%) (%) (%) (ảnh) (ảnh) (ảnh) RGB – Real 463 100 99.1 99.1 IR – Real 464 99.4 99.4 98.99 RGB – Spoof 260 52 99.6 83.3 83.4 IR – Spoof 265 47 100 84.9 84.9 Hệ thống đưa hình ảnh phát khn mặt vào phận trích xuất landmarks Những trường hợp khơng phát khuôn mặt hệ thống bỏ qua Như bảng ta thấy độ xác trung bình phát khn mặt mặt thật cao (99.1% với ảnh RGB, 98.99% với ảnh IR) Trong đó, độ xác trung bình hình ảnh giả mạo mức trung bình (83.4% với ảnh RGB, 84.9% với ảnh IR) Từ thấy, hệ thống phát khn mặt thật tốt, đồng thời giúp loại bỏ phần hình ảnh giả mạo vào trích xuất landmarks 3.4.2 Đánh giá trích xuất landmarks Bảng 3.4-2 Kết đánh giá landmarks Bộ trích xuất landmarks TP FP FN Percision Recall (ảnh) (ảnh) (ảnh) (%) (%) RGB – Real 463 100 99.1 IR – Real 432 35 92.5 92.5 RGB – Spoof 262 50 100 84 IR – Spoof 246 19 66 92.8 78.8 61 Hệ thống đưa hình ảnh phát landmark vào phận phân loại Vì vậy, độ xác trích xuất landmarks vơ quan trọng Những hình ảnh xác định vị trí landmark sai dẫn đến việc phân loại đưa kết luận sai Với trường hợp đầu vào khuôn mặt thật, hệ thống kết luận giả mạo khiến người dùng thời gian Với trường hợp đầu vào hình ảnh giả mạo, hệ thống kết luận khuôn mặt giả mạo, trường hợp nguy hiểm Những hình ảnh khơng xác định landmark hệ thống bỏ qua Vì với đầu vào khn mặt thật, recall q thấp dẫn đến việc hệ thống đưa kết luận mặt thật chậm Từ bảng thấy : - Với hình ảnh RGB: đầu vào khn mặt thật hình ảnh giả mạo cho precision 100% - Với hình ảnh IR : precision với đầu vào khuôn mặt thật 92.5% với hình ảnh giả mạo 92.8% Do hình ảnh IR nhạy cảm với ánh sáng, nên có ánh sáng tới hình ảnh đầu vào khiến landmarks xác định vị trí khơng xác 3.4.3 Đánh giá phân loại Dưới kết mơ hình phát giả mạo khuôn mặt đánh giá tập dataset thu sử dụng thuật toán SVM để phân loại Bảng 3.4-3 Độ xác mơ hình PC TP TN FP FN ACC (Ảnh) (Ảnh) (Ảnh) (Ảnh) (%) 131 55 95.9% Như bảng ta thấy độ xác mơ hình sử dụng Dlib 95.9% 62 Số lượng ảnh đưa vào để kiểm tra có khác biệt q trình trích xuất đặc trưng, việc tìm landmark Dlib tập liệu Đối với trường hợp khơng tìm landmark loại bỏ Một số kết thực nghiệm hệ thống phát giả mạo khuôn mặt dựa phân tích ảnh RGB NIR triển triển khai PC: (a) (b) (c) (d) Hình 3.4-1 Kết thực nghiệm PC Hình 3.8a hiển thị kết hệ thống đầu vào mặt người thật Hình 3.4-1 b, c, d hình ảnh kết hệ thống đầu vào ảnh giả mạo thiết bị: điện thoại, ảnh in laser ảnh in phun Hình chữ nhật màu xanh thể khn mặt thật, hình chữ nhật màu đỏ thể khuôn mặt giả mạo Một số trường hợp phân loại sai phân tích: 63 Hình 3.4-2 Một số trường hợp nhận diện sai Hình 3.4-2 số hình ảnh sai việc phân loại thật giả Hình bên trái hình ảnh người thật bị nhận diện giả mạo, bên cạnh hình ảnh khn mặt sau phát khn mặt dự đốn landmarkd Hình bên phải hình ảnh người giả bị nhận thật Đối với ảnh thật bị nhận giả ta thấy hệ thống phân tích landmark xác định sai vị trị mắt Trường hợp ảnh giả hệ thống nhận sai ví trí mắt với phản xạ ánh sang IR từ Led làm cho vùng mắt ảnh giả sáng lên nhiều nên ảnh hưởng lớn đến việc phân loại sử dụng đặc trưng trích xuất từ mắt Bảng 3.4-4 Tốc độ triển khai hệ thống PC Thiết bị Bộ phát Độ phân giải FPS 640x480 17 320x240 32 khuôn mặt landmark PC Dlib Bảng 3.4-4 kết kiểm tra tốc độ chạy mơ hình PC Như ta thấy, giảm độ phân giải đầu vào gia tăng đáng kế tốc độ xử lý mơ hình Với độ phân giải 640x480 sử dụng Dlib cho tốc độ khoảng 17 FPS, với 320x240 Dlib cho tốc độ khoảng 32 FPS 64 3.5 Kết luận Chương trình bày chi tiết cách thu thập liệu phát giả mạo khuôn mặt sử dụng đồ án thống kê kết đạt triển khai hệ thống PC Độ xác hệ thống sử dụng thuật tốn Dlib để phát khn mặt cho kết 95,9% Chương đưa số hướng phát triển cho hệ thống tương lai 65 KẾT LUẬN Sau khoảng thời gian tích cực nghiêm túc thực đề tài “Nghiên cứu phương pháp nhận diện định danh người sử dụng Deep learning”, đề tài đạt số kết phát triển phương pháp phát giả mạo khuôn mặt dựa thuật toán Machine learning đồng thời triển khai hệ thống chống giả mạo khn mặt với độ xác tốc độ xử lý cao Tuy nhiên hệ thống hiên tồn số hạn chế hệ thống phân loại điều kiện cường độ ánh sáng yếu Bộ liệu xây dựng có đối tượng Dựa hạn chế đồ án, đồ án đề phương hướng phát triển tương lai cho hệ thống cụ thể độ xác hệ thống phát giả mạo khn mặt đạt 95,9% cải thiện thêm cách phát triển thuật tốn trích xuất đặc trưng Cùng với tăng cường thêm số lượng đối tượng liệu tự xây dựng phương thức công giả mạo mặt nạ 3D, trang điểm 66 TÀI LIỆU THAM KHẢO [1] Rafael C.Gonzalez, Richard E.Woods, Digital Image Processing, Upper Saddle River, New Jersey 07458 [2]https://scikitimage.org/docs/dev/auto_examples/features_detection/plot_hog.ht ml, truy nhập cuối ngày 1/8/2020 [3] https://machinelearningcoban.com/2016/12/26/introduce/, truy nhập cuối ngày 3/8/2020 [4] https://www.youtube.com/watch?v=FmpDIaiMIeA [5] https://vi.wikipedia.org/wiki/M%E1%BA%A1ng_th%E1%BA%A7n_kinh, truy nhập cuối ày 5/8/2020 [6] https://vi.wikipedia.org/wiki/H%E1%BB%8Dc_m%C3%A1y, truy nhập cuối ày 5/8/2020 [7] https://machinelearningcoban.com/2017/08/08/nbc/ , truy nhập cuối ngày 10/8/2020 [8] https://machinelearningcoban.com/2018/01/14/id3/, truy nhập cuối ngày 15/8/2020 [9] https://machinelearningcoban.com/2017/04/09/smv/, truy nhập cuối ngày 15/8/2020 [10] Javier Galbally, Riccardo Satta, Three-dimensional and two-and-a-halfdimensional face recognition spoofing using three-dimensional printed models, IET Biom., pp 1–9, The Institution of Engineering and Technology 2015 [11] Ivana Chingovska, Andre Anjos and S ´ ebastien Marcel, On the Effectiveness of Local Binary Patterns in Face Anti-spoofing, presented at the IEEE BioSIG 2012 meeting [12] A lia M Khaled Saad, Anti-Spoofing Using Challenge-Response User Interaction, 47-48, spring 2015 67 [13] Shaimaa Mohamed1, Amr Ghoneim, Aliaa Youssif, Visible/Infrared face spoofing detection using texture descriptors, MATEC Web of Conferences 292, 04006 (2019) [14] Sheryl Brahnam, Lakhmi C Jain, Loris Nanni, and Alessandra Lumini 2013 Local Binary Patterns: New Variants and Applications Springer Publishing Company [15] Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc Van Gool 2008 Speeded-Up Robust Features (SURF) Comput Vis Image Underst 110, (June 2008), 346-359 [16] Dlib: A Library for Machine Learning, (Dec 25th, 2018), http://Dlib.net/ [17] Paul Viola and Michael J Jones 2004 Robust Real-Time Face Detection Int J Comput Vision 57, (May 2004), 137-154 [18] Viola, Paul A and Michael J Jones “Rapid Object Detection using a Boosted Cascade of Simple Features.”, CVPR (2001) [18] http://www.willberger.org/cascade-haar-explained/ , truy nhập cuối ngày 20/8/2020 [19] Sochman, Jan and Jiri Matas “AdaBoost with totally corrective updates for fast face detection.” Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004 Proceedings (2004): 445-450 [20] E.H Andelson and C.H Anderson and J.R Bergen and P.J Burt and J.M Ogden "Pyramid methods in image processing" 1984 [21] Zhang, Kaipeng, Zhanpeng Zhang, Zhifeng Li and Yu Qiao “Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks.” IEEE Signal Processing Letters 23 (2016): 1499-1503 [22] Redmon, Joseph, Santosh Kumar Divvala, Ross B Girshick and Ali Farhadi “You Only Look Once: Unified, Real-Time Object Detection.” 2016 IEEE 68 Conference on Computer Vision and Pattern Recognition (CVPR) (2016): 779788 [23] Girshick, Ross B., Jeff Donahue, Trevor Darrell and Jitendra Malik “Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation.” 2014 IEEE Conference on Computer Vision and Pattern Recognition (2014): 580587 [24] Girshick, Ross B “Fast R-CNN.” 2015 IEEE International Conference on Computer Vision (ICCV) (2015): 1440-1448 [25] Ren, Shaoqing, Kaiming He, Ross B Girshick and Jian Sun “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks.” IEEE Transactions on Pattern Analysis and Machine Intelligence 39 (2015): 1137-1149 [26] Liu, Wei, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott E Reed, Cheng-Yang Fu and Alexander C Berg “SSD: Single Shot MultiBox Detector.” ECCV (2016) [27] https://ibug.doc.ic.ac.uk/resources/300-W/, truy nhập cuối ngày 5/6/2020 [34] Lingxue Song, Changsong Liu, Face Liveness Detection Based on Joint Analysis of RGB and Near-Infrared Image of Faces, Society for Imaging Science and Technology, January 28, 2018 [28] R Basri and D W Jacobs, "Lambertian reflectance and linear subspaces”, in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 25, no 2, pp 218-233, Feb 2003 [29] https://github.com/tzutalin/labelImg, truy nhập cuối ngày 18/8/2020 [30] https://github.com/rafaelpadilla/Object-Detection-Metrics, truy nhập cuối ngày 22/8/2020 [31] https://ai.hblab.vn/2017/10/intersection-over-union-iou-cho-object.html, truy nhập cuối ngày 15/9/2020 69 [32] https://www.nguyenkim.com/do-phan-giai-man-hinh-hd-fhd-4k-co-y-nghianhu-the-nao.html [33] https://dlapplications.github.io/2018-07-06-CN 70 ... tài ? ?Nghiên cứu phương pháp nhận diện định danh người sử dụng Deep learning? ?? Luận văn nghiên cứu thử nghiệm hệ thống phát giả mạo khn mặt dựa thuật tốn học máy Hệ thống xây dựng dựa định dạng. ..TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu phương pháp nhận dạng định danh người sử dụng Deep learning LÊ XUÂN HƯNG Ngành: Kỹ thuật Viễn thông Giảng viên hướng... cần sử dụng nhiều tài nguyên trình xử lý (phương 32 pháp sử dụng tính học sâu), ảnh hưởng nhiều đến trải nghiệm người dùng (phương pháp sử dụng thách thức phản hồi) hay độ xác hệ thống thấp (phương