Chống tấn công giả mạo bằng ảnh, video

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI *** PHAN MINH KHUÊ CHỐNG TẤN CÔNG GIẢ MẠO BẰNG ẢNH, VIDEO Chuyên ngành: Mạng máy tính an tồn thơng tin LUẬN VĂN THẠC SĨ KỸ THUẬT MẠNG MÁY TÍNH VÀ AN TỒN THƠNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN THỊ OANH Hà Nội - 2021 LỜI CAM ĐOAN Tôi xin cam đoan: Đề tài “Chống công giả mạo ảnh, video” tiến hành công khai dựa cố gắng, nỗ lực thân giúp đỡ không nhỏ giảng viên hướng dẫn Tất số liệu kết nghiên cứu luận văn hoàn tồn trung thực khơng có chép sử dụng kết từ đề tài nghiên cứu tương tự Nếu phát có chép đề tài nghiên cứu khác, tơi xin hồn tồn chịu trách nhiệm Hà Nội, ngày 20 tháng 05 năm 2021 Học viên LỜI CẢM ƠN Trong trình hoàn thành luận văn, nỗ lực, cố gắng, trau dồi thân, nhận đóng góp ý kiến, định hướng đắn kịp thời từ thầy cô bạn bè Đặc biệt, xin gửi lời cảm ơn chân thành sâu sắc đến giảng viên hướng dẫn TS Nguyễn Thị Oanh, người hết lịng hướng dẫn, giúp đỡ tơi để tơi có đủ kiến thức định hướng đắn góp phần hồn thiện đề tài cách tốt Tơi xin chân thành cảm ơn tồn thể quý thầy cô viện Công nghệ thông tin truyền thông, trường Đại học Bách Khoa Hà Nội tận tình bảo, truyền đạt kiến thức lý thuyết thực tế vơ bổ ích giúp tơi hồn thành chương trình học Tơi xin chân thành cảm ơn TÓM TẮT NỘI DUNG LUẬN VĂN Chống công giả mạo ảnh, video vấn đề cần nghiên cứu ưu tiên kĩ lưỡng hệ thống nhận diện sinh trắc học, cụ thể nhận diện khuôn mặt Các hệ thống sinh trắc học ln địi hỏi độ xác bảo mật cao Vì vậy, với việc kết tốt nghiên cứu chống công giả mạo khuôn mặt hình ảnh video giúp cho hệ thống sinh trắc học bảo vệ an toàn hơn, tránh cơng từ nhân tố có hại bên Mục tiêu luận văn nghiên cứu tốn chống cơng giả mạo khn mặt hình ảnh video Nghiên cứu khảo sát trạng tốn độ xác ưu nhược điểm số phương pháp giải Từ nghiên cứu đó, luận văn đề xuất giải pháp sử dụng mạng nơ-ron tích chập tuỳ biến dựa kiến trúc mạng EfficientNetB0 MobileNetv2 để phân loại khuôn mặt đầu vào khuôn mặt thật hay giả mạo Ngoài luận văn tiến hành mô thử nghiệm thực tế để đo đạc thời gian, độ xác,… từ đánh giá khả ứng dụng giải pháp lựa chọn MỤC LỤC DANH SÁCH HÌNH VẼ DANH SÁCH BẢNG BIỂU DANH SÁCH CÁC THUẬT NGỮ VIẾT TẮT 11 CHƯƠNG 1: TỔNG QUAN BÀI TỐN CHỐNG TẤN CƠNG GIẢ MẠO BẰNG ẢNH, VIDEO 12 1.1 Tổng quan toán chống công giả mạo ảnh, video 12 1.1.1 Định nghĩa toán 12 1.1.2 Đối tượng, phạm vi phương pháp nghiên cứu 13 1.1.3 Giới hạn toán 13 1.2 Các cách tiếp cận giải toán 13 1.2.1 Cách tiếp cận dựa tác động người 13 1.2.2 Cách tiếp cận dựa đặc trưng khuôn mặt 15 1.2.3 Tổng kết 16 CHƯƠNG 2: MỘT SỐ NGHIÊN CỨU LIÊN QUAN 17 2.1 Mạng nơ-ron tích chập tốn phân loại ảnh 17 2.1.1 Kiến trúc mạng ResNet [8] 17 2.1.2 Kiến trúc mạng MobileNet [17] 18 2.1.3 Kiến trúc mạng EfficientNet [11] 19 2.2 Một số nghiên cứu sử dụng mạng nơ-ron tích chập cho tốn chống cơng giả mạo 21 2.2.1 Giải pháp sử dụng thông tin không gian thời gian 21 2.2.2 Giải pháp sử dụng đầu vào gồm đa phương thức kết hợp 24 2.2.3 Giải pháp học không giám sát 27 2.2.4 Tổng kết 29 CHƯƠNG 3: MÔ HÌNH TRIỂN KHAI THỬ NGHIỆM 31 3.1 Giải pháp thử nghiệm 31 3.1.1 Giải pháp thứ nhất: giải toán phân loại ảnh hai lớp (thật giả mạo) với liệu đầu vào ảnh RGB 31 3.1.2 Giải pháp thứ hai: sử dụng ảnh RGB thêm thông tin độ sâu ảnh 33 3.2 Đánh giá thực nghiệm 35 3.2.1 Chuẩn bị liệu 35 3.2.2 Kịch thông số đánh giá kết 39 3.2.3 Kết thực nghiệm sử dụng đầu vào ảnh RGB 41 3.2.4 Kết thực nghiệm sử dụng thêm thông tin độ sâu 43 3.2.5 Tổng kết 47 3.3 Ứng dụng thực thi 47 3.3.1 Tổng quan ứng dụng thực thi 47 3.3.2 Thực thi ứng dụng 48 CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 50 4.1 Kết luận 50 4.2 Hướng phát triển 50 TÀI LIỆU THAM KHẢO 51 TÓM TẮT LUẬN VĂN THẠC SĨ 52 DANH SÁCH HÌNH VẼ Hình 1 Ví dụ cơng giả mạo khn mặt video [9] 12 Hình Kiến trúc mạng nơ-ron tích chập [15] 16 Hình Kiến trúc mạng nơ-ron tích chập [14] 17 Hình 2 Một khối dư kiến trúc mạng ResNet[8] 18 Hình Phép chập sử dụng kiến trúc mạng MobileNet [17] 19 Hình Khối dư kiến trúc mạng MobileNet [17] 19 Hình Khả mở rộng mạng nơ-ron tích chập [11] 20 Hình Kiến trúc mạng sở EfficientNet (EfficientNetB0) [11] 20 Hình Sử dụng thêm thông tin độ sâu tín hiệu nhịp tim giám sát q trình học mạng nơ-ron[1] 21 Hình Tổng quan kiến trúc mơ hình [1] 22 Hình Kiến trúc chi tiết mơ hình mạng [1] 22 Hình 10 Kiến trúc tổng quan mơ hình [2] 25 Hình 11 Ý tưởng giải pháp đề xuất mơ hình phân biệt kiểu công chưa huấn luyện [3] 28 Hình 12 Kiến trúc mạng đề xuất khối liên quan [3] 28 Hình Tổng quan kiến trúc mạng nơ-ron sử dụng 31 Hình Mạng nơ-ron thêm nhánh thơng tin độ sâu dựa kiến trúc EfficientNetB0 trình huấn luyện 33 Hình 3 Một số ví dụ khn mặt thật video liệu SiW [13] 35 Hình Một số ví dụ khn mặt giả mạo video liệu SiW [13] 35 Hình Khn mặt khung hình liên tiếp khơng có khác biệt đáng kể 37 Hình Một số ảnh ví dụ liệu Oulu-NPU [12] 37 Hình Quá trình tiền xử lý liệu 41 Hình Ảnh gốc ảnh độ sâu đầu vào tương ứng cho khuôn mặt thật (bên trái) khuôn mặt giả mạo (phải) 43 Hình Ví dụ đồ độ sâu mơ hình dự đốn kịch đánh giá nội 44 Hình 10 Ví dụ đồ độ sâu mơ hình dự đốn kịch đánh giá chéo 46 Hình 11 Sơ đồ tổng quan ứng dụng thực thi 47 Hình 12 Ví dụ video tự xây dựng 48 Hình 13 Ví dụ kết thực thi theo giải pháp sử dụng ảnh RGB 49 Hình 14 Ví dụ kết thực thi theo giải pháp sử dụng thêm thông tin độ sâu 49 DANH SÁCH BẢNG BIỂU Bảng Kết đánh giá nội liệu Oulu-NPU với giao thức đánh giá khác [1] 23 Bảng 2 Tỉ lệ lỗi trung bình đánh giá chéo liệu CASIA-MFSD Replay-Attack [1] 24 Bảng Kết đánh giá liệu CASIA-SURF với kiến trúc mạng dựa ResNet18 [2] 26 Bảng Kết đánh giá sử dụng đầu vào khác liệu CASIASURF [2] 27 Bảng Kết đánh giá giải pháp liệu SiW-M với kiểu công sử dụng hình ảnh video[3] 29 Bảng Ưu nhược điểm giải pháp sử dụng mạng nơ-ron tích chập tìm hiểu 30 Bảng Thơng tin số mạng nơ-ron tích chập sử dụng để phân loại liệu ImageNet [10][11] 32 Bảng Số lượng tham số kích thước mơ hình sử dụng 33 Bảng 3 Chi tiết số lượng video liệu SiW 36 Bảng Số lượng hình ảnh khn mặt trích xuất liệu SiW 36 Bảng Số lượng hình ảnh khn mặt sau tách tập liệu kiểm thử từ tập liệu huấn luyện liệu SiW 36 Bảng Số lượng hình ảnh khn mặt liệu SiW-mini 37 Bảng Chi tiết số lượng video liệu Oulu-NPU 38 Bảng Số lượng hình ảnh khn mặt trích xuất liệu Oulu-NPU 38 Bảng Số lượng hình ảnh khn mặt liệu Oulu-NPU-mini 39 Bảng 10 Cấu hình máy tính cá nhân sử dụng 40 Bảng 11 Kết đánh giá nội giải pháp sử dụng ảnh RGB 42 Bảng 12 Kết đánh giá chéo giải pháp sử dụng ảnh RGB 42 Bảng 13 Kết đánh giá nội giải pháp sử dụng thêm thông tin độ sâu 44 Bảng 14 So sánh kết đánh giá nội hai giải pháp đề xuất sử dụng kiến trúc EfficientNetB0 45 Bảng 15 Kết đánh giá chéo giải pháp sử dụng thêm thông tin độ sâu 45 Bảng 16 So sánh kết đánh giá chéo hai giải pháp đề xuất sử dụng kiến trúc EfficientNetB0 46 Bảng 17 Các thiết bị sử dụng để tạo liệu cho ứng dụng 48 Bảng 18 Thời gian phân loại sử dụng kiến trúc MobileNetv2 EfficientNetB0 theo giải pháp sử dụng ảnh RGB 49 10 Cụ thể liệu Oulu-NPU ta có:  Về phân chia liệu, liệu Oulu-NPU gồm ba tập liệu tập liệu huấn luyện, tập liệu phát triển tập liệu đánh giá với số lượng thống kê bảng 3.7 Bảng Chi tiết số lượng video liệu Oulu-NPU Tập liệu Huấn luyện Phát triển Đánh giá Số người 20 15 20 Số video truy cập 360 270 360 Số video công giả mạo 1,440 1,080 1,440 Tổng số video 1,800 1,350 1,800  Khác với liệu SiW, liệu Oulu-NPU khơng có tệp chứa toạ độ khn mặt kèm Vì vậy, tơi sử dụng thư viện Opencv2 để trích xuất khn mặt có video Sau trích xuất khn mặt tất video, ta có số lượng ảnh khuôn mặt thể bảng 3.8 Bảng Số lượng hình ảnh khn mặt trích xuất liệu Oulu-NPU Tập liệu Huấn luyện Phát triển Đánh giá Số người 20 15 20 Số khuôn mặt thật 47,702 35,593 47,542 Số khuôn mặt giả mạo 193,595 144,305 193,906 Tổng số khuôn mặt 241,279 179,898 241,448 Bảng 3.8 cho thấy số lượng hình ảnh khn mặt liệu Oulu-NPU khơng q nhiều Để phần sau có đánh giá khách quan với liệu SiW, trích xuất từ liệu Oulu-NPU ban đầu thành liệu nhỏ (gọi “Oulu-NPU-mini”) giống tạo liệu SiW-mini sử dụng bước nhảy (step) 2, nghĩa lấy khuôn mặt khung hình 1, 3, 5,… video Bên cạnh đó, tơi sử dụng tập liệu phát triển liệu Oulu-NPU để trích xuất tập liệu kiểm thử cho liệu OuluNPU-mini 38 Bảng Số lượng hình ảnh khn mặt liệu Oulu-NPU-mini Tập liệu Huấn luyện Kiểm thử Đánh giá Số người 20 15 20 Số khuôn mặt thật 23,973 12,001 23,895 Số khuôn mặt giả mạo 97,284 48,629 97,453 Tổng số khuôn mặt 121,257 60,630 121,348 3.2.2 Kịch thông số đánh giá kết a Kịch đánh giá Trong trình thức đề tài, sử dụng hai liệu liệu SiWmini liệu Oulu-NPU-mini cho ba trình: huấn luyện, kiểm thử đánh giá Vì vậy, tơi đề xuất hai kịch đánh giá kết thực nghiệm triển khai mơ hình, cụ thể sau Kịch thứ – đánh giá nội bộ: đánh giá kết tập liệu đánh giá liệu sử dụng để đào tạo mơ hình Cụ thể là: với mơ hình đào tạo tập liệu huấn luyện liệu SiW-mini, tính tốn, đánh giá kết tập liệu đánh giá liệu SiW-mini làm tương tự với liệu Oulu-NPUmini Kịch giúp đánh giá mơ hình có đạt kết tốt liệu hay khơng, có xảy số tượng overfiting, underfiting,… hay không Kịch thứ hai – đánh giá chéo: đánh giá kết tập liệu đánh giá liệu khác với liệu sử dụng để huấn luyện mơ hình Cụ thể là: với mơ hình đào tạo tập liệu huấn luyện liệu SiW-mini, tơi tính tốn, đánh giá kết tập liệu đánh giá liệu Oulu-NPU-mini làm tương tự với mơ hình đào tạo liệu Oulu-NPU-mini Kịch giúp đánh giá mơ hình đạt liệu có tốt tập liệu khác hay khơng, từ đánh giá khả ứng dụng giải pháp vào thực tế Quá trình huấn luyện, kiểm thử đánh giá mơ hình tiến hành máy tính cá nhân với thông số cho bảng 3.10 39 Bảng 10 Cấu hình máy tính cá nhân sử dụng STT Thiết bị Thông tin Hệ điều hành Window 10, 64bit RAM 8GB CPU Itel Core i3-8100, 3.6GHz GPU NVIDIA GTX 1060, 6GB HDD 2TB b Các thông số đánh giá Các thông số đánh giá hệ thống phân loại nhị phân thường tính tốn, đo lường loại lỗi Hệ thống phân loại nhị phân có hai lỗi là: False Positive (FP) False Negative (FN) Trong toán chống cơng giả mạo, tơi xác định lớp Positive (dương tính) khn mặt giả mạo lớp Negative (âm tính) khn mặt thật Do đó, False Positive (FP) lỗi mơ hình dự đốn khn mặt giả mạo khuôn mặt thật False Negative (FN) lỗi mô hình dự đốn khn mặt thật thành khn mặt giả mạo Từ định nghĩa trên, đánh giá mô hình dựa độ đo sau:  FPR – False Positive Rate: tỉ lệ từ chối sai, có nghĩa tỉ lệ lỗi người dùng thật truy cập hệ thống lại từ chối Nếu tỉ lệ lỗi lớn dẫn đến việc truy cập hợp lệ người dùng trở nên khó khăn 𝐹𝑃𝑅 = 𝐹𝑃 𝑇𝑁 + 𝐹𝑃  FNR – False Negative Rate: tỉ lệ chấp nhận sai, có nghĩa tỉ lệ lỗi truy cập giả mạo hệ thống chấp nhận Nếu tỉ lệ lớn khả phát giả mạo hệ thống thấp dẫn đến việc hệ thống dễ dàng chấp thuận cho lượt truy cập, kể giả mạo Đây mối nguy hiểm cho hệ thống bảo mật 𝐹𝑁𝑅 = 𝐹𝑁 𝑇𝑃 + 𝐹𝑁 40  HTER – Half Total Error Rate: tỉ lệ lỗi trung bình hệ thống Tỉ lệ giúp ta có nhìn tổng quan đánh giá khách quan sai số nhận diện giả mạo hệ thống với 𝐻𝑇𝐸𝑅 = 𝐹𝑃𝑅 + 𝐹𝑁𝑅 3.2.3 Kết thực nghiệm sử dụng đầu vào ảnh RGB a Xử lí liệu Với ảnh gốc hai liệu SiW-mini Oulu-NPU-mini thì, để tăng khả nhận diện giả mạo cho mơ hình, tơi tiến hành tăng cường liệu (data augmentation) tập liệu đầu vào với biện pháp cắt ngẫu nhiên vùng khuôn mặt hay thay đổi ngẫu nhiên độ sáng ảnh,… Và cuối thay đổi kích thước ảnh kích thước 256 x 256 sau chuẩn hố giá trị điểm ảnh đoạn [0,1] Hình Quá trình tiền xử lý liệu b Kết thực nghiệm Quá trình huấn luyện mơ hình với hai kiến trúc mạng nơ-ron MobileNetv2 EfficientB0 thực tập liệu huấn luyện liệu SiW-mini OuluNPU-mini với tham số huấn luyện quan trọng là: epoch 50, batch_size 16, learning-rate 0.01, optimizer Adam Kết tính tốn thực nghiệm mơ hình theo kịch đánh giá nội thể bảng 3.11 41 Bảng 11 Kết đánh giá nội giải pháp sử dụng ảnh RGB Bộ liệu Bộ liệu Kiến trúc huấn luyện đánh giá mơ hình SiW-mini Siw-mini FNR (%) FPR (%) HTER (%) MobileNetv2 0.171 0.476 0.324 EfficientNetB0 0.071 0.19 0.131 Oulu-NPU- Oulu-NPU- MobileNetv2 3.977 5.152 4.565 mini mini EfficientNetB0 2.992 1.749 2.371 Kết đánh giá nội cho thấy, hai kiến trúc mạng nơ-ron hầu hết cho kết FNR nhỏ FPR, chứng tỏ mơ hình phát công giả mạo tốt liệu Trong đó, kiến trúc EfficientNetB0 cho kết tốt MobileNetv2 hai liệu tỉ lệ lỗi trung bình (HTER) EfficientNetB0 thấp nhiều so với HTER MobileNetv2 Đối với kịch thứ hai – đánh giá chéo, kết đánh giá thực nghiệm thể bảng 3.12 Bảng 12 Kết đánh giá chéo giải pháp sử dụng ảnh RGB Bộ liệu Bộ liệu Kiến trúc huấn luyện đánh giá mơ hình Oulu-NPUmini SiW-mini FNR (%) FPR (%) HTER (%) MobileNetv2 18.999 21.439 20.219 EfficientNetB0 12.59 22.134 17.362 Oulu-NPU- MobileNetv2 32.396 3.236 17.816 mini EfficientNetB0 25.817 5.093 15.455 Siw-mini Kết đánh giá chéo cho thấy, kiến trúc EfficientNetB0 cho kết tốt MobileNetv2 (vì HTER nhỏ hơn), hai kiến trúc cho kết thấp tỉ lệ lỗi trung bình cịn cao (trên 15%) Điều cho ta thấy việc sử dụng ảnh RGB làm đầu vào mơ hình giải pháp chưa tối ưu cần thêm số thông tin phụ trợ khác để giám sát trình học mạng 42 3.2.4 Kết thực nghiệm sử dụng thêm thông tin độ sâu a Xử lí liệu Giống triển khai giải pháp thứ nhất, mơ hình thực nghiệm giải pháp thứ hai sử dụng ảnh RGB kích thước 256x256 làm liệu đầu vào trải qua bước tiền xử lí trình bày mục 3.2.3 (a) trước đưa vào huấn luyện mơ hình Ngồi ra, giải pháp cần thêm ảnh độ sâu làm ảnh đầu vào để giám sát q trình học thơng tin độ sâu cho mơ hình Những khn mặt giả mạo khơng có chiều sâu nên ảnh tham chiếu chúng mặc định hình ảnh với pixel có giá trị Đối với khn mặt thật, ảnh độ sâu dùng làm tham chiếu tạo thông qua kiến trúc mạng nơ-ron mang tên PRNet (Position map Regression Network) [10] Đây mạng nơ-ron có nhiệm vụ tái tạo lại khn mặt 3D, đánh dấu key point mặt tái tạo ảnh độ sâu từ ảnh 2D ban đầu với tốc độ cao chất lượng tốt Hình Ảnh gốc ảnh độ sâu đầu vào tương ứng cho khuôn mặt thật (bên trái) khuôn mặt giả mạo (phải) b Kết thực nghiệm Đối với giải pháp thứ hai, tiến hành thử nghiệm kiến trúc mạng nơ-ron có kết tốt (HTER nhỏ hơn) giải pháp thứ nhất, kiến trúc EfficientNetB0 Q trình huấn luyện mơ hình thực tập liệu huấn luyện liệu SiW-mini Oulu-NPU-mini với tham số huấn luyện là: epoch 50, batch_size 8, learning_rate 0.01, optimizer Adam Kết tính tốn thực nghiệm mơ hình theo kịch đánh giá nội thể bảng 3.13 43 Bảng 13 Kết đánh giá nội giải pháp sử dụng thêm thông tin độ sâu Bộ liệu Bộ liệu Kiến trúc huấn luyện đánh giá mơ hình SiW-mini SiW-mini Oulu-NPU- Oulu-NPU- mini mini FNR (%) FPR (%) HTER (%) EfficientNetB0 0.004 0.229 0.116 EfficientNetB0 1.135 2.641 1.888 Bảng 3.13 cho thấy, giải pháp sử dụng thêm thông tin độ sâu mang lại kết tốt có tỉ lệ lỗi trung bình HTER 0.116% liệu SiW-mini 1.888% liệu Oulu-NPU-mini Hình Ví dụ đồ độ sâu mơ hình dự đốn kịch đánh giá nội So sánh kết đánh giá nội hai giải pháp đề xuất sử dụng kiến trúc EfficientNetB0 thể bảng 3.14 44 Bảng 14 So sánh kết đánh giá nội hai giải pháp đề xuất sử dụng kiến trúc EfficientNetB0 Bộ liệu Bộ liệu huấn luyện đánh giá Giải pháp Chỉ sử dụng ảnh RGB SiW-mini SiW-mini Sử dụng ảnh RGB thông tin độ sâu Oulu-NPU- Oulu-NPU- mini mini Chỉ sử dụng ảnh RGB Sử dụng ảnh RGB thông tin độ sâu FNR FPR HTER (%) (%) (%) 0.071 0.19 0.131 0.004 0.229 0.116 2.992 1.749 2.371 1.135 2.641 1.888 Bảng 3.14 cho thấy, tổng quan, giải pháp sử dụng thêm thông tin độ sâu mang lại kết tốt giải pháp sử dụng ảnh RGB làm đầu vào cho tỉ lệ lỗi trung bình thấp (0.116% 1.888% so với 0.131% 2.371%) Về khả chống giả mạo, giải pháp sử dụng thêm thông tin độ sâu cho khả chống giả mạo tốt nhiều so với giải pháp sử dụng ảnh RGB có tỉ lệ chấp nhận sai (FNR) thấp nhiều lần Như vậy, thơng tin độ sâu có ảnh hưởng lớn tới q trình học đặc trưng mơ hình giúp chống giả mạo tốt Đối với kịch thứ hai - đánh giá chéo, kết đánh giá thực nghiệm thể bảng 3.15 Bảng 15 Kết đánh giá chéo giải pháp sử dụng thêm thông tin độ sâu Bộ liệu Bộ liệu Kiến trúc huấn luyện đánh giá mơ hình SiW-mini Oulu-NPUmini SiW-mini Oulu-NPUmini FNR (%) FPR (%) HTER (%) EfficientNetB0 3.610 20.49 12.05 EfficientNetB0 18.162 11.099 14.63 Kết đánh giá chéo bảng 3.15 cho thấy mơ hình đạt kết chưa tốt có tỉ lệ lỗi trung bình HTER cao (trên 12%) thấp so với giải pháp không 45 sử dụng thông tin độ sâu So sánh kết đánh giá chéo hai giải pháp đề xuất sử dụng kiến trúc EfficientNetB0 thể bảng 3.16 Hình 10 Ví dụ đồ độ sâu mơ hình dự đoán kịch đánh giá chéo Bảng 16 So sánh kết đánh giá chéo hai giải pháp đề xuất sử dụng kiến trúc EfficientNetB0 Bộ liệu Bộ liệu huấn luyện đánh giá SiW-mini Oulu-NPUmini Oulu-NPUmini Giải pháp Chỉ sử dụng ảnh RGB Sử dụng ảnh RGB thông tin độ sâu Chỉ sử dụng ảnh RGB SiW-mini Sử dụng ảnh RGB thông tin độ sâu FNR FPR HTER (%) (%) (%) 25.817 5.093 15.455 18.162 11.099 14.63 12.59 22.134 17.362 3.610 20.49 12.05 Bảng 3.16 cho thấy, giải pháp sử dụng thông tin độ sâu cho kết tốt giải pháp sử dụng ảnh RGB có tỉ lệ lỗi trung bình HTER thấp hai liệu 46 Khả chống giả mạo phương pháp sử dụng thêm thông tin độ sâu tăng đáng kể so với phương pháp thứ FNR giảm mạnh Điều lần cho thấy rằng, thơng tin độ sâu thực có ý nghĩa việc tăng cường khả chống giả mạo mơ hình 3.2.5 Tổng kết Qua q trình thực nghiệm hai giải pháp, thấy với liệu sẵn có, giải pháp dùng mạng nơ-ron tích chập đơn để chống giả mạo giải pháp có kết tốt liệu Tuy nhiên, để sử dụng giải pháp thực tế cần có giải pháp khác kèm để nâng cao chất lượng mơ hình Sử dụng thêm thơng tin độ sâu để huấn luyện mơ hình giải pháp khả thi 3.3 Ứng dụng thực thi 3.3.1 Tổng quan ứng dụng thực thi Sơ đồ tổng quan ứng dụng thực thi mô tả hình 3.11 Hình 11 Sơ đồ tổng quan ứng dụng thực thi Ứng dụng gồm có hai phần phát khn mặt phân loại khn mặt thật hay giả mạo thực khối chức tương ứng, cụ thể là:  Khối phát khuôn mặt: sử dụng ảnh RGB làm đầu vào phát khn mặt ảnh dạng hộp giới hạn (bounding box) Các khuôn mặt hộp giới hạn đưa để làm đầu vào cho khối chức Trong khối phát khn mặt, sử dụng số cơng cụ thư viện có sẵn để thực hiện, kể đến dlib hay mtcnn Trong ứng dụng này, sử dụng thư viện dlib thư viện dlib cho kết phát khuôn mặt tốt với tốc độ cao 47  Khối phân loại thật/giả mạo: sử dụng ảnh chứa khn mặt làm đầu vào, đưa qua mơ hình huấn luyện để tiến hành phân loại khuôn mặt đầu vào thật hay giả mạo 3.3.2 Thực thi ứng dụng a Dữ liệu cho ứng dụng Ứng dụng triển khai kiểm thử offline, nghĩa dùng video quay lại lượt truy cập hệ thống làm đầu vào sau phát xem lượt truy cập thật hay giả mạo cách phân loại khuôn mặt video khuôn mặt thật hay giả mạo Các video quay lại khoảng cách gần (1.5 mét) với đủ ba dạng truy cập truy cập hợp lệ (sử dụng khuôn mặt thật để truy cập), cơng giả mạo hình ảnh công giả mạo video Các thiết bị sử dụng để tạo liệu cho ứng dụng liệt kê bảng 3.17 Bảng 17 Các thiết bị sử dụng để tạo liệu cho ứng dụng STT Tên thiết bị Điện thoại Samsung Galaxy S9 Mục đích sử dụng Quay video lượt truy cập làm đầu vào cho ứng dụng thực thi Điện thoại Xiaomi Quay hiển thị lại video cho Mi A2 Lite công giả mạo video Máy in Laser Samsung In hình ảnh cho cơng giả mạo SL - M2825ND hình ảnh Video đầu vào có độ dài 18 giây, tốc độ khung hình 30fps độ phân giải fullHD (1920x1080) Hình 12 Ví dụ video tự xây dựng 48 b Kết thực thi ứng dụng Ứng dụng phát triển ngơn ngữ lập trình python, sử dụng thư viện học máy tensorflow, keras máy tính cá nhân với thơng số cấu hình thống kê bảng 3.10 Đối với giải pháp sử dụng ảnh RGB, thời gian phân loại khuôn mặt thật/giả mạo kiến trúc MobileNetv2 EfficientNetB0 thống kê bảng 3.18 Bảng 18 Thời gian phân loại sử dụng kiến trúc MobileNetv2 EfficientNetB0 theo giải pháp sử dụng ảnh RGB Kiến trúc Thời gian phân loại Thời gian phân loại mơ hình CPU (ms) GPU (ms) MobileNetv2 126.6 9.1 EfficientNetB0 145.4 15.2 STT Hình 13 Ví dụ kết thực thi theo giải pháp sử dụng ảnh RGB Với giải pháp sử dụng ảnh RGB, thời gian phân loại khuôn mặt thật/giả mạo GPU thấp độ xác cao Với phần cứng hỗ trợ việc chạy ứng dụng theo thời gian thực điều hoàn toàn khả thi Đối giải pháp dùng thêm thông tin độ sâu, thời gian phân loại backbone EfficientNetB0 cao (18.5 ms GPU) có thêm nhánh tích chập để mơ hình học thêm thơng tin độ sâu Hình 14 Ví dụ kết thực thi theo giải pháp sử dụng thêm thông tin độ sâu 49 CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Kết luận Như vậy, q trình thực luận văn, tơi hiểu rõ tốn “chống cơng giả mạo ảnh, video” thực công việc sau:  Tìm hiểu cách tiếp cận phương pháp để giải toán  Đề xuất triển khai hai giải pháp sử dụng mạng nơ-ron tích chập cho tốn  Tính tốn, đánh giá kết nhận xét khả chống giả mạo hai giải pháp đề xuất  Xây dựng thành công ứng dụng thực thi sử dụng hai giải pháp đề xuất 4.2 Hướng phát triển Hiện tại, hai giải pháp đề xuất chưa đạt kết tốt kết đánh giá cho tỉ lệ lỗi trung bình cịn cao Hơn nữa, giải pháp tơi đề xuất chưa mở rộng với nhiều kiểu cơng phức tạp Chính vậy, tương lai, nghiên cứu sử dụng kết hợp thêm phương pháp, thuật tốn khác tối ưu hơn, kết hợp với thiết bị hỗ trợ bên ngồi để mơ hình chống giả mạo tơi có kết tốt ứng dụng vào thực tế 50 TÀI LIỆU THAM KHẢO [1] Yaojie Liu, “Learning Deep Models for Face Anti-Spoofing: Binary or Auxiliary Supervision”, CVPR 2018 [2] Shifeng Zhang, “A Dataset and Benchmark for Large-scale Multi-model Face Anti spoofing”, CVPR 2019 [3] Yaojie Liu, “Deep Tree Learning for Zero-shot Face Anti-Spoofing”, CVPR 2019 [4] Yao Feng, “Joint 3D Face Recontruction and Dense Alignment with Position Map Regression Network”, CVPR 2018 [5] P.Bharadwaj, “Liveness detection using eye blink a case study”, IJAIEM 2012 [6] Alia M Khaled Saad, “Anti-spoofing using challenge-response user interaction” Issued 2015 [7] Anshika Shukla, “Spoof detection using local binary pattern in face” Published 04/2020 [8] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, "Deep Residual Learning for Image Recognition," ILSVRC 2015 [9] “https://www.bioid.com/blog/2019/07/presentation-attack-detection” [Accessed 15 01 2021] [10] “https://keras.io/api/applications/” [Accessed 15 01 2021] [11] “https://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html” [Accessed 15 01 2021] [12] “https://sites.google.com/site/ oulunpudatabase/” [Accessed 14 01 2021] [13] “http://cvlab.cse.msu.edu/siw-spoof-in-the-wild-database.htmlcvlab.cse.msu.edu”, [Accessed 10 01 2021] [14] “https://stanford.edu/~shervine/l/vi/teaching/cs-230/cheatsheet-convolutionalneural-networks” [Accessed 22 02 2021] [15] “https://lrdatascience.com/product/online-training-r-neural-nets” [Accessed 18 01 2021] [16] “http://www.imagenet.org/challenges/LSVRC/2014/results” [Accessed 24 02 2021] [17] “https://medium.com/dataseries/the-evolution-of-googles-mobilenet-architecturesto-improve-computer-vision-models-ffb483ffcc0a” [Accessed 19 02 2021] 51 TÓM TẮT LUẬN VĂN THẠC SĨ Đề tài: Chống công giả mạo ảnh, video Tác giả luận văn: Phan Minh Khuê SHHV: CB180198 Lớp: 18BMMT Khoá: 2018B Người hướng dẫn: TS Nguyễn Thị Oanh – Viện Công nghệ thông tin truyền thơng, trường Đại học Bách Khoa Hà Nội Từ khố: Chống công giả mạo ảnh, video Nội dung tóm tắt: Chống giả mạo khn mặt vấn đề quan trọng hệ thống sinh trắc học Việc nghiên cứu toán chống giả mạo khuôn mặt đạt kết tốt giúp cho hệ thống sinh trắc học tránh cơng từ yếu tố bên ngồi Trong tốn chống giả mạo hình ảnh video mà toán chống giả mạo phổ biến Mục tiêu luận văn nghiên cứu phương pháp chống giả mạo khuôn mặt thường sử dụng Từ đó, với phát triển mạnh mẽ học sâu với kiến trúc mạng nơ-ron tích chập ln cải tiến mang lại kết cao thực tiễn, tơi đề xuất phương pháp giải toán dựa kiến trúc mạng nơ-ron phổ biến Sau đề xuất triển khai, đánh giá phương pháp, ứng dụng thực thi triển khai phương pháp kiểm thử thực tế xây dựng để đánh giá tính thực tiễn phương pháp 52 ... QUAN BÀI TỐN CHỐNG TẤN CƠNG GIẢ MẠO BẰNG ẢNH, VIDEO Chương trình bày tổng quan tốn chống cơng giả mạo ảnh, video u cầu xác tốn giải luận văn 1.1 Tổng quan tốn chống cơng giả mạo ảnh, video 1.1.1... có hệ thống Hình 1 Ví dụ công giả mạo khuôn mặt video [9] Như vậy, định nghĩa tốn chống cơng giả mạo khn mặt ảnh, video tóm lược sau: ? ?Chống công giả mạo khuôn mặt ảnh, video xác định xem khuôn... VIẾT TẮT 11 CHƯƠNG 1: TỔNG QUAN BÀI TOÁN CHỐNG TẤN CÔNG GIẢ MẠO BẰNG ẢNH, VIDEO 12 1.1 Tổng quan tốn chống cơng giả mạo ảnh, video 12 1.1.1 Định nghĩa toán 12