Phát hiện giả mạo khuôn mặt sử dụng công nghệ trí tuệ nhân tạo

Bài viết đề xuất mạng nơ-ron tích chập hduNet được phát triển từ mạng MobilenetV2 của Google để phát hiện giả mạo khuôn mặt nhằm hướng tới mục tiêu chạy trên các thiết bị phần cứng yếu không sử dụng bộ xử lý đồ họa (GPU) mà vẫn đáp ứng độ chính xác. Ngoài ra, chúng tôi cũng bổ sung thêm 5000 dữ liệu ảnh mang đặc trưng của người châu Á để tăng cường hiệu quả và tránh việc mất cân bằng trong bộ dữ liệu chuẩn LCC_FASD [1] vốn chỉ thiên về ảnh giả mạo với 16885 ảnh giả mạo và chỉ 1942 ảnh thật.

TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 PHÁT HIỆN GIẢ MẠO KHUÔN MẶT SỬ DỤNG CƠNG NGHỆ TRÍ TUỆ NHÂN TẠO Lê Văn Hào1, Trịnh Thị Anh Loan1, Lê Việt Nam1, Nguyễn Đức Tồn2 TĨM TẮT Phát giả mạo khuôn mặt bước quan trọng hệ thống nhận dạng khuôn mặt Gần đây, phát triển mạng nơ-ron tích chập (Convolution Neural Networks - CNNs) cho thấy kết vượt trội so với phương pháp truyền thống sử dụng thuật toán xử lý ảnh khác Bên cạnh đó, xu hướng di động hóa đ i hỏi phần mềm cần đáp ứng khả thực thi thiết bị có lực hạn chế điện thoại, thiết bị nhúng Trong báo này, chúng tơi đề xuất mạng nơ-ron tích chập hduNet phát triển từ mạng MobilenetV2 Google để phát giả mạo khuôn mặt nhằm hướng tới mục tiêu chạy thiết bị phần cứng yếu không sử dụng xử lý đồ họa (GPU) mà đáp ứng độ xác Ngồi ra, chúng tơi bổ sung thêm 5000 liệu ảnh mang đặc trưng người châu Á để tăng cường hiệu tránh việc cân liệu chuẩn LCC_FASD [1] vốn thiên ảnh giả mạo với 16885 ảnh giả mạo 1942 ảnh thật Cuối cùng, thực đánh giá hiệu mạng đề xuất tập liệu thu thập ứng dụng kết ứng dụng thực tiễn cụ thể Từ khóa: Giả mạo khn mặt, phương pháp học chuyển giao, phương pháp tinh chỉnh, mạng nơ-ron tích chập ĐẶT VẤN ĐỀ Các công giả mạo trở thành mối đe dọa bảo mật nghiêm trọng cho hệ thống xác thực, chúng đƣợc sử dụng để truy cập trái phép vào hệ thống cách mạo danh ngƣời dùng đƣợc ủy quyền Cụ thể, kẻ xấu dễ dàng thực công giả mạo hệ thống xác thực khuôn mặt cách in ảnh ngƣời đƣợc ủy quyền lên giấy cách chụp ảnh hiển thị thiết bị di động [2,3] Nhằm đối phó với thách thức này, số kỹ thuật chống giả mạo đƣợc phát triển để phát hành vi giả mạo Các hệ thống chống giả mạo dựa mạng nơ-ron tích chập gần thể hiệu vƣợt trội chúng so với phƣơng pháp truyền thống, chúng giải pháp hứa hẹn để thay kỹ thuật dựa đặc trƣng thuật toán học máy trƣớc vốn dựa đặc trƣng cục dễ nhạy cảm với nhiễu kết xác Khoa Cơng nghệ Thơng tin Truyền thông, Trường Đại học Hồng Đức Sở Công Thương Thanh Hóa 83 TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 Tuy nhiên, có xu hƣớng nhận dạng khuôn mặt dần chuyển sang thiết bị di động thiết bị nhúng Điều yêu cầu thuật toán chống giả mạo khuôn mặt cần đƣợc cải tiến để chạy với chi phí tính tốn lƣu trữ Từ quan điểm này, việc thiết kế thuật toán chống giả mạo dựa mạng nơ-ron tích chập trở nên thách thức môi trƣờng di động nhúng Do đó, phát triển thuật tốn học sâu đủ tốt để chạy đƣợc thiết bị cấu hình thấp nhƣng đáp ứng đƣợc độ xác thuật toán cần nhiều đầu tƣ nghiên cứu Đóng góp chúng tơi báo đề xuất mạng nơ-ron học sâu hduNet phát triển từ mơ hình MobileNetV2 đƣợc phát triển Google Bên cạnh đó, sau nghiên cứu liệu giả mạo khuôn mặt, nhận thấy điểm khó khăn giới hạn mức độ phong phú, đa dạng liệu chƣa đáp ứng Bởi thế, chúng tơi đóng góp thêm vào 5000 liệu ảnh liệu chuẩn LCC_FASD nhằm giảm tình trạng cân nâng cao hiệu thuật toán để phù hợp với đặc trƣng ngƣời châu Á, cụ thể ngƣời Việt Nam Bài báo đƣợc tổ chức nhƣ sau: Phần trình bày cơng việc liên quan đến nghiên cứu phát giả mạo khuôn mặt Phần mô tả chi tiết phƣơng pháp đề xuất chúng tơi Phần trình bày trình thực nghiệm kết chúng tôi, bao gồm việc tiền xử lý liệu, hậu xử lý ngữ cảnh ứng dụng thực tiễn Cuối cùng, kết luận định hƣớng phát triển tƣơng lai đƣợc trình bày phần CÁC K THUẬT PHÁT HIỆN GIẢ M O KHU N MẶT Nhìn chung, nghiên cứu phát giả mạo đƣợc chia thành phƣơng pháp gồm: phƣơng pháp truyền thống phƣơng pháp sử dụng mạng nơ-ron tích chập CNNs Phƣơng pháp truyền thống: Bài toán phát giả mạo đƣợc quy toán phân loại nhị phân phƣơng pháp sử dụng vector hỗ trợ (Support Vector Machine - SVM) Cụ thể, trình đƣợc thực theo cách sau: Bước Trích chọn đặc trƣng lọc khác Các đặc trƣng đƣợc áp dụng chủ yếu bao gồm: Local Binary Patterns (LBP) [4,5,6], Scale Invariant Feature Transform (SIFT) [7], Speeded-Up Robust Features (SURF) [8], Histogram of Oriented Gradients (HOG) [9,10], Difference of Gaussian (DoG) [10] Bước Phân loại giả hay thật cách sử dụng thuật toán SVM Random Forest Tuy nhiên, tác giả [11] việc phát đặc trƣng bị ảnh hƣởng nhiều môi trƣờng, ví dụ nhƣ điều kiện ánh sáng Hơn nữa, phát đặc trƣng cho thấy hạn chế đặc trƣng điểm đặc trƣng không cung cấp nhiều thơng tin nhƣ phƣơng thức CNN mang lại với tập liệu khổng lồ 84 TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 Phƣơng pháp CNNs: Về bản, phƣơng pháp sử dụng CNNs đƣợc nhóm thành nhóm Nhóm Sử dụng khung hình màu RGB kết hợp với phân loại Hầu hết phƣơng pháp tiếp cận cách sử dụng lớp cuối mạng CNNs tầng kết nối đầy đủ (Fully Connected Layer) để phân biệt khuôn mặt thật giả Bên cạnh đó, tác giả [12] đề xuất cách không lấy đặc trƣng tầng cuối mà họ kết hợp sử dụng SVM tầng gần cuối để phân biệt khuôn mặt thật giả Các tác giả ơ13] tăng cƣờng thêm việc áp dụng mạng học sâu phát chớp mắt để nâng cao kết Và nghiên cứu thấy nhóm phƣơng pháp sử dụng ảnh RGB kết hợp với mạng học sâu CNN đƣợc cải thiện hiệu Nhóm Sử dụng mạng CNN với nhiều khung ảnh RGB kết hợp với phƣơng pháp đo áp lực tĩnh mạch Remote Photoplethysmography (rPPG) [14] để đƣa định Phƣơng pháp cho kết tốt khn mặt giả khơng có tín hiệu PPG Nhƣng nhóm phƣơng pháp yêu cầu cần có máy ảnh chuyên dụng để đo đƣợc PPG, đồng nghĩa với việc cần phát sinh thêm khoản chi phí cần mua thêm thiết bị ngồi Nhóm Kết hợp nhiều loại ảnh RGB, ảnh hồng ngoại, ảnh 3D đối tƣợng để truyền vào mạng CNN nhằm trích chọn đặc trƣng đƣa định [15] Nhóm phƣơng pháp mặc thấy độ xác cao so với nhóm khác nhƣng yêu cầu nguồn liệu thiết bị phần cứng để đáp ứng Bên cạnh đó, sử dụng nhiều loại ảnh u cầu số lƣợng tính tốn lớn, điều làm cho thuật tốn khó đạt đƣợc tốc độ mong muốn Qua phƣơng pháp trên, việc áp dụng kiến trúc mạng trọng lƣợng nhẹ chƣa có nhiều quan tâm Trong phần tiếp theo, chúng tơi đề xuất mạng nơ-ron tích chập CNNs có tên hduNet dựa tinh chỉnh tối ƣu kiến trúc mạng CNNs tiếng Google MobileNetV2 [16] để đáp ứng độ xác thời gian xử lý PHƢƠNG PHÁP ĐỀ XUẤT Trong phần này, giới thiệu chi tiết mạng hduNet Cách tiếp cận tinh chỉnh tối ƣu mạng nơ-ron nhân chập dựa mơ hình mạng đƣợc huấn luyện Google MobilenetV2 Phƣơng pháp thƣờng đƣợc biết đến với tên gọi học chuyển giao (transfer learning) Đây phƣơng pháp hiệu để cải thiện tốc độ hiệu suất từ mơ hình mạng đƣợc huấn luyện thực nhiệm vụ ban đầu chuyển sang thực nhiệm vụ thứ hai Phƣơng pháp giúp tránh đƣợc tình trạng học q nhớ (overfitting) khơng có số lƣợng lớn liệu huấn luyện từ đầu, đồng nghĩa với việc tiết kiệm đƣợc tài nguyên máy tính để phục vụ huấn luyện mơ hình mạng nơ-ron 85 TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 3.1 Kiến trúc mạng đề xuất Đối với mạng nơ-ron tích chập, thơng thƣờng có hƣớng để thực học chuyển giao: cách đơn giản tách lấy trích chọn đặc trƣng (features extractor) kĩ thuật nâng cao mà cần đòi hỏi q trình thực nghiệm tinh chỉnh (fine-tunes) mơ hình Trong báo này, chúng tơi thực theo hƣớng thứ nhằm mục đích đạt đƣợc mơ hình mạng nơ-ron nhân chập tối ƣu Bảng So sánh mơ hình mạng tiếng đánh giá tập liệu ImageNet Mạng Kích thƣớc (MB) Độ xác (%) Số lƣợng tham số Xception 88 79.0 22.910.480 VGG16 528 71.3 138.357.544 VGG19 549 71.3 143.667.240 ResNet50 99 74.9 25.636.712 InceptionV3 92 77.9 23.851.784 MobileNetV2 14 71.3 3.538.984 Mạng học sâu đƣợc đề xuất hduNet đƣợc phát triển từ mạng MobileNetV2 [16], mạng học sâu tiên tiến đƣợc Google đề xuất năm 2018 Chúng lựa chọn mạng MobilenetV2 nhằm kế thừa lại độ xác (đã đƣợc huấn luyện kiểm thử liệu imagenet chứa 1,2 triệu ảnh [17]) giải đƣợc khó khăn (chi phí phần cứng, thời gian huấn luyện) mà thuật tốn mạng nơ-ron nhân tạo gặp phải Ngồi ra, mạng MobileNetV2 có độ xác khơng thua mơ hình mạng phổ biến khác nhƣ VGG16, VGG19 lƣợng tham số gần triệu, khoảng xấp xỉ 1/39 số lƣợng tham số VGG16 Bảng cho thấy thống kê so sánh độ xác, số lƣợng tham số mạng số kiến trúc mạng tiếng khác Hình mơ tả kiến trúc tổng quan hduNet Khối nét đứt phần kiến trúc mạng MobileNetV2 Kiến trúc mạng MobileNetV2 nhận đầu vào ảnh 2D với kích thƣớc 224 x 224 pixel Lớp nhân chập với 32 lọc (filters), theo sau 19 khối (gồm nhiều tầng nhân chập ghép nhau) Hàm kích hoạt (activation function) đƣợc sử dụng hàm rectifier linear unit (ReLU), tất kích thƣớc mặt nạ lọc x Tầng kết nối đầy đủ (full connected layers) MobilenetV2 đƣợc chúng tơi loại bỏ, thay vào chúng tơi bổ sung phần đƣợc bao khối nét liền gồm Tầng giảm chiều tham số, chúng tơi lựa chọn hàm giảm chiều GlobalAveragePooling, theo sau tầng kết nối sử dụng hàm Softmax để phân loại ảnh thật hay ảnh giả mạo Việc làm nhằm điều chỉnh mục tiêu kiến trúc mạng ban đầu để thực mục tiêu toán phát giả mạo khuôn mặt Trong phần kế tiếp, trình bày chi tiết việc huấn luyện mạng hduNet 86 TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 Hình Kiến trúc tổng quan mạng hduNet 3.2 Cơ sở liệu Ba sở liệu đƣợc sử dụng gồm LCC_FASD [1], NUAA [18] hduDB sở liệu đóng góp Thật Giả mạo Thật Giả mạo (a) Minh họa hình ảnh tập liệu LCC_FASD (b) Minh họa hình ảnh tập liệu NUAA Hình Một phần tập liệu LCC_FASD NUAA Cơ sở liệu Large Crowdcollected Facial Anti-Spoofing Dataset (LCC_FASD) chứa tập gồm trainning, development evaluation Tổng cộng gồm 243 đối tƣợng (ngƣời châu Úc) với 1942 ảnh thật 16885 ảnh giả mạo Hình ảnh đƣợc thu thập từ nhiều nguồn nhƣ Youtube, Amazon, Toloka, với hình thức giả mạo 83 loại thiết bị (máy ảnh số, điện thoại, ) khác Hình (a) mô tả phần tập liệu LCC_FASD Cơ sở liệu NUAA Photo Imposter Database (NUAA) chứa 15 đối tƣợng (ngƣời Trung Quốc), gồm 5105 ảnh thật 7509 ảnh giả mạo nhiều vị trí (văn phịng, ngồi trời, …) điều kiện ánh sáng khác Cơ sở liệu chia làm tập training testing Hình (b) minh họa phần ảnh thật ảnh đƣợc giả mạo liệu NUAA 87 TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 Sau phân tích sở liệu chuẩn, đƣợc sử dụng nhiều nghiên cứu phát giả mạo khuôn mặt [8,9,10,18], nhận thấy Cơ sở liệu LCC_FASD tập trung phần lớn vào thu thập ảnh giả mạo với tỉ lệ ảnh thật/ảnh giả mạo chệnh lệch lớn xấp xỉ 1/9 điều có xu hƣớng dẫn đến kết trình huấn luyện mạng nơ-ron bị xác (underfitting) Trong đó, sở liệu NUAA với số lƣợng đối tƣợng không nhiều, 15 ngƣời khác Ngồi dạng cơng sở liệu NUAA phƣơng pháp chụp ảnh in lại giấy A4 (2D print-attack) mà khơng có đa dạng hóa hình thức cơng cách quay chụp lại khuôn mặt từ thiết bị số nhƣ điện thoại, máy tính bảng,… (video replay attacks) Chính thế, với kỳ vọng có mơ hình mạng tốt, có tính tổng qt cao, phù hợp với đặc trƣng ngƣời châu Á trình huấn luyện trình kiểm thử thực tế Chúng xây dựng sở liệu mới, hduNet, tổng hợp dựa sở liệu đóng góp thêm nhằm mục tiêu phù hợp với liệu ngƣời châu Á, chi tiết đƣợc mô tả bảng Bảng Thống kê số lƣợng ảnh tập liệu hduDB Phần Ảnh giả mạo Ảnh thật Training 8000 4800 Valuation 2000 1200 Evaluation 4436 330 Tổng 14436 6330 THỰC NGHIỆM VÀ KẾT QUẢ 4.1 Môi trƣờng thực nghiệm Thuật tốn đƣợc cài đặt ngơn ngữ Python thƣ viện hỗ trợ phát triển thuật tốn học sâu Keras3 Ngồi q trình huấn luyện thực máy tính với hệ điều hành Ubuntu 18.4-LTS đƣợc trang bị Intel(R) Xeon(R) W-2133 CPU @ 3.60GHz (16GB RAM), NVIDIA GeForce GTX GPU (11GB) 4.2 Tiền xử lý liệu Do sử dụng nguồn liệu khác nhau, để thực huấn luyện mơ hình mạng nơ-ron nhân chập cài đặt số bƣớc tiền xử lý liệu gồm: Cơ sở liệu LCC_FASD NUAA: Thực co, giãn ảnh kích thƣớc chung 128 x 128 Điều đồng nghĩa với việc kích thƣớc ảnh đầu vào mạng hduNet 128 x128, 224 x 224 mạng MobileNetV2 Điều này, giúp giảm đƣợc chi phí tính tốn mạng nơ-ron Thư viện lập trình mạng học sâu (deep learning): https://keras.io/ 88 TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 Cơ sở liệu hduNet: Vì liệu chúng tơi thực mức thô gồm video quay chụp từ camera an ninh, thiết bị di động,… nên chúng tơi thực q trình xử lý theo bƣớc nhƣ sau: Đầu tiên, video đầu vào đƣợc phân đoạn thành khung hình Bƣớc tiếp theo, chúng tơi thực thuật tốn phát khn mặt khung hình Thứ ba, với khung hình có chứa khn mặt chúng tơi xác định kích thƣớc chúng cắt vùng ảnh chứa khuôn mặt để lƣu trữ Cuối cùng, với ảnh chứa khuôn mặt đƣợc điều chỉnh kích thƣớc chuẩn 128 x 128 4.3 Huấn luyện đánh giá mơ hình Chúng huấn luyện mạng hduNet với tham số mạng gồm: learning rate 0.0001, kích thƣớc batch size 32, thuật toán tối ƣu Adam [19] số lƣợng Epochs 28 Hình mơ tả q trình huấn luyện mạng hduNet Hình Biểu đồ huấn luyện mạng hduNet với số lƣợng Epochs 28 Qua hình cho thấy mơ hình mạng nơ-ron hduNet học tốt, điều đƣợc thể qua trình huấn luyện (training) kiểm thử (validation) Biểu đồ hàm mục tiêu (loss) độ xác (accuracy) huấn luyện kiểm thử bám sát đạt kết ấn tƣợng kết thúc huấn luyện với giá trị hàm mục tiêu giảm 0,02 độ xác đạt 0.98 cịn q trình kiểm thử giá trị hàm mục tiêu độ xác tƣơng ứng đạt 0,08 0,97 Để đánh giá chất lƣợng mạng nơ-ron độ tổng quát liệu mô hình hduNet chúng tơi thực chạy mơ hình mạng tập liệu đánh giá (evaluation data) gồm 4436 ảnh giả mạo 330 ảnh thật, không nằm liệu dùng huấn luyện kiểm thử Độ đo mà sử dụng độ đo phổ biến đƣợc sử dụng đánh giá hệ thống sinh trắc học gồm: Độ xác (Accuracy) cơng thức (3), Tỉ lệ phân loại ảnh giả mạo nhầm thành ảnh thật (False Acceptance Rate FAR) công thức (1), Tỉ lệ phân loại ảnh thật bị nhầm thành giả mạo (False Rejection Rate - FRR) công thức (2) Bảng diễn giải cách tính FAR, FRR Accuracy 89 TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 Bảng Ma trận nhầm lẫn (Confusion matrix) Phân lớp hệ thống Lớp Phân lớp Thật (nhãn) Giả mạo Thật Giả mạo TP FN FP TN Trong đó: TP: Số lƣợng mẫu thuộc lớp thật đƣợc phân loại ảnh thật FP: Số lƣợng mẫu thuộc lớp giả mạo đƣợc phân loại nhầm thành ảnh thật FN: Số lƣợng mẫu thuộc lớp thật đƣợc phân loại thành giả mạo TN: Số lƣợng mẫu thuộc lớp giả mạo đƣợc phân loại giả mạo N: Tổng số lƣợng mẫu đƣợc đánh giá (N = 4436 + 330 = 4766) Kết tƣơng ứng thu đƣợc FAR = 0.124, FRR =0.008 Accuracy = 0.867 Kết chúng tơi đƣợc đem so sánh với kết độ xác nhóm tác giả [1] sử dụng mạng nơ-ron nhân chập CNNs khác Bảng cho thấy kết độ xác thấp gần 10% so với kiến trúc mạng tốt SeNet-154, nhƣng theo bảng mục tiêu kiến trúc mạng cần đạt đƣợc kích thƣớc mạng cần đủ nhẹ với số lƣợng tham số Chúng tơi đánh đổi tỉ lệ để đạt đƣợc kiến trúc mạng nhẹ độ xác mức cao 86,7% Ngoài ra, kịch ứng dụng thực tế hệ thống nhận dạng khuôn mặt phải đối mặt với q trình đối sánh nhận dạng khn mặt, cơng đoạn có thời gian tính tốn tỉ lệ thuận với số lƣợng mẫu (ngƣời) sở liệu đối sánh Hoặc là, ứng dụng mà việc đọc liệu từ luồng camera với tốc độ thơng thƣờng 24 hình/giây, tốc độ xử lý ứng dụng điều cần đƣợc ƣu tiên Để đối phó với ràng buộc xử lý luồng video từ camera chúng tơi trình bày cụ thể phần Bảng So sánh độ xác hduNet CNNs 90 Mạng CNNs Độ xác (%) Xception 95.9 ResNext-50 94.0 SeNet-154 96.2 hduNet 86.7 TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 4.4 Ứng dụng thực tiễn Trong ứng dụng thực tiễn, việc phát giả mạo khuôn mặt thƣờng kèm nhiều thuật tốn khác nhƣ phát khn mặt, đánh dấu điểm đặc trƣng (mắt, mũi, miệng) khn mặt, trích chọn đặc trƣng (embedding features) phân loại Ngoài ra, liệu đầu vào thƣờng luồng video đƣợc đọc từ camera, webcam thay ảnh tĩnh nhƣ q trình huấn luyện kiểm thử Chính thế, thuật tốn trở nên thách thức với việc xử lý luồng liệu video (trung bình khoảng 24 khung hình/giây) Để giải khó khăn này, chúng tơi cài đặt thêm thuật tốn hậu xử lý (postprocessing) đƣợc trình bày dƣới Thuật tốn: phát giả mạo khuôn mặt với liệu video Đầu vào: Ảnh thu nhận từ webcam, camera 01 : While True : 02 : Begin : 03 : count_real = 04 : Dị tìm phát khn mặt ảnh 05 : Cắt vùng khuôn mặt phát 06 : Phát khuôn mặt giả mạo 07 : count_real += 08 : If count_real > : 09 : Begin : 10 : Hiển thị vẽ hình bao quanh khuôn mặt với nhãn real 11 : count_real = 12 : End if : 13 : else 14 : Hiển thị vẽ hình bao quanh khn mặt với nhãn fake 15 : End (a) (b) (c) Hình Một số kết thực nghiệm phát giả mạo khuôn mặt từ camera giám sát (a) khuôn mặt thật trước camera, (b) khuôn mặt giả mạo chụp điện thoại, (c) khuôn mặt giả mạo in từ ảnh 91 TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 Để đánh giá thời gian xử lý, chúng tơi thực nghiệm mơ hình hduNet máy tính thơng thƣờng đƣợc trang bị CPU Intel® Core™ i5-5300U, RAM 4GB Qua bảng cho thấy rằng, hduNet có thời gian xử lý tối đa xấp xỉ đạt 15.4 FPS (Frames Per Second) nhƣng với việc kết hợp vào dị tìm khn mặt hậu xử lý tổng thể thời gian xử lý cho kết gần thời gian thực (real-time) với trung bình 22.5 FPS Nhƣ vậy, kết hợp mơ hình hduNet áp dụng thêm kĩ thuật hậu xử lý, thuật tốn chúng tơi trở nên bền vững có tiềm ứng dụng giải pháp thực tế Hình mơ tả số kết thực nghiệm chạy mơ hình điều kiện thực tế Bảng Thời gian xử lý Mơ hình hduNet Tích hợp hệ thống Max FPS 15.4 22.5 KẾT LUẬN Trong báo này, chúng tơi trình bày hƣớng tiếp cận mà sử dụng phƣơng pháp học chuyển giao mạng nơ-ron tích chập để giải vấn đề phát giả mạo khn mặt Ngồi ra, chúng tơi đóng góp thêm để xây dựng sở liệu dành cho việc phát giả mạo khuôn mặt với đặc trƣng khuôn mặt ngƣời Châu Á Cơ sở liệu khắc phục đƣợc hạn chế sở liệu LCC_ FASD NUAA, trở thành sở liệu mang tính đại diện tốt, mức độ tổng quát đa dạng cao Nhìn chung, giải pháp đơn giản nhƣng hiệu dễ sử dụng tình ứng dụng thực tế Trong tƣơng lai, chúng tơi hƣớng tới tích hợp mơ hình phát giả mạo khn mặt vào ứng dụng nhƣ điểm danh, chấm cơng, khóa cửa nhận dạng khuôn mặt TÀI LIỆU THAM KHẢO [1] [2] [3] [4] 92 D Timoshenko, K Simonchik, V Shutov, P Zhelezneva and V Grishkin (2019), Large Crowdcollected Facial Anti-Spoofing Dataset, in Computer Science and Information Technologies (CSIT), Yerevan, Armenia N Evans (2019), Handbook of Biometric Anti-spoofing: Presentation Attack Detection, Springer Y Li, K Xu, Q Yan, Y Li, and R H Deng (2014), Understanding osn-based facial disclosure against face authentication systems, in Proceedings of the 9th ACM symposium on Information, computer and communications security ACM Tiago de Freitas Pereira, Andre Anjos, José Mario De Martino, and Sebastien Marcel (2013), Can face anti-spoofing countermeasures work in a real world scenario?, in International Conference on Biometrics (ICB) TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] Tiago de Freitas Pereira, Andre Anjos, José Mario De Martino, and Sebastien Marcel (2012), Lbp- top based countermeasuré against face spoofing attacks, in Asian Conference on Computer Vision Jukka Maatta, Abdenour Hadid, and Matti Pietikainen (2011), Face spoofing detection from single images using micro-texture analysis, in International joint conference on Biometrics (IJCB) Keyurkumar Patel, Hu Han, and Anil K Jain (2016), Secure face unlock: Spoof detection on smartphones, in IEEE Transactions on Information Forensics and Security Z Boulkenafet, J Komulainen and A Hadid (2017), Face Antispoofing Using Speeded-Up Robust Features and Fisher Vector Encoding, IEEE Signal Processing Letters, vol 24, pp 141-145, J Komulainen, A Hadid and M Pietikäinen (2013), Context based face antispoofing, in IEEE Sixth International Conference on Biometrics: Theory, Applications and Systems (BTAS), Arlington, VA J Yang, Z Lei, S Liao and S Z Li (2013), Face liveness detection with component dependent descriptor, in International Conference on Biometrics (ICB), Madrid Zezheng Wang, Chenxu Zhao, Yunxiao Qin, Qiusheng Zhou, and Zhen Lei (2018), Exploiting temporal and depth information for multi-frame face anti-spoofing, CoRR, vol abs/1811.05118 Lei Li, Xiaoyi Feng, Zinelabidine Boulkenafet, Zhaoqiang Xia, Mingming Li, and Abdenour Hadid (2016), An original face anti-spoofing approach using partial convolutional neural network, in Sixth International Conference on Image Processing Theory, Tools and Applications (IPTA) Keyurkumar Patel, Hu Han, and Anil K Jain (2016), Cross-database face antispoofing with robust feature representation, in Chinese Conference on Biometric Recognition Javier Hernandez-Ortega, Julian Fierrez, Aythami Morales, and Pedro Tome (2018), Time analysis of pulse-based face antispoofing in visible and nir, in Conference on Computer Vision and Pattern Recognition Workshops Shifeng Zhang, Xiaobo Wang, Ajian Liu, Chenxu Zhao, Jun Wan, Sergio Escalera, Hailin Shi, Zezheng Wang, and Stan Z Li (2018), Casia-surf: A dataset and benchmark for large-scale multi-modal face anti-spoofing, CoRR, vol abs/1812.00408 M Sandler, A Howard, M Zhu, A Zhmoginov and L Chen (2018), MobileNetV2: Inverted Residuals and Linear Bottlenecks, in Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT 93 TẠP CHÍ KHOA HỌC TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - SỐ 51.2020 [17] J Deng, W Dong, R Socher, L Li, Kai Li and Li Fei-Fei (2009), ImageNet: A large-scale hierarchical image database, in IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL [18] Xiaoyang Tan, Yi Li, Jun Liu, and Lin Jiang (2010), Face liveness detection from a single image with sparse low rank bilinear discriminative model, in the 11th European conference on Computer vision, Berlin, Heidelberg [19] Kingma Diederik P, Ba Jimmy (2015), Adam: A Method for Stochastic Optimization, in the 3rd International Conference for Learning Representations, San Diego [20] Howard AG, Zhu M, Chen B, Kalenichenko D, Wang W, Weyand T, Andreetto M, Adam H (2017), MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, in ArXiv A DEEP LEARNING TECHNIQUE FOR FRAUD FACE DETECTION Le Van Hao, Trinh Thi Anh Loan, Le Viet Nam, Nguyen Duc Toan ABSTRACT Fraud face detection is a crucial procedure for many face recognition systems In recent years, state-of-the-art approaches based on convolution neural networks (CNNs) show impressive results compared to traditional methods using hand-crafted features In addition, the increasing trend of embedding the computer vision systems on mobile devices requires that the designed algorithms are capable of dealing with the time-critical constraint In this paper, we first propose a CNN model, namely hduNet, developed from Google’s MobilenetV2 that provides a flexible trade-off between latency and accuracy, to detect different face spoofing attacks We then provide an addition dataset of roughly 5000 images capturing the characteristics of Vietnamse people Combining with LCC_FASD [1] dataset (which is only 1942 real face images, while having 16855 fake face images), the proposed model is carefully fine-tuned to optimize the computational cost as well as the classification accuracy To validate the model, different experiments have been conducted, demonstrating interesting performance in comparison with other methods Keywords: Face anti-spoofing, transfer learning, fine-tunning, convolution neural network * Ngày nộp bài: 27/7/2020; Ngày gửi phản biện: 3/8/2020; Ngày duyệt đăng: 28/10/2020 * Bài báo kết nghiên cứu từ đề tài cấp sở mã số ĐT-2019-26 Trường Đại học Hồng Đức 94 ... khn mặt với nhãn fake 15 : End (a) (b) (c) Hình Một số kết thực nghiệm phát giả mạo khuôn mặt từ camera giám sát (a) khuôn mặt thật trước camera, (b) khuôn mặt giả mạo chụp điện thoại, (c) khuôn. .. 04 : Dị tìm phát khuôn mặt ảnh 05 : Cắt vùng khuôn mặt phát 06 : Phát khuôn mặt giả mạo 07 : count_real += 08 : If count_real > : 09 : Begin : 10 : Hiển thị vẽ hình bao quanh khn mặt với nhãn... cận mà sử dụng phƣơng pháp học chuyển giao mạng nơ-ron tích chập để giải vấn đề phát giả mạo khn mặt Ngồi ra, chúng tơi đóng góp thêm để xây dựng sở liệu dành cho việc phát giả mạo khuôn mặt với