Phát hiện hình ảnh chân dung giả mạo dựa vào các đặc trưng sâu

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA PHẠM VĂN NGOAN PHÁT HIỆN HÌNH ẢNH CHÂN DUNG GIẢ MẠO DỰA VÀO CÁC ĐẶC TRƯNG SÂU Chuyên ngành: Khoa Học Máy Tính Mã số: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2022 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học: PGS TS Lê Hồng Trang Cán chấm nhận xét : TS Trần Tuấn Anh Cán chấm nhận xét : PGS TS Nguyễn Tuấn Đăng Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 21 tháng năm 2022 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch: Thư ký: Phản biện 1: Phản biện 2: Uỷ viên: TS Phạm Hoàng Anh TS Nguyễn Tiến Thịnh TS Trần Tuấn Anh PGS.TS Nguyễn Tuấn Đăng TS Trần Thanh Tùng Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH i ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: PHẠM VĂN NGOAN MSHV: 1870468 Ngày, tháng, năm sinh: 09/11/1996 Nơi sinh: Vĩnh Long Chuyên ngành: Khoa Học Máy Tính Mã số : 8480101 I TÊN ĐỀ TÀI: Phát hình ảnh chân dung giả mạo dựa vào đặc trưng sâu - Detecting fake images based on deep features II NHIỆM VỤ VÀ NỘI DUNG: Nhiệm vụ Luận văn nghiên cứu đề xuất phương pháp sử dụng đặc trưng sâu (deep features) nhằm cải thiện việc giải toán phát hình ảnh giả mạo Các nội dung bao gồm : - Nghiên cứu tổng quan toán phát ảnh giả mạo - Tổng hợp phân tích tiếp cận phổ biến cho toán, tập trung vào tiếp cận sử dụng mơ hình học sâu - Nghiên cứu đề xuất mơ hình giải tốn dựa đặc trưng sâu - Viết báo cho kết đạt gửi tham dự báo cáo hội nghị khoa học quốc tế phù hợp với chủ đề nghiên cứu III NGÀY GIAO NHIỆM VỤ : 06/09/2021 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 22/05/2022 V CÁN BỘ HƯỚNG DẪN PGS TS Lê Hồng Trang Tp HCM, ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) PGS TS Lê Hồng Trang TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên chữ ký) ii LỜI CẢM ƠN Luận văn đề tài “PHÁT HIỆN HÌNH ẢNH CHÂN DUNG GIẢ MẠO DỰA VÀO CÁC ĐẶC TRƯNG SÂU” kết q trình cố gắng khơng ngừng nghỉ thân giúp đỡ tận tình, động viên khích lệ thầy cơ, bạn bè người thân Qua đây, em xin gửi lời cảm ơn chân thành đến người giúp đỡ em thời gian học tập – nghiên cứu khoa học vừa qua Em xin trân trọng gửi đến thầy Lê Hồng Trang - Người trực tiếp tận tình hướng dẫn cung cấp tài liệu, thông tin khoa học cần thiết cho luận văn lời cảm ơn chân thành sâu sắc Xin cảm ơn ban giám hiệu vùng tồn thể thầy trường đại học Bách Khoa TPHCM, khoa Khoa học máy tính tạo điều kiện cho em hoàn thành tốt việc học nghiên cứu khoa học Xin cảm ơn cha mẹ, anh chị, bạn bè, người thân bên cạnh, ủng hộ, động viên Em xin chân thành cảm ơn! iii TÓM TẮT LUẬN VĂN THẠC SĨ Ngày nay, hệ thống nhận diện gương mặt phát triển vô nhanh chóng kéo theo hình thức cơng ngày tinh vi, vấn đề chống giả mạo gương mặt đóng vai trị vơ quan trọng hệ thống Có hai cách tiếp cận cho toán chống giả maọ gương mặt: 1) Sử dụng thuộc tính rút trích thủ cơng 2) sử dụng thuộc tính sâu rút trích từ mạng học sâu Trong luận văn này, chúng tơi tìm hiểu kỹ phương pháp chống giả mạo đề xuất phương pháp toàn diện kết hợp thuộc tính rút trích thủ cơng thuộc tính sâu vào mạng học sâu để phát ảnh người thật hay công Chúng đánh giá độ hiệu phương pháp đề xuất tập liệu chống giả mạo gương mặt CASIA-FASD, MSU-MFSD ROSEYOUTU ABSTRACT Recently, the face recognition system is rapid development, and face antispoofing (FAS) also plays a significant role in that system There are two approaches to FAS methods 1) use handcrafted features and 2) use deep features extracted from deep learning networks In this thesis, we propose an end-to-end framework that combines wide and deep features to detect real and spoof images in the FAS problem We also evaluated the effectiveness of our methods on different FAS datasets such as CASIA-FASD, MSU-MFSD, and ROSEYOUTU iv LỜI CAM ĐOAN Tác giả xin cam đoan số liệu kết luận văn thạc sĩ đề tài “Phát ảnh chân dung giả mạo dựa vào đặc trưng sâu” trung thực chép hay sử dụng để bảo bảo vệ học vị Tất giúp đỡ cho việc xây dựng sở lý luận cho luận văn trích dẫn đầy đủ ghi rõ nguồn gốc Nếu phát có chép kết nghiên cứu đề tài khác, tơi xin hồn tồn chịu trách nhiệm Tp HCM, ngày 10 tháng năm 2022 Học viên Phạm Văn Ngoan Mục lục Nhiệm vụ luận văn i Lời cảm ơn ii Tóm tắt luận văn thạc sĩ iii Lời cam đoan iv Mục lục v Danh sách hình vẽ vii Danh sách bảng x MỞ ĐẦU GIỚI THIỆU 2.1 Tổng quan toán 2.2 Các tảng 2.3 Các tiếp cận đề xuất 21 2.4 Một số hệ thống phát triển ứng dụng thực tế 26 2.5 Dữ liệu 29 Các mơ hình phổ biến cho tốn phát hình ảnh giả mạo 33 3.1 Mơ hình sử dụng thuộc tính thủ cơng khơng gian màu khác 33 3.2 Mơ hình kết hợp thuộc tính thủ cơng thuộc tính sâu 36 v MỤC LỤC vi 3.3 Mơ hình dùng phương pháp học sâu truyền thống 38 3.4 Mơ hình học sâu có tính tổng quát 45 Các đặc trưng sâu rộng đề xuất 48 4.1 Các mẫu nhị phân cục 48 4.2 Trích xuất đặc trưng sâu dùng học chuyển tiếp 50 4.3 Kết hợp đặc trưng sâu rộng 51 4.4 Thực nghiệm kết 52 KẾT LUẬN 57 DANH SÁCH CÁC CƠNG TRÌNH KHOA HỌC 58 Deep and Wide Features for Face Anti-Spoofing Paper 58 Tài liệu tham khảo 68 vii Danh sách hình vẽ 1.1 Một số dạng công từ tập liệu ROSE-YOUTU [1] 1.2 Số lượng báo khoa học công bố tìm theo keyword "face antispoofing", "face liveness detection" "face presentation attack detection" Google Scholar [2] 2.1 Hệ thống chống giả mạo gương mặt hệ thống nhận diện gương mặt 2.2 Phân loại dạng công giả mạo 2.3 Ví dụ dạng công giả mạo 2.4 Mô tả tỉ lệ lỗi FAR, FRR, EER 2.5 Kiến trúc mạng 12 2.6 Kiến trúc mạng nơ-ron 14 2.7 Các lớp mạng CNNs 16 2.8 Q trình tính tốn lớp tích chập 17 2.9 Ví dụ max pooling 18 2.10Ví dụ tầng kết nối đầy đủ 18 2.11Một khối mạng resnet 19 2.12Các biến thể mạng ResNet 20 2.13Kiến trúc mạng Resnet-50 20 2.14Kiến trúc đề xuất Zinelabidine cộng [3] 22 2.15Trực quan hố thuộc tính HOG [4] 22 2.16Mô hình đề xuất [4] 23 2.17Mơ hình LBP-TOP Pereira cộng đề xuất [5] 23 viii 2.18Mơ hình Lei Li cộng đề xuất [6] 24 2.19Mơ hình Atoum cộng đề xuất [7] 25 2.20Ước lượng ảnh chiều sâu, hai cột trường hợp người thật, cột cịn lại hình thức cơng [7] 25 2.21Mô hình Zitong cộng cộng đề xuất [8] 26 2.22Giải pháp chống giả mạo gương mặt FaceTec 27 2.23Các tổ chức sử dụng ứng dụng chống giả mạo gương mặt Zoom 28 2.24Ảnh ví dụ lấy từ tập liệu Replay-Attack 29 2.25Ảnh ví dụ lấy từ tập liệu OULU-NPU 30 2.26Ảnh ví dụ lấy từ tập liệu SiW 30 2.27Ví dụ tập liệu CASIA-FASD, từ trái qua phải tương ứng với trường hợp người thật, giấy in bẻ cong, giấy in cắt mắt, qua hình 31 2.28MSU-MFSD (từ trái qua phải): người thật,hiển thị qua video iPad, iPhone, công qua giấy in 32 2.29Ví dụ tập liệu ROSE-YOUTU 32 3.1 Biểu diễn không gian màu khác 34 3.2 Các dạng phương pháp kết hợp thuộc tính thủ cơng học sâu [9] 37 3.3 Kiến trúc phương pháp trộn thuộc tính HOG với thuộc tính sâu [10] 38 3.4 Biểu diễn trực quan thuộc tính có sử dụng HOG (dịng cuối) khơng sử dụng HOG (dòng thứ 2) 38 3.5 Các dạng tiếp cận dựa học sâu truyền thống [2] 39 3.6 Xác định vị trí gương mặt thơng qua điểm landmark [11] 40 3.7 Phương pháp tạo nhiều liệu cách thay đổi tỉ lệ chứa gương mặt [11] 41 3.8 Kiến trúc ngắn gọn sử dụng mơ hình CNN phân loại ảnh [11] 41 3.9 Cột bên trái thể điểm số vùng rút trích đặc trưng, cột bên phải ước lượng chiều sâu ảnh, ảnh bên người thật, bên dạng công [7] 42 59 Deep and Wide Features for Face Anti-Spoofing PHAM VAN NGOAN Department of Information System, Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT), 268 Ly Thuong Kiet Street, District 10, Ho Chi Minh City, Vietnam Vietnam National University Ho Chi Minh City, Linh Trung Ward, Thu Duc City, Ho Chi Minh City, Vietnam LE HONG TRANG* Department of Information System, Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT), 268 Ly Thuong Kiet Street, District 10, Ho Chi Minh City, Vietnam Vietnam National University Ho Chi Minh City, Linh Trung Ward, Thu Duc City, Ho Chi Minh City, Vietnam Recently, the face recognition system is rapid development, and face anti-spoofing (FAS) also plays a significant role in that system There are two approaches to FAS methods 1) use handcrafted features and 2) use deep features extracted from deep learning networks In this paper, we propose an end-to-end framework that combines wide and deep features to detect real and spoof images in the FAS problem We also evaluated the effectiveness of our methods on different FAS datasets such as CASIA-FASD, MSU-MFSD, and ROSE-YOUTU CCS CONCEPTS • Security and privacy → Biometrics • Computing methodologies → Computer vision Additional Keywords and Phrases: Face anti-spoofing, liveness detection, deep wide learning ACM Reference Format: INTRODUCTION Face recognition has been widely used in many applications We can use it on payment with face, access control, surveillance, and eKYC (Knowledge Your Customer) However, more presentation attacks (PA) spoof the system The attacker tries to present the artifact to fool the face recognition system Common attacks are printed images, replayed videos, or images from phones, laptop screens, or masks (2D or 3D) So, FAS is getting much attention from research State-of-the-art methods are based on two approaches that are handcrafted and deep learning features LBP [1] and HOG [2] are common approaches in the first method Although these methods have proven effective, they are still not generalizable to different data types In the deep learning era, researchers began to use deep features extracted from deep models to detect real and spoof images In [3,4,5,6] had better results than previous traditional approaches Each approach has advantages; in this paper, we propose a method that combines both handcrafted features as the local binary pattern (LBP) and deep features in a deep learning model that utilizes the advantages of the two approaches for efficiency and generalization with different data sources We also evaluated our proposed method on different FAS datasets such as CASIA-FASD [7], MSU-MFSD [8], and ROSE-YOUTU [9] In summary, there are three main contributions of this paper: • End to End solution for face anti-spoofing that only uses a single image • Combine advantages of handcrafted and deep features 60 • Has effective results on FAS benchmark datasets RELATED WORK 2.1 Traditional approaches The traditional methods had focused on extracting handcrafted features Zinelabidine et al [1] used the local binary pattern (LBP) descriptor to get image texture representation, then applied SVM to detect spoof images The other descriptor is the histogram of gradient (HOG) feature to deal with bad illumination conditions [2] In [10], Pereira et al used a feature called Local Binary Patterns from Three Orthogonal Planes (LBP-TOP) that outperformed other LBP-based methods Those methods had worked well with printed attacks and easy cases However, it was difficult with more realistic attacks 2.2 Deep learning approaches In the deep learning era, more methods apply convolutional neural networks (CNN) to extract features and get better results than traditional methods Lei Li et al [3] used partial CNN to extract the features and SVM to classify real and spoof faces Keyurkumar Patel et al [4] integrated deep features and face movement cues like eye-blink Atoum et al [12] extract local texture features in small patches from the faces and an estimated depth feature map to detect the spoofing attack Atoum et al [12] leverage the Fully Convolutional Network (FCN) to assist the binary classification through a depth map Yu et al devised a bilateral convolutional network [13] and central difference convolution [9] for capturing detailed intrinsic patterns of faces METHODOLOGY 3.1 Local binary pattern (LBP) Ojala et al [14] proposed LBP as an effective texture pattern descriptor for describing an image's local texture patterns It is commonly utilized in image processing applications The common LBP operates on a 3x3 block size, with the center pixel serving as a threshold for the adjacent pixel The LBP code of a center pixel is formed by encoding the calculated threshold value into a decimal value LBP is mathematically expressed as follows: 𝑃−1 𝐿𝐵𝑃 = ∑ 𝑠(𝑛𝑖 − 𝐺𝑐 )2𝑖 𝑖=0 𝑠(𝑥) = { 1, 0, 𝑖𝑓 𝑥 > 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 Where 𝑃 is the number of pixels in the neighborhood, 𝑛𝑖 is the ith neighboring pixel, and 𝑐 is the center pixel The obtained LBP code is used to extract the histogram features of size 2𝑃 As a result, the histogram feature vector length of 256 is obtained for eight nearby pixels 61 3.2 Transfer learning to extract deep features We use deep learning models that give good results with task classification to extract deep features We apply Resnet with the architecture in the current experiments, as shown in Figure Figure 1: Resnet architecture 3.3 Combine wide feature (LBP) and deep features The proposed framework is shown in Figure Both LBP and deep features were extracted parallel, and then two features were concatenated, followed by a global average pooling layer that averages all the feature maps and provides an output vector The output was fed to the fully-connected layer with soft-max activation Figure 2: Our proposed method 62 EXPERIMENTS 4.1 Database In order to address the efficiency of the proposed method, three publicly available anti-spoofing datasets were selected The criteria for selecting these datasets, among many others available, were due to their major adoption in previous works that tackle PAD 4.1.1 CASIA-FASD The CASIA-FASD dataset proposed by [7] contains 600 videos from 50 different subjects, created to provide samples from many of the existent types of presentation attacks The videos are presented in twelve different scenarios, each composed of three genuine accesses and three fraudulent from the same person Three different resolutions were used to capture (low, normal, and high), along with three different types of attack (normal, printed attacks, printed and warped, printed with the cut on the eyes region, and video-based attacks) Figure 3: CASIA-FASD dataset samples 4.1.2 MSU-MFSD The MSU-MFSD [8] dataset contains 280 video recordings of genuine and attack faces Thirty-five individuals have participated in the development of this database with 280 videos Two cameras with different resolutions (720×480 and 640×480) were used to record the videos from the 35 individuals Each person gets two video recordings recorded with the Laptops and Android for genuine access Two types of cameras, the iPhone and Canon cameras, were employed to take high-definition videos of each individual for the video attack The Canon camera videos were then replayed on the iPad Air screen to produce the HD replay attacks, while the iPhone mobile recordings were replayed to generate the mobile replay attacks Photo attacks were created by printing the images of the 35 subjects on A3 paper with an HP color printer The 35 individuals' recorded videos were separated into training (15 subjects with 120 videos) and testing (40 subjects with 160 videos) datasets 63 Figure 4: MSU-MFSD dataset samples 4.1.3 ROSE-YOUTU The ROSE-YOUTU [9] includes 20 subjects, with 25 genuine and 150 to 200 spoofing face videos for each subject The data is acquired in various ways, covering up to five distinct lighting situations The videos were also recorded using the front-facing cameras of five mobile devices (Hasee phone, Huawei phone, ZTE phone, iPad, and iPhone 5s), with resolutions ranging from 640x480 to 1280x720 Furthermore, the ROSE-YOUTU database includes numerous paper mask attack and replay video examples (displayed with Lenovo LCD panel and Mac screen) Figure 5: ROSE-YOUTU dataset samples 64 4.2 Evaluation Metrics For the evaluation metrics, we selected the recently standardized ISO/IEC 30107-3 metrics: Attack Presentation Classification Error Rate (APCER), Bona Fide Presentation Classification Error Rate (BPCER), and Average Classification Error Rate (ACER), in which APCER and BPCER are used to measure the error rate of fake or live samples, respectively Positive samples mean attack ones, and negative samples mean Real/Bona Fide samples • Attack Presentation Classification Error Rate (APCER) 𝐹𝑁 𝐴𝑃𝐶𝐸𝑅 = 𝐹𝑁 + 𝑇𝑃 • Normal (Bona Fide) Presentation Classification Error Rate (BPCER) 𝐹𝑃 𝐵𝑃𝐶𝐸𝑅 = 𝐹𝑃 + 𝑇𝑁 • Average Classification Error Rate (ACER) 𝐴𝑃𝐶𝐸𝑅 + 𝐵𝑃𝐶𝐸𝑅 𝐴𝐶𝐸𝑅 = Which: • TP: The attacks are identified as the attacks • TN: The real samples are identified as the real ones • • FP: The real samples are identified as the attacks FN: The attacks are identified as the real samples 4.3 Implementation Details We use MTCCN to crop faces for training with images size 256x256 The backbone was Resnet-50, LBP with a local point of and radius of Models are trained with an SDG optimizer, the initial learning rate is 0.0001, and the dropout rate is 0.05 4.4 Results The testing is carried out on CASIA-FASD, MSU-MFSD, and ROSE-YOUTU As shown in Table 1, our proposed method ranks second on the CASIA-FASD dataset (ACER = 2.6%), delivering great results We also compare the result of MSU-MFSD to get the best result (ACER = 5.8%) To the best of our knowledge, this is the best achieved for the MSU-MFSD dataset, setting our method as state of the art for this specific dataset, as shown in Table Table shows the results on the ROSE-YOUTU dataset; our method also obtains good results and ranks second on the benchmark (ACER = 3.4%) 65 Table 1: Testing results on CASIA-FASD Method ACER (%) Motion [16] 26.6 LBP [17] 18.2 LBP-TOP [17] 10.0 LBP+SVM [1] 4.9 CNN [23] 7.4 Deep Pixel [24] 2.6 Resnet18 + Tripletloss [25] 1.4 Auxiliary (depth) [11] 1.3 Ours 2.6 Table 2: Testing results on MSU-MFSD Method ACER (%) LBP+SVM baseline [8] 14.7 DoG-LBP+SVM baseline [8] 23.1 IDA [8] 8.6 GFA-CNN [21] 6.4 Ours 5.8 Table 3: Testing results on ROSE-YOUTU Method ACER (%) CoALBP (YCBCR) [20] 17.1 CoALBP (HSV) [20] 16.4 AlexNet [9] 3D-CNN [19] DeSpoofing [18] 12.3 DRL-FAS [22] 1.8 Ours 3.4 CONCLUSIONS AND FUTURE WORK This paper proposes a method that combines a wide feature such as a local binary pattern and a deep feature extracted from a deep learning network The technique can learn robust features for the task of presentation attack detection We evaluate our approach in three databases and achieve ACER=5.8% for the MSU-MFSD dataset To the best of our knowledge, this is the best achieved for the MSU-MFSD dataset, setting our method 66 as state-of-the-art for this specific dataset On the other hand, we obtained good results on different databases such as CASIA-FASD and ROSE-YOUTU For future work, we plan to conduct experiments on many wide and deep features to get a great combination that can help address how to tackle facial presentation attacks ACKNOWLEDGMENTS We acknowledge Ho Chi Minh City University of Technology (HCMUT), VNU-HCM for supporting this study REFERENCES [1] Z Boulkenafet, J Komulainen, and A Hadid, “Face anti-spoofing based on color texture analysis” in 2015 IEEE international conference on image processing (ICIP), pp 2636–2640, IEEE, 2015 [2] J.Komulainen, A Hadid, and M Pietikainen, “Context based face anti-spoofing” in 2013 IEEE Sixth International Conference on Biometrics: Theory, Applications and Systems (BTAS), pp 1–8, IEEE, 2013 [3] L Li et al., “An original face anti-spoofing approach using partial convolutional neural network” in 2016 Sixth International Conference on Image Processing Theory, Tools and Applications (IPTA), pp 1-6, IEEE, 2016 [4] K Patel, H Han and A.K Jain, “Cross-Database Face antispoofing with Robust Feature Representation” in 2016 Biometric Recognition CCBR, pp 611-619, Springer, 2016 [5] Z Yu et al., “Searching central difference convolutional networks for face anti-spoofing,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020 [6] Z Yu, Y Qin, H Zhao, X Li, and G Zhao, “Dual-cross central difference network for face anti-spoofing,” arXiv [cs.CV], 2021 [7] Z Zhang et al., “A face anti-spoofing database with diverse attacks,” in IAPR International Conference on Biometrics (ICB), 2012 [8] D Wen, H Han, and A K Jain “Face spoof detection with image distortion analysis,” IEEE Transactions on Information Forensics and Security, 2015 [9] H Li et al., “Unsupervised Domain Adaptation for Face Anti-Spoofing”, IEEE Transactions on Information Forensics and Security, 2018 [10] T d Freitas Pereira, A Anjos, J M De Martino, and S Marcel, “Lbp-top-based countermeasure against face spoofing attacks,” in Computer Vision-ACCV 2012 Workshops, pp 121–132 Springer, 2013 [11] Y Liu, A Jourabloo, and X Liu, "Learning deep models for face anti-spoofing: Binary or auxiliary supervision," in Proceedings of the IEEE conference on computer vision and pattern recognition, pp 389-398, 2018 [12] Y Atoum, Y.Liu, A Jourabloo, and X Liu, “Face anti- spoofing using patch and depth-based CNNs,” in IEEE International Joint Conference on Biometrics (IJCB), pp 319-328, IEEE, 2017 [13] Z Yu, X Li, X Niu, J Shi, and G Zhao, “Face anti-spoofing with human material perception,” in European Conference on Computer Vision , pp 557-575, Springer, 2020 [14] T Ojala, M Pietikainen, and T Maenpaa, “Multiresolution gray-scale and rotation invariant texture classification with local binary patterns” in IEEE Transactions on pattern analysis and machine intelligence, pp 971-987, IEEE, 2002 [15] J Galbally and S Marcel, “Face anti-spoofing based on general image quality assessment,” in 2014 22nd International Conference on Pattern Recognition, pp 1173-1178, IEEE, 2014 [16] A Anjos and S Marcel, “Counter-measures to photo attacks in face recognition: a public database and a baseline,” in 2011 international joint conference on Biometrics (IJCB), pp 1-7, IEEE, 2011 [17] T de Freitas Pereira et al., “Face liveness detection using dynamic texture,” in EURASIP Journal on Image and Video Processing, 2014 67 [18] A Jourabloo, Y Liu, and X Liu, “Face de-spoofing: Anti-spoofing via noise modeling,” in Proceedings of the European Conference on Computer Vision (ECCV), pp 290–306, 2018 [19] H Li, P He, S Wang, A Rocha, X Jiang, and A C Kot, “Learning generalized deep feature representation for face anti-spoofing,” in IEEE Transactions on Information Forensics and Security, vol 13, pp 2639– 2652, 2018 [20] R Nosaka, Y Ohkawa, and K Fukui, “Feature extraction based on co-occurrence of adjacent local binary patterns,” in Advances in Image and Video Technology (Y.-S Ho, ed.), pp 82–91, Springer Berlin Heidelberg, 2012 [21] X Tu et al., “Learning generalizable and identity-discriminative representations for face anti-spoofing” in ACM Transactions on Intelligent Systems and Technology (TIST), pp 1-19, 2020 [22] C Rizhao et al., "DRL-FAS: A novel framework based on deep reinforcement learning for face anti-spoofing." In IEEE Transactions on Information Forensics and Security, pp 937-951, 2020 [23] J Yang, Z Lei, and S Z Li, “Learn convolutional neural network for face anti-spoofing,” arXiv [cs.CV], 2014 [24] H Chen et al., “Attention-based two-stream convolutional networks for face spoofing detection,” in IEEE Transactions on Information Forensics and Security, vol 15, pp 578–593, 2019 [25] X Tan, Y Li, J Liu and L Jiang, “Face liveness detection from a single image with sparse low rank bilinear discriminative model” in Proceedings of the 11th European Conference on Computer Vision, pp 504–517, Springer, 2010 68 Tài liệu tham khảo [1] H Li, W Li, H Cao, and L Wang, “Unsupervised domain adaptation for face anti-spoofing,” IEEE Transactions on Information Forensics and Security, vol 13, no 7, pp 1794–1809, 2018 [2] Z Yu, Y Qin, X Li, C Zhao, and Z Lei, “Deep learning for face anti-spoofing: A survey,” arXiv preprint arXiv:2106.14948, 2021 [3] Z Boulkenafet, J Komulainen, and A Hadid, “Face anti-spoofing based on color texture analysis,” in 2015 IEEE international conference on image processing (ICIP), pp 2636–2640, IEEE, 2015 [4] J Komulainen, A Hadid, and M Pietikăainen, Context based face antispoofing,” in 2013 IEEE Sixth International Conference on Biometrics: Theory, Applications and Systems (BTAS), pp 1–8, IEEE, 2013 [5] T d Freitas Pereira, A Anjos, J M D Martino, and S Marcel, “Lbp- top based countermeasure against face spoofing attacks,” in Asian Conference on Computer Vision, pp 121–132, Springer, 2012 [6] L Li, X Feng, Z Boulkenafet, Z Xia, and M Li, “An original face anti-spoofing approach using partial convolutional neural network,” in 2016 Sixth International Conference on Image Processing Theory, Tools and Applications (IPTA), pp 1–6, IEEE, 2016 69 [7] Y Atoum, Y Liu, A Jourabloo, and X Liu, “Face anti-spoofing using patch and depth-based cnns,” in 2017 IEEE International Joint Conference on Biometrics (IJCB), pp 319–328, IEEE, 2017 [8] Z Yu, Y Qin, H Zhao, X Li, and G Zhao, “Dual-cross central difference network for face anti-spoofing,” arXiv preprint arXiv:2105.01290, 2021 [9] P Liznerski, L Ruff, R A Vandermeulen, B J Franks, and M Kloft, “Explainable deep one-class classification,” arXiv preprint arXiv:2007.01760, 2020 [10] Y A U Rehman, L.-M Po, M Liu, Z Zou, and W Ou, “Perturbing convolutional feature maps with histogram of oriented gradients for face liveness detection,” in International Joint Conference: 12th International Conference on Computational Intelligence in Security for Information Systems (CISIS 2019) and 10th International Conference on EUropean Transnational Education (ICEUTE 2019), pp 3–13, Springer, 2019 [11] J Yang, Z Lei, and S Z Li, “Learn convolutional neural network for face antispoofing,” arXiv preprint arXiv:1408.5601, 2014 [12] Z Zhang, J Yan, S Liu, Z Lei, D Yi, and S Z Li, “A face antispoofing database with diverse attacks,” in 2012 5th IAPR International Conference on Biometrics (ICB), pp 26–31, 2012 [13] D Wen, H Han, and A K Jain, “Face spoof detection with image distortion analysis,” IEEE Transactions on Information Forensics and Security, vol 10, no 4, pp 746–761, 2015 [14] “biometrics information technology – biometric presentation attack detection – part 1: Frame-work,” standard, International Organization for Standardization, Geneva, CH, 2016 [15] K Patel, H Han, and A K Jain, “Cross-database face antispoofing with robust feature representation,” in Chinese Conference on Biometric Recognition, pp 611–619, Springer, 2016 70 [16] FaceTec, “Facetec.com, 3d liveness.” Internet: https://www.facetec.com/, Jun 13, 2022 [17] IDRND, “Idrnd, face passive facial liveness detection.” Internet: https://www idrnd.ai/passive-facial-liveness/, Jun 13, 2022 [18] I Chingovska, A Anjos, and S Marcel, “On the effectiveness of local binary patterns in face anti-spoofing,” in 2012 BIOSIG-proceedings of the international conference of biometrics special interest group (BIOSIG), pp 1–7, IEEE, 2012 [19] Z Boulkenafet, J Komulainen, L Li, X Feng, and A Hadid, “Oulu-npu: A mobile face presentation attack database with real-world variations,” in 2017 12th IEEE international conference on automatic face & gesture recognition (FG 2017), pp 612–618, IEEE, 2017 [20] Y Liu, A Jourabloo, and X Liu, “Learning deep models for face anti-spoofing: Binary or auxiliary supervision,” in Proceedings of the IEEE conference on computer vision and pattern recognition, pp 389–398, 2018 [21] A Hermans, L Beyer, and B Leibe, “In defense of the triplet loss for person re-identification,” arXiv preprint arXiv:1703.07737, 2017 [22] Y Feng, F Wu, X Shao, Y Wang, and X Zhou, “Joint 3d face reconstruction and dense alignment with position map regression network,” in Proceedings of the European conference on computer vision (ECCV), pp 534–551, 2018 [23] T Ojala, M Pietikainen, and T Maenpaa, “Multiresolution gray-scale and rotation invariant texture classification with local binary patterns,” IEEE Transactions on pattern analysis and machine intelligence, vol 24, no 7, pp 971–987, 2002 [24] G Zhao and M Pietikainen, “Dynamic texture recognition using local binary patterns with an application to facial expressions,” IEEE transactions on pattern analysis and machine intelligence, vol 29, no 6, pp 915–928, 2007 71 [25] S Z Li, R Chu, S Liao, and L Zhang, “Illumination invariant face recognition using near-infrared images,” IEEE Transactions on pattern analysis and machine intelligence, vol 29, no 4, pp 627–639, 2007 [26] W Zhang, S Shan, W Gao, X Chen, and H Zhang, “Local gabor binary pattern histogram sequence (lgbphs): a novel non-statistical model for face representation and recognition,” in Tenth IEEE International Conference on Computer Vision (ICCV’05) Volume 1, vol 1, pp 786–791, IEEE, 2005 [27] J Galbally and S Marcel, “Face anti-spoofing based on general image quality assessment,” in 2014 22nd international conference on pattern recognition, pp 1173–1178, IEEE, 2014 [28] A Anjos and S Marcel, “Counter-measures to photo attacks in face recognition: a public database and a baseline,” in 2011 international joint conference on Biometrics (IJCB), pp 1–7, IEEE, 2011 [29] T d Freitas Pereira, J Komulainen, A Anjos, J M De Martino, and A Hadid, “Face liveness detection using dynamic texture,” EURASIP Journal on Image and Video Processing, vol 2014, no 1, pp 1–15, 2014 [30] H Chen, G Hu, Z Lei, Y Chen, and N M Robertson, “Attention-based twostream convolutional networks for face spoofing detection,” IEEE Transactions on Information Forensics and Security, vol 15, pp 578–593, 2019 [31] Z Yu, X Li, J Shi, Z Xia, and G Zhao, “Revisiting pixel-wise supervision for face anti-spoofing,” IEEE Transactions on Biometrics, Behavior, and Identity Science, 2021 [32] X Tan, Y Li, J Liu, and L Jiang, “Face liveness detection from a single image with sparse low rank bilinear discriminative model,” in European Conference on Computer Vision, pp 504–517, Springer, 2010 72 [33] X Tu, Z Ma, J Zhao, and G Du, “Learning generalizable and identitydiscriminative representations for face anti-spoofing,” ACM Transactions on Intelligent Systems and Technology (TIST), vol 11, no 5, pp 1–19, 2020 [34] H Li, P He, S Wang, and A Rocha, “Learning generalized deep feature representation for face anti-spoofing,” IEEE Transactions on Information Forensics and Security, vol 13, no 10, pp 2639–2652, 2018 [35] A Jourabloo, Y Liu, and X Liu, “Face de-spoofing: Anti-spoofing via noise modeling,” in Proceedings of the European Conference on Computer Vision (ECCV), pp 290–306, 2018 PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: PHẠM VĂN NGOAN Ngày, tháng, năm sinh: 09/11/1996 Nơi sinh: VĨNH LONG Địa liên lạc: 137 Ấp An Phú B, xã Long An, huyện Long Hồ, tỉnh Vĩnh Long QUÁ TRÌNH ĐÀO TẠO - 2014 - 2018: Học đại học Đại học Bách Khoa TPHCM - 2018 - 2019: Học đại học Trento – Italy - 2019 - 2022: Học cao học Đại học Bách Khoa TPHCM QUÁ TRÌNH CƠNG TÁC - 2019 - nay: Làm việc cơng ty cổ phần VNG