Phát hiện giả mạo khuôn mặt sử dụng mạng học máy sau

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM THANH HÙNG PHÁT HIỆN GIẢ MẠO KHUÔN MẶT SỬ DỤNG MẠNG HỌC SÂU LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2022 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM THANH HÙNG PHÁT HIỆN GIẢ MẠO KHUÔN MẶT SỬ DỤNG MẠNG HỌC SÂU Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số: 8.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC GS TS TỪ MINH PHƯƠNG HÀ NỘI - 2022 i LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu tìm hiểu riêng Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tác giả luận văn Phạm Thanh Hùng ii LỜI CẢM ƠN Để hồn thành luận văn này, em xin gửi lời cảm ơn sâu sắc tới thầy Từ Minh Phương, người trực tiếp hướng dẫn, tận tình bảo đưa cho em lời khuyên cho em suốt trình nghiên cứu thực luận văn Không thế, sống, thầy giúp đỡ em nhiều để tiếp tục vượt qua giai đoạn khó khăn sống Em xin gửi lời cảm ơn chân thành cảm ơn tất thầy cô giáo Học viện Cơng nghệ Bưu Viễn thơng giảng dạy dìu dắt em suốt trình học tập trường Cuối cùng, em xin gửi lời cảm ơn tới gia đình, bạn bè người bên cổ vũ tinh thần, tạo điều kiện thuận lợi cho em để em học tập tốt hoàn thiện luận văn Dù cố gắng trình làm luận văn khơng thể tránh khỏi sai sót, em mong nhận thơng cảm đóng góp ý kiến thầy để luận văn hoàn thiện tốt nữa! Em xin chân thành cảm ơn! iii MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC CHỮ CÁI VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC HÌNH VẼ MỞ ĐẦU CHƯƠNG 1: BÀI TOÁN PHÁT HIỆN GIẢ MẠO KHUÔN MẶT 1.1 Giới thiệu tốn phát giả mạo khn mặt 1.2 Các nghiên cứu liên quan 1.2.1 Các phương pháp dựa đặc trưng texture ảnh 1.2.2 Phương pháp dựa tương tác người máy 1.2.3 Các phương pháp dựa thông tin sống 1.2.4 Các phương pháp dựa chất lượng ảnh 1.2.5 Các phương pháp dựa thông tin chiều sâu 1.2.6 Các phương pháp dựa học sâu 1.3 Kết luận CHƯƠNG 2: ỨNG DỤNG MẠNG HỌC SÂU VÀO BÀI TỐN PHÁT HIỆN GIẢ MẠO KHN MẶT 2.1 Ý tưởng giải toán 2.2 Giới thiệu mạng học sâu 2.2.1 Mạng nơ-ron 2.2.2 Học sâu 2.2.3 Mạng nơ-ron tích chập 2.3 Ứng dụng học sâu vào tốn phát giả mạo khn mặt 2.3.1 Mạng tích chập khác biệt trung tâm (Central Difference Convolution CDC) iv 2.3.2 Tạo thông tin chiều sâu từ khuôn mặt 2.3.3 Mạng ResNet 2.3.4 Kết hợp CDC, thông tin chiều sâu Resnet-34 2.4 Các vấn đề thích ứng miền 2.5 Ứng dụng GAN cho vấn đề thích ứng miền 2.5.1 Mạng chuyển đổi hình ảnh 2.5.2 Hàm mát tri giác (Perceptual Loss function) 2.6 Kết luận CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Dữ liệu thử nghiệm 3.1.1 Tập liệu OULU 3.1.2 Tập liệu NUAA 3.2 Các độ đo 3.3 Thực nghiệm 3.3.1 Thực nghiệm với riêng mạng resnet-34 3.3.2 Thực nghiệm với mạng resnet-34 kết hợp CDC 3.3.3 Thực nghiệm với mạng resnet-34 kết hợp CDC thông tin chiều sâu 3.3.4 So sánh kết thử nghiệm 3.4 Thử nghiệm GAN vấn đề thích ứng miền 3.5 Kết luận KẾT LUẬN TÀI LIỆU THAM KHẢO v DANH MỤC CÁC CHỮ CÁI VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt CFrPPG rPPG correspondence feature CNN Convolutional neural network Mạng tích chập CTMF Colour Texture Markov feature Đặc trưng cấu trúc màu Markov IDA Image distortion analysis Phân tích biến dạng ảnh LSTM Long short-term memory OFFB Optical Flow guided Feature Block OFL Optical Flow Line RNN Recursive neural network rPPG Remote Photoplethysmography SMV-RFE Support Vector Machine-recursive Feature Elimination SURF speed-up robust features Mạng nơ-ron hồi quy Máy vector hỗ trợ loại bỏ đệ quy vi DANH MỤC BẢNG BIỂU Bảng 3-1: Thông tin chi tiết tập liệu Bảng 3-1: Các phép biến đổi ảnh thí nghiệm resnet-34 CDC Bảng 3-2: Các phép biến đổi ảnh thí nghiệm resnet-34, CDC Bảng 3-3: Kết thử nghiệm DANH MỤC HÌNH VẼ Hình 1-1: Các phương thức giả mạo khn mặt Hình 1-2: Các phương pháp dựa phân tích cấu trúc màu Hình 1-3: Phương pháp optical flow Hình 1-4: Cấu trúc chiến lược cascadin Hình 1-5: 25 yếu tố đánh giá chất lượng hình ảnh Hình 1-6: Kiến trúc FASNet Hình 1-7: Biểu đồ luồng xử lý CNN có kênh Hình 1-8: Phát giả mạo khn mặt dựa CNN - RNN Hình 1-9: Kiến trúc STASN Hình 2-1: Các giai đoạn trình xây dựng giải pháp phát giả mạo khuôn mặt Hình 2-2: Các mơ hình thử nghiệm làm phân loại Hình 2-3: Mạng Nơ-ron với giá trị đầu Hình 2-4: Đồ thị hàm sigmoid Hình 2-5: Đồ thị hàm Hình 2-6: Mơ hình mạng học sâu Hình 2-7: Ví dụ thực tích chập ảnh Hình 2-8: Sử dụng lọc để làm mờ ảnh Hình 2-9: Sử dụng lọc để phát cạnh Hình 2-10: Ví dụ thực pooling Hình 2-11: Mạng học sâu để phân loại đối tượng ảnh Hình 2-12: Mơ hình CDC vii Hình 2-13: Hình minh họa đồ vị trí UV Bên trái: Biểu đồ 3D hình ảnh đầu vào đám mây điểm 3D khuôn mặt Bên phải: Hàng hình ảnh 2D đầu vào, đồ kết cấu UV trích xuất đồ vị trí UV tương ứng Hàng thứ hai kênh x, y, z đồ vị trí UV Hình 2-14: Kiến trúc PRNet Các hình chữ nhật màu xanh đại diện cho khối Resnet hình chữ nhật màu xanh đại diện cho lớp tích chập chuyển vị Hình 2-15: Hình minh họa mặt nạ trọng số Từ trái sang phải: đồ kết cấu UV, đồ vị trí UV, đồ kết cấu màu với thông tin phân đoạn (màu xanh cho vùng mắt, màu đỏ cho vùng mũi, màu xanh cho vùng miệng màu tím cho vùng cổ), mặt nạ trọng số cuối Hình 2-16: Khối dư thừa Hình 2-17: So sánh Resnet-34 mạng network với 34 lớp Hình 2-18: Ví dụ đường cong ROC Hình 2-19: Kiến trúc phương pháp [54] Hình 2-20: Luồng thực GAN luận văn Hình 2-21: Kiến trúc tổng quan mạng chuyển đổi kiểu [55] Hình 2-22: Kiến trúc mạng chuyển đổi kiểu Hình 2-23: Bên trái khối dư thừa sử dụng, bên phải khối tích chập thơng thường Hình 3-1: Một số hình ảnh ví dụ khuôn mặt thật khuôn mặt giả mạo Hình 3-2: Hình minh họa từ tập liệu Trong cột (từ xuống dưới) mẫu từ khoảng thời gian 1, khoảng thời gian khoảng thời gian Trong hàng, cặp bên trái hình ảnh từ khn mặt thật cặp bên phải khuôn mặt giả mạo Lưu ý chứa thay đổi ngoại hình khác mà hệ thống nhận dạng khuôn mặt thường gặp phải (ví dụ: giới tính, khả chiếu sáng, có / khơng đeo kính) Tất ảnh gốc sở liệu ảnh màu có độ phân giải 640 × 480 pixel Hình 3-3: Hình minh họa cơng ảnh khác (từ trái sang phải): (1) di chuyển ảnh theo chiều ngang, theo chiều dọc, phía sau phía trước; (2) xoay ảnh theo chiều sâu dọc theo trục dọc; (3) giống với (2) dọc theo trục hoành; (4) bẻ cong ảnh vào theo trục tung; (5) giống (4) dọc theo trục hoành Hình 3-4: Ví dụ việc tạo ma trận chiều sâu trình huấn luyện ... khuôn mặt cách sử dụng ảnh, video, mặt nạ vật thay khác cho khuôn mặt người Hình 1-1: Các phương thức giả mạo khn mặt [67] Dưới số hình thức giả mạo khuôn mặt hay sử dụng nhất:  Giả mạo hình thức... thông tin chuyển động khuôn mặt người để phát khuôn mặt giả mạo sử dụng ảnh video Phương pháp tương đối đơn giản, nhạy cảm với ánh sáng có hiệu phát giả mạo video giả mạo mặt nạ 3D Bởi phương... CHƯƠNG 2: Ứng dụng mạng học sâu vào toán phát giả mạo khuôn mặt: Đưa số lý thuyết mạng học sâu, ý tưởng việc đưa đặc trưng LBP vào mạng tích chập, cách tạo ảnh chiều sâu khuôn mặt từ mạng học sâu,