Phát hiện khuôn mặt giả mạo trong VIDEO phần 3 luận văn thạc sĩ

45 CHƯƠNG 3 XÂY DỰNG THUẬT GIẢI 3 1 Tổng quát Giả định tôi đưa ra như có đề cập ở phần đề xuất hướng giải quyết (phần 1 4) đó chính là sự không đồng nhất các bộ phận giữa phần trung tâm khuôn mặt và cả toàn bộ khuôn mặt do quá trình sinh video giả Dẫn đến có sự sai lệch về chiều hướng của khuôn mặt giữa phần trong (vùng trung tâm) và phần ngoài (vùng đầu) khuôn mặt ở các video giả Bên cạnh đó các video thật vẫn giữ được sự đồng nhất cả toàn bộ phần đầu và trung tâm khuôn mặt mặt Để chứng m.

CHƯƠNG XÂY DỰNG THUẬT GIẢI 3.1 Tổng quát Giả định tơi đưa có đề cập phần đề x́t hướng giải (phần 1.4) không đồng nhất bộ phận phần trung tâm khn mặt tồn bợ khn mặt q trình sinh video giả Dẫn đến có sai lệch chiều hướng khuôn mặt phần (vùng trung tâm) phần ngồi (vùng đầu) khn mặt video giả Bên cạnh video thật giữ đồng nhất tồn bợ phần đầu trung tâm khuôn mặt mặt Để chứng minh giả thuyết đưa trên, đề xuất phương pháp kiểm nghiệm sau: Tiến hành lấy thông số đặc trưng lần gồm lần bộ phận trung tâm khn mặt, lần tồn bợ khn mặt Từ dự đốn thật giả dựa sai số thông số qua kĩ thuật phân lớp 3.2 Các bước thuật giải Như có trình bày phần hướng giải (phần 1.4), tơi cần giải tốn sau: tốn phát khn mặt (bài tốn 1), tốn xác định vị trí quan trọng khn mặt (bài tốn 2), tốn dự đốn tư đầu (bài toán 3), toán phân lớp thật giả (bài tốn 4) Vì vậy, thuật giải tơi đề xuất gồm phần sau:  Tiền xử lý liệu  Phát khuôn mặt (giải tốn 1)  Dự đốn vị trí quan trọng khn mặt (giải tốn 2)  Dự đoán tư đầu (giải toán 3)  Xây dựng mơ hình phân lớp (giải toán 4) 45 Trong phần tiếp theo, luận văn tập trung trình bày cụ thể bước xây dựng thuật giải hình 3.1 Tiền xử lý liệu Phát khn mặt Dự đốn vị trí quan trọng khn mặt Dự đốn tư đầu Xây dựng mơ hình phân lớp Hình 3.1 Các bước thuật giải 3.3 Các bước xây dựng thuật giải 3.3.1 Tiền xử lý liệu Video hiểu theo mợt khía cạnh khác kết hợp khung hình thay đổi theo thời gian Vì vậy, bước này, tơi chia cắt video thành khung hình Thuật tốn 1: Chia video thành khung hình Input: Video cần chia khung hình Output: Tập hợp khung hình chia Bước 1: Mở trình đọc video Bước 2: Với video mở, duyệt khung hình Bước 3: Lưu lại khung hình Thực thuật tốn với video tập liệu, thu tập hợp khung hình video chuyển sang bước Tôi không xử lý thêm khung hình thu lý sau:  Lượng liệu thu lớn (vài TB liệu video) nên xử lý thêm tốn lượng tài nguyên (thời gian, máy móc, ) khơng cần thiết khơng có nhiều ý nghĩa  Trong bước sau trích x́t khn mặt để xử lý tiếp nên không quan trọng việc lọc ngoại cảnh hay nhiễu bước 46 3.3.2 Phát khuôn mặt Trong bước này, sử dụng chủ yếu thuật tốn Biểu đồ đợ dốc định hướng (HOG) bộ phân loại SVM [28] để xác định khuôn mặt ảnh thu từ bước Thuật toán 2: Xác định khn mặt ảnh Input: Hình ảnh muốn dự đốn Output: Dự đốn có mặt người hay khơng, có trả danh sách tọa đợ điểm xác định vị trí khn mặt người hình ảnh Bước 1: Chuẩn hóa gamma đợ dốc Bước 2: Tính tốn đợ dốc Bước 3: Bầu chọn có trọng số ô không gian định hướng Bước 4: Chuẩn hóa tương phản vùng trùng lắp Bước 5: Thu thập hình ảnh HOG vùng phát Bước 6: Sử dụng SVM để phân loại đưa dự đoán Thực thuật toán với khung hình thu bước 1, tơi thu hình ảnh phát khn mặt với cặp điểm tọa đợ hình chữ nhật chuyển sang bước 3.3.3 Dự đốn vị trí quan trọng khn mặt Trong bước này, tơi sử dụng thuật tốn xác định vị trí quan trọng khn mặt (được trình bày phần 2.1) xây dựng thuật tốn biểu đồ đợ dốc định hướng (HOG) kết hợp với trình phân loại, hình chiếu chóp cụt (được trình bày phần 2.2), sơ đồ phát cửa sổ trượt Thuật tốn tơi sử dụng ý tưởng đề xuất Vahid Kazemi Josephine Sullivan [29] Thuật tốn 3: Dự đốn vị trí quan trọng khn mặt Input: Hình ảnh xác định khn mặt Output: Bợ cặp vị trí khn mặt dự đoán Bước 1: Khởi tạo giá trị cần thiết Bước 2: Phù hợp hồi quy với hàm hồi quy mục tiêu Bước 3: Cập nhật tỉ lệ học tham số 47 Bước 4: Nếu có cập nhật bước quay lại bước 2, khơng sau hữu hạn bước dừng Sau dự đốn vị trí quan trọng khn mặt một bộ điểm chiều mô tả vùng khuôn mặt bộ phận khác Sau dùng thông số thu từ phát khn mặt dự đốn vị trí quan trọng khn mặt cho bước dự đốn tư đầu 3.3.4 Dự đoán tư đầu Sau bước thu vị trí khn mặt cặp điểm vectơ (2 chiều) Để cho thực so sánh với bước dự đoán ta chuyển sang chiều, tức thành tập vectơ Ngồi ra, tơi sử dụng bợ liệu xây dựng sẵn biểu diễn điểm thực tế khơng gian chiều để dự đốn hướng đầu, kí hiệu tập vectơ Tơi đề x́t thuật tốn với mục đích tìm ma trận xoay R, vectơ dịch chuyển hệ số scale s cho tập vectơ biểu diễn điểm thực tế có sai số thấp nhất với tập vectơ Cụ thể, ảnh chụp thực tế khuôn mặt người bị lệch khơng nằm trung tâm cho cần xoay (nhân với ma trận R) tịnh tiến dịch chuyển (cộng với vectơ vectơ thành ) Công thức (3-1) xoay dịch chuyển tập : 48 =R Ngoài + (3-1) điểm không gian chiều, ta cần chuyển điểm thành điểm chung mặt phẳng không gian chiều để so sánh với ( tập vectơ chiều với hệ số s để đưa thành chiều) Bước sử dụng kỹ thuật máy ảnh để đưa hình chiếu vị trí (được trình bày phần 2.2) hệ số scale tập vectơ so sánh với Chúng ta có cơng thức (3-2) sau: s = (3-2) Cuối tối ưu cực tiểu sai số công thức dựa vào thuật tốn LevenbergMarquardt (được trình bày phần 2.3): (3-3) đó: R: ma trận xoay 3x3 : vectơ dịch chuyển 1x3 s: hệ số scale fx, fy: tiêu cự máy ảnh cx, cy: tâm máy ảnh 49 : tập vectơ điểm mẫu xây dựng sẵn :tập vectơ điểm dự đoán bước Thuật toán 4: Thuật toán dự doán tư đầu Input: tập vectơ dự doán điểm thu bước tập vectơ điểm thực tế ma trận chuyển điểm chiều thành chiều với hình chiếu chóp cụt qua máy ảnh Output: R ma trận × để cân chỉnh hình khn mặt phép xoay vectơ × để cân chỉnh hình khuôn mặt phép dịch chuyển s hệ số scale hình ảnh để kích thước khn mặt tương đồng Bước 1: Dựa vào thuật toán Levenberg – Marquardt ta tìm giá trị R, lần với cơng thức (3-4) sau: Bước 2: Trả ma trận xoay R, vectơ dịch chuyển hệ số scale s Thuật toán 5: Thuật tốn lấy thơng số dự dốn tư đầu Input: tập vectơ dự doán điểm thu bước 50 , s tập vectơ điểm thực tế ma trận chuyển điểm chiều thành chiều với hình chiếu chóp cụt qua máy ảnh Output: Vectơ (1×12) mơ tả đặc trưng cho khung hình Bước 1: Chia tập vectơ [x, y, 1] thành phần để tiến hành dự đốn: Lần 1: Phần trung tâm khn mặt Lần 2: Tồn bợ khn mặt Bước 2: Dùng thuật tốn dự đoán tư đầu (thuật toán 4) với tập vectơ điểm chia phía Sau bước này, ta thu R1, , s1 R2, , s2 Bước 3: Lấy hiệu ma trận xoay (R1 – R2) vectơ dịch chuyển ( ma trận xoay R vectơ dịch chuyển - ), ta : R = R1 – R2 = - Bước 4: Tiến hành làm phẳng R (ma trận × 3) (vectơ × 3) thành vectơ (1 × 12) Bước 5: Tiến hành chuẩn hóa vectơ (1 × 12) cách trừ cho giá trị trung bình chia cho đợ lệch chuẩn Sau thực thuật tốn với tất khung hình tập liệu, ta bộ vectơ để tiến hành huấn luyện dự đốn khn mặt giả mạo video 3.3.5 Xây dựng mơ hình phân lớp Sau có tham số đặc trưng mơ hình cho tư đầu từ bước trên, tơi sử dụng mơ hình phân lớp để dự đoán thật giả Thuật toán 6: H́n luyện mơ hình với bợ liệu 51 Input: Tập vectơ (1 × 12) đặc trưng cho khn mặt kết (0: thật, 1: giả) Output: Mơ hình huấn luyện với bộ liệu Bước 1: Chuẩn hóa vectơ đầu vào Bước 2: Huấn luyện mơ hình phân loại (SVM, RF, MLP) với bợ liệu chuẩn hóa với tham số Sau có mơ hình h́n luyện, tơi tiến hành dự đoán video giả mạo với thuật toán sau Thuật tốn 7: Dự đốn thật giả với mơ hình huấn luyện Input: Tập vectơ Output: Tập vectơ (1 × 12) đặc trưng cho khn mặt, mơ hình h́n luyện (1 × 12)) thể kết dự đoán (0: thật, 1: giả) với vectơ tương ứng Bước 1: Chuẩn hóa vectơ đầu vào cần dự đoán Bước 2: Dự đoán kết thật giả tập vectơ đặc trưng cho khuôn mặt mô hình h́n luyện 3.4 Tóm tắt thuật giải Tóm lại, với video cần dự đốn, tơi tiến hành phân tách thành khung hình, sau phát dự đốn vị trí quan trọng khuôn mặt Từ kết trên, tiếp tục dự đốn tư đầu chuẩn hóa thành tập tham số đặc trưng (tập vectơ (1 × 12)) Kết dự đoán thật giả tập vectơ tương ứng với khung hình video, hay nói cách khác dự đốn thật giả khung hình xây dựng nên video Từ có nhận định video có bị làm giả hay khơng dự tỉ lệ phần trăm khung hình giả mạo tổng số khung hình 52 .. .Trong phần tiếp theo, luận văn tập trung trình bày cụ thể bước xây dựng thuật giải hình 3. 1 Tiền xử lý liệu Phát khn mặt Dự đốn vị trí quan trọng khn mặt Dự đốn tư đầu Xây... Hình 3. 1 Các bước thuật giải 3. 3 Các bước xây dựng thuật giải 3. 3.1 Tiền xử lý liệu Video hiểu theo mợt khía cạnh khác kết hợp khung hình thay đổi theo thời gian Vì vậy, bước này, chia cắt video. .. cơng thức (3- 2) sau: s = (3- 2) Cuối tối ưu cực tiểu sai số công thức dựa vào thuật tốn LevenbergMarquardt (được trình bày phần 2 .3) : (3- 3) đó: R: ma trận xoay 3x3 : vectơ dịch chuyển 1x3 s: hệ số