Nghiên cứu thuật toán phát hiện điểm cắt, ghép trong video TT

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG NGUYỄN THANH TÙNG NGHIÊN CỨU THUẬT TOÁN PHÁT HIỆN ĐIỂM CẮT, GHÉP TRONG VIDEO Chuyên ngành: Hệ thống thông tin Mã số : 8.48.01.04 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - NĂM 2021 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG MỞ ĐẦU Lý chọn đề tài Sự đời ứng dụng phương tiện ghi âm, ghi hình công tác điều tra, phá án tố tụng ngày triển khai sâu rộng, phổ biến giới; liệu hình ảnh, video thu từ trường vụ án trở thành nguồn chứng quan trọng, giúp quan chức củng cố chứng cứ, chứng minh hoạt động phạm tội Tuy nhiên, bên cạnh thuận lợi phát triển khoa học kỹ thuật đại đem lại đó, kéo theo nhiều ảnh hưởng tiêu cực đời sống, như: việc video/hình ảnh giả mạo, chứa thơng tin sai thật (Deep-fakes), video/hình ảnh trường bị chỉnh sửa, cắt ghép, bị đối tượng phạm tội tác động làm sai lệch thông tin ngày phổ biến; thông tin sai thật lan tràn ngày nhiều Internet Tại Việt Nam, công tác giám định hình ảnh Viện Khoa học hình - Bộ Cơng an nghiên cứu, triển khai đạt nhiều kết tích cực; nhiên, số lượng vụ án hàng năm ngày tăng, liệu video thu từ trường vụ án ngày lớn làm tăng cao nhu cầu phát video giả mạo, bị chỉnh sửa Đáng ý, công tác giám định video giả mạo cắt ghép chủ yếu thực hồn tồn thủ cơng dựa quan sát trực tiếp video chuyên gia Công việc tốn nhiều thời gian công sức đặc biệt đoạn video thu từ camera có thời lượng lớn Do đó, việc tự động hoá phát video bị cắt ghép nhu cầu cấp bách công tác điều tra, phá án Nếu ứng dụng thành công công nghệ, kỹ thuật đại, hệ thống phát video bị cắt ghép, giả mạo giúp giảm công sức chuyên gia tăng hiệu xử lý công tác giám định kỹ thuật hình Với yêu cầu thực tiễn nêu trên, việc nghiên cứu đề tài "Nghiên cứu thuật toán phát điểm cắt, ghép video" cần thiết phương diện lý luận thực tiễn 2 Tổng quan vấn đề nghiên cứu Video trở thành phần thiếu xã hội đại; nhiên, việc chỉnh sửa video ngày trở nên dễ dàng hơn, dễ dàng để số người dùng tạo video chỉnh sửa với ý đồ xấu Trong nhiều nghiên cứu nhắm mục tiêu vào kỹ thuật tiên tiến phát Deepfakes, kỹ thuật cũ, đơn giản lại khơng kiểm tra, khơng có phương tiện phát Các thao tác chỉnh sửa video cắt xén, nối điều chỉnh tốc độ dẫn đến công hiệu Trong đề tài này, học viên nghiên cứu đánh giá số cách tiếp cận phát video bị chỉnh sửa, như: phát dựa đặc trưng điểm ảnh, phát dựa đặc trưng luồng video phát dựa đặc trưng audio luồng đa phương tiện; đó, so sánh hiệu độ xác cách tiếp cận làm sở cho việc khuyến nghị sử dụng kỹ thuật khác cho trường hợp sử dụng cụ thể Mục đích nghiên cứu - Rèn luyện phương pháp khả nghiên cứu - Nghiên cứu đặc trưng video cắt, ghép - Nghiên cứu số thuật tốn phân tích xử lý hình ảnh - Ứng dụng tốn cụ thể Đối tượng phạm vi nghiên cứu Đối tượng phạm vi nghiên cứu luận văn bao gồm: - Bài toán phát điểm cắt, ghép video - Các thuật tốn, phương pháp phân tích xử lý hình ảnh Phương pháp nghiên cứu - Phương pháp lý thuyết: Khảo sát, phân tích tài liệu khoa học liên quan đến thuật toán toán phát điểm cắt, ghép video - Phương pháp thực nghiệm: Sử dụng công cụ, phần mềm để thử nghiệm đánh giá hiệu thuật toán đề xuất Chương - TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN ĐIỂM CẮT, GHÉP TRONG VIDEO 1.1 Đặt vấn đề toán Ngày nay, phát triển nhanh chóng mạng Internet kèm theo khối lượng liệu khổng lồ, đa dạng tăng trưởng khơng ngừng Tính đến tháng 01/2021, giới có khoảng 4,66 tỷ người dùng Internet, chiếm 59,5% dân số giới Ước tính ngày có Exabyte (1018 byte) liệu tạo Internet, phút có 4,2 triệu câu lệnh tìm kiếm Google; Facebook, có thêm 400 người dùng mới, 200.000 ảnh tải lên; Youtube, 72 tiếng video tải lên, 4.7 triệu video xem… [23] Đối với liệu mạng internet, chủ yếu nội dung người dùng tạo (UGC), đó, liệu video quay thiết bị cầm tay, thiết bị điều khiển từ xa, như: điện thoại thông minh, camera, flycam… người dùng ngày chiếm khối lượng lớn Mọi người chỉnh sửa video cho nhiều mục đích khác nhau, kể ủng hộ vấn đề trị giải trí, video giả mạo đặt thách thức lớn cho tổ chức tin tức, việc đăng tải video giả mạo gây tổn hại nghiêm trọng đến danh tiếng, quyền lợi, sức khỏe tổ chức, cá nhân chí xã hội Điều tạo nhu cầu cấp thiết cơng cụ hỗ trợ chun gia xác định tránh nội dung video bị giả mạo Việc phát thao tác chỉnh sửa, phân biệt dấu vết chỉnh sửa, cắt ghép so với hình ảnh gốc ngày trở nên khó khăn phương pháp giả mạo hình ảnh tinh vi xuất phổ biến Vì cơng cụ giả mạo ngày thông minh, nên hệ thống phát giả mạo kỹ thuật số đáng tin cậy ngày trở nên quan trọng lĩnh vực an ninh công cộng, lĩnh vực khác, như: điều tra tội phạm, pháp y, dịch vụ tình báo, bảo hiểm, báo chí, nghiên cứu khoa học, hình ảnh y tế giám sát Tuy nhiên, hành vi chỉnh sửa hình ảnh khơng phải lúc độc hại việc giám định video Bên cạnh trường hợp xảy chèn xóa người, đồ vật quan trọng, làm thay đổi nội dung video trường hợp mà giám định video đề tài chủ yếu nhắm đến, cịn có nhiều kiểu giả mạo khác diễn video khơng ảnh hưởng lớn tới tính xác chứng Chúng bao gồm hoạt động như điều chỉnh độ sắc nét màu sắc lý thẩm mỹ cho toàn video việc bổ sung biểu tượng hình mờ video Do dẫn đến kết luận, đánh giá khơng xác thuật tốn hệ thống yếu tố che dấu vết chỉnh sửa độc hại khác Việc phát thao tác chỉnh sửa video nhiệm vụ đầy thách thức thao tác giả mạo để lại dấu vết video - thường khơng thể nhìn thấy mắt thường liên quan đến số thuộc tính nhiễu ảnh mẫu nén video dấu vết phát thuật tốn thích hợp cịn tồn nhiều phức tạp cách tiếp cận Nhìn chung, có nhiều kiểu hành vi chỉnh sửa khác diễn ra, như: xóa đối tượng, chép đối tượng từ cảnh từ video khác, chèn nội dung tổng hợp, chèn xóa khung, chọn khung thay đổi màu sắc/độ sáng toàn cục… loại có khả để lại loại dấu vết khác video Hơn nữa, vấn đề khác toán thực tế việc nén video bao gồm số quy trình khác nhau, tất phá vỡ dấu vết giả mạo Với thách thức này, nhà nghiên cứu nghiên cứu xây dựng, triển khai nhiều hệ thống theo hướng khác nhằm hướng hỗ trợ chuyên gia việc xác định video giả mạo nâng cao đại hóa lĩnh vực kỹ thuật hình Các nghiên cứu giám định hình ảnh tiền đề cần thiết cho mở rộng nghiên cứu thuật toán hay "bộ lọc" nhằm xử lý video giúp người dùng cụ thể hóa điểm mâu thuẫn đáng ngờ video Những lọc hướng tới khả đưa kết hiển thị cho người dùng, giúp họ xác minh video cách trực quan Đi kèm với đó, việc sử dụng kiến trúc mạng nơ-ron nhân tạo (deep neuron) để phát điểm không quán video phân loại video "gốc" bị giả mạo vào xây dựng hệ thống tự động hóa q trình phát nội dung tất yếu công nghệ tự động hóa, bước tiến Trí tuệ nhân tạo (AI) 1.2 Một số nội dung liên quan tốn Giám định hình ảnh video lĩnh vực phụ xử lý hình ảnh video, số khái niệm từ lĩnh vực xử lý hình ảnh/video đặc biệt quan trọng nhiệm vụ đề tài, như: hình ảnh (hoặc khung hình - frame); giới hạn nhiễu hình ảnh (image noise); nhạy bén (acuity) sắc nét (sharpness) hình ảnh; vấn đề nén MPEG… 1.3 Nghiên cứu, ứng dụng phát điểm cắt ghép video Ngày nay, giám định đa phương tiện kỹ thuật số trở thành lĩnh vực nghiên cứu nổi, nhận ý đáng kể nhằm xác định nguồn gốc tính xác thực phương tiện kỹ thuật số Tính xác thực hình ảnh quan trọng nhiều lĩnh vực xã hội, chẳng hạn như: lĩnh vực y tế, bác sĩ đưa định quan trọng dựa hình ảnh kỹ thuật số; quan thực thi pháp luật tố tụng hình sự, tính xác ảnh có vai trị thiết yếu để chúng sử dụng làm chứng Một số nhà nghiên cứu khoa học xem xét tính xác thực phương tiện truyền thông khối lượng đa phương tiện khổng lồ phức tạp cần phân tích khiến việc xây dựng thuật toán phát giả mạo đa phương tiện trở nên khó khăn Nghiên cứu lĩnh vực chưa đưa giải pháp mạnh mẽ phổ biến, đến cần nhiều nghiên cứu, đóng góp sâu rộng Trong năm gần đây, hầu hết nỗ lực dành cho việc phát giả mạo tĩnh, việc phát giả mạo động không nhận nhiều ý phức tạp phân tích cảnh động chi phí tính tốn, vấn đề trở nên khó khăn với giám định video Một số cơng trình khoa học có liên quan phát triển để phát video giả mạo có khả phát đối tượng khung hình đáng ngờ dựa đặc điểm video kỹ thuật số Một số phương pháp triển khai tập trung vào việc xác định giả mạo khung nội khung Các phương pháp dựa xem xét nội khung thực miền không gian không gian - thời gian (như chép - di chuyển nối khung) Các phương pháp dựa liên khung diễn miền thời gian (như chèn, loại bỏ chép khung) Một cơng trình tiên phong lĩnh vực xử lý việc phát trùng lặp khung [33], cách tính đến thơng tin tương quan khung liên tiếp, manh mối hiệu cần khai thác gồm: tốc độ không quán mặt vật lý [5]; phần dư chuyển động [35]; tính đường bao thống kê [4] Nhìn chung, video giả mạo phát cách xác minh thay đổi khơng gian, chẳng hạn nén khung hình [14] [22] phương thức tạm thời thêm xóa khung [2] [12] Trong số kỹ thuật giám định thụ động, nén kép manh mối quan trọng để phát giả mạo video Một số nghiên cứu giải vấn đề phát nén kép dựa việc sử dụng đặc trưng không gian - thời gian đánh giá sở trường vector chuyển động cục [15] Một số nghiên cứu tập trung vào việc phát trùng lặp khung, ví dụ, [34], tác giả khai thác mối tương quan đặc điểm phân tách giá trị kỳ dị khung gốc khung đáng ngờ, việc giả mạo chép khung phát cách sử dụng phương pháp dựa phân tích tương tự Ngồi ra, đặc điểm dư chuyển động khung sử dụng để xác định khung bị chỉnh sửa, giả mạo Một kỹ thuật thụ động khác dựa việc trích xuất đặc trưng thống kê phân loại đặc điểm thành mẫu dương tính mẫu âm tính [26] Các cơng trình nghiên cứu khác giải đồng thời nhiều loại cơng khác xóa khung chèn khung cách sử dụng biểu đồ tính gradient có định hướng (HOG) Việc khai thác đặc điểm khơng gian-thời gian hiệu thách thức hầu hết nhà nghiên cứu để xác định khung hình chép với độ xác cao [27] Ví dụ: phép phân tách giá trị số (SVD) thực với phép đo độ tương tự Euclid [34]; độ lệch chuẩn khung hình dư sử dụng để chọn số khung hình từ chuỗi video sau giá trị entropy Biến đổi Cosine rời rạc (DCT) khai thác để phát trùng lặp khung hình [9] Trong [28], tác giả sử dụng DCT để tạo tập hợp tính cho khung sau để phát diện giả mạo cách sử dụng hệ số tương quan Phương pháp cho kết tốt thời gian tính tốn tương đối lớn Gần đây, số kỹ thuật phát giả mạo video tự động triển khai, đó, có cách tiếp cận tận dụng mơ hình thống kê áp dụng thành công Việc chuyển đổi tốc độ khung hình bù theo chuyển động khai thác cho mục đích phát giả mạo làm giả tốc độ khung hình Vấn đề xử lý trong, tín hiệu dư coi dấu hiệu để xác định vị trí khung giả mạo nội suy [6] Thời điểm xung dao động wavelet cường độ gradient trung bình ước tính với khái niệm ranh giới đối tượng có chiều rộng điều chỉnh (AWOB) phân loại SVM để xác định mẫu dương tính (video gốc) mẫu âm tính (video giả mạo) [26] Có thể thấy, nghiên cứu lĩnh vực giám định video đạt nhiều thành tựu lớn, kết khả quan Tuy nhiên, tồn số khó khăn như: hiệu khử nhiễu thấp, chưa hoạt động hiệu video chất lượng cao, khó để định khung hình nội suy khôi phục video bị chỉnh sửa, cắt ghép nhiều trường hợp 13 quyền truy cập vào q trình chụp ảnh Ba nhóm chỉnh sửa là: (1) Sao chép di chuyển (copy-move), phần hình ảnh chép đặt vị trí khác ảnh; (2) Ghép nối giả mạo nội khung, phần hình ảnh đặt hình ảnh khác; (3) Thay đổi tồn hình ảnh, tức phần hình ảnh bị xóa sau tự động vẽ thuật toán inpainting nguyên tắc tương tự Các thuật toán phát copy-move cố gắng nắm bắt giả mạo cách tìm kiếm điểm tự tương đồng hình ảnh [29] [34]; thuật tốn phát xác định vị trí ghép nối dựa tiền đề rằng, mức độ (có thể khơng nhìn thấy) khu vực ghép khác với phần cịn lại hình ảnh lịch sử chụp nén khác chúng; dựa nhận định phần máy tính tạo mang đặc điểm khác với phần lại hình ảnh Nhận xét: Mặc dù, với đời học sâu (deep learning), phương pháp tiếp cận mới, cố gắng tận dụng sức mạnh mạng nơ-ron phức hợp xử lý ảnh để xác định phát vị trí giả mạo video, nay, phương pháp giám định video dựa đặc trưng ảnh hoạt động hiệu cao video đơn giản chuỗi khung hình, việc nén video đại q trình phức tạp nhiều, thường loại bỏ tất dấu vết lỗi máy ảnh dấu vết nén khung hình đơn Vì vậy, phương pháp tiếp cận chưa khả thi ứng dụng thực tế không đáp ứng phát triển giới công nghệ video 2.2.1.2 Phương pháp tiếp cận dựa đặc trưng luồng đa phương tiện Để giải tốn giám định video nói chung xác định vị trí điểm cắt, ghép video nói riêng, nhà khoa học nghiên cứu, xây dựng nhiều phương pháp dựa đặc trưng luồng đa phương tiện, đời lọc mang lại nhiều hiệu ứng dụng cao, cụ thể: 2.2.1.2.1 Sử dụng lọc số học 14 Thuật ngữ lọc số học đề cập đến cách tiếp cận đại số cho phép chiếu thông tin vào không gian đặc trưng nhằm giúp việc phân tích cơng tác giám định video dễ dàng [13] - Các lọc Q4 sử dụng để phân tích phân rã hình ảnh thông qua Biến đổi Cosine rời rạc (DCT) DCT chiều chuyển đổi ma trận N ×N khối hình ảnh thành ma trận N×N khối, hệ số tính tốn dựa tần số chúng Cụ thể khối, hệ số nằm vị trí (0,0) đại diện cho thơng tin tần số thấp giá trị có liên quan đến giá trị trung bình tồn khối, hệ số (0,1) bên cạnh đặc trưng cho thay đổi chậm từ tối sang sáng theo hướng ngang, v.v Ngồi ra, người ta tạo hình ảnh màu sai cách chọn ba vị trí khối sử dụng ba mảng kết làm kênh màu đỏ, xanh lục xanh lam hình ảnh đầu ra, minh họa biểu thức đây: - Các lọc Chrome chuyên dùng để phân tích nhiễu độ chói hình ảnh, làm bật tính đồng nhiễu mong đợi hệ thống quan sát bình thường chiếu sáng tự nhiên Bộ lọc tương tự thuật tốn nhiễu trung bình (Median Noise) cho giám định hình ảnh, sử dụng để phát không qn hình ảnh có khả lập nhiễu tần số cao Cách tiếp cận cung cấp nhìn tổng quan tồn khung hình, vị trí có dấu vết nhiễu khác phát xác định bật so với phần cịn lại khung hình 2.2.1.2.2 Bộ lọc quang học Đối với video thu từ hệ thống quang học kết hợp với hệ thống cảm biến, ánh sáng thông tin quang học chuyển thành liệu kỹ thuật số dạng luồng video Rất nhiều thông tin liên quan trực tiếp đến ánh sáng thông tin quang học ban đầu thiết bị thu nhận ẩn cấu trúc video Mục đích lọc quang học để trích xuất thơng tin cho phép người điều tra tìm kiếm bất thường mẫu thơng tin quang học 15 - Bộ lọc Fluor sử dụng để nghiên cứu màu sắc hình ảnh mức độ chói Bộ lọc tạo hình ảnh bình thường màu sắc hình ảnh ban đầu khơi phục độc lập với độ chói; thơng qua q trình chuẩn hóa màu sắc thực lọc Fluor giúp phá vỡ tương đồng màu sắc hệ thống thị giác người cảm nhận làm bật màu có khác biệt rõ rệt dựa màu sắc thực tế chúng - Bộ lọc Focus sử dụng để xác định khu vực sắc nét hình ảnh vùng có độ nét mạnh Một hình ảnh có độ sắc nét cao chứa lượng tần số cao nhiều hơn, ngược lại, tần số cao không phù hợp đối tượng bị mờ nét Bộ lọc Focus xem xét độ phân giải wavelet thông qua lọc phi tuyến dựa việc xử lý RGB khung Nó tạo bố cục màu sai nơi mà vùng tần số thấp bị mờ có màu xám đường viền sắc nét xuất màu - Bộ lọc Acutance đề cập đến thuật ngữ vật lý để độ sắc nét hình ảnh Thơng thường, phép đo đơn giản độ dốc gradient cục chuẩn hóa với giá trị cục mức xám, khác với lọc Focus Bộ lọc Acutance tính tỷ số đầu lọc high-pass lọc low-pass Trong thực tế, sử dụng hai lọc Gaussian với kích thước khác 2.2.1.2.3 Các lọc thời gian Những lọc nhằm mục đích làm bật hoạt động luồng video theo thời gian Việc nén video MPEG-4 khai thác khả dư thừa theo thời gian để giảm kích thước video nén - lý nén video phức tạp nhiều so với nén chuỗi hình ảnh Hơn nữa, nhiều khung hình, MPEG-4 kết hợp dự đoán theo hướng theo chiến lược tiến/lùi, đó, việc biểu diễn khung phụ thuộc nhiều vào nội dung khung mức độ lượng tử hóa Do đó, việc phân tích theo thời gian tham số 16 lượng tử hóa giúp phát mâu thuẫn biểu diễn khung - Bộ lọc Cobalt so sánh video gốc với phiên sửa đổi định dạng lại MPEG-4 với mức chất lượng khác (tốc độ bit tương ứng khác) Nguyên tắc lọc Cobalt đơn giản: quan sát video lỗi video video định lượng lại MPEG-4 với mức chất lượng thay đổi mức tốc độ bit thay đổi, mức lượng tử hóa trùng với mức chất lượng thực sử dụng khu vực sửa đổi nhỏ, khơng có lỗi - Bộ lọc Vector chuyển động biểu diễn video dựa màu sắc khối chuyển động mã hóa vào luồng video Loại biểu diễn sử dụng mũi tên để hiển thị dịch chuyển khối Các vector chuyển động mã hóa luồng video để tái tạo lại tất khung khơng phải khung Sau đó, đối tượng cảnh có tập hợp vector chuyển động liên kết với khối macro bên Những chuyển động đại diện lọc vector chuyển động phải đồng qn, khơng có khả cao số hoạt động đáng ngờ liên quan việc chỉnh, sửa video xảy - Bộ lọc Temporal sử dụng để áp dụng chuyển đổi thời gian video, chẳng hạn làm mịn điều chỉnh thời gian Nó sử dụng để so sánh khung hình tập trung vào phát triển độ sáng theo thời gian Nhận xét: Phương pháp tiếp cận dựa đặc trưng luồng đa phương tiện phương pháp tiếp cận hiệu giám định video mức khung hình chiến lược khả thi với liệu có sẵn hạn chế Trong đó, lọc Q4 (với phép biến đổi Cosine rời rạc) lọc Cobalt thường ứng dụng thực tế nhiều việc phân loại liệu đầu hệ thống giám định video tính trực quan hiệu 17 2.2.1.3 Phương pháp tiếp cận dựa tín hiệu audio Những sửa đổi video thường để lại dấu vết khác biệt hình ảnh âm - đặc trưng khai thác nhằm phát chỉnh sửa, cắt/ghép video Phát không quán âm - hình ảnh hướng tiếp cận mà nhiều nhà khoa học nghiên cứu, phát triển để phát mô tả đặc điểm nhiều loại mâu thuẫn liên quan đến khía cạnh khác tạo nên video hồn chỉnh [31] Sự khơng qn mơi trường xung quanh đặc trưng âm thanh/hình ảnh người nói đại diện cho loại chỉnh sửa khác chứng xác thực, thách thức cho công tác giám định video Một hệ thống để triển khai phát video bị chỉnh sửa theo hướng tiếp cận thường gồm giai đoạn chính: (1) Phát mâu thuẫn âm hình ảnh cảnh; (2) Phát không quán thay đổi âm nghe âm nhận dạng hình ảnh video; (3) Xây dựng liệu triển khai để đánh giá hiệu thuật toán Một số kỹ thuật phương pháp tiếp cận như: (1) Phân tích, phát âm cảnh: Hệ thống phát âm cảnh dựa I-vector mơ hình hóa cách sử dụng tảng Gaussian (số lượng Gaussian dựa số lượng lớp) (2) Phát cảnh không quán: So sánh track âm hình ảnh thích, dễ dàng nhận thấy mâu thuẫn âm hình ảnh video (3) Phát khơng quán người nói: Một số chỉnh sửa liên quan đến việc thay lời nói người lời nói người khác, chẳng hạn lồng tiếng thay khn mặt (deepfakes) không chỉnh sửa âm Những chỉnh sửa tạo mâu thuẫn trạng thái hay cảm xúc khn mặt nói chuyện Dựa sở liệu đối tượng biết với mẫu giọng nói khn mặt họ, 18 kiểm tra kết nghe-nhìn khơng qn với sở liệu Nhận xét: Mặc dù việc thử nghiệm sưu tập video giả mạo nhà khoa học cho thấy nhiều kết hứa hẹn cho phương pháp này, nhiên, phương pháp tiếp cận dừng việc phát video bị giả mạo, chưa phát vị trí, điểm cắt, ghép video theo yều cầu Đề tài đặt 2.2.2 Đề xuất thuật toán giải toán Những nghiên cứu, khảo sát gần cho thấy, tương ứng với loại giả mạo video có kỹ thuật phát phù hợp [27], như: sử dụng kỹ thuật Khớp khối (Block matching), Biến đổi Cosine rời rạc (DCT), Phân tích thành phần (PCA), Tương quan chuỗi để phát giả mạo Sao chép-di chuyển (nhân bản); kỹ thuật Phân tích quang phổ hai mặt, phân tích kết hợp song song, ước tính biến thiên nhiễu, thống kê bậc cao để phát giả mạo nối (Splicing)… Do đó, dựa nghiên cứu có này, học viên định hướng triển khai thực nghiệm cách nghiên cứu xây dựng hệ thống phần mềm giám định video theo phương pháp tiếp cận dựa kỹ thuật biến đổi Cosin rời rạc - phương pháp phổ biến phát video giả mạo loại copy-move đánh giá có kết với độ xác cao; hướng đến mục tiêu làm bật dấu vết giả mạo video để lại, với trọng tâm xác định gián đoạn khía cạnh tạm thời video làm tảng cho nghiên cứu phát triển tương lai; qua đánh giá hiệu phương pháp thực nghiệm Qua trình khảo sát thực trạng giới công nghệ liên quan đến mức độ phù hợp hướng giải toán trên, công cụ giám định mà học viên phát triển có tiềm lớn việc xử lý cục tập liệu video giả mạo, phương pháp học sâu mà học viên nghiên cứu góp phần tích cực ảnh hưởng lớn tới hiệu tự động phát giả mạo video 19 Dựa kết thử nghiệm liệu điểm chuẩn giới thực, đồng thời phân tích kết quả, học viên nhận thấy phương pháp đề xuất mang lại kết đầy hứa hẹn so với phương pháp đại, đặc biệt khả khái qt hóa thuật tốn liệu chưa biết lấy từ giới thực Chương - THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ Đề tài phát video bị chỉnh sửa vấn đề khó, thách thức chuyên gia, phải đối mặt với ngày nhiều kỹ thuật chỉnh sửa video đại, tinh vi Do đề tài phát điểm cắt, ghép video lại khó nữa, giai đoạn hệ thống sau nhận diện video bị chỉnh sửa; số phương pháp hay nghiên cứu dừng lại việc phát video bị chỉnh sửa, chưa thể phát vị trí loại chỉnh sửa mà video bị tác động Qua trình nghiên cứu phương pháp sử dụng phát điểm cắt ghép video, học viên tiến hành xây dựng chương trình dựa thuật toán lọc Cosin rời rạc để thực nghiệm đánh giá phương pháp nghiên cứu phát điểm cắt, ghép video, làm tiền đề phục vụ cho nghiên cứu sau 3.1 Giới thiệu chương trình 3.1.1 Nền tảng cơng nghệ - Chương trình xây dựng tảng ngơn ngữ lập trình bậc cao Python version 3, sử dụng cơng cụ lập trình Pycharm mơi trường phát triển hồn hảo dành cho ngơn ngữ lập trình Python để thực Các thư viện hỗ trợ bao gồm thư viện OpenCV, Scipy, Pillow, Numpy… - Chương trình sử dụng phương pháp biến đổi Cosin rời rạc xử lý ảnh kết hợp với phương pháp học máy để tìm kiếm vùng bị cắt ghép frame ảnh video trích xuất 20 3.1.2 Nguồn dữ liệu Học viên lựa chọn liệu Fake Video Corpus InVID, phát triển nguồn dự án InVID, bao gồm nhiều video chỉnh sửa, cắt ghép nội dung bên cạnh số lượng lớn video gốc không bị chỉnh sửa Các video xử lý trước đưa vào mơ hình thử nghiệm theo chuẩn mã hóa H.264/AVC, định dạng file *.mp4, độ dài video khoảng từ 1030s Để thử nghiệm đánh giá phương pháp nghiên cứu phần trước, học viên lựa chọn ngẫu nhiên video tập liệu video để thử nghiệm, sử dụng video có chỉnh sửa nhằm áp dụng thuật toán đưa để đánh giá hiệu phương pháp áp dụng Từ tập liệu chọn, học viên chọn lọc lấy 05 video có nội dung bị chỉnh sửa Sau đó, sử dụng phần mềm chỉnh sửa video để chuẩn hóa kích thước khung hình video để làm liệu đầu vào cho việc thử nghiệm chương trình 3.2 Cấu trúc chương trình Trong chương trình thử nghiệm, học viên chia module để thực bao gồm: (1) Module xử lý dữ liệu đầu vào: Module thực việc đọc liệu video đầu vào, trích xuất video thành frame ảnh dạng ảnh xám lưu lại vào thư mục riêng biệt Thư viện ngơn ngữ lập trình Python OpenCV hỗ trợ mạnh xử lý công việc này; (2) Module xử lý phát điểm cắt ghép: Đây module quan trọng nhất, đảm nhận nhiệm vụ xử lý hình ảnh Áp dụng phép biến đổi Cosin rời rạc kết hợp với thuật toán học máy thư viện Python để tìm điểm bất thường, có khả điểm bị chỉnh sửa khung ảnh video trích xuất Sau xuất khung ảnh qua xử lý thư mục đầu riêng biệt; (3) Module chuyển đổi ảnh sang video: Sau xử lý tồn khung ảnh, cơng việc phải chuyển đổi khung ảnh xử lý thành video kết 21 hoàn chỉnh Các video chuyển đổi theo chuẩn mà thư viện Python hỗ trợ Cụ thể: 3.2.1 Xử lý dữ liệu đầu vào Trong chương trình, ta sử dụng liệu đầu vào định dạng *.MP4 Mỗi video có kích thước khung hình, độ lớn khác nhau, ảnh hưởng tới hiệu suất xử lý việc phát điểm cắt ghép video Qua thử nghiệm, với khung hình khác có thời gian xử lý khác nhau, chương trình này, học viên áp dụng thử nghiệm video có độ phân giải 360 pixels chuẩn hóa sang video vng có kích thước dài, rộng 360 pixel để thuận lợi cho việc thử nghiệm mơ hình Sau chỉnh sửa video, học viên tiến hành tách khung hình từ video chọn chỉnh sửa Đồng thời, trình tách khung hình từ video, ta tiến hành chuyển đổi khung hình sang dạng ảnh xám để làm đâu vào cho trình xử lý module Mỗi khung hình lưu lại định dạng ảnh *.png thư mục cố định Module xây dựng sở áp dụng hàm thư viện OpenCV Python - thư viện mạnh quen thuộc xử lý đa phương tiện 3.2.2 Xử lý tìm điểm cắt ghép từng khung hình Quá trình xử lý tìm điểm cắt ghép khung hình video thực theo quy trình Cụ thể: 1) Chia ảnh xám Module xử lý thực thành khối vuông điểm ảnh chồng với kích thước cố định, ta áp dụng kích thước khối 8x8 pixel Các khối vng điểm ảnh lấy từ góc hình bên trái theo thứ tự từ xuống dưới, từ trái qua phải đến góc hình bên phải tạo thành khối xếp chồng lên Mỗi khối biểu diễn điểm bắt đầu hàng cột tương ứng khung ảnh 22 2) Áp dụng phép biến đổi Cosin rời rạc (DCT) cho khối điểm ảnh trích xuất Các khối điểm ảnh gán vào mảng chiều, làm liệu đầu vào cho hàm chức phép biến đổi Cosin rời rạc 3) Trích chọn đặc trưng từ khối vng áp dụng DCT Thông qua phép biến đổi Cosin rời rạc, ta ma trận gồm trọng số DCT Ma trận trọng số xếp theo hình zig-zag để lấy thơng tin lưu khối hiển thị Qua phép biến đổi Cosin rời rạc, khối gán trọng số định làm sở để trích chọn đặc trưng khối điểm ảnh 4) Dùng thuật tốn học máy phương pháp phân tích thành phần PCA với hàm lõi Gaussian RBF để tối ưu hóa đặc trưng, giảm thiểu chiều liệu, xác định số lượng nhóm định kết hợp áp dụng phương pháp phân cụm K-nearest neighbor (viết tắt KNN) Kế thừa nghiên cứu nước phân cụm liệu xử lý ảnh, học viên áp dụng tính tốn khoảng cách Eculid cụm liệu xử lý; với ngưỡng nghiên cứu, tính tốn cho trước, áp dụng tính tốn khoảng cách cụm liệu, tiến hành phân loại thành cụm có đặc điểm tương đồng, để đưa cụm liệu có đặc điểm giống nhau, kết cho việc dự đoán vùng bị chỉnh sửa khung ảnh video 5) Cuối ta tiến hành xóa bỏ khối có kích thước nhỏ, nằm rời rạc để đưa vùng dự đoán cuối Đây module quan trọng chương trình phát điểm cắt ghép video Các tham số sử dụng thuật tốn gồm tham số lượng tử hóa, ngưỡng khoảng cách Eculid khối, ngưỡng khoảng cách Eculid pixel Với tùy tham số trên, hiệu suất tính tốn kết đưa có khác 23 3.3 Kết thực nghiệm Thuật toán thử nghiệm video từ nguồn InVID Fake Video Corpus video chỉnh sửa lấy nguồn trang mạng xã hội Youtube Facebook có dung lượng từ 1030s Thiết bị thử nghiệm chạy thuật tốn máy tính có cấu hình Intel Core i7 4700MQ 2.4GHz, ổ cứng SSD 512GB, RAM 8GB để thử nghiệm khả tính toán thuật toán Ta thử nghiệm liệu giá trị khác phương pháp áp dụng lọc Cosin rời rạc gồm: Kích thước khối điểm ảnh: B; Khoảng cách Eculid khối điểm ảnh: d B; Khoảng cách Eculid pixel: dp; Giới hạn vector dịch chuyển: Veclimit; Các kết thử nghiệm sau: - Kết thử nghiệm B= 16x16, dB=5, dp=20, Veclimit=20 Bảng 3.1 Kết thực nghiệm khối 16x16 pixels Bộ video Độ xác TPR FPR Video 0.683 0.821 0.073 Video 0.667 0.805 0.082 Video 0.635 0.763 0.080 Video 0.598 0.725 0.092 Video 0.572 0.689 0.112 - Kết thử nghiệm B= 24x24, dB=5, dp=20, Veclimit=20 Bảng 3.2 Kết thực nghiệm khối 24x24 pixels Bộ video Độ xác TPR FPR Video 0.723 0.841 0.064 24 Video 0.687 0.725 0.092 Video 0.612 0.689 0.098 Video 0.598 0.693 0.106 Video 0.552 0.632 0.131 Qua hai lần thử nghiệm với hai khối điểm ảnh khác nhận thấy độ xác áp dụng mơ hình có thay đổi Ngồi ảnh hưởng việc thay đổi kích thước khối điểm ảnh thuật tốn, độ xác cịn phụ thuộc vào chất lượng video nhiều Video có độ sắc nét cao khả xác cao nhiên thời gian thực thuật tốn lại lớn (trung bình phút/khung ảnh) Tuy nhiên việc thực thuật toán đảm bảo việc phát video bị chỉnh sửa độ xác chưa cao thời gian thực lớn 3.4 Nhận xét Qua nghiên cứu, thực nghiệm phương pháp trên, từ kết cho thấy số vấn đề cần phải giải quyết: - Về phương pháp, phương pháp đơn giản áp dụng việc xử lý khung ảnh video để tiến hành tìm vùng bị chỉnh sửa Phương pháp sử dụng biện pháp xử lý ảnh nâng cao, thư viện sẵn có giúp cho việc lập trình dễ dàng Ngồi ra, phương pháp khơng địi hỏi độ phức tạp xử lý liệu, áp dụng biện pháp học máy nâng cao để xây dựng module, giảm bớt nhiều cơng đoạn tính tốn phức tạp Tuy nhiên, mặt hạn chế phương pháp thời gian xử lý khung ảnh dài, đặc biệt với video có chất lượng cao Các vùng dự đốn đưa cịn bị ảnh hưởng nhiễu, phải chọn lọc tham số đầu vào cho từn video kết tốt 25 - Về kết thử nghiệm, liệu video thử nghiệm lựa chọn video bị cắt ghép, chỉnh sửa Qua trình thử nghiệm với thông số khác đánh giá hiệu suất khả phương pháp áp dụng Độ xác phương pháp giảm dần theo thời gian video, video có thời gian ngắn độ xác cao ngược lại Đồng thời video có độ phân giải cao có thời gian thực lâu hơn, nhiên kết lại xác Các tham số đầu vào phương pháp ảnh hưởng nhiều tới kết Vì áp dụng việc chia khối điểm ảnh với kích thước khối điểm ảnh cho kết tính tốn khác nhau, từ ảnh hưởng tới hiệu phương pháp KẾT LUẬN Sự xuất mạng xã hội nói chung lan tỏa mạnh mẽ video làm thay đổi giới, hình thành "thế giới ảo" đan xen với giới thực, tạo tương tác tối đa quan hệ xã hội, vượt qua khoảng cách khơng gian thời gian Chính phát triển mạnh mẽ, đa dạng loại hình mạng xã hội tạo mạng lưới truyền thông đa phương tiện ngày đại, để người trao đổi, tiếp cận thơng tin nhanh chóng khắp giới, tạo điều kiện phát triển mặt đời sống xã hội; đồng thời, tạo điều kiện thuận lợi để lực phản động tội phạm sử dụng vào hoạt động vi phạm pháp luật, gây nguy an ninh, an toàn thông tin, đặc biệt nguy hiểm chúng sử dụng để tun truyền, xun tạc thơng tin, kích động biểu tình Đáng ý, đối tượng phạm tội gia tăng hoạt động giả mạo video để bịa đặt, xuyên tạc thông tin gây uy tín cá nhân, tổ chức, quyền; phục vụ hành vi lừa đảo chiếm đoạt tài sản Tại nước ta, công tác giám định video phục vụ xác thực tính xác thơng tin lan truyền internet công tác điều tra, đấu tranh tội phạm nhiều hạn chế, việc ứng dụng kỹ thuật, công nghệ đại chưa đạt nhiều thành tựu phục vụ nhu 26 cầu thực tiễn xã hội Do đó, yêu cầu cấp thiết đặt phải nghiên cứu, xây dựng giải pháp để phát điểm cắt, ghép video phục vụ cơng tác giám định hình Trong phạm vi nghiên cứu luận văn, học viên trình bày số vấn đề liên quan đến giám định video, tập trung nghiên cứu số phương pháp tiếp cận giải vấn đề toán đặt ra, từ đề xuất xây dựng chương trình thực nghiệm biện pháp biến đổi Cosin rời rạc, thu số kết định Qua đó, học viên nhận thấy nghiên cứu, phát triển giải pháp phát điểm cắt ghép video hướng nghiên cứu mới, đáp ứng tình hình thực tế thời kỳ khoa học công nghệ phát triển, cơng cụ chỉnh sửa hình ảnh, video ngày phát triển, công nghệ chỉnh sửa tinh vi đại Tuy nhiên, q trình nghiên cứu địi hỏi thời gian thử nghiệm nhiều phương pháp khác để đưa hiệu tốt Trong tương lai, hướng nghiên cứu sâu việc phát điểm cắt ghép video nói riêng phát chỉnh sửa video nói chung cần xem xét đến thành cơng có phương pháp tiến tiến đại bắt nguồn từ thị giác máy tính, khai thác liệu lớn khoa học máy tính Học viên tập trung nghiên cứu phương pháp khác làm tăng hiệu suất mơ phương pháp biến đổi khơng giới hạn mơ-men hình học (biến đổi Fourior - Mellin) đặc trưng dựa cấu trúc video Bám sát mục tiêu, nhiệm vụ, sử dụng đắn phương pháp nghiên cứu khoa học, luận văn thu số thành công giải tốt mục tiêu, nhiệm vụ nghiên cứu đặt Luận văn cơng trình nghiên cứu công phu, nghiêm túc, song vấn đề mới, khó phức tạp, phạm vi nghiên cứu rộng, cộng thêm khó khăn khách quan, kiến thức học viên hạn chế nên chắn nhiều khiếm khuyết Học viên mong nhận quan tâm, góp ý nhà khoa học, nhà hoạt động thực tiễn đồng nghiệp Cuối cùng, học viên xin chân thành cảm ơn 27 đơn vị liên quan, đồng chí, đồng nghiệp, đặc biệt thầy Phó Giáo sư Hà Hải Nam, người hướng dẫn khoa học tận tình giúp đỡ để học viên hoàn thành luận văn này./ ... kỹ thuật hình Với yêu cầu thực tiễn nêu trên, việc nghiên cứu đề tài "Nghiên cứu thuật toán phát điểm cắt, ghép video" cần thiết phương diện lý luận thực tiễn 2 Tổng quan vấn đề nghiên cứu Video. .. đích nghiên cứu - Rèn luyện phương pháp khả nghiên cứu - Nghiên cứu đặc trưng video cắt, ghép - Nghiên cứu số thuật tốn phân tích xử lý hình ảnh - Ứng dụng toán cụ thể Đối tượng phạm vi nghiên cứu. .. tượng cần quan tâm video Tuy nhiên, điều kiện thường không đáp ứng UGC 2.2 2.2.1 Một số thuật toán phát điểm cắt, ghép video đề xuất Một số thuật toán phát điểm cắt, ghép video 2.2.1.1 Phương