Nghiên cứu các phương pháp phát hiện ảnh kỹ thuật số giả mạo và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN PHƢƠNG THÚY NGHIÊN CỨU CÁC PHƢƠNG PHÁP PHÁT HIỆN ẢNH KỸ THUẬT SỐ GIẢ MẠO VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUN - 2014 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên Tai ngay!!! Ban co the xoa dong chu nay!!! http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN PHƢƠNG THÚY NGHIÊN CỨU CÁC PHƢƠNG PHÁP PHÁT HIỆN ẢNH KỸ THUẬT SỐ GIẢ MẠO VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: TS NGUYỄN NGỌC CƢƠNG THÁI NGUYÊN – 2014 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Luận văn đƣợc thực Trƣờng Đại học Công nghệ Thông tin Truyền Thông – Đại học Thái Nguyên dƣới hƣớng dẫn thầy giáo TS Nguyễn Ngọc Cƣơng Trƣớc hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo TS Nguyễn Ngọc Cƣơng - Học viện An ninh nhân dân, ngƣời tận tình hƣớng dẫn giúp đỡ để em hồn thành tốt luận văn Em xin gửi lời cảm ơn chân thành đến thầy cô giáo Trƣờng Đại học Công nghệ Thông tin Truyền Thông - Đại học Thái Nguyên, thầy giáo nhiệt tình giảng dạy, truyền đạt kiến thức cho em suốt trình học tập trƣờng nhƣ trình làm luận văn Cuối em xin gửi lời cảm ơn đến gia đình, bạn bè, đồng nghiệp ngƣời động viên, giúp đỡ tạo điều kiện cho em q trình học tập hồn thành luận văn Thái Nguyên, ngày 15 tháng 05 năm 2014 HỌC VIÊN NGUYỄN PHƢƠNG THÚY i LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nghiên cứu phương pháp phát ảnh kỹ thuật số giả mạo ứng dụng” công trình nghiên cứu riêng tơi dƣới hƣớng dẫn thầy giáo TS Nguyễn Ngọc Cƣơng Các số liệu, hình ảnh đƣợc sử dụng luận văn nhƣ kết nghiên cứu đƣợc trình bày luận văn trung thực ii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC HÌNH VẼ vi PHẦN 1: PHẦN MỞ ĐẦU 1 Giới thiệu tổng quan đề tài Bố cục luận văn PHẦN 2: NỘI DUNG CHƢƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ ẢNH GIẢ MẠO 1.1 Xử lý ảnh, số vấn đề xử lý ảnh 1.1.1 Xử lý ảnh 1.1.2 Biểu diễn ảnh 1.1.3 Một số khái niệm xử lý ảnh 1.1.4 Các giai đoạn xử lý ảnh 1.1.4.1 Thu nhận ảnh 1.1.4.2 Tiền xử lý 1.1.4.3 Phân đoạn ảnh 1.1.4.4 Hệ định 1.1.4.5 Trích chọn đặc điểm 1.1.4.6 Nhận dạng 10 1.2 Ảnh giả mạo phát ảnh giả mạo 11 1.2.1 Ảnh giả mạo 11 iii 1.2.2 Các dạng ảnh giả mạo 13 1.2.2.1 Ghép ảnh 13 1.2.2.2 Tăng cƣờng ảnh 14 1.2.2.3 Sao chép dịch chuyển vùng ảnh 14 1.2.3 Hƣớng tiếp cận toán phát ảnh giả mạo 16 1.2.3.1 Dựa vào hình dạng 16 1.2.3.2 Dựa vào phân tích nguồn sáng 16 1.2.3.3 Dựa vào biến đổi màu sắc 16 1.2.3.4 Dựa vào sở liệu 16 1.2.3.5 Dựa vào dấu vết trình điều chỉnh tỷ lệ 17 CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN ẢNH KỸ THUẬT SỐ GIẢ MẠO 18 2.1 Phát ảnh giả mạo dựa thuật toán Exact Match 18 2.1.1 Ý tƣởng 18 2.1.2 Thuật toán 19 2.1.3 Phát ảnh giả mạo dựa vào kỹ thuật thay đổi kích thƣớc 20 2.1.3.1 Các kỹ thuật thay đổi kích thƣớc 20 2.1.3.2 Thuật toán cải tiến Exact Match* 22 2.2 Phát ảnh giả mạo dựa thuật tốn phân tích nguồn sáng 25 2.2.1 Các phƣơng pháp uớc lƣợng hƣớng nguồn sáng 25 2.2.1.1 Nguồn ánh sáng vô tận (3-D) 25 2.2.1.2 Nguồn ánh sáng vô tận (2-D) 27 2.2.1.3 Nguồn sáng cục (2-D) 28 2.2.1.4 Nhiều nguồn sáng 28 2.2.2 Thuật toán nhận dạng ảnh giả mạo dựa phân tích nguồn sáng 29 iv 2.2.2.1 Tách biên đối tƣợng 29 2.2.2.2 Loại bỏ đối tƣợng nhỏ nhiễu 32 2.2.2.3 Chọn đoạn biên để uớc lƣợng hƣớng ánh sáng 33 2.2.2.4 Thuật toán uớc lƣợng hƣớng sáng đoạn biên 33 2.3 Phát ảnh giả mạo dựa vào thuật tốn phân tích mẫu nhiễu cảm biến 35 2.3.1 Mẫu nhiễu phƣơng thức biểu diễn 35 2.3.2 Dị tìm mẫu nhiễu 38 2.3.3 Thuật toán phát giả mạo 41 CHƢƠNG 3: THỬ NGHIỆM CHƢƠNG TRÌNH 44 3.1 Bài toán phát ảnh giả mạo 44 3.2 Chƣơng trình thử nghiệm 45 3.2.1 Giao diện chƣơng trình 45 3.2.2 Thông tin chƣơng trình 45 3.2.3 Phát ảnh giả mạo thuật toán Exact Match 52 3.2.4 Kết kiểm tra 50 PHẦN 3: KẾT LUẬN 51 TÀI LIỆU THAM KHẢO 54 PHỤ LỤC 56 v DANH MỤC CÁC HÌNH VẼ Hình 1.1 Q trình xử lý ảnh Hình 1.2 Biểu diễn ảnh hàm f(X,Y) Hình 1.3 Ảnh thu nhận ảnh mong muốn Hình 1.4 Các bƣớc xử lý ảnh số Hình 1.5 Các thành phần hệ xử lý ảnh 10 Hình 2.1 Bức anh giả mạo Brian Walski 12 Hình 2.2 Nghị sĩ John Kerry nữ diễn viên Jane Fonda phát biểu 12 Hình 2.3 Ghép ảnh từ hai ảnh riêng rẽ 13 Hình 2.4 Ví dụ tăng cƣờng ảnh 14 Hình 2.5 Ảnh che phủ bỏ đối tƣợng 15 Hình 2.6 Ảnh bổ sung đối tƣợng 15 Hình 2.7 Sơ đồ việc phát ảnh giả mạo dựa vào sở liệu 17 Hình 2.8 Minh họa cho việc tìm kiếm khối bao thuật toán Extract Match 18 Hình 2.9: Ảnh cắt dán giả mạo thuật tốn phát ảnh giả mạo Exact Match 19 Hình 2.10: hình ánh xạ điểm ảnh từ ảnh gốc sang ảnh đích 20 Hình 2.11: Phát mâu thuẫn hƣớng nguồn sáng 25 Hình 2.12: Minh họa hƣớng nguồn sáng pháp tuyến bề mặt đối tƣợng 27 Hình 2.13: Hai đối tƣợng đƣợc chiếu nguồn sáng gần 28 Hình 2.14: Kết đạo hàm theo hƣớng x y 30 Hình 2.15: Kết minh họa tính độ lớn biên 31 Hình 2.16: Minh họa liên thông theo 4, 8, láng giềng 32 vi Hình 2.17: Minh họa điểm đƣợc đánh dấu để xóa 33 Hình 2.18: Minh họa điểm đƣợc đánh dấu để nối nét đứt 33 Hình 2.19: Minh họa kết xác định hƣớng ánh sáng ảnh giả mạo có sẵn 34 Hình 2.20: Mơ hình mẫu nhiễu 37 Hình 2.21: Minh họa vùng R đƣợc chọn mẫu nhiễu tham chiếu tƣơng ứng 39 Hình 2.22: Hình ảnh minh họa chọn vùng Q i mẫu tham chiếu 40 Hình 2.23: Mơ hình tạo mẫu tham chiếu camera 41 Hình 2.24: Sơ đồ mơ tả mơ hình thực nghiệm 44 Hình 3.1: Giao diện 45 Hình 3.2: Giao diện thơng tin 46 Hình 3.3: Lựa chọn vùng nghi vấn 47 Hình 3.4: Giao diện kiểm tra vùng nghi vấn 48 Hình 3.5: Thêm vùng nghi vấn 48 Hình 3.6: Chƣơng trình phân tích 49 Hình 3.7: Kết kiểm tra vùng giống 50 vii PHẦN 1: PHẦN MỞ ĐẦU Giới thiệu tổng quan đề tài Mỗi ảnh đƣợc sáng tác cách có chủ đích truyền tải thơng điệp riêng, bên cạnh ảnh đƣợc coi cơng cụ biểu diễn truyền đạt thông tin hữu dụng Hiện nay, công nghệ kỹ thuật số đại phát triển phần mềm chỉnh sửa ảnh, nên ảnh dễ dàng bị chỉnh sửa Các ảnh đƣa vào máy tính đƣợc số hóa, sử dụng chức phần mềm để cắt, dán, tẩy, xoay, chuyển đổi vị trí, nâng cao chất lƣợng ảnh tạo ảnh nhƣ ý mà không để lại nhiều dấu vết giả mạo Do vậy, thấy việc phát ảnh giả mạo trở nên khó khăn cần thiết Ảnh giả mạo đƣợc xem ảnh khơng có thật, việc có đƣợc ảnh có can thiệp chƣơng trình xử lý ảnh trình thu nhận Giả mạo ảnh nhằm vào nhiều mục đích có việc vu cáo, tạo tin giật gân, đánh lừa đối thủ, làm sai lệch chứng phạm tội Việc phát chống giả mạo ảnh chủ đề ngày đƣợc quan tâm nhiều nhóm nghiên cứu Nhƣ nghiên cứu thuộc cấp nhóm tác giả Vũ Đức Thi, Đỗ Năng Tồn, Viện cơng nghệ thơng tin, nhóm Dugelay với nghiên cứu thủy phân, nhóm Fridrich, với nghiên cứu nhiễu, phát ảnh giả mạo dựa vào đối sánh khối bao, Fraid với nghiên cứu thống kê ảnh, phép nén ảnh JPEG mâu thuẫn ánh sáng ảnh, nhóm Chang với phân tích mẫu nhiễu ảnh Trong năm gần đây, ngƣời dễ sử dụng phần mềm xử lý ảnh để tạo ảnh ghép tinh vi, tạo nên tình khơng tồn làm giảm độ tin cậy giá trị ảnh Có thể thấy ảnh hƣởng thông tin ảnh lớn, ln có tác động trực tiếp tới ngƣời, chúng  Giai đoạn 2: Nhận dạng ảnh giả Thuật toán nhận dạng ảnh giả đƣợc thực theo bƣớc sau: Bước 1: Chọn mẫu tham chiếu camera ảnh đầu vào Bước : Chọn vùng nghi vấn ảnh Bước : Xác định mẫu tham chiếu P( ) tƣơng ứng từ mẫu tham chiếu camera Bước : Tính độ tƣơng quan vùng (2.18) ta đƣợc mẫu tham chiếu P( ) theo Bước 5: Chọn vùng Q k ( k 1, , N Q với N Q tƣơng tự histogram với ) có kích thƣớc Bước 6: Tính độ tƣơng quan vùng Q k mẫu tham chiếu P( ) theo (2.18) ta đƣợc Qk Bước 7: Áp dụng hàm phân loại tích lũy Gaussian với giá trị Qk ta đƣợc G( pQk G( Qk R ) G( Qk ) , sau tính giá trị p R R ) ) Bước 8: Kiểm tra P Ngƣợc lại P luận G( 10 10 khẳng định khơng giả mạo kiểm tra tiếp tất pQ k vùng giả mạo 43 10 kết CHƢƠNG 3: THỬ NGHIỆM CHƢƠNG TRÌNH Dựa sở lý thuyết tìm hiểu, tiến hành xây dựng chƣơng trình phát ảnh kỹ thuật số giả mạo Chƣơng trình áp dụng thuật tốn tìm vùng lặp ảnh để phát loại ảnh giả mạo sinh thao tác copy dịch chuyển vùng ảnh 3.1 Bài toán phát ảnh giả mạo Cho ảnh kích thƣớc M x N điểm ảnh Tìm xem ảnh có chƣa vùng lặp giống hay khơng Input: Ảnh kích thƣớc M x N Output: Tìm xem có vùng ảnh giống khơng Lƣu ý: Ảnh sử dụng ảnh có kích thƣớc nhỏ thời gian phát nhanh kích thƣớc ảnh q lớn khơng thể áp dụng thuật toán Ảnh nghi ngờ giả mạo Lựa chọn vùng nghi vấn Thuật toán Exact Match kiểm tra vùng nghi vấn Đúng Tô màu khối bao giồng Xuất khối bao giống Sai End Xác nhận ảnh giả mạo Hình 2.24: Sơ đồ mơ tả mơ hình thực nghiệm 44 3.2 Chƣơng trình thử nghiệm Chƣơng trình đƣợc xây dựng với mục đích phát ảnh giải mạo dạng cắt / dán Chƣơng trình đƣợc viết ngơn ngữ C # cơng cụ lập trình Visual Studio 2008 Thuật tốn Exact Mach nhằm tìm khối bao giống ảnh¸bao gồm bƣớc: Bƣớc 1: Cấu hình thơng số thuật tốn Bƣớc 2: Xác định tập khối bao xử lý trƣớc so sánh Bƣớc 3: So sánh khối bao đƣa tập khối bao giống 3.2.1 Giao diện chƣơng trình Hình 3.1: Giao diện Giao diện chƣơng trình bao gồm button: - :Có chức mở file ảnh cần nhận dạng 45 - - : Kiểm tra ảnh ghép thuật toán Exact Match : Hiển thị thông tin phần mềm : Thu nhỏ ảnh hiển thị : Thay đổi tỉ lệ hình ảnh - : Phóng to hình ảnh - : Ẩn / Hiển thị kết 3.2.2 Thơng tin chƣơng trình Giao diện Thông tin hiển thị thông tin chƣơng trình: Tên chƣơng trình, tên tác giả, thuật tốn sử dụng… Hình 3.2: Giao diện thơng tin 3.2.3 Phát ảnh giả mạo thuật toán Exact Match Bƣớc 1: Lựa chọn file ảnh nghi vấn cách click chuột vào nút 46 Bƣớc 2: Bấm nút để chuyển sang chƣơng trình kiểm tra ảnh giả mạo Bƣớc 3: Lựa chọn vùng ảnh nghi vấn cách bấm nút vùng nghi vấn Hình 3.3: Lựa chọn vùng nghi vấn 47 sau lựa chọn Hình 3.4: Giao diện kiểm tra vùng nghi vấn Bƣớc 4: Bấm để thêm vùng lựa chọn vào chƣơng trình Hình 3.5: Thêm vùng nghi vấn 48 Bƣớc 5: Kiểm tra vùng nghi vấn Hình 3.6: Chƣơng trình phân tích 49 3.2.4 Kết kiểm tra Chọn “Kiểm tra” để chạy thuật tốn Sau thực xong thuật tốn chƣơng trình đánh dấu vùng nghi ngờ giả mạo Quan sát vùng đánh dấu thấy hai vùng đánh dấu có tính đối xứng kết luận có cắt dán ảnh Hình 3.7: Kết kiểm tra vùng giống Quan sát kết quả, chƣơng trình hiển thị vùng giống phân biệt tƣơng đồng kết luật ảnh bị chỉnh sửa cách cắt ghép đối tƣợng ảnh 50  Một số kết thực nghiệm Ảnh minh họa kết xác định hai đối tƣợng giống kích thƣớc nên ảnh giả mạo dạng cắt dán Ảnh minh họa kết xác định hai đối tƣợng giống thay đổi kích thƣớc cho phù hợp, việc phát chƣa thực đạt đƣợc nhữn yêu cầu đề 51 PHẦN 3: KẾT LUẬN Các kết đạt đƣợc Hiện với phát triển khoa học công nghệ việc tạo ảnh số giả mạo dễ dàng Vì vậy, tốn phát ảnh giả mạo toán quan trọng cần thiết nhiều lĩnh vực Trong khuôn khổ luận văn, đạt đƣợc số kết sau: - Luận văn trình bày đƣợc cách tổng quan vấn đề xử lý ảnh dạng ảnh giả mạo, hƣớng tiếp cận với toán phát ảnh giả mạo - Luận văn trình bày số kỹ thuật phát ảnh giả mạo bao gồm: Thuật toán Exact Match, thuật toán Exact Match*, thuật toán dựa vào phân tích nguồn sáng thuật tốn dựa vào phân tích mẫu nhiễu - Luận văn sử dụng thuật toán Exact Match thuật toán Exact Match* xây dựng chƣơng trình thử nghiệm phát ảnh giải mạo Chƣơng trình làm việc với số loại file ảnh phổ biến nhƣ Bitmap, Jpeg, Gif Kỹ thuật xác thực ảnh phƣơng pháp Exact Match giải tốt vấn đề phát chép - di chuyển ảnh giả mạo Thuật tốn có khả phát ảnh giả mạo dạng cắt dán từ ảnh Đây cách thƣờng đƣợc đối tƣợng sử dụng trình tạo ảnh số giả Ngoài ƣu điểm kể phƣơng pháp cịn nhƣợc điểm vùng so sánh nhỏ có cƣờng độ sáng bị nhận dạng vùng giả mạo đặc biệt thời gian thực thuật toán phụ thuộc vào kích thƣớc ảnh Nếu ảnh có kích thƣớc lớn khó thực việc phát 52 Hƣớng phát triển đề tài Với bùng nổ mở rộng công nghệ, phát triển kéo theo mặt trái Bài toán làm giả ảnh giả mạo phát ảnh giả mạo nhƣ với phƣơng pháp phát đƣợc áp dụng ngƣời làm ảnh giả mạo lại lựa chọn phƣơng pháp khác để vƣợt qua, tốn phát ảnh kỹ thuật số giả mạo phải luôn đƣợc quan tâm phát triển Do thời gian tìm hiểu đề tài chƣa đƣợc nhiều, nhƣ hạn chế khả lập trình, nên số mục tiêu đặt nghiên cứu chƣa thực đạt đƣợc Trong thời gian tới tơi hy vọng giải đƣợc mặt hạn chế kỹ thuật, khắc phục hạn chế để phát đƣợc vùng ảnh giải mạo bị thay đổi số phép biến đổi nhƣ: phép lấy tỷ lệ vùng đƣợc cắt/dán nhiều hình khác Cung cấp thêm cơng cụ ứng dụng phục vụ cho việc phát ảnh giả mạo Nâng cao chất lƣợng phát mẫu chất lƣợng, khắc phục yếu tố môi trƣờng, vấn đề khó khăn mà hệ thống xử lý ảnh thƣờng gặp phải phát triển ứng dụng vào toán cụ thể thực tiễn 53 TÀI LIỆU THAM KHẢO Tiếng Việt: [1] PGS.TS Đỗ Năng Tồn,TS Phạm Việt Bình, Giáo trình mơn học xử lý ảnh, Khoa công nghệ thông tin, Đại học Thái Nguyên, Thái Nguyên 2008 [2] Đỗ Năng Toàn, Hà Xuân Trƣờng, Phạm Việt Bình, Lê Thị Kim Nga, Ngơ Đức Vĩnh, Một cải tiến cho thuật toán phát ảnh giả mạo Exact Match, Kỷ yếu Hội thảo Quốc gia nghiên cứu ứng dụng Công nghệ thông tin – FAIR, Tp Nha Trang 09-10/08/2007, tr 161-172 [3] Đỗ Năng Toàn, Hà Xuân Trƣờng, Lê Đăng Nguyên, Nguyễn Hữu Thái, Phát hướng nguồn sáng ứng dựng phát ảnh giả mạo, Kỷ yếu Hội thảo Quốc gia Huế số vấn đề chọn lọc Công nghệ thông tin truyền thông, 1213/06/2008, tr 292 -303 Tiếng Anh: [4] Alin C.Popescu and Hany Farid, Exposing Digital Forgeries by Detecting Traces of Re-sampling [5] Fridrich, Methods for Tamper Detection in Digital Images, Proc ACM Workshop on Multimedia and Security, Orlando, FL, October 30-31,1999, pp 1923 [6] Fridring J., Soukal D., and Lukáš J.: Detection of Copy-Move Forgery in Digital Images, Proc Digital Forensic Research Workshop, Cleveland, Oh, August 2003 [7] Popescu A.C and Farid H.: Exposing Digital Forgeries by Detecting Duplicated Image Regions, Technical Report, TR2004-515, Dartmouth College, Computer Science 2004 54 [8] Johnson M.K and Farid H.: Exposing Digital Forgeries by Detecting Inconsistencies in Lighting, Proc ACM Multimedia and Security Workshop, New York, pp 1–9, 2005 [9] Lukáš J., Fridrich J., and Goljan M.: Determining Digital Image Origin Using Sensor Imperfections, Proc SPIE Electronic Imaging, Image and Video Communiction and Processing, San Jose, California, pp 249-260, January 16-20, 2005 55 PHỤ LỤC Cài đặt phần mềm nhận dạng ảnh giả mạo Cài đặt hỗ trợ Cài đặt Net framework 3.5 Nếu máy tính cài sẵn khơng cần phải thực bƣớc Vào thƣ mục Support, kích đúp vào file dotnetfx35.exe Khi hộp thoại cài đặt xuất hiện, chọn “Next” tất bƣớc để thực cài đặt Netframework 3.5 Cài đặt SQL Compact 3.1 Vào thƣ mục support, kích đúp vào file “SQLServerCE31-EN.msi” Bấm “Next” “Yes” bƣớc cài đặt để hoàn thành cài đặt Sql Compact 3.1 Vào lại thƣ mục support, kích đúp vào “SSCERuntime-ENU-x86.msi” Bấm “Next” “Yes” bƣớc cài đặt để hoàn thành cài đặt Sql Compact 3.1 sp1 Cài đặt chƣơng trình phát ảnh giả mạo Vào thƣ mục “FakeImageSetup”, kích đúp chuột vào “setup.exe” Bấm “Next” để tiếp tục 56 Bấm “next” để tiếp tục Bấm “Close” để hoàn tất cài đặt Vào Start menu, chọn FakeImageDetector/Fake image dector để chạy chƣơng trình 57