Nghiên cứu các phương pháp phát hiện ảnh kỹ thuật số giả mạo và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN PHƯƠNG THÚY NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHÁT HIỆN ẢNH KỸ THUẬT SỐ GIẢ MẠO VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2014 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN PHƯƠNG THÚY NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHÁT HIỆN ẢNH KỸ THUẬT SỐ GIẢ MẠO VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS NGUYỄN NGỌC CƯƠNG THÁI NGUYÊN – 2014 LỜI CẢM ƠN Luận văn thực Trường Đại học Công nghệ Thông tin Truyền Thông – Đại học Thái Nguyên hướng dẫn thầy giáo TS Nguyễn Ngọc Cương Trước hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo TS Nguyễn Ngọc Cương - Học viện An ninh nhân dân, người tận tình hướng dẫn giúp đỡ để em hồn thành tốt luận văn Em xin gửi lời cảm ơn chân thành đến thầy cô giáo Trường Đại học Công nghệ Thông tin Truyền Thông - Đại học Thái Nguyên, thầy cô giáo nhiệt tình giảng dạy, truyền đạt kiến thức cho em suốt trình học tập trường trình làm luận văn Cuối em xin gửi lời cảm ơn đến gia đình, bạn bè, đồng nghiệp người động viên, giúp đỡ tạo điều kiện cho em trình học tập hoàn thành luận văn Thái Nguyên, ngày 15 tháng 05 năm 2014 HỌC VIÊN NGUYỄN PHƯƠNG THÚY i LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nghiên cứu phương pháp phát ảnh kỹ thuật số giả mạo ứng dụng” cơng trình nghiên cứu riêng hướng dẫn thầy giáo TS Nguyễn Ngọc Cương Các số liệu, hình ảnh sử dụng luận văn kết nghiên cứu trình bày luận văn trung thực ii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC HÌNH VẼ vi PHẦN 1: PHẦN MỞ ĐẦU 1 Giới thiệu tổng quan đề tài Bố cục luận văn PHẦN 2: NỘI DUNG CHƯƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ ẢNH GIẢ MẠO 1.1 Xử lý ảnh, số vấn đề xử lý ảnh 1.1.1 Xử lý ảnh 1.1.2 Biểu diễn ảnh 1.1.3 Một số khái niệm xử lý ảnh 1.1.4 Các giai đoạn xử lý ảnh 1.1.4.1 Thu nhận ảnh 1.1.4.2 Tiền xử lý 1.1.4.3 Phân đoạn ảnh 1.1.4.4 Hệ định 1.1.4.5 Trích chọn đặc điểm 1.1.4.6 Nhận dạng 10 1.2 Ảnh giả mạo phát ảnh giả mạo 11 1.2.1 Ảnh giả mạo 11 1.2.2 Các dạng ảnh giả mạo 13 1.2.2.1 Ghép ảnh 13 1.2.2.2 Tăng cường ảnh 14 1.2.2.3 Sao chép dịch chuyển vùng ảnh 14 1.2.3 Hướng tiếp cận toán phát ảnh giả mạo 16 1.2.3.1 Dựa vào hình dạng 16 1.2.3.2 Dựa vào phân tích nguồn sáng 16 1.2.3.3 Dựa vào biến đổi màu sắc 16 1.2.3.4 Dựa vào sở liệu 16 1.2.3.5 Dựa vào dấu vết trình điều chỉnh tỷ lệ 17 CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN ẢNH KỸ THUẬT SỐ GIẢ MẠO 18 2.1 Phát ảnh giả mạo dựa thuật toán Exact Match 18 2.1.1 Ý tưởng 18 2.1.2 Thuật toán 19 2.1.3 Phát ảnh giả mạo dựa vào kỹ thuật thay đổi kích thước 20 2.1.3.1 Các kỹ thuật thay đổi kích thước 20 2.1.3.2 Thuật toán cải tiến Exact Match* 22 2.2 Phát ảnh giả mạo dựa thuật tốn phân tích nguồn sáng 25 2.2.1 Các phương pháp uớc lượng hướng nguồn sáng 25 2.2.1.1 Nguồn ánh sáng vô tận (3-D) 25 2.2.1.2 Nguồn ánh sáng vô tận (2-D) 27 2.2.1.3 Nguồn sáng cục (2-D) 28 2.2.1.4 Nhiều nguồn sáng 28 2.2.2 Thuật toán nhận dạng ảnh giả mạo dựa phân tích nguồn sáng 29 2.2.2.1 Tách biên đối tượng 29 2.2.2.2 Loại bỏ đối tượng nhỏ nhiễu 32 2.2.2.3 Chọn đoạn biên để uớc lượng hướng ánh sáng 33 2.2.2.4 Thuật toán uớc lượng hướng sáng đoạn biên 33 2.3 Phát ảnh giả mạo dựa vào thuật tốn phân tích mẫu nhiễu cảm biến 35 2.3.1 Mẫu nhiễu phương thức biểu diễn 35 2.3.2 Dò tìm mẫu nhiễu 38 2.3.3 Thuật toán phát giả mạo 41 CHƯƠNG 3: THỬ NGHIỆM CHƯƠNG TRÌNH 44 3.1 Bài toán phát ảnh giả mạo 44 3.2 Chương trình thử nghiệm 45 3.2.1 Giao diện chương trình 45 3.2.2 Thơng tin chương trình 45 3.2.3 Phát ảnh giả mạo thuật toán Exact Match 52 3.2.4 Kết kiểm tra 50 PHẦN 3: KẾT LUẬN 51 TÀI LIỆU THAM KHẢO 54 PHỤ LỤC 56 DANH MỤC CÁC HÌNH VẼ Hình 1.1 Quá trình xử lý ảnh Hình 1.2 Biểu diễn ảnh hàm f(X,Y) Hình 1.3 Ảnh thu nhận ảnh mong muốn Hình 1.4 Các bước xử lý ảnh số Hình 1.5 Các thành phần hệ xử lý ảnh 10 Hình 2.1 Bức anh giả mạo Brian Walski 12 Hình 2.2 Nghị sĩ John Kerry nữ diễn viên Jane Fonda phát biểu 12 Hình 2.3 Ghép ảnh từ hai ảnh riêng rẽ 13 Hình 2.4 Ví dụ tăng cường ảnh 14 Hình 2.5 Ảnh che phủ bỏ đối tượng 15 Hình 2.6 Ảnh bổ sung đối tượng 15 Hình 2.7 Sơ đồ việc phát ảnh giả mạo dựa vào sở liệu 17 Hình 2.8 Minh họa cho việc tìm kiếm khối bao thuật tốn Extract Match 18 Hình 2.9: Ảnh cắt dán giả mạo thuật toán phát ảnh giả mạo Exact Match 19 Hình 2.10: hình ánh xạ điểm ảnh từ ảnh gốc sang ảnh đích 20 Hình 2.11: Phát mâu thuẫn hướng nguồn sáng 25 Hình 2.12: Minh họa hướng nguồn sáng pháp tuyến bề mặt đối tượng 27 Hình 2.13: Hai đối tượng chiếu nguồn sáng gần 28 Hình 2.14: Kết đạo hàm theo hướng x y 30 Hình 2.15: Kết minh họa tính độ lớn biên 31 Hình 2.16: Minh họa liên thơng theo 4, 8, láng giềng 32 Hình 2.17: Minh họa điểm đánh dấu để xóa 33 Hình 2.18: Minh họa điểm đánh dấu để nối nét đứt 33 Hình 2.19: Minh họa kết xác định hướng ánh sáng ảnh giả mạo có sẵn 34 Hình 2.20: Mơ hình mẫu nhiễu 37 Hình 2.21: Minh họa vùng R chọn mẫu nhiễu tham chiếu tương ứng 39 Hình 2.22: Hình ảnh minh họa chọn vùng Q i mẫu tham chiếu 40 Hình 2.23: Mơ hình tạo mẫu tham chiếu camera 41 Hình 2.24: Sơ đồ mơ tả mơ hình thực nghiệm 44 Hình 3.1: Giao diện 45 Hình 3.2: Giao diện thơng tin 46 Hình 3.3: Lựa chọn vùng nghi vấn 47 Hình 3.4: Giao diện kiểm tra vùng nghi vấn 48 Hình 3.5: Thêm vùng nghi vấn 48 Hình 3.6: Chương trình phân tích 49 Hình 3.7: Kết kiểm tra vùng giống 50 vii  Giai đoạn 2: Nhận dạng ảnh giả Thuật toán nhận dạng ảnh giả thực theo bước sau: Bước 1: Chọn mẫu tham chiếu camera ảnh đầu vào Bước : Chọn vùng nghi vấn ảnh Bước : Xác định mẫu tham chiếu P( ) tương ứng từ mẫu tham chiếu camera Bước : Tính độ tương quan vùng (2.18) ta mẫu tham chiếu P( ) theo Bước 5: Chọn vùng Q k ( k 1, , N với N ) có kích thước Q Q tương tự histogram với Bước 6: Tính độ tương quan vùng Q k mẫu tham chiếu P( ) theo (2.18) ta Qk Qk Bước 7: Áp dụng hàm phân loại tích lũy Gaussian với giá trị ta G( ) G( Q ) , sau tính giá trị p R G( k R ) R p Qk G( Qk ) Bước 8: Kiểm tra P Ngược lại P luận 10 10 khẳng định khơng giả mạo kiểm tra tiếp tất pQ k vùng giả mạo kết CHƯƠNG 3: THỬ NGHIỆM CHƯƠNG TRÌNH Dựa sở lý thuyết tìm hiểu, tiến hành xây dựng chương trình phát ảnh kỹ thuật số giả mạo Chương trình áp dụng thuật tốn tìm vùng lặp ảnh để phát loại ảnh giả mạo sinh thao tác copy dịch chuyển vùng ảnh 3.1 Bài toán phát ảnh giả mạo Cho ảnh kích thước M x N điểm ảnh Tìm xem ảnh có chưa vùng lặp giống hay khơng Input: Ảnh kích thước M x N Output: Tìm xem có vùng ảnh giống khơng Lưu ý: Ảnh sử dụng ảnh có kích thước nhỏ thời gian phát nhanh kích thước ảnh q lớn khơng thể áp dụng thuật tốn Ảnh nghi ngờ giả mạo Lựa chọn vùng nghi vấn Thuật toán Exact Match kiểm tra vùng nghi vấn Đúng Tô màu khối bao giồng Xuất khối bao giống Sai Xác nhận ảnh giả mạo End Hình 2.24: Sơ đồ mơ tả mơ hình thực nghiệm 3.2 Chương trình thử nghiệm Chương trình xây dựng với mục đích phát ảnh giải mạo dạng cắt / dán Chương trình viết ngơn ngữ C # cơng cụ lập trình Visual Studio 2008 Thuật tốn Exact Mach nhằm tìm khối bao giống ảnh¸bao gồm bước: Bước 1: Cấu hình thơng số thuật toán Bước 2: Xác định tập khối bao xử lý trước so sánh Bước 3: So sánh khối bao đưa tập khối bao giống 3.2.1 Giao diện chương trình Hình 3.1: Giao diện Giao diện chương trình bao gồm button: - :Có chức mở file ảnh cần nhận dạng - : Kiểm tra ảnh ghép thuật tốn Exact Match : Hiển thị thơng tin phần mềm : Thu nhỏ ảnh hiển thị : Thay đổi tỉ lệ hình ảnh - : Phóng to hình ảnh - : Ẩn / Hiển thị kết 3.2.2 Thơng tin chương trình Giao diện Thơng tin hiển thị thơng tin chương trình: Tên chương trình, tên tác giả, thuật tốn sử dụng… Hình 3.2: Giao diện thông tin 3.2.3 Phát ảnh giả mạo thuật toán Exact Match Bước 1: Lựa chọn file ảnh nghi vấn cách click chuột vào nút Bước 2: Bấm nút để chuyển sang chương trình kiểm tra ảnh giả mạo Bước 3: Lựa chọn vùng ảnh nghi vấn cách bấm nút vùng nghi vấn Hình 3.3: Lựa chọn vùng nghi vấn sau lựa chọn Hình 3.4: Giao diện kiểm tra vùng nghi vấn Bước 4: Bấm để thêm vùng lựa chọn vào chương trình Hình 3.5: Thêm vùng nghi vấn Bước 5: Kiểm tra vùng nghi vấn Hình 3.6: Chương trình phân tích 49 3.2.4 Kết kiểm tra Chọn “Kiểm tra” để chạy thuật toán Sau thực xong thuật toán chương trình đánh dấu vùng nghi ngờ giả mạo Quan sát vùng đánh dấu thấy hai vùng đánh dấu có tính đối xứng kết luận có cắt dán ảnh Hình 3.7: Kết kiểm tra vùng giống Quan sát kết quả, chương trình hiển thị vùng giống phân biệt tương đồng kết luật ảnh bị chỉnh sửa cách cắt ghép đối tượng ảnh 50  Một số kết thực nghiệm Ảnh minh họa kết xác định hai đối tượng giống kích thước nên ảnh giả mạo dạng cắt dán Ảnh minh họa kết xác định hai đối tượng giống thay đổi kích thước cho phù hợp, việc phát chưa thực đạt nhữn yêu cầu đề PHẦN 3: KẾT LUẬN Các kết đạt Hiện với phát triển khoa học công nghệ việc tạo ảnh số giả mạo dễ dàng Vì vậy, tốn phát ảnh giả mạo toán quan trọng cần thiết nhiều lĩnh vực Trong khuôn khổ luận văn, đạt số kết sau: - Luận văn trình bày cách tổng quan vấn đề xử lý ảnh dạng ảnh giả mạo, hướng tiếp cận với toán phát ảnh giả mạo - Luận văn trình bày số kỹ thuật phát ảnh giả mạo bao gồm: Thuật * toán Exact Match, thuật toán Exact Match , thuật tốn dựa vào phân tích nguồn sáng thuật tốn dựa vào phân tích mẫu nhiễu * - Luận văn sử dụng thuật toán Exact Match thuật tốn Exact Match xây dựng chương trình thử nghiệm phát ảnh giải mạo Chương trình làm việc với số loại file ảnh phổ biến Bitmap, Jpeg, Gif Kỹ thuật xác thực ảnh phương pháp Exact Match giải tốt vấn đề phát chép - di chuyển ảnh giả mạo Thuật toán có khả phát ảnh giả mạo dạng cắt dán từ ảnh Đây cách thường đối tượng sử dụng q trình tạo ảnh số giả Ngồi ưu điểm kể phương pháp nhược điểm vùng so sánh nhỏ có cường độ sáng bị nhận dạng vùng giả mạo đặc biệt thời gian thực thuật tốn phụ thuộc vào kích thước ảnh Nếu ảnh có kích thước q lớn khó thực việc phát Hướng phát triển đề tài Với bùng nổ mở rộng công nghệ, phát triển kéo theo mặt trái Bài tốn làm giả ảnh giả mạo phát ảnh giả mạo với phương pháp phát áp dụng người làm ảnh giả mạo lại lựa chọn phương pháp khác để vượt qua, tốn phát ảnh kỹ thuật số giả mạo phải luôn quan tâm phát triển Do thời gian tìm hiểu đề tài chưa nhiều, hạn chế khả lập trình, nên số mục tiêu đặt nghiên cứu chưa thực đạt Trong thời gian tới tơi hy vọng giải mặt hạn chế kỹ thuật, khắc phục hạn chế để phát vùng ảnh giải mạo bị thay đổi số phép biến đổi như: phép lấy tỷ lệ vùng cắt/dán nhiều hình khác Cung cấp thêm công cụ ứng dụng phục vụ cho việc phát ảnh giả mạo Nâng cao chất lượng phát mẫu chất lượng, khắc phục yếu tố mơi trường, vấn đề khó khăn mà hệ thống xử lý ảnh thường gặp phải phát triển ứng dụng vào toán cụ thể thực tiễn TÀI LIỆU THAM KHẢO Tiếng Việt: [1] PGS.TS Đỗ Năng Tồn,TS Phạm Việt Bình, Giáo trình mơn học xử lý ảnh, Khoa cơng nghệ thơng tin, Đại học Thái Nguyên, Thái Nguyên 2008 [2] Đỗ Năng Tồn, Hà Xn Trường, Phạm Việt Bình, Lê Thị Kim Nga, Ngô Đức Vĩnh, Một cải tiến cho thuật toán phát ảnh giả mạo Exact Match, Kỷ yếu Hội thảo Quốc gia nghiên cứu ứng dụng Công nghệ thông tin – FAIR, Tp Nha Trang 09-10/08/2007, tr 161-172 [3] Đỗ Năng Toàn, Hà Xuân Trường, Lê Đăng Nguyên, Nguyễn Hữu Thái, Phát hướng nguồn sáng ứng dựng phát ảnh giả mạo, Kỷ yếu Hội thảo Quốc gia Huế số vấn đề chọn lọc Công nghệ thông tin truyền thông, 1213/06/2008, tr 292 -303 Tiếng Anh: [4] Alin C.Popescu and Hany Farid, Exposing Digital Forgeries by Detecting Traces of Re-sampling [5] Fridrich, Methods for Tamper Detection in Digital Images, Proc ACM Workshop on Multimedia and Security, Orlando, FL, October 30-31,1999, pp 1923 [6] Fridring J., Soukal D., and Lukáš J.: Detection of Copy-Move Forgery in Digital Images, Proc Digital Forensic Research Workshop, Cleveland, Oh, August 2003 [7] Popescu A.C and Farid H.: Exposing Digital Forgeries by Detecting Duplicated Image Regions, Technical Report, TR2004-515, Dartmouth College, Computer Science 2004 [8] Johnson M.K and Farid H.: Exposing Digital Forgeries by Detecting Inconsistencies in Lighting, Proc ACM Multimedia and Security Workshop, New York, pp 1–9, 2005 [9] Lukáš J., Fridrich J., and Goljan M.: Determining Digital Image Origin Using Sensor Imperfections, Proc SPIE Electronic Imaging, Image and Video Communiction and Processing, San Jose, California, pp 249-260, January 16-20, 2005 PHỤ LỤC Cài đặt phần mềm nhận dạng ảnh giả mạo Cài đặt hỗ trợ Cài đặt Net framework 3.5 Nếu máy tính cài sẵn khơng cần phải thực bước Vào thư mục Support, kích đúp vào file dotnetfx35.exe Khi hộp thoại cài đặt xuất hiện, chọn “Next” tất bước để thực cài đặt Netframework 3.5 Cài đặt SQL Compact 3.1 Vào thư mục support, kích đúp vào file “SQLServerCE31-EN.msi” Bấm “Next” “Yes” bước cài đặt để hoàn thành cài đặt Sql Compact 3.1 Vào lại thư mục support, kích đúp vào “SSCERuntime-ENU-x86.msi” Bấm “Next” “Yes” bước cài đặt để hoàn thành cài đặt Sql Compact 3.1 sp1 Cài đặt chương trình phát ảnh giả mạo Vào thư mục “FakeImageSetup”, kích đúp chuột vào “setup.exe” Bấm “Next” để tiếp tục Bấm “next” để tiếp tục Bấm “Close” để hoàn tất cài đặt Vào Start menu, chọn FakeImageDetector/Fake image dector để chạy chương trình ... dung: Ử LÝ ẢNH VÀ ẢNH GIẢ MẠO 1.1 Một số khái niệm xử lý ảnh 1.2 Ảnh giả mạo phát ảnh giả mạo CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN ẢNH KỸ THUẬT SỐ GIẢ MẠO 2.1 Phát ảnh giả mạo dựa thuật toán Exact... người, chọn đề tài nghiên cứu: “ Nghiên cứu phương pháp phát ảnh kỹ thuật số giả mạo ứng dụng. ” Các thuật toán phát ảnh giả mạo bao gồm: Thuật toán Exact Mach, thuật * tốn Exact Mach (thuật tốn dò... đối tượng ảnh gốc cắt phù hợp với ghép ảnh CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN ẢNH KỸ THUẬT SỐ GIẢ MẠO 2.1 Phát ảnh giả mạo dựa thuật toán Exact Match 2.1.1 Ý tưởng Thuật toán sử dụng khối bao