KHÓA LUẬN TỐT NGHIỆP: Phát hiện ảnh giả mạo sao chép dựa trên điểm đặc trưng

MỤC LỤC CHƯƠNG 1. GIỚI THIỆU ...................................................................................... 2 1.1. Tổng quan về ảnh giả m o ............................................................................ 2 1.2. Bài toán phát hiện ảnh giả m o ..................................................................... 2 1.2.1. Bài toán ................................................................................................... 2 1.2.2. Một s hư n h ả m o ảnh s hư ng gặp .................................. 3 1.2.3. Hướng tiếp cận bài toán ......................................................................... 5 1.3. Một s ví dụ minh họa ................................................................................... 6 CHƯƠNG 2. PHÁT HIỆN ẢNH GIẢ MẠO SAO CHÉP ...................................... 9 2.1. Tổng quan về ảnh giả m o sao chép .............................................................. 9 2.2. Phân nhóm các kỹ thuật phát hiện ảnh giả m o sao chép ........................... 12 2.2.1. Phư n h a trên kh i .................................................................. 13 2.2.2. Phư n h n ể ặ ưn ................................................. 16 CHƯƠNG 3. TÌM HIỂU ĐIỂM ĐẶC TRƯNG VÀ ÁP DỤNG PHÁT HIỆN ẢNH GIẢ MẠO SAO CHÉP ............................................................................................ 18 3.1. Tìm hiể ể ặ ưn SIFT(S Invarian Feature Transform) ........... 18 3.2. Nộ n í h ể ặ ưn ............................................................... 18 3.2.1. Dò tìm c c trị n h n n (Scalespace Extrema Detection) 18 3.2.2. Lọ í h ể ặ ệ (Keypoint localization). .............. 18 3.2.3. G n hướn h ể ặ ưn (O n A n n ) ................ 18 3.2.4. Bộ ả ể ặ ưn (K n D n) ................................ 18 3.3. C ặ hư n nh .................................................................................... 19 CHƯƠNG 4. CÀI ĐẶT VÀ THỬ NGHIỆM ........................................................ 23 4.1. Giới thiệ hư ện OpenCV ....................................................................... 23 4.1.1. Giới thiệu .............................................................................................. 23 4.1.2. Hướng dẫn ặt................................................................................. 23 4.2. C ặt thử nghiệm ...................................................................................... 35 4.2.1. C ặ hư n nh ............................................................................. 35 4.2.2. Kết quả th c nghiệm ............................................................................ 36 4.3. Cải tiến ặ hư n nh ....................................................................... 39 4.3.1. Phư n h ử dụng KDTree............................................................ 39 4.3.2. C ặ hư n nh ............................................................................. 41 4.3.3. Kết quả th c nghiệm ............................................................................ 42 4.4. Một s ư ng h hư n nh ặt cho kết quả sai ............................. 44 4.5. Đ nh h ệu su ặ hư n nh ...................................................... 46 KẾT LUẬN ............................................................................................................ 49 1.1 Kết quả ư c ........................................................................................ 49 1.2 Hướng nghiên c u ..................................................................................... 49 Danh mục tài liệu tham khảo .................................................................................. 50 1.1 Tiếng Anh .................................................................................................. 50 1.2 Tiếng Việt .................................................................................................. 50 1.3 Website ...................................................................................................... 51

TRƢỜNG ĐẠI HỌC SƢ PHẠM HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN −−−− BÁO CÁO KHÓA LUẬN TỐT NGHIỆP Đề tài: Phát ảnh giả mạo chép dựa điểm đặc trƣng Sinh viên: Bùi Thị Huyền Chuyên ngành: Công nghệ thông tin Khóa học: 62 Hà Nội, 2016 TRƢỜNG ĐẠI HỌC SƢ PHẠM HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN −−−− BÁO CÁO KHÓA LUẬN TỐT NGHIỆP Đề tài: Phát ảnh giả mạo chép dựa điểm đặc trƣng Sinh viên: Bùi Thị Huyền Chuyên ngành: Công nghệ thông tin Giảng viên hướng dẫn: TS Đặng Thành Trung Hà Nội, 2016 LỜI CẢM ƠN E n h n h nh ả C n n hệ h n ọ n nh h n n h ện h ận ả h n n ả h ể h n h nh h ả Họ Sư Ph n n h H Nộ n n h n h nh ến nh h hể h n h nh n Họ Sư Ph n–Tư n Đ nh ệ C ề n C n n h TS Đặn Th nh T n – G ản n–Tư n Đ ẫn ận nh E n h ận h H Nộ h ế hướn n n nh n nh ộ n h h n ến h ể ận n n nh n họ ậ n n n ề n ện ộn n nh n h n h n h nh ận n V h h n h E nh n h n h nh n E n nhận n n ể h ận n h n h nh ả ến h ản h n n nh ề h n hế h n n n n h ến ận ả h n h ện h n n H Nộ n h n n Sinh viên thực Bùi Thị Huyền 2016 LỜI CAM ĐOAN T ưn ” n n n h ận “Ph nh n h n uc h ện ảnh giả m o chép d n n ặc ưới s hướng dẫn c a th y giáo TS Đặng Thành Trung Các s liệu, hình ảnh c sử dụng khóa luận kết nghiên c ể c trình bày khóa luận trung th c n NHẬN XÉT (Của giảng viên hƣớng dẫn) ………………………… ………………………… ………………………… ……… ………………… ………………………… ………………………… ……………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… H Nộ n h n n Giảng viên hƣớng dẫn TS Đặng Thành Trung 2016 NHẬN XÉT (Của giảng viên phản biện) ………………………… ………………………… ………………………… ……… ………………… ………………………… ………………………… ……………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… ………… ………………………… ………………………… ……………………… H Nộ n h n n Giảng viên phản biện TS Trần Đăng Hƣng 2016 MỤC LỤC CHƯƠNG GIỚI THIỆU 1.1 Tổng quan ảnh giả m o 1.2 Bài toán phát ảnh giả m o 1.2.1 Bài toán hư n 1.2.2 Một s h ả m o ảnh s hư ng gặp 1.2.3 Hướng tiếp cận toán 1.3 Một s ví dụ minh họa CHƯƠNG PHÁT HIỆN ẢNH GIẢ MẠO SAO CHÉP 2.1 Tổng quan ảnh giả m o chép 2.2 Phân nhóm kỹ thuật phát ảnh giả m o chép 12 2.2.1 Phư n h 2.2.2 Phư n h a kh i 13 n ể ặ ưn 16 CHƯƠNG TÌM HIỂU ĐIỂM ĐẶC TRƯNG VÀ ÁP DỤNG PHÁT HIỆN ẢNH GIẢ MẠO SAO CHÉP 18 3.1 Tìm hiể n 3.2 Nộ ể ặ ưn SIFT(S í h ể 3.2.1 Dò tìm c c trị 3.2.2 Lọ 3.3 C n ả ặ hư n ưn 18 h n í h n ể 3.2.3 G n hướn 3.2.4 Bộ ặ h ể ể ặ -Invarian Feature Transform) 18 ặ (Scale-space Extrema Detection) 18 ệ (Keypoint localization) 18 ặ ưn (O ưn (K n D n A n n ) 18 n) 18 nh 19 CHƯƠNG CÀI ĐẶT VÀ THỬ NGHIỆM 23 4.1 Giới thiệ hư ện OpenCV 23 4.1.1 Giới thiệu 23 4.1.2 Hướng dẫn 4.2 C ặt 23 ặt thử nghiệm 35 4.2.1 C ặ hư n nh 35 4.2.2 Kết th c nghiệm 36 ặ hư n 4.3 Cải tiến 4.3.1 Phư n 4.3.2 C h ặ hư n nh 39 dụng KD-Tree 39 nh 41 4.3.3 Kết th c nghiệm 42 4.4 Một s ng h 4.5 Đ nh h ệu su hư n nh ặt cho kết sai 44 ặ hư n nh 46 KẾT LUẬN 49 1.1 Kết c 49 1.2 Hướng nghiên c u 49 Danh mục tài liệu tham khảo 50 1.1 Tiếng Anh 50 1.2 Tiếng Việt 50 1.3 Website 51 Danh mục hình ảnh Hình 1.1 Hình ảnh ví dụ kỹ thuật tút ảnh Hình 1.2 Hình ảnh ví dụ kỹ thuật ghép ảnh Hình 1.3 Ví dụ ảnh giả m o chép Hình 1.4 Hình ảnh giả ch nh sửa nhằ Hình 1.5Ví dụ hình ảnh giả m Hình 1.6 Ảnh giả c n ộ m nh c a thông tin chiến tranh c t o lập từ b c ảnh J hn K Hình 2.1Hình ảnh n J n F n c cắt ghép từ hai ảnh riêng lẻ t p chí The NewYork 10/7/2008 10 Hình 2.2 Ví dụ ảnh giả m o chép làm giả ch ng c 11 Hình 2.3 Ảnh giả m o chép giúp nhân Hình 2.4 Hình ảnh minh họ H nh 3.1 S kh hư n ướ h ặ hư n ng 11 a kh i 13 nh 19 Hình 3.2 Hình ảnh dùng SIFT trích rút keypoint c a ảnh 20 Hình 3.3 Hình ảnh ịnh vùng ảnh chép 21 Hình 3.4 Kết hư n Hình 4.1 Chọn hư nh h h ện vùng ảnh chép 22 ục giả nén hư Hình 4.2 Giả nén hư Hình 4.3 Các folder c ện OpenCV 24 ện OpenCV 24 hư ện OpenCV 25 Hình 4.4 Cài biến ng 26 Hình 4.5 T o biến ng 27 Hình 4.6 T o Project 28 Hình 4.7 T o project mới(tiếp) 29 Hình 4.8 T o file nguồn 30 Hình 4.9 T o file nguồn test.cpp 30 Hình 4.10 C h nh hư ện OpenCV 31 Hình 4.11 C h nh hư ện OpenCV(tiếp) 32 Hình 4.12 C h nh hư ện OpenCV(tiếp) 33 Hình 4.13 C h nh hư ện OpenCV(tiếp) 35 Hình 4.14 Hình ảnh giả m o phóng tên lửa c I n c phát 36 Hình 4.15 Hình ảnh biển s oto làm giả bị phát 37 Hình 4.16 Hình ảnh giả m o từ t nhiên bị phát 37 Hình 4.17 Hình ảnh cọc tiền bị copy sang vùng khác bị phát 38 Hình 4.18 Hình ảnh oto chép bị phát 38 Hình 4.19 Ảnh g c ảnh thật 39 Hình 4.20 Hình ảnh giả m o phóng tên lửa c I n c phát 42 Hình 4.21 Hình ảnh biển s oto làm giả bị phát 43 Hình 4.22 Hình ảnh giả m o từ t nhiên bị phát 43 Hình 4.23 Hình ảnh cọc tiền bị copy sang vùng khác bị phát 43 Hình 4.24 Hình ảnh oto chép bị phát 44 Hình 4.25 Ảnh g c ảnh thật 44 Hình 4.26 Vùng ảnh chép không ch a keypoint 45 Hình 4.27 Hình ảnh h vật gi n nh ặt c nh 45 Hình 4.28 Hình ảnh nhãn mác c a hãng sản xu t kẹo M & M 46 Hình 4.29 Biể so sánh hiệu su t gi hư n h é n dùng KD-Tree 47 Hình 4.30 Biể t lệ kết c hư n nh 48 (a) (b) Hình 4.15 Hình ảnh biển số oto làm giả bị phát (a)Ảnh đầu vào (b) Vùng ảnh giả mạo bị phát (a) (b) Hình 4.16 Hình ảnh giả mạo từ tự nhiên bị phát (a)Ảnh đầu vào (b) Vùng ảnh giả mạo bị phát 37 Hình 4.17 Hình ảnh cọc tiền bị copy sang vùng khác bị phát (a)Ảnh đầu vào (b) Vùng ảnh giả mạo bị phát (a) (b) Hình 4.18 Hình ảnh oto chép bị phát (a)Ảnh đầu vào (b) Vùng ảnh giả mạo bị phát Kh hư n c vùng ảnh giả m nh như: ảnh thật kết trả không phát 38 (a) (b) Hình 4.19 Ảnh gốc ảnh thật (a)Ảnh đầu vào (b) Không có vùng ảnh giả mạo bị phát 4.3 Cải tiến cài đặt chƣơng trình 4.3.1 Phƣơng pháp sử dụng KD-Tree[19,20] Chúng sử dụn dimenssion tree) n ướ hư n h ải tiến thuật toán dùng KD-Tree(Kểm keypoint gi n nh ( hình 4.14) KD-Tree nhị phân tìm kiếm theo nhiều chiều c phát minh Jon Bentley vào nh n n 1970 Bằng cách sử dụn hư n h n ẽ chia nh mảng tìm kiế h nh n Kh ị c a ph n tử tìm kiếm thuộc ta ch c n ịnh duyệ hính n Quy tắc: 39 Mỗ n - ừg ến phải có trục giá trị (0, n-1) P nằm bên phải c a Q (có trục i) => D liệu th I c a P d liệu n th i c a Q S nằm bên trái c a Q (có trục i) => D liệu th I c a P < d liệu th i c a Q Kh KD-Tree chia thành n với có khoảng giá trị xác ịnh Áp dụng KD-T ể cải tiến thuậ n : B n u ta có tập n c trích rút từ b c ảnh u vào Có tập query tập ể n S KD-Tree chia thành n ể duyệt, h ểm g n gi ng tập query so với tập keypoint Ta tìm kiếm giá trị g n gi n h h ị th nh t nó, giá trị th giá trị g n gi ng nh t Kết trả vị trí khoảng cách gi ểm keypoint có giá trị g n gi ng nhau, ta tiến h nh ể duyệt vẽ ng thẳng song song n ểm keypoint có giá trị g n gi ng D a vào s ng thẳn n n h h ện c vùng ảnh giả m o chép (ư n hư n h ét c n nh mục 4.2.1) 40 4.3.2 Cài đặt chƣơng trình 41 4.3.3 Kết thực nghiệm Mọi kết c hư n kết gi ng với hư n h Một s kết (a) nh é h ặt bằn hư n h ải tiến KD-Tree ều trả n ặ hư n (b) nh: (c) Hình 4.20 Hình ảnh giả mạo phóng tên lửa Iran phát (a)Ảnh gốc (b) Chương trình vét cạn (c) Chương trình KD-Tree 42 (a) (b) (c) Hình 4.21 Hình ảnh biển số oto làm giả bị phát (a)Ảnh gốc (b) Chương trình vét cạn (c) Chương trình KD-Tree (a) (b) (c) Hình 4.22 Hình ảnh giả mạo từ tự nhiên bị phát (a)Ảnh gốc (b) Chương trình vét cạn (c) Chương trình KD-Tree (a) (b) (c) Hình 4.23 Hình ảnh cọc tiền bị copy sang vùng khác bị phát (a)Ảnh gốc (b) Chương trình vét cạn (c) Chương trình KD-Tree 43 (a) (b) (c) Hình 4.24 Hình ảnh oto chép bị phát (a)Ảnh gốc (b) Chương trình vét cạn (c) Chương trình KD-Tree Kh u vào hư n c vùng ảnh giả m (a) nh như: ảnh thật kết trả không phát (b) (c) Hình 4.25 Ảnh gốc ảnh thật (a)Ảnh gốc (b) Chương trình vét cạn (c) Chương trình KD-Tree 4.4 Một số trƣờng hợp chƣơng trình cài đặt cho kết sai[4] Thuậ n ặt không phả n n ng h h hư n nh i phát như: 44 h ết tuyệ Đ i với s Hình 4.26 Vùng ảnh chép không chứa keypoint Hình ảnh n ng h p vùng ảnh chép không ch ể ặ ưn Kh hư n nh ả kết ảnh h n hải ảnh giả m nhưn h c tế ảnh giả m o chép dẫn ến kết hư n nh n ng h p sai Hình 4.27 Hình ảnh hai đồ vật giống đặt cạnh Một s ng h p khác l i b c ảnh chụ h vậ ặt gi n nh ặt c nh nh Như hế hư n trình cho kết nhận ịnh ảnh giả m nhưn h c tế không phả h nh ảnh 45 Hình 4.28 Hình ảnh nhãn mác hãng sản xuất kẹo M & M Hình ảnh hình ảnh mà nhà sản xu t kẹo c tình thiết kế nhãn hiệu c a cho ch M gi n nh Đ ề n hư n nh h h ện ảnh giả m o nhưn h c tế 4.5 Đánh giá hiệu suất cài đặt chƣơng trình Để h n nh nh h ệu su t c a giải thuật SIFT phát ảnh giả m o chép, hí Tiêu chí th nh t d n hư n h ặ hư n nh Ở h n ặ hư n nh h hư n h é n cải tiến dùng KD-Tree Với hư n h n h c kết nh nhưn ộ xử hư n nh i hoàn toàn khác Ta có bảng so sánh hiệu su t gi h hư n h : 46 Hình 4.29 Biểu đồ so sánh hiệu suất phương pháp vét cạn dùng KD-Tree Ch n nghiệm kết 10 ảnh có s keypoint ngẫu nhiên từ 40 ến 2056 n Kh nh n ể trên, th y kết hết s c b t ng , với ảnh 40 n h hư n h é nm n h dụn hư n pháp cải tiến KD-Tree ảm th i gian sử lý xu n n Tư n với ảnh khác Đề n nh ộc hư n h ải tiến hiệu Tiêu chí th h ể nh h ệu su ặ hư n nh h n a vào kết quả, t lệ phát ảnh giả m o chép thành công hay không thành công Thử nghiệm th c tế với 10 ảnh ngẫ nh n h c kết : 47 Hình 4.30 Biểu đồ tỉ lệ kết chương trình 48 KẾT LUẬN 1.1 Kết đạt đƣợc Trong ph m vi toán, khóa luận chép d n ể ặ ưn ụ thể h ểu kỹ thuật phát ảnh giả m o c kết sau:  Tìm hiểu toán giả m o chép ảnh  Tìm hiể ể ặ ưn SIFT  Phát triển thuật toán phát ảnh giả m o chép d n ưn SIFT  Cải tiến ặ hư n nh n h ệu su t c a giải thuật ể ặc 1.2Hƣớng nghiên cứu Giải thuật phát ảnh giả m o chép d n ể t t v n ề xác nhận nội dung c a ảnh s Ngoài nh n ể nhiều h n chế với s hình ảnh Đề xu hướng nghiên c ặ ưn h hư n n n ải h ẫn :  Hoàn thiện hư n nh ới thuậ n h ể xử lý b c ảnh giả m o chép vùng ảnh sang vùng ảnh khác có phóng to, thu nh hay xoay  Mở rộn hướng nghiên c u phát video giả m o 49 Danh mục tài liệu tham khảo 1.1 Tiếng Anh [1] P.S Hirematch, Jagadeesh Puijari (2007) Content base image retrieval base on color, texture and shape feature using Image and its complement IJCSS, International journal of computer science and security, vol 1, issue 4, Dec 2007,pp 2535 [2]Ji-Hong Chang, “A n wI C h P C w ” 11/2003 Long-Wen nU n D Chang, S n National Tsing University, fT n M n B [3] Detection of copy-move forgery in digital images, J Fridrich, D Soukal, In Proceedings of DFRWS, 2003 [4]J F ”P n 2007 h D S n fD n J L F n R [5]M h n n S S “D n n n ”F n S “D n f hW h n f n In -move forgery in digital 2003 -move forgery using a method based n n 17 n 180 – 189, [6]M B G S V C n C B “I Proceedings of ACM Conference Computer Graphics, pp.417–424, 2000 n n n ” [7]V Ch n C R J J n C R n E An evaluation of popular copyf n h ” IEEE T n information forensics and security, vol 7, pp 1841 – 1854, 2012 “An n n [8] Data hiding and Image a new stego-crypto approach, Tamilnadu, India, 3/2006 [9] Alex Holub, Pierre Moreels, Pietro Perona (2008) Unsupervised clustering for google searches of celebrity images, IEEE International Conference on Automatic Face and Gesture Recognition , 2008 1.2 Tiếng Việt [10] Nguyễn V n L n C/C++” 2002 “Ứng dụng Xử lý ảnh th c tế vớ hư [11] Nguyễn Thị Hồn X “T h ểu s hư n h giả m o ảnh s ” T n Đ i họ Sư h m Hà Nội, 3/2008 [12]Lư ng M nh Bá, Nguyễn Thanh Th T n Đ i học Bách Khoa Hà Nội, 2008 50 “G ện OpenCV h h ện s nh Nhập môn xử lý ảnh s ” 1.3 Website [13] Website: http://docs.opencv.org/2.4/doc/user_guide/ug_features2d.html [14] Website: https://tutorialsplay.com/opencv/opencv-keypoint-detector/ [15]Website:http://docs.opencv.org/master/da/df5/tutorial_py_sift_intro.html#gsc.t ab=0 [16]Website:http://stackoverflow.com/questions/22722772/how-to-use-sift-inopencv [17] Website:http://stackoverflow.com/questions/29133085/what-are-keypointsin-image-processing [18]Website:http://www.roboticsschool.ethz.ch/airobots/programme/presentations/ ImageKeypoints.pdf [19]Website: http://docs.opencv.org/ref/2.4/df/d23/classcv_1_1KDTree.html [20]Website: http://opencv-users.1802565.n2.nabble.com/FLANN-kdtree-to-findk-nearest-neighbors-of-a-point-in-a-pointcloud-td6347494.html 51 ... Hướng nghiên c u 49 Danh mục tài liệu tham khảo 50 1.1 Tiếng Anh 50 1.2 Tiếng Việt 50 1.3 Website 51 Danh mục hình ảnh Hình 1.1 Hình ảnh... giả ch nh sửa nhằ Hình 1.5Ví dụ hình ảnh giả m Hình 1.6 Ảnh giả c n ộ m nh c a thông tin chiến tranh c t o lập từ b c ảnh J hn K Hình 2.1Hình ảnh n J n F n c cắt ghép từ hai ảnh riêng lẻ t... nhận c s tàn phá hãi hùng khói Hình 1.4 Hình ảnh giả chỉnh sửa nhằm tăng độ mạnh thông tin chiến tranh Một b c ảnh khác c t o lập từ b c ảnh: Nhà trắng, Bill Clinton Saddam Hussein Hình ảnh B C n