Luận án tiến sĩ Kỹ thuật điện tử: Phân tích đa phân giải xây dựng thuật toán giám định ảnh cho ảnh copy-move

TÓM TẮT LUẬN ÁN Luận án trình bày các nội dung thực hiện trong quá nghiên cứu, từ những khảo sát về giám định ảnh Copy-Move đến đề xuất các thuật toán giám định ảnh khả thi, hướng tới ứn

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC BÁCH KHOA

HUỲNH KHẢ TÚ

PHÂN TÍCH ĐA PHÂN GIẢI XÂY DỰNG THUẬT TOÁN

GIÁM ĐỊNH ẢNH CHO ẢNH COPY-MOVE

LUẬN ÁN TIẾN SĨ KỸ THUẬT

TP HỒ CHÍ MINH NĂM 2018

ĐẠI HỌC QUỐC GIA TP HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

PHÂN TÍCH ĐA PHÂN GIẢI XÂY DỰNG THUẬT TOÁN

GIÁM ĐỊNH ẢNH CHO ẢNH COPY-MOVE

Chuyên ngành: Kỹ thuật Điện Tử Mã số chuyên ngành: 62520203 Phản biện độc lập 1: PGS.TS.Lê Thị Lan Phản biện độc lập 2: PGS.TS.Dương Anh Đức Phản biện 1: GS.TSKH.Nguyễn Ngọc San Phản biện 2: GS.TS Vũ Đình Thành Phản biện 3: PGS.TS.Nguyễn Hoàng Hải

NGƯỜI HƯỚNG DẪN KHOA HỌC 1 GS.TS Lê Tiến Thường

2 TS Hà Việt Uyên Synh

LỜI CAM ĐOAN

Tác giả xin cam đoan đây là công trình nghiên cứu của bản thân tác giả Các kết quả nghiên cứu và các kết luận trong Luận án này là trung thực, và không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào Việc tham khảo các nguồn tài liệu đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng theo yêu cầu

Tác giả Luận án

Huỳnh Khả Tú

TÓM TẮT LUẬN ÁN

Luận án trình bày các nội dung thực hiện trong quá nghiên cứu, từ những khảo sát về giám định ảnh Copy-Move đến đề xuất các thuật toán giám định ảnh khả thi, hướng tới ứng dụng phân tích đa phân giải để cân bằng được độ chính xác và thời gian xử lý, đáp ứng yêu cầu và mục tiêu đặt ra Với các nghiên cứu khảo sát từ các kỹ thuật liên quan lĩnh vực giám định ảnh Copy-Move, Luận án xây dựng một sơ đồ tổng quát để giải quyết bài toán Xác định vùng giống nhau, là cơ sở của thao tác Copy-Move, được sử dụng dựa trên phân tích đặc tính các khối ảnh nhỏ tạo nên vùng sao chép Trên cơ sở đó, Luận án đề xuất giải thuật đầu tiên cho thuật toán giám định ảnh Copy-Move bằng cách tìm vùng giống nhau sau khi tách nền dựa trên phân tích histogram Giải thuật này tách nền ra khỏi đối tượng để tìm vùng sao chép nhằm giảm được sự dư thừa trong tính toán trên vùng nền đối với các ảnh có nền tương đối đồng nhất và đối tượng khá đơn giản

Với các ảnh bất kỳ, cách trích đặc tính dùng các Zernike Moments cải tiến (Modified Zernike Moments-MZMs) nhằm cực đại hóa số pixels khi ánh xạ vào vòng tròn đơn vị được đưa ra trong giải thuật đề xuất thứ 2 đã giảm được các sai số hình học và sai số số học khi tìm vùng giống nhau Hai giải thuật ban đầu được đưa ra từ các nghiên cứu khảo sát, giúp cải thiện được độ phức tạp (đối với giải thuật đầu) và độ chính xác (đối với giải thuật thứ 2) bằng cách xét trực tiếp trên ảnh, và thông qua đó, cho thấy sự cần thiết để phát triển đa phân giải vào việc xây dựng thuật toán giám định ảnh Copy-Move hiệu quả

Từ nhận định trên, Luận án tiến hành nghiên cứu lý thuyết hai phương pháp phân tích đa phân giải bao gồm wavelets và curvlets; và đồng thời xây dựng thuật toán thứ 3 để tìm ra wavelets là ứng viên nổi bật hơn cho giám định ảnh Copy-Move Không chỉ thế, những đánh giá so sánh về kích thước khối ảnh, bộ lọc cho wavelets, bậc của Zernike Moments (ZMs) cũng được xác định từ thuật toán thứ 3

Giải thuật thứ 4 tiếp theo đề xuất cho thuật toán giám định ảnh Copy-Move bằng cách phát hiện vùng giống nhau từ các vectors đặc tính dùng MZMs tại thành phần xấp xỉ LL1 của biến đổi wavelets rời rạc, đã cân bằng được thời gian xử lý và độ chính xác trên tập ảnh đa dạng hơn Giải thuật đồng thời cũng xác định được vùng gốc và vùng

sao chép dựa vào so sánh giá trị độ sắc trên các vùng được phát hiện giống nhau, mà các phương pháp trước đây chưa đề cập đến

Để có thể tận dụng cả các dải thành phần tần số cao, Luận án xây dựng giải thuật thứ 5 đề xuất cho thuật toán giám định ảnh Copy-Move bằng cách so sánh đặc tính từ thành phần xấp xỉ và tính toán độ sắc tại thành phần tần số cao của DWT Tính toán độ sắc tại các thành phần tần số cao với mục đích xác định vị trí của các vùng cắt dán nghi ngờ, kết hợp với các vùng giống nhau tìm được từ so sánh đặc tính dùng Phương pháp khác biệt chuyển động (Run Difference Method-RDM) tại thành phần xấp xỉ có thể giới hạn các vùng sao chép và cải tiến độ chính xác

Với đặc tiểm tại những vị trí có cắt dán thì độ sắc sẽ rất cao và khác biệt với các cạnh vốn có trên ảnh, Luận án đưa ra đề xuất 6 cho thuật toán xác định giả mạo Copy-Move hoặc Splicing từ việc tính toán độ sắc tại thành phần tần số cao, kết hợp khôi phục vùng giả mạo Copy-Move từ thành phần xấp xỉ của biến đổi DWT Với nội dung nghiên cứu này, giải thuật trước tiên có thể xác định được ảnh có giả mạo hay không, và trong trường hợp có giả mạo thì thao tác giả mạo (bao gồm cả Copy-Move và Splicing) và đối tượng giả mạo tương ứng sẽ được xác định Việc xác định thao tác Splicing chỉ là một điểm liên quan khi xác định thao tác, đề tài không nghiên cứu giải thuật cho ảnh Splicing Một hệ thống nhúng dùng Raspberry Pi3B được triển khai thực hiện giải thuật 6 đã khẳng định được hiệu quả và khả năng ứng dụng của giải thuật

Các giải thuật triển khai các thuật toán giám định ứng dụng đa phân giải được kiểm chứng trên các ảnh Copy-Move trích từ tập ảnh benchmark [1], từ ảnh tự nhiên với thao tác Photoshop, hoặc trích từ dbforgery [2] nếu có Splicing (đối với giải thuật 6) thông qua mô phỏng bằng Matlab 2013a, trên Windows 7 Ultimate 64-bit, CPU Intel Core i5 @ 1.8GHz and 4GB RAM Kết quả của mỗi giải thuật đều được đánh giá

so sánh về độ chính xác, recall và F với các phương pháp liên quan ở mức pixels

Luận án là tập hợp kết quả của 13 công trình nghiên cứu, trong đó 05 công trình được đăng trên Tạp chí uy tín (02 Tạp chí được indexed bởi Thomson Reuters, Web of Science và Scopus, 02 Tạp chí thuộc danh mục tính điểm của Hội đồng học hàm, 01 Tạp chí quốc tế có phản biện), 01 chương sách và 07 báo cáo khoa học được trình bày tại các Hội nghị khoa học quốc tế

ABSTRACT

The dissertation presents contents of the research process, from doing survey on Copy-Move forgery detection (CMFD) to proposing the suitable image forensics algorithms, oriented to applying multi-resolution analysis to balance the accuracy and processing time, which meets the given requirements and objectives With research studies on the field of Copy-Move image forensics, the dissertation builds a general diagram to solve the problem Identifying the similar areas, which is the basis of the Copy-Move operation, is used based on the analysis of the characteristics of the small blocks that constitute the replication area On that basis, the dissertation proposes the first algorithm for the CMFD algorithm by finding the copied regions after eliminating the background using histogram analysis The fact that the algorithm separates the background from the foreground before finding the replication region reduces the computing redundant of backgournd in case of relatively uniform background images and simple objects

In an arbitrary image, feature extraction using modified Zernike Moments (MZMs) to maximize the number of pixels mapped to the unit circle, which is suggested in the second proposed algorithm, reduces the geometric and numerical error when searching the duplicated regions The first two algorithms suggested from investigational studies not only improve the complexity (for the first algorithm) and accuracy (for the second algorithm) by processing directly in the tested image but also show the necessary to develop a multiresolution analysis in building the effective CMFD algorithms

From the above suggestion, the dissertation studies on theory of multiresolution analysis of wavelets and curvelets; and also build the third algorithm from which wavelets is proved to be more suitable candidate in image forensics In addition, comparisons of image block size, wavelets filters, order of Zernike Moments (ZMs) are also discussed in this algorithm

The fourth algorithm proposes a CMFD solution by detecting the similar regions from the characteristic vectors using MZMs at the LL1 approximation of Discrete Wavelet Transforms, which balances between processing time and accuracy in the more diverse set of images The algorithm also identifies the original and copied

regions based on the comparison of the value of the sharpness in the detected areas, which have not been previously mentioned

In order to take advantage of high frequency components, the dissertation builds the fifth algorithm which proposes for the Copy-Move image detection by comparing properties from the approximation component and estimating the sharpness at high frequency components of DWT Sharpness estimation at high frequency components to identify the locations of suspected copied-pasted regions, coupled with similar regions detected from the comparison of characteristics using the Run Difference Method (RDM) at the approximation component, can limit the copied areas and improve the accuracy

With the fact that the sharpness at the pasted position is very clear and different from the edges of the image, the dissertation proposes the sixth algorithm for the Copy-Move or Splicing counterfeit detection by sharpness estimation at high frequency components, combined with Copy-Move faked region reconstruction from the approximate component of the DWT transform In this research, the algorithm firstly determines whether the image is tampered; and in the case of tampering, the manipulation of tampering (including Copy-Move and Splicing) and corresponding fake objects will be defined Determining the Splicing manipulation is only one of the points involved in determining the manipulations, and the dissertation does not study the algorithm for the Spliced images An embedded system using Raspberry Pi3B to implement the proposed algorithm has confirmed the efficiency and applicability of the algorithm

The algorithms deploying multi-resolution applications are tested on the Move images from a set of benchmark images [1], from natural images with Photoshop manipulations, or from the dbforgery [2] in case of Splicing (for algorithm 6) by Matlab 2013a, on Windows 7 Ultimate 64-bit, Intel Core i5 processor @ 1.8GHz and 4GB RAM The results of proposed algorithms are compared in accuracy, recall and F with related methods at pixel level

Copy-The dissertation is a collection of 13 papers, of which 05 papers are published in prestigious journals, 01 book chapter and 07 scientific papers presented at the International Conferences

LỜI CÁM ƠN

“Chưa biết tri ân là chưa biết sống”- câu nói tình cờ tôi được nghe, và đã trở thành châm ngôn sống của tôi Trong cuộc sống này, mỗi người đều có những khả năng, những ý chí phấn đấu, những quyết tâm, để đạt được những thành tựu riêng; tuy nhiên điều quan trọng, và cũng chính là yếu tố không thể thiếu để một người có thể tiếp cận đến mục tiêu của mình thật trọn vẹn, đó chính là được sự dẫn dắt và định hướng trong một môi trường có nhiều điều kiện để nắm bắt và nhiều cơ hội tích lũy kiến thức trên lĩnh vực mình đang hướng tới Với thành quả mỗi người đạt được khác nhau và dù ở mức độ nào, thì “tri ân’ là điều không thể không nhớ tới

Mục tiêu của tôi không cao xa, những gì tôi đạt được không to lớn Nhưng Luận án này đối với tôi là cả một ấp ủ và mong đợi Để có thể đặt bút viết những dòng này, điều trước tiên tôi muốn nói, đó chính là kính gửi đến GS.TS Lê Tiến Thường lời tri ân chân thành nhất Thầy đã dẫn dắt, định hướng, động viên và tạo mọi điều kiện tốt nhất để tôi có thể hoàn thành nghiên cứu của mình Với mỗi kết quả mà tôi đạt được đều được sự chia sẻ, khích lệ và được Thầy tư vấn để có thể phát triển các ý tưởng tiếp theo Tôi may mắn đã được học Thầy từ những bài học đầu tiên về chuyên ngành và được tiếp tục nghiên cứu dưới sự hướng dẫn đầy trách nhiệm và nhiệt huyết của Thầy

Tôi kính gửi đến TS Hà Việt Uyên Synh với những hỗ trợ, chia sẻ và ý kiến có ý nghĩa cho quá trình nghiên cứu của tôi

Tôi chân thành cảm ơn các Thầy/Cô ở Bộ Môn Viễn Thông đã có những ý kiến đóng góp chuyên môn trong những chuyên đề để tôi có thể cải tiến và hoàn thiện nghiên cứu; Cám ơn các Thầy/Cô/Anh/Chị Khoa Điện-Điện Tử, Phòng Đào tạo Sau đại học đã luôn tạo điều kiện thuận lợi cho tôi, cũng như những tư vấn rất hữu ích trong quá trình thực hiện nghiên cứu

Tôi trân trọng cám ơn Trường Đại học Bách Khoa, Đề án 911 và nơi tôi công tác đã cho tôi những cơ hội để thực hiện và hoàn tất Luận án này

Cám ơn những người bạn, những đồng nghiệp, những người đã luôn động viên tôi hoàn thành Luận án

Kính gửi đến Ba, Mẹ và em trai cho tất cả những gì tôi có được đến ngày hôm nay trong sự nghiệp và trong cuộc sống của mình

Tp.HCM, ngày 06/8/2018

 Cấu trúc của Luận án 28

1 CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU LIÊN QUAN VÀ ĐỀ XUẤT GIẢI THUẬT NGHIÊN CỨU BAN ĐẦU 30

1.1 Tổng quan các nghiên cứu liên quan 31

Khảo sát và phân tích các giải thuật liên quan đến đề tài 31

1.1.1Những vấn đề còn tồn tại từ các giải thuật đã được khảo sát và phân 1.1.2tích 46

Kết luận về tình hình nghiên cứu liên quan và định hướng xây dựng 1.1.3nghiên cứu ban đầu 47

Các thông số đánh giá được sử dụng trong các giải thuật giám định 1.1.4ảnh Copy-Move 48

1.2 Các giải thuật nghiên cứu ban đầu 48

Thuật toán giám định ảnh Copy-Move bằng cách tìm vùng giống 1.2.1nhau sau khi tách nền dựa trên phân tích histogram 48

Thuật toán giám định ảnh Copy-Move dùng Zernike Moments 1.2.2(ZMs) với sai số hình học và sai số số học được cải tiến 60

1.3 Đánh giá so sánh 02 giải thuật đề xuất và các giải thuật liên quan 72

1.4 Kết luận Chương 1 73

2 CHƯƠNG 2: PHÂN TÍCH ĐA PHÂN GIẢI VÀ CÁC THUẬT TOÁN ỨNG DỤNG ĐA PHÂN GIẢI TRONG GIÁM ĐỊNH ẢNH COPY-MOVE 75

2.1 Phân tích đa phân giải wavelets, curvelets 77

Wavelets 772.1.1

Curvelets 812.1.2

Nhận xét 842.1.3

2.2 Thuật toán giám định ảnh Copy-Move kết hợp trích đặc tính dùng Zernike moments và đa phân giải 85

Mô tả bài toán 3 852.2.1

Giải thuật giám định ảnh Copy-Move kết hợp trích đặc tính dùng 2.2.2

Zernike moments và đa phân giải 85Kết quả thử nghiệm cho giải thuật giám định ảnh Copy-Move kết 2.2.3

hợp trích đặc tính dùng Zernike moments và đa phân giải 87So sánh giữa wavelets và curvelets với vai trò đa phân giải trong 2.2.4

giám định ảnh Copy-Move 92Kết luận giải thuật 3 962.2.5

2.3 Các thuật toán đề xuất dùng DWT và MZMs 97

Biến đổi Wavelets rời rạc giảm độ phức tạp tính toán 972.3.1

Thuật toán giám định ảnh Copy-Move bằng cách phát hiện vùng 2.3.2

giống nhau từ thành phần xấp xỉ LL1 của DWT và phân biệt vùng sao chép và vùng gốc 100Thuật toán giám định ảnh Copy-Move bằng cách so sánh đặc tính 2.3.3

trên LL1 và tính toán độ sắc tại HH1 của DWT 1132.4 Đánh giá so sánh 03 giải thuật đề xuất và các giải thuật liên quan 1212.5 Kết luận Chương 2 1233 CHƯƠNG 3: THUẬT TOÁN XÁC ĐỊNH THAO TÁC GIẢ MẠO VÀ KHÔI

PHỤC VÙNG GIẢ MẠO DO COPY-MOVE 1243.1 Mô tả bài toán 6 1263.2 Thuật toán xác định thao tác giả mạo copy-move hoặc Splicing từ thành

phần tần số cao, kết hợp khôi phục vùng giả mạo copy-move từ thành phần xấp xỉ 126

Biến đổi DWT mức 1 với vai trò đa phân giải 126

3.2.1Trích đặc tính dùng phương pháp khác biệt chuyển động (Run 3.2.2Difference Method-RDM) 126

Giải thuật đề xuất 6 129

3.2.3Kết quả thử nghiệm giải thuật 6 132

3.2.4Kết luận giải thuật 6 134

3.2.53.3 Phát triển hệ thống nhúng để thực hiện giải thuật 135

Thiết lập hệ thống 136

3.3.1Các bước cấu hình và hiện thực thuật toán đa phân giải 138

3.3.2Kết quả thực hiện trên Raspberry 140

3.3.33.4 Kết luận Chương 3 142

KẾT LUẬN 143

 Tổng hợp quá trình và kết quả nghiên cứu 144

 Các đóng góp của Luận án 147

 Nhận xét các thuật toán đề xuất 148

 Các công bố khoa học của Luận án 153

 Hướng nghiên cứu tiếp theo 156

PHỤ LỤC 157

PHỤ LỤC 1: Cấu hình chung để thực hiện các giải thuật 157

PHỤ LỤC 2: Giải thuật K-means 157

PHỤ LỤC 3: Các ảnh được sử dụng thử nghiệm trong Luận án 157

PHỤ LỤC 3.1: Ảnh được sử dụng chung cho các giải thuật 157

PHỤ LỤC 3.2: Ảnh được sử dụng riêng cho các giải thuật 159

TÀI LIỆU THAM KHẢO 161

DANH MỤC CÁC HÌNH ẢNH

Hình 0.1 Các công bố khoa học về giám định ảnh trong 10 năm qua đăng bởi IEEE và

Science Direct Thống kê được thực hiện tại trang web của IEEE Explore và

Science Direct với từ khóa “Image Forgery Detection” 19

Hình 0.2 Ảnh gốc và ảnh được giả mạo do cắt ghép từ trên cùng ảnh; 20

Hình 0.3 Ảnh gốc và ảnh được giả mạo do cắt ghép từ các ảnh khác nhau; (a), (b), (c), (d) Ảnh gốc; (ab) Ảnh cắt ghép từ (a), (b); (cd) Ảnh cắt ghép từ (c), (d) Phần cắt ghép từ ảnh khác được khoanh vùng 20

Hình 0.4 Các công bố về phát hiện ảnh giả mạo Copy-Move trong mười năm gần đây bởi IEEE và Science Direct Thống kê được thực hiện tại trang web của IEEE Explore và Science Direct với từ khóa “Copy-Move Image Forgery detection” 21

Hình 1.1 Sơ đồ phân loại các phương pháp khảo sát 32

Hình 1.2 Các bước tổng quát của hệ thống phát hiện ảnh giả mạo Copy-Move 33

Hình 1.3 Quá trình giám định 53

Hình 1.4 Tìm histogram của ảnh ; (a) Ảnh cây dừa (Ảnh gốc); (b) Histogram theo R; (c) Histogram theo G; (d) Histogram theo B; (Nguồn từ google search) 54

Hình 1.5 Lưu đồ giải thuật nhận dạng đối tượng nghi ngờ sao chép trên ảnh 55

Hình 1.6 Một số kết quả thử nghiệm từ các ảnh Copy-Move nguồn google search và ảnh tự chụp; (a) Ảnh hoa đào (vùng giống nhau được khoanh đỏ); (b) Ảnh hoa đào (vùng giống nhau được khoanh vàng); (c) Ảnh hoa đào (vùng giống nhau được khoanh xanh dương); (a1) Kết quả từ hình (a); (b1) Kết quả từ hình (b); (c1) Kết quả từ hình (c) 57

Hình 1.7 Một số kết quả thử nghiệm từ các ảnh thuộc tập ảnh benchmark; (a) Ảnh cây thông (vùng giống nhau được khoanh đỏ); (b) Ảnh khu nhà (vùng giống nhau được khoanh vàng); (c) Ảnh cây thông (vùng giống nhau được khoanh xanh dương); (a1) Kết quả từ hình (a); (b1) Kết quả từ hình (b); (c1) Kết quả từ hình (c) 57

Hình 1.8 Kỹ thuật ánh xạ một ảnh NxN vào vòng tròn đơn vị (r, ) 63

Hình 1.9 Phân tích vòng tròn đơn vị (a) Khối 10x10 pixels; (b) Mô hình ánh xạ

truyền thống;(c) Phân tích theo phương pháp truyền thống; (d) Co vùng quan tâm ROI ở hình (a) vào mô hình cải tiến;(e) Mô hình ánh xạ cải tiến;

(f) Phân tích vòng tròn đơn vị trong mô hình cải tiến 64

Hình 1.10 K-means tạo nhóm phân cấp 67

Hình 1.11 Lưu đồ phát hiện vùng ảnh giả mạo trên ảnh 68

Hình 1.12 Một số kết quả thử nghiệm cho ảnh trích từ benchmark; (a) Ảnh có giả mạo (vùng khoanh màu đỏ); (b) Ảnh giả mạo (vùng khoanh màu vàng và cam); (c) Ảnh giả mạo (vùng khoanh màu trắng và xanh dương); (a1) Phát hiện vùng giả mạo của ảnh (a); (b1) Phát hiện vùng giả mạo của ảnh (b); (c1) Phát hiện vùng giả mạo của ảnh (c) 69

Hình 2.1 Sơ đồ cấu trúc trình bày của Chương 2 76

Hình 2.2 Hình Các không gian con lồng nhau 78

Hình 2.3 Biến đổi wavelets một chiều 80

Hình 2.4 Biến đổi wavelets hai chiều 80

Hình 2.5 So sánh xấp xỉ giữa wavelets (a) và curvelets (b) 81

Hình 2.6 Không gian và tần số của curvelets; (a) Mặt phẳng tần số; (b) Lưới không gian tọa độ Cartesian với thang đo và hướng cho trước 82

Hình 2.7 Ảnh trong miền phổ dưới dạng chóp tần số hình chữ nhật; (a) Chóp dạng số curvelets 5 mức của một ảnh; (b) Wedge tại thang 4, hướng 4, các curvelets theo tỉ lệ parabol 83

Hình 2.8 Lưu đồ giải thuật của phương pháp đề xuất khi sử dụng DWT/FDCT 86

Hình 2.9 Nhóm 12 ảnh tự do được được sử dụng để mô phỏng cho giải thuật 5 87

Hình 2.10 Thời gian tính toán cho các ZMs trên các ảnh đã phân tích đa phân giải khi sử dụng wavelets và curvelets 88

Hình 2.11 Kết quả phát hiện ảnh giả với các ZMs bậc khác nhau khi sử dụng wavelets và curvelets 89

Hình 2.12 Kết quả phát hiện ảnh giả với các khối có kích thước khác nhau khi sử dụng wavelets và curvelets 90Hình 2.13 Một số kết quả thử nghiệm cho ảnh Copy-Move tự do từ nguồn internet và

ảnh tự chụp với thao tác cắt dán dùng photoshop; Các ảnh ở cột (1) là các

ảnh kiểm chứng Các cột (2), (3) và (4) lần lượt với biến đổi wavelets Haar, db2 và db4 của các ảnh ở cột (1) cùng vị trí 94Hình 2.14 Một số Kết quả thử nghiệm cho ảnh Copy-Move từ benchmark; Các ảnh ở

cột (1) là các ảnh kiểm chứng Các cột (2), (3) và (4) lần lượt với biến đổi wavelets Haar, db2 và db4 của các ảnh ở cột (1) cùng vị trí 95Hình 2.15 Bộ lọc dải của phân tách DWT mức 1 98Hình 2.16 Phân tách DWT mức 1 của ảnh 2D; (a) Ảnh gốc; (b) DWT mức 1; 99Hình 2.17 2-D DWT; (a) Ảnh ban đầu; (b) DWT mức 1; Khối nhỏ màu vàng tại góc

trên bên trái của hình (a) có kích thước mxn và ở hình (b) (m/2)x(n/2) 100

Hình 2.18 Lưu đồ giải thuật phát hiện các vùng giống nhau từ thành phần xấp xỉ của

biến đổi DWT mức 1 102Hình 2.19 Một số kết quả thử nghiệm cho giải thuật Hình 2.18 với các ảnh màu từ

benchmark và hình được chụp và làm giả từ photoshop; (a),(b) Hình từ benckmark; (c), (d) Hình chụp và làm giả từ photoshop; (a1), (b1), (c1) và (d1) Phát hiện giả tương ứng với (a), (b), (c) và (d) 104Hình 2.20 Một số kết quả thử nghiệm với ảnh mức xám và ảnh màu thực hiện bởi tác

giả; (a), (b) Ảnh mức xám; (a1), (b1) Phát hiện giả mạo từ ảnh (a), (b); (c), (d) Ảnh màu; (c1), (d1) Phát hiện giả mạo từ ảnh (c), (d) 105Hình 2.21 So sánh độ chính xác của các giải thuật giám định ảnh Copy-Move HU,

KPCA, PCA, Zernike, UDWT+ZMs và phương pháp đề xuất cho các ảnh của Hình 2.19 106Hình 2.22 So sánh độ tốc độ recall của các giải thuật giám định ảnh Copy-Move HU,

KPCA, PCA, Zernike, UDWT+ZMs và phương pháp đề xuất cho các ảnh của Hình 2.19 106Hình 2.23 So sánh F của các giải thuật giám định ảnh Copy-Move HU, KPCA, PCA,

Zernike, UDWT+ZMs và phương pháp đề xuất cho các ảnh của Hình 2.19 107Hình 2.24 So sánh thời gian phát hiện của các giải thuật giám định ảnh Copy-Move

HU, KPCA, PCA, Zernike, UDWT+ZMs và phương pháp đề xuất cho các ảnh của Hình 2.19 107

Hình 2.25 Một số kết quả thử nghiệm phát hiện giả mạo từ giải thuật đề xuất;

(a),(b),(c),(d) Ảnh kiểm chứng; (a1),(b1),(c1),(d1) Phát hiện thao tác sao

chép trên các ảnh tương ứng (a),(b),(c),(d) 112

Hình 2.26 Thao tác “opening”; (a) Phần tử cấu trúc B “lăn” dọc theo ranh giới bên trong của A; (b) dấu chấm chỉ gốc của B; (c) Đường kẻ đậm là biên bên ngoài của “opening”; (d) “Opening” hoàn chỉnh 115

Hình 2.27 Thao tác “closing”; (a) Phần tử cấu trúc B “lăn” theo ranh giới bên ngoài của A; (b) Đường kẻ đậm là biên bên ngoài của “closing”; (c) “Closing” hoàn chỉnh 115

Hình 2.28 Lưu đồ giải thuật kết hợp thành phần xấp xỉ và thành phần tần số cao để cải tiến độ chính xác 117

Hình 2.29 Kết quả thử nghiệm cho một số ảnh trích từ benchmark; (a),(b),(c) Ảnh gốc; (a1),(b1),(c1) Phát hiện giả mạo Copy-Move lần lượt của ảnh (a),(b) và (c) 119

Hình 2.30 Kết quả thử nghiệm cho một số ảnh tự nhiên và thao tác từ Photoshop; 119

Hình 2.31 Các đánh giá so sánh theo F và thời gian tính toán của các giải thuật đề xuất và một số giải thuật liên quan 121

Hình 3.1 Ma trận khác biệt chuyển động 128

Hình 3.2 Lưu đồ giải thuật cho giai đoạn phát hiện thao tác cắt dán 130

Hình 3.3 Lưu đồ giải thuật giai đoạn 2 để xác định thao tác giả mạo trên ảnh 131

Hình 3.4 Một số kết quả với các ảnh Splicing hoặc cả Splicing và Copy-Move chụp tự do và dùng Photoshop; (a),(b) Ảnh Splicing; (c),(d) Ảnh gồm Copy-Move và Splicing; (a1),(b1) Phát hiện thao tác splicing của hình (a) và (b); (c1),(d1) Phát hiện thao tác Copy-Move và Splicing của hình (c) và (d); Vùng khoanh đỏ: Copy-Move; Vùng khoanh xanh: Splicing 132

Hình 3.5 Một số kết quả thử nghiệm; (a),(b) Ảnh Copy-Move từ benchmark; (c) Ảnh Splicing bởi Photoshop; (d) Ảnh bao gồm cả Copy-Move và Splicing bởi Photoshop; (a1) Phát hiện thao tác Copy-move của hình (a); (b1) Phát hiện thao tác Copy-move của hình (b); (c1) Phát hiện thao tác Splicing của hình (c); (d1) Phát hiện thao tác Copy-Move và Splicing của hình (d); Vùng khoanh đỏ: Copy-Move; Vùng khoanh xanh: Splicing 132

Hình 3.6 KIT Raspberry Pi 3B 135

Hình 3.7 Sơ đồ kết nối hệ thống 136

Hình 3.9 Sử dụng máy tính remote Raspberry bằng VNC 137

Hình 3.8 Hệ thống Raspberry Pi thực tế: KIT, monitor, mouse, keyboard 137

Hình 3.10 Thực hiện giải thuật trên KIT, kết quả hiển thị trên màn hình 139

Hình 3.11 Minh họa chuyển ảnh màu sang ảnh mức xám; (a) Ảnh kiểm chứng (ảnh màu); (b) Ảnh mức xám 140

Hình 3.12 Các thành phần sau khi qua biến đổi DWT mức 1; (a) LL; (b) LH; (c).HL; (d) HH 140

Hình 3.13 Ảnh Negative sau khi tách biên và giãn nở trên các thành phần và sau khi biến đổi wavelets ngược; (a),(b),(c) Ảnh tách biên và lần lượt theo dọc, ngang và chéo; (d) Ảnh sau khi biến đổi ngược IDWT từ các thành phần dọc, ngang, chéo 141

Hình 3.14 Ảnh kết quả thu được sau khi thực hiện thuật toán 141

DANH MỤC BẢNG BIỂU

Bảng 1.1 Kết quả (%) thực hiện vài giải thuật phát hiện vùng sao chép 58

Bảng 1.2 Kết quả (%) thực hiện vài giải thuật phát hiện vùng sao chép 58

Bảng 1.3 Kết quả (%) thực hiện vài giải thuật phát hiện vùng sao chép 70

Bảng 1.4 Kết quả (%) thực hiện vài giải thuật phát hiện vùng sao chép 70

Bảng 1.5 Kết quả (%) thực hiện vài giải thuật phát hiện vùng sao chép 70

Bảng 1.6 Kết quả phát hiện vùng sao chép tại mức pixels, các thông số được tính trung bình cho các ảnh từ Phụ Lục 3.1 để đánh giá so sánh 02 giải thuật đề xuất 73

Bảng 2.1 Kết quả so sánh giữa các bộ lọc Haar, db2 và db4 cho các ảnh của Hình 2.13 và Hình 2.14 Các thử nghiệm thực hiện trên từng ảnh của cột (1) (được đánh số thứ tự theo Hình và từ trên xuống) 96

Bảng 2.2 Kết quả phát hiện tại mức pixels (%) cho Hình 2.19 cho các ảnh (a1) và (b1) trích từ benchmark 108

Bảng 2.3 Kết quả phát hiện tại mức pixels (%) cho Hình 2.19 cho các ảnh (a1) và (b1) trích từ benchmark 108

Bảng 2.4 Kết quả phát hiện tại mức pixels (%) cho Hình 2.20 cho các ảnh (a1) và (b1) trích từ benchmark 109

Bảng 2.5 Kết quả phát hiện tại mức pixels (%) cho Hình 2.20 cho các ảnh (a1) và (b1) trích từ benchmark 109

Bảng 2.6 Tính toán độ sắc và xác định vùng gốc và vùng cắt dán của các ảnh được phát hiện giả mạo Copy-Move trong Hình 2.25 (a1),(b1),(c1) và (d1) 112

Bảng 2.7 Kết quả so sánh ở mức pixel (%) Độ chính xác, recall là các giá trị trung bình của của P, r từ các ảnh trong Hình 2.29 và Hình 2.30 120

Bảng 2.8 Kết quả phát hiện vùng sao chép tại mức pixels, các thông số được tính trung bình cho các ảnh từ Phụ lục 3.1 để đánh giá so sánh 03 giải thuật đề xuất 122Bảng 3.1 Kết quả phát hiện ảnh Copy-Move tại mức ảnh (%) trong trường hợp ảnh Copy-Move tại một vị trí và tại nhiều vị trí 133

Bảng 3.2 Một số kết quả phát hiện vùng sao chép tại mức pixels, các thông số được tính trung bình cho các ảnh từ Phụ Lục 3.1 để đánh giá và so sánh giải thuật đề xuất 6 134

DANH MỤC CÁC TỪ VIẾT TẮT SỬ DỤNG TRONG LUẬN ÁN Từ

DGD Distribution of Gray Level Difference Phân bố độ chênh lệch mức xám DOD Distribution of Average Difference Phân bố độ chênh lệch trung bình DWT Discrete Wavelet Transform Biến đổi Wavelets rời rạc

DyWT Dyadic Wavelet Transform Biến đổi Wavelets dyadic FMT Fourrier –Mellin Transform Biến đổi Fourrier –Mellin

GPU Graphic Processing Unit Bộ xử lý đồ họa KPCA Kernel Principle Component Analysis Phân tích thành phần cơ bản

Kernel LBP Local Binary Pattern Mẫu nhị phân cục bộ

MRA Multiresolution Analyis Phân tích đa phân giải MZMs Modified Zernike Moments Các Zernike Moments cải tiến

PCA Principle Component Analysis Phân tích thành phần cơ bản PCET Multi-radius Polar complex Biến đổi dạng mũ phức theo cực QMF Quadrature Mirror Filters Các bộ lọc phản chiếu vuông góc RDM Run Difference Method Phương pháp sai biệt chuyển động RDMA Run Difference Matrix Ma trận khác biệt chuyển động

SIFT Scale invariant feature transform Biến đổi đặc tính bất biến

thang đo SUFT Speeded Up Robust Features Các đặc tính chuyển động SVD Singular Value Decomposition Phân tích giá trị đặc biệt UDWT Undecimated Dyadic Wavelet

Transform

Biến đổi UDWT

MỘT SỐ KÝ HIỆU TOÁN HỌC SỬ DỤNG TRONG LUẬN ÁN

Ký hiệu toán học Giải thích Nội dung/Phương trình sử dụng

F Thông số dựa trên độ chính xác và

recall được xác định từ phương trình (4.28)

Các chương 1,2,3

. Tập hợp của tất cả các tập giá trị bên

trong dấu ngoặc

Mục 2.3.3.4

. Phần giao của tất cả các tập giá trị bên

trong dấu ngoặc

Mục 2.3.3.4

MỞ ĐẦU

 Những đóng góp của Luận án  Đặt vấn đề

 Sự cần thiết của nghiên cứu

 Hướng giải quyết vấn đề

 Cấu trúc của Luận án

Hình 0.1 Các công bố khoa học về giám định ảnh trong 10 năm qua đăng bởi IEEE và Science Direct Thống kê được thực hiện tại trang web của IEEE Explore và Science Direct với từ khóa “Image Forgery Detection”

 Sự cần thiết của nghiên cứu

Cùng với sự phát triển nhanh chóng và mạnh mẽ của công nghệ xử lý hình ảnh, việc can thiệp ảnh gốc, xử lý và làm giả với các mục đích riêng được hỗ trợ gần như hoàn hảo đến mức mắt người khó phân biệt được một ảnh có giả hay không Khi các phần mềm phát triển càng đa dạng thì việc nhận biết nguyên tắc giả mạo ảnh càng phức tạp hơn Theo Wall Street Journal, 10% của tất cả các ảnh màu được ấn hành tại Mỹ thật sự đều đã được thay đổi và can thiệp (Amsberry, 1989) Việc xác thực ảnh trở thành vai trò thiết yếu bởi vì các hình ảnh này được sử dụng phổ biến dưới dạng các bằng chứng hỗ trợ mang tính thuyết phục, cũng như các hồ sơ lịch sử trong các ứng dụng điều tra, quảng bá hình ảnh, các hệ thống giám sát, ảnh y học,…

Theo thống kê dựa trên các công bố khoa học về lĩnh vực giám định ảnh từ nguồn IEEE và Science Direct bằng cách dùng từ khóa “Image Forgery Detection” tại hai trang web chính của Science Direct và IEEE Explore cho thấy các nghiên cứu về lĩnh vực này phát triển tăng dần từ năm 2007 đến năm 2012 và tăng mạnh từ 2013 [1, 3] Các con số được Luận án cập nhật đến tháng 8/2018 (Hình 0.1)

Thật vậy, giám định ảnh đã trở thành hướng nghiên cứu nổi bật trong các lĩnh vực thị giác máy tính (Computer vision), xử lý ảnh số, kỹ thuật y sinh, phòng chống tội phạm, pháp chứng,…, thu hút các nhà nghiên cứu không ngừng tìm ra các giải pháp hiệu quả để xác thực ảnh Rất nhiều kỹ thuật và thuật toán giám định ảnh được

Hình 0.2 Ảnh gốc và ảnh được giả mạo do cắt ghép từ trên cùng ảnh; (a), (b), (c) Ảnh gốc; (a1), (b1), (c1) Ảnh cắt ghép thông tin trên chính ảnh gốc (a), (b), (c), các vùng do copy-move được khoanh màu giống nhau

Hình 0.3 Ảnh gốc và ảnh được giả mạo do cắt ghép từ các ảnh khác nhau; (a), (b), (c), (d) Ảnh gốc; (ab) Ảnh cắt ghép từ (a), (b); (cd) Ảnh cắt ghép từ (c), (d) Phần cắt ghép từ ảnh khác được khoanh vùng

đưa ra, bao gồm cả các thuật toán chủ động và thụ động (mù) Trong các phương pháp

Hình 0.4 Các công bố về phát hiện ảnh giả mạo Copy-Move trong mười năm gần đây bởi IEEE và Science Direct Thống kê được thực hiện tại trang web của IEEE Explore và Science Direct với từ khóa “Copy-Move Image Forgery detection” chủ động, như watermarking hoặc chữ ký số, các thông tin về ảnh gốc sẽ được biết trước trong khi các phương pháp thụ động không có những thông tin này Ảnh giả mạo xuất hiện phổ biến dưới hai hình thức Copy-Move và Splicing Đối với các ảnh giả Copy-Move (Hình 0.2, trích từ tập ảnh benchmark [1]), các thao tác giả ảnh được thực hiện từ các thông tin, đặc tính trên chính ảnh đó trong khi đối với các ảnh giả Splicing (Hình 0.3, trích từ tập ảnh dbforgery [2]), các thông tin cắt ghép từ các nguồn ảnh khác Tính từ mười năm gần đây (Hình 0.4), các bài toán Copy-Move công bố bởi Sience Direct (màu đỏ) tăng đều và tăng mạnh trong năm 2013 và nhóm này cũng tăng đều trên trang IEEE (màu xanh dương) Xu hướng tăng (màu xanh lá cây) của nhóm nghiên cứu về ảnh Copy-Move cho thấy tính cấp thiết và phổ biến cho dạng bài toán này

Mặc dù giám định ảnh là nhu cầu cần thiết và quan trọng, nhưng việc nghiên cứu về lĩnh vực này ở Việt Nam vẫn còn đang là hướng mới, hướng mở và chưa được quan tâm nhiều Các nghiên cứu cũng chỉ tập trung ở bước đầu thông qua các đề tài nghiên cứu sau đại học tại các trường, viện, chưa có nhiều công bố trong nước được đăng tải Trước tình hình đó, nhu cầu cải tiến, phát triển giải thuật giám định ảnh cho ảnh Copy-Move là vô cùng cấp thiết

 Đặt vấn đề

Trước nhu cầu cấp thiết về việc phát triển giải thuật giám định ảnh, rất nhiều nghiên cứu được thực hiện trong những năm gần đây Mặc dù những kỹ thuật công bố có thể giải quyết được một số vấn đề đặt ra nhưng đều có giới hạn riêng, giải quyết rời rạc cho các loại ảnh khác nhau [4] Riêng đối với ảnh giả dưới hình thức Copy-Move, vấn đề đặt ra là làm thế nào để có một cái nhìn chung, tổng quát về các cách thức xử lý từ các phương pháp đã công bố, tìm ra các điểm chung nhất để từ đó có thể phát triển và xây dựng các phương pháp, thuật toán hoặc giải thuật mới nhằm cải thiện các nghiên cứu trước đây sao cho kết quả tối ưu hơn, tầm ứng dụng rộng hơn và có thể giải quyết bài toán hiệu quả hơn Các giải thuật đưa ra phải có khả năng phát triển theo định hướng mở để khẳng định được kết quả của nghiên cứu là khả thi, hợp lý, và có đóng góp khoa học Cụ thể, với mục tiêu là phân tích đa phân giải xây dựng thuật toán giám định ảnh Copy-Move, Luận án phải nắm bắt được tình hình nghiên cứu hiện tại, thể hiện được vai trò cần thiết của đa phân giải trong các ảnh Copy-Move; chọn lựa phương pháp đa phân giải nào cho phù hợp; tận dụng được những điểm mạnh của đa phân giải vào việc xây dựng các thuật toán riêng sao cho hiệu quả Mỗi ý tưởng đưa ra trong Luận án phải thể hiện được tính cần thiết, tính mới và kết quả thực hiện mang tính thuyết phục Các giải thuật nghiên cứu phải được phát triển có cơ sở, có liên quan với nhau cùng đóng góp và làm rõ được sự tiếp diễn vào quá trình thực hiện nghiên cứu

 Hướng giải quyết vấn đề

Với những vấn đề đặt ra, Luận án trước tiên thực hiện khảo sát các nghiên cứu liên quan đến giám định ảnh cho ảnh Copy-Move trong 10 năm gần đây từ các công bố khoa học của IEEE với mục đích tìm những điểm chung của các nghiên cứu để xây dựng một sơ đồ tổng quát cho bài toán xử lý đối với ảnh Copy-Move Từ đó, Luận án triển khai nghiên cứu đề xuất các giải thuật nghiên cứu ban đầu, làm bước trung gian nhận định nhu cầu cần thiết của đa phân giải, và tận dụng khai thác ứng dụng đa phân giải để xây dựng giải thuật giám định cho các ảnh Copy-Move, đáp ứng mục tiêu Luận án đã đặt ra

Đa phân giải được đề xuất dựa trên đặc điểm phân tích nhận biết vùng giả mạo ở mức phân giải khác nhằm cải tiến thời gian xử lý Tuy nhiên, khi thay đổi mức đa phân giải, việc trích đặc tính cần được sử dụng thật hiệu quả, và Zernikie Moments được chọn là ứng viên phù hợp khi kết hợp với đa phân giải để tìm ra các vùng có đặc tính giống nhau Luận án cũng hướng đến xây dựng phương pháp trích đặc tính nhằm cải thiện độ chính xác khi sử dụng ZMs với các thông số được cải tiến

Đối với các bài toán giám định ảnh, độ chính xác và thời gian xử lý luôn được quan tâm Luận án xây dựng một mô hình trong đó phân loại nhu cầu và đề xuất giải thuật xử lý tương ứng Đối với tập ảnh lớn, việc xác thực ảnh nào có giả mạo và ảnh nào không để lọc bớt dữ liệu xử lý cho các ứng dụng tiếp theo thì thời gian tính toán sẽ được ưu tiên xét đến Đối với những ảnh nghi ngờ có giả mạo thì việc xác định giả mạo và đánh giá độ chính xác sẽ là thông số ưu tiên hơn Tuy nhiên, làm thế nào để có thể cân bằng được thời gian tính toán trong trường hợp này cũng là vấn đề Luận án phải giải quyết Giải thuật không chỉ phát hiện được có giả mạo hay không mà có thể phân biệt được vùng giả mạo và vùng gốc Đây là nhiệm vụ kết hợp của một số vấn đề tồn tại riêng lẻ trong nhóm giải thuật giám định ảnh Copy-Move dựa vào khối ảnh Vì hướng nghiên cứu đề xuất dựa trên nhóm xác thực từ các khối ảnh, nên giả thiết của bài toán cũng được sử dụng như những giả thiết trong các công bố đã được nghiên cứu trước đây, trong đó thao tác cắt dán có xét đến dịch chuyển và xoay, không xét đến thay đổi tỉ lệ của vùng sao chép

Luận án đề xuất hướng giải quyết tương ứng cho từng mục tiêu con khi phát triển giải thuật kết hợp đa phân giải và so sánh đặc tính như sau:

 Xác định ảnh nào giả trong tập ảnh lớn: tính toán độ sắc (sharpness estimation) của các cạnh dựa vào các dải con chứa các thành phần tần số cao sau khi biến đổi wavelets mức 1 để xác định vị trí cắt dán với nguyên tắc tìm các cạnh có độ sắc cao Đây là bởi vì tại những vị trí cắt dán, vùng cạnh sẽ có độ sắc lớn hơn hẳn các vị trí cạnh thực sự của ảnh

 Ưu tiên về thời gian tính toán: Đối với trường hợp ảnh có bố cục đồng nhất, phần nền sẽ được lọc đi, và khi đó việc tìm kiếm đặc tính sẽ được giảm bớt thông tin dư thừa, cải tiến được thời gian tính toán

 Cân bằng thời gian tính toán và độ chính xác: dựa vào sử dụng biến đổi wavelets DWT mức 1 với vai trò đa phân giải để giảm kích thước ảnh Zernike moments với đặc tính bất biến góc xoay từ các thông số cải tiến nhằm nâng cao độ chính xác sẽ được sử dụng để trích các điểm đặc trưng trên các khối ảnh từ dải xấp xỉ Có thể kết hợp các thành phần xấp xỉ và chi tiết để phát triển giải thuật cho những yêu cầu khác nhau

Các thuật toán nghiên cứu đa dạng, hiện thực các ý tưởng khả thi để phát hiện ảnh giả mạo Đối với trích đặc tính hướng tới phát hiện các vùng giống nhau, các phương pháp được sử dụng gồm có Zernike moments truyền thống, Zernike moments có các thông số cải tiến MZMs (Modified Zernike Moments) hoặc sử dụng phương pháp trích đặc tính từ các khác biệt chuyển động RDM (Run Difference Method) Mỗi phương pháp trích đặc tính có những ưu điểm riêng và được kết hợp với đa phân giải bằng biến đổi DWT theo những cách khác nhau để xây dựng các thuật toán hiệu quả Bên cạnh đó, việc triển khai hệ thống nhúng hiện thực cho một giải thuật giám định ảnh được nghiên cứu như một kết quả cho khả năng ứng dụng của thuật toán đưa ra

 Những đóng góp của Luận án

Với hướng tiếp cận phù hợp, bám sát các vấn đề và mục tiêu đặt ra, Luận án đã đề xuất các thuật toán phát hiện ảnh Copy-Move đa dạng và có những đóng góp nhất định cho lĩnh vực nghiên cứu về giám định ảnh Các nghiên cứu được thực hiện xuyên suốt, liên tục, kết nối từ các ý tưởng đầu tiên và phát triển hợp lý nhằm hướng tới mục tiêu của Luận án Mỗi kết quả nghiên cứu đều được khẳng định tính khoa học thông qua các khả năng ứng dụng cụ thể được đưa ra, và được kiểm chứng dưới hình thức các công bố tại các hội nghị, tạp chí uy tín có phản biện

Cụ thể, Luận án đưa ra 06 thuật toán cho ảnh Copy-Move, được chia thành hai nhóm giải thuật:

+ Nhóm các giải thuật cơ sở: gồm 02 giải thuật là những nghiên cứu ban đầu,

chưa sử dụng đến đa phân giải Giải thuật thứ nhất tách nền dựa trên phân tích

histogram, được ứng dụng cho các ảnh Copy-Move có bố cục khá đồng nhất và trong trường hợp nếu có một tập ảnh rất lớn và cần xác định có ảnh Copy-Move với thời gian xử lý nhanh Tuy nhiên, giải thuật chỉ đạt độ chính xác tương đối khi sử dụng cho các ảnh Copy-Move có bố cục bất kỳ, và trên đó đối tượng sao chép không xét đến thao tác xoay Từ hạn chế này, giải thuật thứ hai xác định vùng sao chép dựa vào Zernike moments với sai số hình học và sai số số học được cải tiến (Modified Zernike Moments - MZMs), đã đạt được độ chính xác cao cho bài toán Copy-Move trong cả trường hợp có thao tác xoay trên đối tượng do số lượng pixels được ánh xạ vào vòng tròn đơn vị để trích đặc tính được cực đại hóa Khi sử dụng các MZMs, thời gian trích đặc tính sẽ tăng lên, từ đó đa phân giải được đề xuất như một ứng viên để có thể cải tiến thời gian xử lý Khi đó, việc kết hợp đa phân giải với ZMs và các MZMs sẽ cân bằng được độ chính xác và thời gian xử lý Các nội dung nghiên cứu cho nhóm giải thuật cơ sở đã được công bố và báo cáo tại 02 Hội nghị Khoa học Quốc tế và 01 Tạp chí Khoa học Quốc tế có phản biện, và 01 chương sách của Springer

+ Nhóm các giải thuật trọng tâm: gồm 04 giải thuật, được phát triển và cải

thiện từ những hạn chế của nhau Khi đa phân giải được đề xuất là ứng viên cho giám định ảnh, giải thuật đầu tiên được đưa ra sử đưa ra sử dụng cả wavelets và curvelets kết hợp với ZMs Giải thuật đã thực hiện phân tích, đánh giá so sánh và đề xuất wavelets Haar là ứng viên đa phân giải nổi bật hơn curvelets cho bài toán giám định ảnh Copy-Move Từ đó, phát triển giải thuật trọng tâm 2 sử dụng MZMs trên thành phần LL1 để cải thiện độ chính xác Việc tận dụng các thành phần LH1, HL1 và HH1 kết hợp với LL1 được đề xuất trong giải thuật tiếp theo nhằm cải tiến hơn độ chính xác và cân bằng được thời gian xử lý Một nghiên cứu không chỉ cho ảnh Copy-Move mà còn cho cả ảnh Splicing cũng đã được thực hiện, trong đó xác định một ảnh bất kỳ trước tiên có giả mạo hay không, sau đó sẽ xác định thao tác giả mạo và vùng giả mạo Các kết quả nghiên cứu của nhóm giải thuật này đã được công bố trên 02 Tạp chí Scopus và ESCI, 02 Tạp chí thuộc danh mục tính điểm của Hội đồng chức danh GS nhà nước và báo cáo tại 05 Hội nghị khoa học quốc tế uy tín

Ngoài những đóng góp dưới dạng khả năng ứng dụng, Luận án cũng đóng góp vào các đề tài nghiên cứu khoa học (cấp Đại học Quốc gia và cấp cơ sở) đã được nghiệm thu

Các nghiên cứu công bố trên Tạp chí Khoa học:

1 Thuong Le-Tien, Tu Huynh-Kha, An Tran-Hong, Long Pham-Cong-Hoan, Nilanjan Dey, Marie Luong, “Combined Zernike Moment and Multiscale Analysis for Tamper Detection in Digital Images”, Informatica (An International Journal of Computing and Informatics), Vol.41, No.1, March 2017, ISSN: 0350-5596, indexed by Thomson Reuters (ESCI) and Scopus

2 Tu Huynh-Kha, Thuong Le-Tien, Synh Ha-Viet-Uyen, Khoa Huynh-Van, Marie Luong, “A Robust Algorithm of Forgery Detection in Copy-Move and Spliced Images”, (IJACSA) International Journal of Advanced Computer Science and Applications, Vol 7, No 3, 2016, NY, USA, ISSN 2158-107X, indexed by Thomson Reuters (ESCI) and Web of Science

3 Tu Huynh-Kha, Thuong Le-Tien, Synh Ha-Viet-Uyen, Khoa Huynh-Van, “Improving the Computational Cost for Copied Region Detection in Forensic Images, Journal Issue on Information and Communications Technology, Da Nang University, Vol.2, No.1 , 2016, ISSN: 1859-1531 (tạp chí thuộc danh mục tạp chí được tính điểm theo quy định của Hội đồng chức danh giáo sư nhà nước)

4 Thuong Le-Tien, Tan Huynh-Ngoc, Tu Huynh-Kha, "The total error limits in duplicated image by Modifying the paremeters of Zernike Moments computation", International Journal of Automation and Control Engineering, Dec.2015, ISSN: 2301-3702, Engineering and Technology Publishing, USA

5 Tien Vo-Minh, Thuong Le-Tien, Tu Huynh-Kha, and Marie Luong, "An embedded system implemented the multiresolution-based algorithm for forensic image detection," Scientific Journal of Saigon University, Vol.26, No.3, 2017, ISSN: 1859-3208 (tạp chí thuộc danh mục tạp chí được tính điểm theo quy định của Hội đồng chức danh giáo sư nhà nước)

Chương sách (Book Chapter):

6 Thuong Le-Tien, Tan Huynh-Ngoc, Tu Huynh-Kha, Marie Luong, "Zernike Moments-based approach for detecting duplicated image regions by a modified method to reduce geometrical and numerical error", book chapter, Springer 2015, http://link.springer.com/chapter/ 10.1007%2F978-3-319-21410-8_36, ISSN: 0302-9743, ISBN: 978-3-319-21409-2 (seleted paper from ICCSA, Canada 2015)

Các nghiên cứu công bố tại các Hội nghị Khoa học:

7 Tu Huynh-Kha, Thuong Le-Tien, Synh Ha-Viet-Uyen, Khoa Huynh-Van, Son Huynh-Thanh, “Develop an algorithm for image forensics using feature comparison and sharpness estimation”, The IEEE 2017 International Conference on Recent Advances in Signal Processing, Telecommunications & Computing, Danang, Vietnam, Jan 2017, ISSN: 978-1-5090-2291-5

8 Thuong Le-Tien, Sinh Nguyen-Duc, Tu Huynh-Kha, “Blind Image Forgeries Detection using Detail Components from the Wavelet Transform”, the Seventh International Conference on the Applications Digital Information and Web Technologies, Keelung, Taiwan, Mar.29-31, 2016, ISBN: 978-1-61499-636-1 9 Thuong Le-Tien, Marie Luong, Tu Huynh-Kha, Long Pham-Cong-Hoan, An T.H,

“Block Based Technique for Detecting Copy-Move Digital Image Forgeries: Wavelet Transform and Zernike Moments”, Proceedings of The Second International Conference on Electrical and Electronic Engineering, Telecommunication Engineering, and Mechatronics, Philippines, Feb.2016, ISBN: 978-1-941968-30-7

10 Tu Huynh-Kha, Thuong Le-Tien, Synh Ha-Viet-Uyen, Khoa Huynh-Van, Nga Tu, "Forgery Detection and Identification of the Original and Duplicate Region in Copy-Move Images", The International Symposium on Electrical and Electronics Engineering, HCMC, Vietnam, Oct 30, 2015

Ly-11 Tu Huynh-Kha, Thuong Le-Tien, Synh Ha-Viet-Uyen, Khoa Huynh-Van, "The Efficiency of Applying DWT and Feature Extraction into Copy-Move Images Detection", The IEEE 2015 International Conference on Advanced Technologies for Communications, HCMC, Vietnam, Oct 14-16 2015, ISSN: 2162-1020, ISBN: 978-1-4673-8372-1

12 Tu Huynh-Kha, Thuong Le-Tien, Khoa Huynh-Van, Sy Nguyen-Chi, "A survey on Image Forgery Detection Techniques", The 11th IEEE-RIVF International Conference on Computing and Communication Technologies", Can Tho, Vietnam, Jan 25-28 2015, ISBN: 978-1-4799-8043-7

13 Tu Huynh-Kha, Thuong Le-Tien, Ti Nguyen-Ti, Khoa Huynh-Van, "Copy-Move Forgery Detection Techniques: A survey and New Approach", The Third Asian

Conference on Information Systems 2014, Nha Trang, Vietnam, Dec 1-3 2014, ISBN: 978-4-88686-089-7

Các đề tài nghiên cứu khoa học liên quan:

Ngoài những đóng góp dưới dạng công bố khoa học, Luận án cũng đóng góp vào các đề tài nghiên cứu khoa học cấp Đại học Quốc gia và cấp cơ sở, trong đó Nghiên cứu sinh là thành viên chủ chốt tham gia của 01 đề tài nghiên cứu khoa học cấp Đại học Quốc Gia, Loại B, và chủ nhiệm 03 đề tài nghiên cứu khoa học cấp cơ sở, cụ thể như sau

 Đề tài nghiên cứu khoa học cấp Đại học Quốc Gia, Loại B

“Phát triển thuật toán phân tích đa phân giải vào giám định ảnh”; Mã số đề tài: 20-02; Chủ nhiệm đề tài: GS.TS Lê Tiến Thường; Đề tài được giao nhiệm vụ năm 2015 và đã nghiệm thu vào tháng 12/2017 với kết quả Đạt

B2015- Đề tài nghiên cứu khoa học cấp cơ sở (03 đề tài)

 “Phát triển giải thuật giám định ảnh dựa trên phân tích độ sắc của cạnh trong ảnh”; Mã số đề tài: T2016-01-IT; Chủ nhiệm đề tài: Huỳnh Khả Tú; Đề được giao nhiệm vụ năm 2016 và đã nghiệm thu vào tháng 11/2017 với kết quả Tốt  “Xây dựng thuật toán giám định ảnh cho ảnh giả mạo dưới hình thức Copy-

Move”; Mã số đề tài: T2015-04-IT; Chủ nhiệm đề tài: Huỳnh Khả Tú; Đề tài được giao nhiệm vụ năm 2015 và đã nghiệm thu vào tháng 06/2016 với kết quả Tốt

 “Phân tích ứng dụng của moment Zernike trong phát hiện ảnh giả mạo dưới hình thức copy-rotate-move”; Mã số đề tài: TNCS-2014-ĐĐT-09; Chủ nhiệm đề tài: Huỳnh Khả Tú; Đề tài thuộc khuôn khổ dự án 911 cấp cho nghiên cứu sinh; Đề tài được giao nhiệm vụ tháng 06/2014 và đã nghiệm thu vào tháng 12/2014

 Cấu trúc của Luận án

Luận án trình bày quy trình triển khai thực hiện các nội dung đã nghiên cứu, mỗi bước đều có những đề xuất và đóng góp để cải tiến cho bước tiếp theo, kết nối với nhau thành một chuỗi các nghiên cứu nhằm đáp ứng mục tiêu của đề tài đặt ra Trong đó, phần Mở đầu và Kết luận là hai nội dung không đánh số chương, các chương chính được cấu trúc như sau:

Chương 1- “Tổng quan nghiên cứu liên quan và đề xuất giải thuật nghiên cứu ban đầu”: giới thiệu tổng quan, khảo sát các kỹ thuật đã được công bố liên quan đến

lĩnh vực giám định ảnh Copy-Move, từ đó nhận thấy một số điểm chung trong các giải thuật, phát triển sơ đồ tổng quát, đề xuất 02 giải thuật ban đầu chưa sử dụng đa phân giải, đánh giá kết quả và định hướng cải tiến dùng đa phân giải

Chương 2-“Phân tích đa phân giải và các thuật toán ứng dụng đa phân giải trong giám định ảnh Copy-Move”: giới thiệu hai phương pháp đa phân giải dùng

wavelets và curvelets, xây dựng giải thuật giám định ảnh Copy-Move ban đầu ứng dụng cả wavelets và curvelets; đánh giá so sánh và chọn wavelets là ứng viên phù hợp nhất Từ đó, phát triển xây dựng 03 giải thuật dùng wavelets với vai trò đa phân giải để cải tiến thời gian tính toán, đồng thời kết hợp với một số phương pháp trích đặc tính hoặc tính toán các thành phần liên quan để cân bằng độ chính xác và thời gian tính toán Các giải thuật được nghiên cứu thông qua nhiều cách xử lý vấn đề tương ứng với các yêu cầu khác nhau trong phạm vi yêu cầu của Luận án

Chương 3-"Thuật toán xác định thao tác giả mạo và khôi phục vùng giả mạo do Copy-Move”: xây dựng giải thuật có thể giải bài toán cho ảnh Copy-Move và mở

rộng cho mộ số ảnh Splicing Một hệ thống nhúng dùng Raspberry Pi3B được triển khai để thể hiện khả năng ứng dụng của thuật toán

Tổng hợp các nghiên cứu đã thực hiện, đánh giá so sánh, kết luận và những đóng góp khoa học của Luận án cũng như các tài liệu tham khảo được trình bày ở phần Kết luận để làm thành một cấu trúc hoàn chỉnh của Luận án

1 CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU

LIÊN QUAN VÀ ĐỀ XUẤT GIẢI THUẬT

NGHIÊN CỨU BAN ĐẦU

Các giải thuật nghiên cứu ban đầu

2.2

Tổng quan các nghiên cứu liên quan

Đánh giá so sánh 02 giải thuật đề xuất và các giải thuật liên quan

1.1.1 Khảo sát và phân tích các giải thuật liên quan đến đề tài1.1.2 Những vấn đề còn tồn tại từ các giải thuật đã được khảo sát và phân tích

Chương này thực hiện các khảo sát liên quan đến đề tài, từ đó xây dựng mô hình tổng quát cho nhóm giải thuật trên ảnh Copy-Move, đồng thời nhận thấy được các vấn đề còn tồn tại và đề xuất những giải thuật nghiên cứu ban đầu

Để xây dựng giải thuật mới, khả thi và tính có đóng góp, cách tiếp cận của Luận án là nắm bắt tình hình nghiên cứu thông qua thực hiện khảo sát các công bố khoa học liên quan đến giám định ảnh Copy-Move trên IEEE với từ khóa “Copy-Move Image Forgery Detection” trong 10 năm gần của thời điểm bắt đầu thực hiện nghiên cứu Dựa vào những kết quả khảo sát, phân nhóm các giải thuật, xây dựng sơ đồ tổng quát thể hiện được những điểm chung và những điểm khác nhau của các phương pháp, để có thể làm cơ sở để phát triển những ý tưởng mới

Tiếp theo đó, Luận án đã đề xuất 02 giải thuật nghiên cứu ban đầu được kiểm chứng trên các ảnh Copy-Move có bố cục đồng nhất và ảnh Copy-Move có bố cục bất kỳ Với những kết quả đạt được từ hai giải thuật cơ sở này, đề xuất định hướng để cải tiến, xây dựng và phát triển các giải thuật tiếp theo có ứng dụng đa phân giải cũng được trình bày

1.1 Tổng quan các nghiên cứu liên quan

Khảo sát và phân tích các giải thuật liên quan đến đề tài

1.1.1Các giải thuật giám định ảnh Copy-Move đều dựa trên nguyên tắc tìm các vùng ảnh có đặc tính giống nhau, đây chính là do các vùng ảnh được sao chép và cắt dán trên chính ảnh đó Các đối tượng có đặc tính giống nhau được nghi ngờ do sao chép được tìm thấy có thể được xác định từ kết quả so khớp các đặc tính của các khối nhỏ (block-matching) tạo nên vùng ảnh hoặc từ tập hợp các điểm chính đặc trưng (keypoint-matching) được trích ra trên ảnh Mặc dù mỗi cách so khớp đặc tính đều có những điểm nổi bật riêng tùy vào bố cục của ảnh; tuy nhiên, theo khảo sát từ các nghiên cứu đã công bố, các giải thuật dựa vào việc chia nhỏ ảnh thành các khối và so khớp đặc tính các khối được sử dụng phổ biến hơn dựa vào các điểm chính

Phần trình bày sẽ phân loại các phương pháp khảo sát như Hình 1.1

Hình 1.1 Sơ đồ phân loại các phương pháp khảo sát

Các giải thuật phát hiện ảnh giả Copy-Move

Dựa vào so khớp các khối ảnh nhỏ

Chia thành các khối ảnh nhỏ trực

tiếp trên ảnh, không qua biến

đổi

Chia thành các khối ảnh nhỏ sau khi biến đổi ảnh

dùng DCT, DWT,

Dựa vào các điểm chính trên ảnh

Kết hợp khối ảnh và các điểm chính

Các kỹ thuật giám định dựa trên các khối ảnh (block based methods)

1.1.1.1Đối với các giải thuật so sánh dựa vào các khối (block based methods) có kích thước cố định, sơ đồ tổng quát của một hệ thống phát hiện ảnh giả mạo Copy-Move được mô tả theo 7 bước (Hình 1.2) Các kỹ thuật đã được nghiên cứu khác nhau chủ yếu ở việc sao chép có qua biến đổi trước khi trích đặc tính hay không (bước 2), và phương pháp so sánh các cặp vectors tương tự nhau (bước 5 và 6) [4]

1.1.1.1.1 Các kỹ thuật giám định dựa trên các đặc tính được trích trực tiếp từ ảnh

Từ một ảnh cho trước, các vectors đặc tính được trích trực tiếp dựa vào cách phân tích thông kê các pixels, phân tích các giá trị đặc biệt, cường độ của pixels, biến đổi Radon, mẫu giá trị nhị phân cục bộ, điểm quan tâm (interest points) hoặc điểm chính (keypoints) trên ảnh, Phần lớn các nghiên cứu của nhóm này đều hiệu quả với các thao tác đồ họa ảnh như nén JPEG, nhiễu Gaussian, Blur và một số phương pháp cũng xét đến biến đổi hình học

Weiqi Luo [5] đã đề xuất một giải thuật trích các đặc tính ảnh bằng cách dùng vectors bảy đặc tính được xác định dựa trên phép phân tích thống kê các giá trị pixels, trong đó ba đặc tính đầu tiên lần lượt là ba thành phần đỏ, xanh lá cây và xanh dương, và bốn đặc tính khác được tính bằng cách chia khối ảnh đó thành hai phần theo bốn hướng tung, hoành, và hai đường chéo Để tìm được sự tương thích chính xác của hai

Hình 1.2 Các bước tổng quát của hệ thống phát hiện ảnh giả mạo Copy-Move khối, nghiên cứu này xác định vectors dịch chuyển có tần số xảy ra cao nhất, và cho độ phức tạp tính toán thấp

Một thuật giải khác được gọi là phân tích giá trị đặc biệt (Singular Value Decomposition - SVD) được dùng để trích các đặc tính đại số và hình học từ các khối ảnh nhỏ chồng lấp để tạo ra các vector đặc tính có các giá trị đặc biệt và lưu thành một ma trận Ma trận sẽ được giảm rank trước khi kiểm tra giống nhau giữa các vectors [6]

Phân tích thành phần cơ bản (Principle Component Analysis-PCA) cũng là một cách để trích các đặc tính ảnh [7] Trong một báo cáo khoa học tại khoa Khoa học máy

tính của Đại học Dartmouth năm 2004, Alin C Popescu và Hany Farid đã chứng minh rằng PCA hiệu quả trong việc trích các đặc tính ảnh Mỗi vector đặc tính được gọi là thành phần cơ bản với các giá trị có được từ lý thuyết ma trận hiệp phương sai (covariance matrix), các trị riêng và các cơ sở tuyến tính cho từng khối ảnh nhỏ với điều kiện ban đầu là zero-mean Khi đó, một ma trận S bao gồm các vectors lượng tử theo số bin lượng tử được thực hiện Các hệ số lượng tử này được sắp xếp theo từ điển và các vùng giống nhau được phát hiện bằng cách xét độ sai biệt giữa các cặp có khoảng cách nhỏ hơn một giá trị ngưỡng được xác định trước Để đạt được mục đích, một bản đồ sao chép (duplication map) được xác định thông qua việc tạo một ảnh zero có cùng kích thước như ảnh ban đầu và gán các giá trị tại tất cả các pixels trong vùng được lặp lại bằng một giá trị mức xám duy nhất Các thuật giải cũng mở rộng đối với ảnh màu bằng cách tạo bản đồ sao chép từ ba kênh màu hoặc ứng dụng PCA cho các

khối màu có kích thước 3b, trong đó b là số pixels trong mỗi khối Với Nt chiều sau khi dùng PCA và N pixels trong ảnh, thuật giải có độ phức tạp là O(NtNlogN)

Nếu Weiqi Luo [5] dùng một vector với bảy thành phần để mô tả đặc tính của mỗi khối nhỏ thì một vector 9 chiều được giới thiệu trong [8] để giải bài toán có tính đến góc xoay nhỏ trên vùng sao chép Các thành phần của vector được tính dựa vào cường độ từ bốn khối nhỏ có kích thước bằng nhau trên mỗi khối Phần tử đầu tiên là cường độ trung bình, bốn thành phần tiếp theo là các tỉ số của các cường độ trung bình và bốn thành phần còn lại là sự chênh lệch giữa các cường độ trung bình Thuật giải sắp xếp theo cơ số (radix sort) được dùng để sắp xếp các vectors theo từ điển, và từ đó thao tác giả mạo ảnh cũng được phát hiện Nếu vùng ảnh sao chép được xoay với một góc cố định, phương pháp này cũng giúp phát hiện được nhưng không hiệu quả với

góc xoay bất kỳ Thời gian tính toán là O(9k) Trong trường hợp các vùng sao chép

nhỏ sẽ không được phát hiện Từ đó định hướng cho nghiên cứu tiếp theo của tác giả là xác định thêm các đặc tính bất biến theo độ xoay trong các vectors đặc tính

Hieu Cuong Nguyen và Stefan Katzenbeisser [9] đã đề xuất sử dụng biến đổi Radon để trích các đặc tính và dùng tương quan pha để phát hiện các cặp vectors khớp với nhau Phương pháp được sử dụng thành công với các vùng ảnh sao chép có xét đến

độ xoay với góc xoay nhỏ hơn 40, nhiễu cộng Gaussian với SNR lớn hơn 35dB và các khối ảnh nhỏ hơn có kích thước 8x8

Mãi đến năm 2013, một phương pháp mới dùng để trích các đặc tính ảnh dựa trên mô tả các cấu trúc không gian của bố cục ảnh mức xám được đặt là lấy mẫu các giá trị nhị phân cục bộ (Local Binary Pattern-LBP) được đưa ra bởi Leida Li et al [10] Nếu ảnh cần kiểm tra là ảnh màu, trước tiên phải chuyển sang ảnh mức xám bằng phép biến

đổi 0.299R+0.587G+0.114B và áp dụng lọc thông thấp để lấy các đặc trưng tần số

thấp vì các đặc trưng ở tần số này ổn định hơn tại các tần số cao Cũng như các phương pháp đã được nghiên cứu trước, sự tương thích đặc tính sẽ dựa vào giá trị ngưỡng để xác định Ngoài ra, các thao tác xử lý sau đó như sử dụng một bộ lọc có thiết kế đặc biệt hoặc các thao tác liên quan đến hình thái học cũng được xét đến trong quá trình giám định Phương pháp này rất chính xác đối với các ảnh có nén JPEG, nhiễu, nhòe, xoay ảnh và lấy đối xứng Tuy nhiên, đối với những vùng có góc xoay bất kỳ vẫn còn hạn chế Việc nghiên cứu các đặc tính khối bất biến và chọn lựa số đặc tính phù hợp có thể là giải pháp cho các vùng giả mạo với góc xoay bất kỳ

Một giải pháp khác cho phát hiện giả mạo ảnh Copy-Move (Copy-Move Forgery Deetection – CMFD) với góc xoay của vùng giả mạo bất kỳ đã được đề xuất trong [11] Seung-Jin-Ryu dùng các Zernike moments để trích các đặc tính từ các khối ảnh nhỏ chồng lấp nhau trong ảnh nghi ngờ cần kiểm tra Các vectors đặc tính này sẽ được sắp xếp theo từ điển và cũng như các phương pháp trước đó, mức độ tương tự giữa hai khối nhỏ sẽ được xác định dựa vào khoảng cách Euclidean và ngưỡng cho phép Các

phép đo về độ chính xác (Precission), recall và đo F (là thông số kết hợp giữa độ chính

xác và recall) cũng được thực hiện tại các vùng nghi ngờ để xác nhận giả mạo Trong trường hợp các khối có cùng các Zernike moments, để đảm bảo tính chính xác khi xác thực, sẽ thêm một bước nữa là tính khoảng cách giữa các khối ảnh thực

Abdullah M công bố một giải thuật nhanh và chính xác khi phát hiện cắt dán trên cùng ảnh dùng so khớp các khối với nhau [12] Ảnh được chia thành các khối vuông xếp chồng nhau với kích thước được xác định trước Các khối nhỏ này sau đó lại được chia thành các khối nhỏ hơn và các đặc tính của các khối chính là tổng cường

độ các pixels trên các khối nhỏ Tất cả các vectors đặc tính khối sẽ được lưu dưới dạng cây KD (k-dimension tree) trong đó mỗi nút biểu diễn một khối ảnh Các nút lân cận nhau sẽ được kiểm tra tính tương quan để phát hiện các khối tương ứng giống nhau, và cũng là cách phát hiện sao chép Độ phức tạp tính toán của giải thuật được đánh giá là

O(NK), với N là số pixels trong ảnh và K là số khối

Một phương pháp khác để phát hiện ảnh Copy-Move là dùng biến đổi affine và thông tin màu [13] Phương pháp này được phân loại thuộc nhóm so khớp các khối ảnh, trong đó các ảnh kiểm chứng được khử nhiễu trước khi chia thành các khối nhỏ Biến đổi 8z affine được áp dụng trên từng khối nhỏ sao cho vùng cắt dán có thể được phát hiện trong các trường hợp biến đổi xoay các góc 0 90 180 và 720; lật lên và xuống; di chuyển trái, phải và theo đường chéo Sau khi tất cả các khối được biến đổi 8z affine, thông tin màu sắc sẽ được xét đến và được trích dưới dạng correlogram màu tự động, các moments màu và không gian màu HSV (Hue, Saturation, Value) để tạo thành các vectors đặc tính Đối tượng cắt dán sẽ được phát hiện bằng cách so khớp các khối ảnh thông qua việc tìm kiếm các vectors đặc tính

1.1.1.1.2 Các kỹ thuật giám định dựa trên các đặc tính trích từ ảnh sau khi qua biến đổi

Discrete Cosine Transform (DCT) và Discrete Wavelet Transform (DWT) là các kỹ thuật phổ biến dùng để biến đổi ảnh sang miền tần số trước khi trích các đặc tính ảnh DCT được xem như phương pháp mới đối với CMFD vào năm 2003 và được phát triển cùng với DWT như một cặp biến đổi hiệu quả trong xử lý ảnh, đặc biệt trong phát hiện ảnh giả mạo

Jessica Fridrich sử dụng các hệ số DCT lượng tử thay cho các giá trị pixels [14] Vì thế, các vectors đặc tính chính là các vectors hệ số DCT lượng tử Hệ số chất lượng trong nén JPEG sẽ xác định các bước lượng tử cho các hệ số biến đổi DCT, được gọi

là thông số Q Các vị trí tương quan nhau sẽ được xem xét trong trường hợp có nhiều

khối có cùng vector dịch chuyển để xác định một cặp khối ảnh có khả năng nhất Trong trường hợp các ảnh màu, biến đổi ảnh sang mức xám là bước đầu tiên Phương

pháp cần MNlog2(MN) bước để phát hiện cặp khối ảnh giống nhau dùng ngôn ngữ C

Các vectors gồm bốn đặc tính có được sau khi áp dụng DCT vào các khối ảnh nhỏ có kích thước cố định được dùng làm các vectors đặc tính của ảnh Các vectors này được sắp xếp theo từ điển và dựa trên giá trị ngưỡng để xác định các vùng giống nhau Các cặp tương đương không phù hợp sẽ được bỏ qua Kết quả thử nghiệm cho độ phức tạp tính toán thấp hơn phương pháp trong [15] và hiệu quả đối với các trường hợp nhiều vùng ảnh giả mạo Copy-Move, ảnh bị nhòe và nhiễu

DWT luôn là ứng viên tiềm năng cho các nghiên cứu về CMFD Thật sự, nhiều giải thuật phát hiện các vùng ảnh giả Copy-Move sử dụng các hệ số DWT Dựa trên nguyên lý các đặc tính độ sắc/độ nhòe (sharpness/blurriness) của các vùng có giả mạo và không giả mạo là khác nhau, đo độ sắc/độ nhòe của các khối ảnh không chồng lấp nhau trong ảnh thông qua các hệ số biến đổi wavelets là phương pháp mới để phát hiện ảnh giả [16]

Trong cùng năm, M K Bashar cũng công bố một nghiên cứu về CMFD sử dụng các hệ số wavelets chuẩn hóa kết hợp với kỹ thuật bán tự động để phát hiện chính xác số vùng sao chép giống nhau [17].Thông qua giải thuật pyramid 2D Mallat’s fast, các hệ số được sắp xếp thành các vectors từ tần số thấp đến tần số cao, sắp xếp theo từ điển và dựa vào giá trị ngưỡng để tìm ra vùng nghi ngờ Tuy nhiên, phương pháp này không hiệu quả đối với vùng giả mạo có nhiễu và nén

Phân tích các giá trị đặc biệt SVD được xem như bước trung gian để trích các đặc tính của các khối ảnh tần số thấp trong dải con wavelets [18] trước khi sắp xếp để tìm các vectors giống nhau Phương pháp này giảm độ phức tạp tính toán và định vị vùng sao chép với khả năng có nén cao và xử lý cạnh

Không cần bước trung gian như trong [18], tương quan pha được dùng trực tiếp để xác định các vùng sao chép từ các khối ảnh chồng lấp nhau được sắp xếp theo từ điển sau khi giảm chiều bằng cách dùng DWT [19] Các giải thuật phát hiện vùng sao chép bao gồm phát hiện các khối tham chiếu và các khối tương quan và so sánh các khối này với nhau được trình bày Nghiên cứu này đã được kiểm tra trên các ảnh nhiễu cho kết quả chính xác với thời gian tính toán và độ phức tạp thấp hơn phương pháp đưa ra trong [18]

Một phương pháp mù phát hiện các vùng sao chép là biến đổi wavelets dyadic (DyWT) [20] DyWT bất biến độ dịch chuyển và được đưa ra như một phương pháp mù để phát hiện các vùng Copy-Move trong ảnh Ảnh nghi ngờ được chia thành các dải xấp xỉ (LL1) và chi tiết (HH1) Đo mức độ giống nhau giữa các khối ảnh chồng lấp nhau được phân chia từ các dải LL1 và HH1 bằng cách tính khoảng cách giữa mỗi cặp khối ảnh Do các tính chất của LL1 và HH1, tính giống nhau sẽ được sắp xếp tăng dần trong dải LL1 và giảm dần trong dải HH1 Dựa vào giá trị ngưỡng xác định trước, các cặp tương thích nhau sẽ được chọn ra, và đây chính là cơ sở để xác định khối Copy-Move

Preeti Yadav [21] nghiên cứu một thuật giải cải tiến bằng cách áp dụng DWT vào ảnh để giảm chiều biểu diễn Các vectors đặc tính sẽ được trích ra từ các khối ảnh nhỏ chồng lấp của ảnh nén và được sắp xếp theo từ điển để tìm ra các khối tương quan Bằng cách tính vector dịch chuyển chuẩn hóa và phát hiện khối tương quan, phương pháp cho kết quả tốt nhất trên các ảnh có vùng giả mạo có kích thước nhỏ, Copy-Move tại nhiều vị trí với độ tính toán thấp PCA được đề nghị như bước tiếp theo của nghiên cứu này

Áp dụng bản đồ hệ thống tọa độ log-polar và tương quan pha trong các khối ảnh được phân chia sau khi biến đổi DWT được Myna.A.N đưa ra như giải pháp cho bài toán giám định ảnh với vùng giả mạo được dịch chuyển và có xoay [22] Phương pháp này cải tiến được chi phí tính toán và thực hiện trên phần có độ phân giải thấp của DWT

Fourrier –Mellin Transform (FMT) là một giải pháp hiệu quả và phù hợp trong phát hiện ảnh giả mạo được Sevinc Bayram trình bày tại một hội nghị về xử lý ảnh [23] FMT được dùng để trích các đặc tính nhạy với nén JPEG tổn hao, nhòe (blurring), nhiễu cộng, và bất biến đối với độ dịch chuyển, tỉ lệ và xoay nhẹ từ các khối ảnh nhỏ chồng lấp trong ảnh Các đặc tính này sau đó được sắp xếp theo từ điển để tìm ra các khối kế cận nhau có cùng đặc tính hoặc dùng các bộ lọc (counting bloom filters) để chọn ra các khối có cùng giá trị hash Kết quả thu được dựa trên vector

khoảng cách D Giải thuật được thực hiện trên các ảnh có các thao tác dịch chuyển, tỉ