Nhận dạng ảnh giả mạo dựa trên phương pháp phân lớp kết hợp biến đổi ảnh đầu vào

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH NGUYỄN TRUNG TRÍ NHẬN DẠNG ẢNH GIẢ MẠO DỰA TRÊN PHƯƠNG PHÁP PHÂN LỚP KẾT HỢP BIẾN ĐỔI ẢNH ĐẦU VÀO Chuyên ngành: KHOA HỌC MÁY TÍNH Mã chuyên ngành: 8480101 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021 Cơng trình hồn thành Trường Đại học Cơng nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: Huỳnh Khả Tú Luận văn thạc sĩ bảo vệ Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày 02 tháng 03 năm 2022 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Huỳnh Trung Hiếu - Chủ tịch Hội đồng TS Lê Thành Sách - Phản biện PGS.TS Nguyễn Hòa - Phản biện TS Phạm Thị Thiết - Ủy viên TS Lê Nhật Duy - Thư ký (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Trung Trí MSHV: 19000131 Ngày, tháng, năm sinh: 17/11/1987 Nơi sinh: Đồng Tháp Chuyên ngành: Khoa học máy tính Mã chuyên ngành: 8480101 I TÊN ĐỀ TÀI: Nhận dạng ảnh giả mạo dựa phương pháp phân lớp kết hợp biến đổi ảnh đầu vào II NGÀY GIAO NHIỆM VỤ: Theo Quyết định số 1032/QĐ-ĐHCN ngày 09/08/2021 III NGÀY HOÀN THÀNH NHIỆM VỤ: 01/02/2022 IV NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Huỳnh Khả Tú Tp Hồ Chí Minh, ngày … tháng … năm 20 … NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) Huỳnh Khả Tú TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN Huỳnh Trung Hiếu LỜI CẢM ƠN Trong trình học tập, nghiên cứu hồn thiện luận văn, tác giả nhận đợng viên, khuyến khích tạo điều kiện giúp đỡ nhiệt tình cấp lãnh đạo, thầy giáo, cô giáo, anh chị em, bạn bè đồng nghiệp gia đình Tác giả biết ơn sâu sắc thầy cô giáo khoa Cơng nghệ thơng tin, phịng Sau đại học trường Đại học Cơng nghiệp Thành phố Hồ Chí Minh nhất thầy cô giáo trực tiếp giảng dạy chun đề tồn khóa học tạo điều kiện, góp ý kiến giúp tác giả hồn thành q trình học tập hoàn thành luận văn thạc sĩ Đặc biệt, tác giả xin chân thành gửi lời cảm ơn sâu sắc đến TS Huỳnh Khả Tú – Người tận tình hướng dẫn, giúp đỡ, định hướng tác giả q trình nghiên cứu hồn thành luận văn Vì thời gian nghiên cứu giới hạn, thêm vào thời gian cơng tác đan xen, luận văn khơng thể tránh khỏi thiếu sót, tác giả rất mong nhận ý kiến góp ý chân thành từ thầy giáo, cô giáo, đồng nghiệp, bạn bè gia đình i TĨM TẮT LUẬN VĂN THẠC SĨ Luận văn đề xuất một phương pháp để phát ảnh giả mạo mà vùng giả mạo chèn vào hình ảnh khác Mơ hình tác giả xây dựng để phân loại hình ảnh có giả mạo hay khơng mợt tập hợp hình ảnh Việc phân loại hình ảnh nhằm mục đích tiết kiệm thời gian thu thập loại bỏ hình ảnh giả mạo một tập liệu khổng lồ bỏ qua bước tìm kiếm khu vực giả mạo khơng có hình ảnh giả mạo Các nghiên cứu trước chủ yếu tập trung vào việc tìm kiếm khu vực giả mạo hình ảnh bị can thiệp Tiền xử lý ảnh đầu vào Inception V3 [1] kết hợp để cải thiện khả phát giả mạo Quá trình tiền xử lý với mục đích làm bật vùng cắt hình ảnh Splicing Mơ hình đề x́t thử nghiệm tập liệu ảnh Columbia [2] tập liệu tích hợp tác giả với đợ xác trung bình phát ảnh Splicing lên đến 93,7% Với đợ xác cao cho thấy hiệu phương pháp đề xuất mợt đóng góp cho lĩnh vực giám định ảnh (Image Forensics) Kết nghiên cứu Luận văn viết thành báo khoa học, chấp nhận đăng báo cáo Hội nghị quốc tế Future Data and Security Engineering (FDSE) năm 2021 ii ABSTRACT The Dissertation proposes a method to detect the splicing in images which the spliced regions are created from other images Our model is built to classify images with fake or not in a set of images The image classification aims to save time when collecting and removing the fake images in a huge dataset and skip the step of searching the forged areas if there is no forgery in images Previous studies mainly focused on the finding forged areas on the interfered image The image preprocessing and Inception V3 are combined to improve the detection The objective preprocessing is to highlight the cropped area of the spliced images The proposed model is experimented on Columbia Uncompressed Image Splicing Detection Evaluation Dataset and our built-in dataset with the average accuracy of spliced image detection up to 93.7% The high accuracy demonstrates the effectiveness of the proposed method and is also a new contribution to the field of image forensics iii LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân hướng dẫn TS Huỳnh Khả Tú Các kết nghiên cứu kết luận luận văn trung thực, không chép từ bất kỳ một nguồn bất kỳ hình thức Việc tham khảo nguồn tài liệu (nếu có) thực trích dẫn ghi nguồn tài liệu tham khảo quy định Học viên Nguyễn Trung Trí iv MỤC LỤC LỜI CẢM ƠN i TÓM TẮT LUẬN VĂN THẠC SĨ ii ABSTRACT iii LỜI CAM ĐOAN iv MỤC LỤC v DANH MỤC HÌNH ẢNH vii DANH MỤC TỪ VIẾT TẮT viii MỞ ĐẦU .1 Đặt vấn đề .1 Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Cách tiếp cận phương pháp nghiên cứu .2 Ý nghĩa thực tiễn đề tài .3 CHƯƠNG TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU 1.1 Khái quát vấn đề .5 1.2 Phân loại ảnh giả mạo [8] 1.3 Tập liệu đầu vào 1.4 Phương hướng giải CHƯƠNG CƠ SỞ LÝ THUYẾT 11 2.1 Mạng nơ ron tích chập 11 2.1.1 Cấu tạo trình xử lý một nơ ron sinh học [9] 11 2.1.2 Mạng nơ ron [10] 12 2.1.3 Mợt số hàm kích hoạt thơng dụng 15 v 2.1.4 Mạng nơ ron tích chập [11] 16 2.1.5 Xây dựng mạng nơ ron tích chập [12] 17 2.2 Kiến trúc Inception V3 24 2.2.1 Lịch sử phát triển mạng CCN 24 2.2.2 Inception V1[17] .26 2.2.3 Inception V3 27 2.3 Phương pháp Enhance hình ảnh 28 CHƯƠNG GIẢI THUẬT ĐỀ XUẤT VÀ KẾT QUẢ NGHIÊN CỨU 30 3.1 Tiền xử lý ảnh 30 3.2 Huấn luyện với Inception V3 32 3.3 Đánh giá đợ xác kiểm thử kết ngẫu nhiên 32 3.4 Kết đạt .33 KẾT LUẬN VÀ KIẾN NGHỊ 40 DANH MỤC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA HỌC VIÊN 41 TÀI LIỆU THAM KHẢO 42 PHỤ LỤC 44 Mã nguồn biến đổi ảnh đầu vào 44 Các bước huấn luyện sử dụng Inception V3 tập ảnh đầu vào tiền xử lý .45 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 47 vi DANH MỤC HÌNH ẢNH Hình 1.1 Ảnh Copy – Move Hình 1.2 Ảnh Splicing .6 Hình 1.3 Ảnh thật từ tập ảnh Columbia Hình 1.4 Ảnh splicing từ tập ảnh Columbia .7 Hình 1.5 Ảnh thật mà chúng thu thập Hình 1.6 Ảnh Slpicing mà tác giả thực Hình 1.7 Sơ đồ khối phương pháp đề xuất 10 Hình 2.1 Nơ ron sinh học 11 Hình 2.2 Mơ hình logistic regresion 13 Hình 2.3 Mơ hình nơ ron kết nối đầy đủ 14 Hình 2.4 Đồ thị hàm Sigmoid 15 Hình 2.5 Đồ thị hàm RELU 16 Hình 2.6 Các tầng (layer) CNN chiều 17 Hình 2.7 Tích chập mợt ma trận nhỏ để tạo liệu đầu vào cho một nơ ron tầng ẩn 18 Hình 2.8 Ví dụ lớp tích chập 19 Hình 2.9 So sánh ReLU Sigmoid 21 Hình 2.10 Ví dụ minh họa đơn giản Pooling layer 22 Hình 2.11 Kiến trúc LeNet-5 24 Hình 2.12 Kiến trúc VGG-16 25 Hình 2.13 Kiến trúc Inception V1 .26 Hình 2.14 Kiến trúc Inception V3 .27 Hình 3.1 Kết thực kỹ thuật Contrast kết hợp Enhance .31 Hình 3.2 Kết sau huấn luyện 34 Hình 3.3 Biểu đồ sau huấn luyện 35 Hình 3.4 Mợt ví dụ kết dự đốn Splicing 36 Hình 3.5 Mợt ví dụ kết dự đốn khơng giả mạo 37 Hình 3.7 Kết dự đốn mợt số ảnh khác 39 vii • F1 • Confusion Matrix Quá trình kiểm thử thực thao bước sau: Bước 1: Biến đổi ảnh đầu vào dự kỹ thuật Contrast kết hợp Enhance Bước 2: Dựa đốn ảnh có phải giả mạo dạng Splicing hay không dựa tỷ lệ phần trăm 3.4 Kết đạt Trong phần này, tác giả thực mơ để phát giả mạo hình ảnh trường hợp sử dụng Inception V3 ảnh đầu vào tập ảnh tiền xử lý Việc triển khai nhằm mục đích xác định đợ xác nâng cao q trình tiền xử lý hình ảnh đầu vào thực Đây một gợi ý cho nhà nghiên cứu việc phát triển phương pháp nhận dạng giả mạo hình ảnh, vai trị tiền xử lý hình ảnh đóng mợt vai trị quan trọng 33 Sau thực huấn luyện, kết mang lại với đợ xác 93.7% Hình 3.2 Kết sau huấn luyện Với kết Confusion matrix cho thấy, với 172 ảnh tḥc lớp NoForgery nhận dạng 140 ảnh thuộc lớp NoForgery 32 ảnh thuộc lớp Splicing Tương tự, với 556 ảnh thuộc lớp Splicing nhận dạng 09 ảnh thược lớp NoForgery 447 ảnh thuộc lớp Splicing 34 Biểu đồ đợ xác việc h́n luyện Hình 3.3 Biểu đồ sau h́n luyện 35 Hình 3.4 Mợt ví dụ kết dự đốn Splicing 36 Hình 3.5 Mợt ví dụ kết dự đốn khơng giả mạo Trong Hình 3.4, tỷ lệ dự đốn hình ảnh tḥc lớp NoForgery 4,63-05% lớp Splicing 99% Kết dự đoán xác nhận hình ảnh đầu vào tḥc lớp Splicing có nghĩa dự đốn xác Trong Hình 3.5, tỷ lệ dự đốn hình ảnh thuộc lớp NoForgery 96,5% lớp Splicing 3,5% Kết dự đốn xác nhận hình ảnh đầu vào tḥc lớp NoForgery có nghĩa dự đốn xác Mợt số kết mơ khác thể Hình 3.4 Từ Hình 3.4, thấy đợ xác phương pháp đề xuất tương đối cao Khi áp dụng tập liệu 2629 hình ảnh, đợ xác trung bình 93,7% Kết chứng minh mơ hình mợt ứng cử viên sáng giá để phát hình ảnh Splicing Hầu hết nghiên cứu trước chủ yếu tập trung vào việc tìm kiếm khu vực giả mạo hình ảnh bị can thiệp Điều có nghĩa hình ảnh đầu vào xác nhận Splicing phương pháp đề xuất tập trung vào việc phân loại hình ảnh bợ liệu khổng lồ, đó, 37 hình ảnh đầu vào nguyên Splicing Mặc dù cách tiếp cận khác nhau, vật kính áp dụng lĩnh vực Image Forensics, đặc biệt để phát hình ảnh Splicing Kết nghiên cứu áp dụng để phân loại hình ảnh giả mạo mợt cách hiệu với đợ xác đáng tin cậy 38 Hình 3.6 Kết dự đốn mợt số ảnh khác 39 KẾT LUẬN VÀ KIẾN NGHỊ Luận văn nhằm mục đích mang lại mợt khía cạnh khác việc phát giả mạo hình ảnh dựa thuật tốn tìm Deep Learning Trên thực tế, với đợ xác trung bình 93,7% việc phát ảnh giả mạo dạng Splicing, phương pháp tác giả chứng minh xử lý hình ảnh đầu vào kết hợp với Inception V3 hiệu đóng góp mợt cách tiếp cận cho lĩnh vực Image Forensics Ngoài ra, nghiên cứu trước thường đánh giá tập liệu xuất hình ảnh Splicing Columbia CASIA Luận văn kết hợp tập liệu tiêu chuẩn Columbia tập liệu tích hợp mà tác giả tạo thực lại hoạt đợng giả mạo hình ảnh dạng Splicing, loại giả mạo phương pháp làm giả hình ảnh phổ biến Internet, trang web mạng xã hội Định hướng phát triển tới luận văn ứng dụng Mantranet trình h́n luyện nhằm nâng cao đợ xác 40 DANH MỤC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA HỌC VIÊN Trung-Tri Nguyen, Kha-Tu Huynh “Spliced Image Forgery Detection Based on the Combination of Image Pre-processing and Inception V3,” present at The 8th International Conference on Future Data and Security Engineering (FDSE 2021), Ho Chi Minh City, Vietnam (Virtual Mode), pp 308–422, 2021 [Online] Available: https://doi.org/10.1007/978-3-030-91387-8_20 41 TÀI LIỆU THAM KHẢO [1] Szegedy, C et al “Rethinking the inception architecture for computer vision,” present at The Proceedings of the IEEE conference on computer vision and pattern recognition, pp 2818-2826, 2016 [2] Hsu, Y F and Chang, S F “Detecting image splicing using geometry invariants and camera characteristics consistency,” present at The 2006 IEEE International Conference on Multimedia and Expo, pp 549-552, July 2006 [3] Ahonen, T et al “Face Description with Local Binary Patterns: Application to Face Recognition,” IEEE Trans Pattern Analysis and Machine Intelligence Vol 28, pp 2037-2041, 2006 [4] Vinoth, S and Gopi, E S “Neural network modeling of color array filter for digital forgery detection using kernel LDA,” Procedia Technology Vol 10, pp 498504, 2013 [5] Liu, Y and Zhao, X “Constrained Image Splicing Detection and Localization With Attention-Aware Encoder-Decoder and Atrous Convolution,” IEEE Access, Vol 8, pp 6729-6741, 2020 [6] Liu, Y et al “Adversarial learning for constrained image splicing detection and localization based on atrous convolution,” IEEE Transactions on Information Forensics and Security Vol 14, pp 2551-2566, 2019 [7] Almawas, L et al “Comparative performance study of classification models for image-splicing detection,” Procedia Computer Science Vol 175, pp 278-285, 2020 [8] Hany Farid Photo Forensics The MIT Press, 2016 [9] Reinhard Klette “Concise Computer Vision.” Springer 2014 [10] Nguyễn Thanh Tuấn “Deep Learning bản.” Internet: www nttuan8.com/sach-deep-learning-co-ban, Jul 20, 2021 [11] Noron “Chia sẻ mạng nơ ron tích chập.” Internet: www.noron.vn/post/chiase-ve-mang-no-ron-tich-chap-convolutional-neural-networks-or-convnetsefskm9q3opa, Jul 23, 2021 42 [12] Aivivn “Mạng Nơ-ron Tích chập.” d2l.aivivn.com/chapter_convolutional-neural-networks/index_vn.html, Internet: Jul 23, 2021 [13] Krizhevsky, A et al “Imagenet classification with deep convolutional neural networks,” present at The Advances in neural information processing systems, 2012 [14] Yann LeCun et al “Gradient-Based Learning Applied to Document Recognition,” present at The Proceedings of the IEEE 1998 [15] Alex Krizhevsky et al “ImageNet Classification with Deep Convolutional Neural Networks,” present at The NeurIPS 2012 [16] Karen Simonyan and Andrew Zisserman “Very Deep Convolutional Networks for Large-Scale Image Recognition,” present at The arXiv preprint 2014 [17] Christian Szegedy et al “Going Deeper with Convolutions,” present at The IEEE Conference on Computer Vision and Pattern Recognition 2015 [18] OpenCV “Python Tutorial.” Internet: www.docs.opencv.org/3.4/da/df6/tutorial_py_table_of_contents_setup.html, Jul 20, 2021 43 PHỤ LỤC Mã nguồn biến đổi ảnh đầu vào Để biến đổi ảnh đầu vào, tác giả xây dựng mợt thuật tốn gồm bước sau: Bước 1: Đọc vào liệu ảnh gốc Bước 2: Biến đổi kích thước ảnh đầu vào 224 x 224 Nhằm giảm tốc đợ tính tốn Bước 3: Thay đổi tên ảnh để tránh việc ghi đè liệu Bước 4: Thực việc Contrast ảnh đầu vào Bước 5: Thực Enhance ảnh Contrast Bước Mã nguồn img = Image.open(path) IMG_SIZE = 224 name = "/content/drive/MyDrive/LuanVan/Spl2/contrastSpl" + str(i) + ".jpg" contrast = ImageEnhance.Contrast(img) contrast.enhance(8).save(name) 44 Bước Các bước huấn luyện sử dụng Inception V3 tập ảnh đầu vào tiền xử lý Mã nguồn 45 10 Thực thi chương trình 46 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN I LÝ LỊCH SƠ LƯỢC: Họ tên: Nguyễn Trung Trí Giới tính: Nam Ngày, tháng, năm sinh: 17/11/1987 Nơi sinh: Đồng Tháp Email: nguyentrungtri17111987@gmail.com Điện thoại: 0946 086 066 II QUÁ TRÌNH ĐÀO TẠO: Từ năm 2005 đến 2010: Học Đại học Khoa học Máy tính trường Đại học Đồng Tháp Từ năm 2019 đến 2021: Thạc sĩ trường Đại học Cơng nghiệp TP HCM III Q TRÌNH CƠNG TÁC CHUN MƠN: Thời gian Nơi cơng tác Cơng việc đảm nhiệm 2010 Trung tâm Tin học Công báo, Văn phòng UBND tỉnh Đồng Tháp Chuyên viên 2012 Trung tâm Tin học tỉnh Đồng Tháp Chuyên viên 2014 Trung tâm Tin học tỉnh Đồng Tháp Phó trưởng phịng 2016 Trung tâm CNTT & Truyền thơng Phó trưởng phịng 2021 Giáo viên trường THCS – THPT Bình Thạnh Trung Giáo viên Đồng Tháp, ngày tháng Năm 20 Người khai Nguyễn Trung Trí 47