Đang tải... (xem toàn văn)
30 CHƯƠNG 3 GIẢI THUẬT ĐỀ XUẤT VÀ KẾT QUẢ NGHIÊN CỨU Chương này trình bày phương pháp sử dụng tiền xử lý và Inception V3 để xác định xem hình ảnh có bị giả mạo dạng Splicing hay không Việc phát hiện giả mạo hình ảnh trước khi xác định vị trí khu vực giả mạo giúp tiết kiệm thời gian xử lý và có thể được xử lý trong trường hợp xác thực tính xác thực trong cơ sở dữ liệu hình ảnh khổng lồ 3 1 Tiền xử lý ảnh Đối với những hình ảnh đã được xác nhận là có giả mạo, bước tiếp theo là xác định vị trí khu.
CHƯƠNG GIẢI THUẬT ĐỀ XUẤT VÀ KẾT QUẢ NGHIÊN CỨU Chương trình bày phương pháp sử dụng tiền xử lý Inception V3 để xác định xem hình ảnh có bị giả mạo dạng Splicing hay khơng Việc phát giả mạo hình ảnh trước xác định vị trí khu vực giả mạo giúp tiết kiệm thời gian xử lý xử lý trường hợp xác thực tính xác thực sở liệu hình ảnh khổng lồ 3.1 Tiền xử lý ảnh Đối với hình ảnh xác nhận có giả mạo, bước xác định vị trí khu vực giả mạo Nghiên cứu tác giả tập trung vào hình ảnh giả mạo dạng Splicing, tức vùng giả mạo thêm vào từ mợt hình ảnh khác Để phát giả mạo mợt cách xác, tác giả thực mợt bước xử lý trước với mục đích làm bật vùng bị cắt Dựa đặc điểm thao tác Splicing, kỹ thuật nhận biết thường phân tích hai đặc điểm bản: trích xuất cạnh trích x́t dựa nâng cao hình ảnh Đối với kỹ thuật Splicing đơn giản, việc biến đổi hình ảnh đầu vào theo vùng cạnh hiệu để phát Tuy nhiên, kỹ thuật Splicing phức tạp cao hơn, khơng có khác biệt cạnh đối tượng Splicing cạnh đối tượng ảnh, đó, tách cạnh khơng phải giải pháp tốt Vì lý đó, nghiên cứu tác giả khơng sử dụng tính phát cạnh mà tập trung vào việc sử dụng nâng cao chất lượng hình ảnh theo kỹ thuật Contrast kết hợp Enhance cho hình ảnh Splicing trước đưa vào tập liệu huấn luyện, nhằm h́n luyện cho mơ hình định vị vùng Splicing Phương pháp phát triển với đợ xác cao Các bước tiền xử lý trình bày theo ba bước sau: ❖ Bước 1: Chuyển tất ảnh Splicing thành ảnh có kích thước 224 x 224 để giảm thời gian tính tốn mà giữ đặc trưng ảnh 30 ❖ Bước 2: Thực kỹ thuật Contrast kết hợp Enhance [18] - Đầu tiên, tác giả khai báo thư viện Python Pillow - Sau thực vịng lặp chạy qua ảnh tập ảnh thật ảnh Splicing - Tại ảnh tác giả thực bước sau: • Thực đọc ảnh với định dạng RGB nhằm giữ nguyên đặc trưng ảnh • Thực thao tác Contrast để tăng độ tương phản màu sắc ảnh • Từ ảnh thực Contrast, tác giả tiếp tục thực thao tác Enhance nhằm mục tiêu nâng cao độ chênh lệch sáng ảnh thật đối tượng Splicing Hình 3.1 Kết thực kỹ thuật Contrast kết hợp Enhance 31 Sau bước này, vùng Splicing làm bật lên só với phần ảnh thật Bước mang tính chất định cho việc phát đặc trưng ảnh trình huấn luyện mơ hình Bước 3: Lưu lại với tập ảnh Splicing làm liệu đầu vào cho việc huấn luyện 3.2 Huấn luyện với Inception V3 Để h́n luyện mơ hình với Inception V3, tác giả thực theo 08 bước sau: Bước 1: Dữ liệu đầu vào huấn luyện 02 tập ảnh: Original Splicing Bước 2: Biến đổi kích thước ảnh đầu vào 224 x 224 Bước 3: Chia liệu đầu vào thành phần, tập Train tập Test với tỷ lệ 75:25 Bước 4: • Khai báo Model sử dụng Inception V3 • Sử dụng hàm kích hoạt ReLU để giảm chi phí tính tốn • Sử dụng hàm kích hoạt Softmax tăng đợ xác việc phân lớp Bước 5: Thực khai báo Checkpoint dùng để lưu lại kết huấn luyện có bước phát triển Bước 6: Khai báo Optimizer với Learning Rate = 0.0001 Bước 7: Compile Model với Loss Function Cross - Entropy Bước 8: Huấn luyện Model với Batch Size = 64, số Epochs = 100 số Validation = 0.2 3.3 Đánh giá độ xác kiểm thử kết ngẫu nhiên Để đánh giá thực đợ xác việc huấn luyện, tác giả đánh giá dựa tiêu chí sau: • Accuracy • Precision • Recall 32 • F1 • Confusion Matrix Q trình kiểm thử thực thao bước sau: Bước 1: Biến đổi ảnh đầu vào dự kỹ thuật Contrast kết hợp Enhance Bước 2: Dựa đốn ảnh có phải giả mạo dạng Splicing hay không dựa tỷ lệ phần trăm 3.4 Kết đạt Trong phần này, tác giả thực mô để phát giả mạo hình ảnh trường hợp sử dụng Inception V3 ảnh đầu vào tập ảnh tiền xử lý Việc triển khai nhằm mục đích xác định đợ xác nâng cao trình tiền xử lý hình ảnh đầu vào thực Đây một gợi ý cho nhà nghiên cứu việc phát triển phương pháp nhận dạng giả mạo hình ảnh, vai trị tiền xử lý hình ảnh đóng mợt vai trò quan trọng 33 Sau thực huấn luyện, kết mang lại với đợ xác 93.7% Hình 3.2 Kết sau huấn luyện Với kết Confusion matrix cho thấy, với 172 ảnh tḥc lớp NoForgery nhận dạng 140 ảnh tḥc lớp NoForgery 32 ảnh thuộc lớp Splicing Tương tự, với 556 ảnh tḥc lớp Splicing nhận dạng 09 ảnh thược lớp NoForgery 447 ảnh thuộc lớp Splicing 34 Biểu đồ đợ xác việc huấn luyện Hình 3.3 Biểu đồ sau huấn luyện 35 Hình 3.4 Mợt ví dụ kết dự đốn Splicing 36 Hình 3.5 Mợt ví dụ kết dự đốn khơng giả mạo Trong Hình 3.4, tỷ lệ dự đốn hình ảnh tḥc lớp NoForgery 4,63-05% lớp Splicing 99% Kết dự đốn xác nhận hình ảnh đầu vào tḥc lớp Splicing có nghĩa dự đốn xác Trong Hình 3.5, tỷ lệ dự đốn hình ảnh tḥc lớp NoForgery 96,5% lớp Splicing 3,5% Kết dự đoán xác nhận hình ảnh đầu vào tḥc lớp NoForgery có nghĩa dự đốn xác Một số kết mô khác thể Hình 3.4 Từ Hình 3.4, thấy đợ xác phương pháp đề xuất tương đối cao Khi áp dụng tập liệu 2629 hình ảnh, đợ xác trung bình 93,7% Kết chứng minh mơ hình một ứng cử viên sáng giá để phát hình ảnh Splicing Hầu hết nghiên cứu trước chủ yếu tập trung vào việc tìm kiếm khu vực giả mạo hình ảnh bị can thiệp Điều có nghĩa hình ảnh đầu vào xác nhận Splicing phương pháp đề xuất tập trung vào việc phân loại hình ảnh bợ liệu khổng lồ, đó, 37 hình ảnh đầu vào nguyên Splicing Mặc dù cách tiếp cận khác nhau, vật kính áp dụng lĩnh vực Image Forensics, đặc biệt để phát hình ảnh Splicing Kết nghiên cứu áp dụng để phân loại hình ảnh giả mạo mợt cách hiệu với đợ xác đáng tin cậy 38 Hình 3.6 Kết dự đốn mợt số ảnh khác 39 KẾT LUẬN VÀ KIẾN NGHỊ Luận văn nhằm mục đích mang lại mợt khía cạnh khác việc phát giả mạo hình ảnh dựa thuật tốn tìm Deep Learning Trên thực tế, với đợ xác trung bình 93,7% việc phát ảnh giả mạo dạng Splicing, phương pháp tác giả chứng minh xử lý hình ảnh đầu vào kết hợp với Inception V3 hiệu đóng góp mợt cách tiếp cận cho lĩnh vực Image Forensics Ngoài ra, nghiên cứu trước thường đánh giá tập liệu xuất hình ảnh Splicing Columbia CASIA Luận văn kết hợp tập liệu tiêu chuẩn Columbia tập liệu tích hợp mà tác giả tạo thực lại hoạt động giả mạo hình ảnh dạng Splicing, loại giả mạo phương pháp làm giả hình ảnh phổ biến Internet, trang web mạng xã hội Định hướng phát triển tới luận văn ứng dụng Mantranet trình huấn luyện nhằm nâng cao đợ xác 40 DANH MỤC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA HỌC VIÊN Trung-Tri Nguyen, Kha-Tu Huynh “Spliced Image Forgery Detection Based on the Combination of Image Pre-processing and Inception V3,” present at The 8th International Conference on Future Data and Security Engineering (FDSE 2021), Ho Chi Minh City, Vietnam (Virtual Mode), pp 308–422, 2021 [Online] Available: https://doi.org/10.1007/978-3-030-91387-8_20 41 TÀI LIỆU THAM KHẢO [1] Szegedy, C et al “Rethinking the inception architecture for computer vision,” present at The Proceedings of the IEEE conference on computer vision and pattern recognition, pp 2818-2826, 2016 [2] Hsu, Y F and Chang, S F “Detecting image splicing using geometry invariants and camera characteristics consistency,” present at The 2006 IEEE International Conference on Multimedia and Expo, pp 549-552, July 2006 [3] Ahonen, T et al “Face Description with Local Binary Patterns: Application to Face Recognition,” IEEE Trans Pattern Analysis and Machine Intelligence Vol 28, pp 2037-2041, 2006 [4] Vinoth, S and Gopi, E S “Neural network modeling of color array filter for digital forgery detection using kernel LDA,” Procedia Technology Vol 10, pp 498504, 2013 [5] Liu, Y and Zhao, X “Constrained Image Splicing Detection and Localization With Attention-Aware Encoder-Decoder and Atrous Convolution,” IEEE Access, Vol 8, pp 6729-6741, 2020 [6] Liu, Y et al “Adversarial learning for constrained image splicing detection and localization based on atrous convolution,” IEEE Transactions on Information Forensics and Security Vol 14, pp 2551-2566, 2019 [7] Almawas, L et al “Comparative performance study of classification models for image-splicing detection,” Procedia Computer Science Vol 175, pp 278-285, 2020 [8] Hany Farid Photo Forensics The MIT Press, 2016 [9] Reinhard Klette “Concise Computer Vision.” Springer 2014 [10] Nguyễn Thanh Tuấn “Deep Learning bản.” Internet: www nttuan8.com/sach-deep-learning-co-ban, Jul 20, 2021 [11] Noron “Chia sẻ mạng nơ ron tích chập.” Internet: www.noron.vn/post/chiase-ve-mang-no-ron-tich-chap-convolutional-neural-networks-or-convnetsefskm9q3opa, Jul 23, 2021 42 [12] Aivivn “Mạng Nơ-ron Tích chập.” d2l.aivivn.com/chapter_convolutional-neural-networks/index_vn.html, Internet: Jul 23, 2021 [13] Krizhevsky, A et al “Imagenet classification with deep convolutional neural networks,” present at The Advances in neural information processing systems, 2012 [14] Yann LeCun et al “Gradient-Based Learning Applied to Document Recognition,” present at The Proceedings of the IEEE 1998 [15] Alex Krizhevsky et al “ImageNet Classification with Deep Convolutional Neural Networks,” present at The NeurIPS 2012 [16] Karen Simonyan and Andrew Zisserman “Very Deep Convolutional Networks for Large-Scale Image Recognition,” present at The arXiv preprint 2014 [17] Christian Szegedy et al “Going Deeper with Convolutions,” present at The IEEE Conference on Computer Vision and Pattern Recognition 2015 [18] OpenCV “Python Tutorial.” Internet: www.docs.opencv.org/3.4/da/df6/tutorial_py_table_of_contents_setup.html, Jul 20, 2021 43 PHỤ LỤC Mã nguồn biến đổi ảnh đầu vào Để biến đổi ảnh đầu vào, tác giả xây dựng mợt thuật tốn gồm bước sau: Bước 1: Đọc vào liệu ảnh gốc Bước 2: Biến đổi kích thước ảnh đầu vào 224 x 224 Nhằm giảm tốc độ tính tốn Bước 3: Thay đổi tên ảnh để tránh việc ghi đè liệu Bước 4: Thực việc Contrast ảnh đầu vào Bước 5: Thực Enhance ảnh Contrast Bước Mã nguồn img = Image.open(path) IMG_SIZE = 224 name = "/content/drive/MyDrive/LuanVan/Spl2/contrastSpl" + str(i) + ".jpg" contrast = ImageEnhance.Contrast(img) contrast.enhance(8).save(name) 44 Bước Các bước huấn luyện sử dụng Inception V3 tập ảnh đầu vào tiền xử lý Mã nguồn 45 10 Thực thi chương trình 46 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN I LÝ LỊCH SƠ LƯỢC: Họ tên: Nguyễn Trung Trí Giới tính: Nam Ngày, tháng, năm sinh: 17/11/1987 Nơi sinh: Đồng Tháp Email: nguyentrungtri17111987@gmail.com Điện thoại: 0946 086 066 II QUÁ TRÌNH ĐÀO TẠO: Từ năm 2005 đến 2010: Học Đại học Khoa học Máy tính trường Đại học Đồng Tháp Từ năm 2019 đến 2021: Thạc sĩ trường Đại học Công nghiệp TP HCM III Q TRÌNH CƠNG TÁC CHUN MƠN: Thời gian Nơi công tác Công việc đảm nhiệm 2010 Trung tâm Tin học Cơng báo, Văn phịng UBND tỉnh Đồng Tháp Chuyên viên 2012 Trung tâm Tin học tỉnh Đồng Tháp Chuyên viên 2014 Trung tâm Tin học tỉnh Đồng Tháp Phó trưởng phịng 2016 Trung tâm CNTT & Truyền thơng Phó trưởng phịng 2021 Giáo viên trường THCS – THPT Bình Thạnh Trung Giáo viên Đồng Tháp, ngày tháng Năm 20 Người khai Nguyễn Trung Trí 47 ... Mã nguồn biến đổi ảnh đầu vào Để biến đổi ảnh đầu vào, tác giả xây dựng mợt thuật tốn gồm bước sau: Bước 1: Đọc vào liệu ảnh gốc Bước 2: Biến đổi kích thước ảnh đầu vào 224 x 224 Nhằm giảm tốc... phát giả mạo hình ảnh dựa thuật tốn tìm Deep Learning Trên thực tế, với đợ xác trung bình 93,7% việc phát ảnh giả mạo dạng Splicing, phương pháp tác giả chứng minh xử lý hình ảnh đầu vào kết hợp. .. Biến đổi ảnh đầu vào dự kỹ thuật Contrast kết hợp Enhance Bước 2: Dựa đốn ảnh có phải giả mạo dạng Splicing hay không dựa tỷ lệ phần trăm 3.4 Kết đạt Trong phần này, tác giả thực mô để phát giả