Việc sử dụng Autoencoder trong mô hình phát hiện ảnh tong hợp có ảnh hưởng như thé nào đến khả năng phân biệt giữa ảnh thật và anh tổng hợp?
No Autoencoder Aufoencoder
Ngu Mô Ace AUC Ace AUC
ồn ảnh hình sinh
thực
COC ProG 0.63 0.65 0.99 1.00
O AN 65 38 92 00
Imag Style 0.58 0.66 0.993 0.952
eNet GAN2 27 27 8 0
41
Đồ án tốt nghiệp Đại học
No Autoencoder Autoencoder
Ngu Mô Acc AUC Acc AUC
ồn anh hinh sinh
thực
COC ProG 0.63 0.65 0.99 1.00 O AN 65 38 92 00
UCI Style 0.55 0.67 0.987 0.960
D GAN3 28 36 6 2
Imag BigG 0.67 0.53 0.967 0.945
eNet AN 35 73 1 8
EG3 0.56 0.68 0.876 0.977
D 35 37 2
COC Tami 0.50 0.44 0.950 0.992
O ng Tran. 27 82 2 7
COC DAL 0.54 0.47 0.954 0.910
O L-E Mini 78 21 0 0
COC DAL 0.52 0.68 0.982 0.948
O LE2 37 27 7 4
COC GLI 0.47 0.54 0.990 0.997
O DE 32 78 6 1
Laten 0.62 0.72 0.881 0.867
t Diff. 58 34 8 4
42
Đô án tôt nghiệp Đại học
No Autoencoder Autoencoder
Ngu Mô Acc AUC Acc AUC
én anh hinh sinh
thực
COC ProG 0.63 0.65 0.99 1.00 O AN 65 38 92 00
Stabl 0.43 0.62 0.977 0.881
e Diff. 23 09 5 1
ADM 0.37 0.26 0.984 0.891
: 68 78 6 9
Bảng 7: Kết quả của mô hình khi không sử dụng Autoencoder để trích xuất nhiễu
thặng dư trên bộ đữ liệu T-all
Phân tích từ Bảng 6 cho thấy rằng việc sử dụng Autoencoder trong mô hình phát hiện anh tổng hợp có ảnh hưởng đáng kê đến khả năng phân biệt giữa ảnh thật và ảnh tổng hợp. Cụ thé, kết quả cho thấy:
Khi không sử dung Autoencoder ACC va AUC của các mô hình sinh như ProGAN,
StyleGAN2, và BigGAN đều giảm đáng kể, với ACC thấp nhất là 0.3768 (ADM) và AUC thấp nhất là 0.2678 (ADM). Các kết quả khi có sử dụng Autoencoder cho thay mức độ chính xác và độ tin cậy cao hơn hắn.
Điều này chứng tỏ rằng Autoencoder giúp tăng cường khả năng phát hiện các đặc điểm nhiễu thặng dư, từ đó nâng cao hiệu suất của mô hình. Autoencoder giúp trích xuất nhiễu thặng dư một cách hiệu quả, qua đó cung cấp thông tin quan trọng về đặc điểm của ảnh tổng hợp so với ảnh thật. Các hình ảnh dấu vân tay thu được từ việc sử dụng Autoencoder cho thấy các đặc trưng rõ ràng hơn va dé dàng phân biệt hon so với khi không sử dụng Autoencoder. Bởi nhiễu thặng dư này là khác biệt giữa ảnh gốc và ảnh tái tạo. Trong trường hợp của ảnh tổng hợp, những khác biệt này thường rất đặc trưng và phản ánh các đặc điểm không tự nhiên của quá trình tạo ảnh, như các dấu hiệu của upsampling hoặc các artefact do thuật toán sinh ảnh. Sự rõ ràng của dấu vân tay ảnh giúp tăng cường độ chính xác và độ tin cậy của mô hình phân loại, thể hiện qua sự cải thiện trong các chỉ số ACC và AUC.
Việc sử dụng Autoencoder trong mô hình phát hiện ảnh tổng hợp không chỉ cải thiện đáng ké khả năng phân biệt giữa anh thật và ảnh tổng hợp mà còn chứng minh
43
Đô án tôt nghiệp Đại học
được tầm quan trọng của việc trích xuất nhiễu thặng dư. Nhờ vào khả năng tái tạo và phân tích nhiễu của Autoencoder, mô hình có thé nắm bắt được các đặc điểm phức tạp và tinh tế, giúp tăng cường hiệu suất tong thé của quá trình phân loại. Điều này làm nổi bật vai trò của Autoencoder như một công cụ hữu ich trong việc giải quyết bài toán phân biệt ảnh thật và ảnh tổng hợp, một thách thức ngày càng trở nên phức tạp trong thời đại số hóa hiện nay.
Hình 8: Một số hình ảnh nhiễu thu được qua mô hình Autoencoder
Hình 9: Từ trái qua phải là hình ảnh dấu vân tay trích xuất từ ảnh có sử dụng Autoencoder dé trích xuất nhiễu thang du, hình anh dấu vân tay trích xuất từ ảnh không sử dụng Autoencoder dé trích xuất nhiễu thang dư, hình ảnh dấu vân tay của
ảnh thật.
3.2.3. So sảnh với phương pháp SOTA (State of the Art)
Mô hình này có hiệu suất như thé nào so với các phương pháp tiên tiễn hiện nay trong việc phát hiện ảnh tổng hợp, và những điểm mạnh và yếu của nó so với các phương
pháp SOTA là gi?
Đô án tôt nghiệp Đại học
anbooru | uided
atent
Diffusio
n
Bang 8: Kết quả so sánh với một số phương pháp SOTA hiện nay (các số được in đậm
thể hiện giá trị lớn nhát).
Trong phần so sánh hiệu suất với các phương pháp SOTA, phương pháp đề xuất cho thấy hiệu suất đáng chú ý trong việc phát hiện ảnh tổng hợp. Cụ thể, khi so
sánh với các mô hình như Wang, CR, Grag và Lasted trên các bộ dir liệu từ ImageNet,
VISION, Danbooru và Artist, phương pháp đề xuất thường xuyên đạt được chỉ số ACC và AUC cao hơn. Ví dụ, với BigGAN trên ImageNet, phương pháp đề xuất đạt
45
Đô án tôt nghiệp Đại học
ACC 0.95218 va AUC 0.93204, cao hơn đáng ké so với Wang (ACC: 0.5510, AUC:
0.6299) va CR (ACC: 0.5525, AUC: 0.5954). Tương tu, trong trường hợp GauGAN và
StyleGAN, phương pháp đề xuất cũng cho thay sự vượt trội voi ACC va AUC cao hơn
các phương pháp khác.
Từ kết quả thực nghiệm trên có thê thấy rằng điểm mạnh của mô hình này là khả năng phân biệt hiệu quả và chính xác giữa ảnh thật và ảnh tổng hợp, như được minh họa qua các chỉ số ACC và AUC cao. Tóm lại, phương pháp được đề xuất không chỉ hiệu quả trong việc phát hiện ảnh tổng hợp mà còn cho thấy tiềm năng vượt trội so
với các phương pháp SOTA hiện tại.