(Arxiv2023)GenDet: Towards Good Generalizations for AI-Generated Image Detection
date
Jan 1, 2024
Last edited time
Jan 1, 2024 03:26 PM
status
Published
slug
(Arxiv2023)GenDet: Towards Good Generalizations for AI-Generated Image Detection
tags
summary
type
Post
origin
Field
Plat
过去的方法在面对未知生成器的样本时，其泛化能力较差。因此，本文将生成图像检测任务视为异常检测，并提出了一种对抗式师生差异感知框架来解决未见生成器检测问题。我们的方法鼓励师生模型在处理真实图像时产生更小的输出差异，同时在处理虚假图像时产生更大的差异。为了实现这一点，我们采用对抗学习来训练一个特征增强器，在输入为虚假图像时促使师生网络之间产生更小的差异。
這就是我之前想做的把图像检测任务视为异常检测，并把異常樣本數據使用的方式
教师-学生模型方法在众多异常检测方法中被广泛验证为有效的异常检测解决方案。该方法通过仅使用正常样本来最小化教师和学生之间的输出差异，而在训练过程中未见过异常数据。因此，当输入正常样本时，输出差异很小，而当输入各种异常样本时，输出差异很大。
从直观上看，教师-学生异常检测框架非常适用于我们的任务。然而，将此框架直接应用于AI生成图像的检测并没有充分利用来自假图像的信息。
具体来说，我们首先使用二分类器作为教师进行训练。根据教师-学生学习方案，我们输入真实图像并训练学生以最小化与教师之间的输出差异。我们还利用训练集中的假图像，使用增强的假图像作为输入，最大化学生和教师之间的输出差异。
广义特征增强的目标是推广由已见生成器生成的假图像中提取的特征。特征增强器的训练目标是最小化教师和学生输出之间的差异。这增加了在推理过程中输入未见的假图像时观察到较大差异的概率。检测器的输出基于教师和学生之间的差异。通过以对抗学习的方式迭代地训练上述三个阶段，检测器的输出结果在输入真实图像时较小，在输入由已见或未见生成器生成的图像时较大。差异增加了检测的便利性。
是的，那其實直接分類的方法也可以套一個單分類的方法，然後使用 Real/Fake 樣本送入這個單分類器，將提取到的特徵進行二分類。
Method
Teacher-Student Discrepancy-Aware Learning
对于每个图像，我们首先使用预训练的特征提取器获取图像特征并将该特征用于后续模型训练。我们将真实图像的特征表示为，将伪造图像的特征表示为，其中表示真实图像，表示伪造图像。我们先使用交叉熵损失函数在训练集上对一个教师网络进行二分类训练。
然后，固定，并通过教师网络的指导使用两种差异损失函数对学生网络进行训练。我们将真实特征输入教师网络，并得到输出。我们也将特征输入学生网络，并得到输出。为了使真实和伪造图像更容易区分，我们鼓励和的输出在输入为真实图像时存在较小的差异。这个小差异通过应用目标函数实现：
当输入为假图像时，和的差异应该很大。我们固定教师网络和特征增强器，让两个网络的输出相似。我们最小化损失函数。具体表达如下：
其中，，。我们使用超参数边界 作为正则化项，该项反映了教师和学生之间期望的增益数据和已有虚假数据之间的最小差距。当差距大于 时，损失变为0。假图像的特征在训练阶段经历特征增广。通过这个损失函数，在输入为虚假图像时很可能保留教师和学生之间的大输出差异。
一个异常检测的loss
Generalized Feature Augmentation
利用虚假样本来改进师生模型的异常检测能力可以实现两个目标：一是在面对真实图像时产生较小的输出差异，二是在面对虚假图像时增加输出差异。然而，这种显著的输出差异可能只在处理数据集中已经遇到的生成器生成的虚假图像时存在，可能无法在未见生成器时保持。
使用对抗的方式生成更贴近real的样本，这也是我之前想做的
我们将广义特征增强转化为一个对抗学习框架，如图2(c)所示。我们提出了一个类似生成器的特征增强器。具体而言，我们固定了教师和学生，并训练了广义特征生成器。教师和学生的输出差异是对抗引导。当差异很大时，这种特征增强已经被训练集中现有的生成器所见过。为了让生成的特征与训练集中现有生成器生成的特征更不同，我们训练特征增强器生成教师和学生的输入特征，使得输出差异尽可能小。特征增强器增加了将虚假图像作为教师和学生的输入时保持大的输出差异的难度。这有助于在前一阶段训练学生，以便他们能够对各种虚假输入保持与输出教师网络的大差异。与图像增强器的设计相比，图像首先输入增强器，然后输入特征提取器。使用特征增强器的设计可以在训练阶段之前存储特征提取器的输出。使用存储的特征可以在不需要计算代价高昂的特征提取器的前向计算的情况下训练教师和学生模型，从而节省了模型的训练成本。
一旦教师和学生经过训练，我们将使用教师和学生的差异作为输入来训练二进制分类器 ，其输出是对真实和伪造图像的预测。
Exp
两个分开测了，没有合到一张表里。
Ojha 73.2 84.2 84.0 55.2 76.9 75.6 56.9 80.3 → 73.3
MyImp 83.4 94.4 94.3 58.0 76.3 86.1 56.3 63.5 → 76.5
有点怀疑这个指标是否正确了。我的方法平均Acc为0.85（相同的设置下）
Robust
