Detecting Images Generated by Deep Diffusion Models using their Local Intrinsic Dimensionality
date
Jul 14, 2023
Last edited time
Jul 14, 2023 09:31 AM
status
Published
slug
Detecting-Images-Generated-by-Deep-Diffusion-Models-using-their-Local-Intrinsic-Dimensionality论文阅读
tags
DDPM
summary
type
Post
Field
Plat
Abstract
本文提出了一种名为轻量级多局部内在维度（multiLID）的方法，用于自动检测合成图像，还可以确定具体的生成模型。
当检测一张图像时，本文的 pipeline 包括以下三个步骤：
- 将输入图像传递到未经训练的 ResNet 中，并提取其特征。
- 对这些特征应用多局部内在维度（multiLID），这是局部内在维度（LID）的一种变体。
- 运行分类器以确定输入图像的类别。
我们表明，该方法可以成功区分真实图像和合成图像以及不同的 DM 生成器，同时需要相对较小的训练数据集。
总结一下，本文提出的方法可以训练来识别不同的模型，并且在每个数据集（如ADM）上训练模型以进行 DeepFake 检测时，仅需要800张合成样本，800张真实样本。但是存在一个问题，当仅在一个数据集上训练，在其他数据集上测试时，泛化性较差。
Method
由于在图像上直接应用 multiLID 会产生不令人满意的结果，我们首先使用未经训练的 ResNet18 从合成图像中提取低维特征。然后对这些提取的特征应用 multiLID，最后训练分类器，特别是随机森林模型。
LID
局部内在维度（Local Intrinsic Dimensionality）的缩写，是一种用于测量数据集的局部内在维度的方法。LID 的目标是测量数据集中每个点的局部内在维度，以便更好地理解数据集的结构。LID 的定义基于点与其最近邻之间的距离分布，它可以用来检测数据集中的异常点和噪声。
Exp
在单个数据集上的检测效果 & Robustness
Identification
本文的 Identification 能力是指使用 multiLID 方法对扩散生成的图像进行分类，以确定它们是由哪个生成器网络生成的。在本文中，作者使用了两个数据集进行 Identification 实验：CelebaHQ 和 LSUN-Cat。实验结果表明，multiLID 方法可以准确地识别出扩散生成的图像是由哪个生成器网络生成的。
Transferability
本文的 Transferability 是指将一个生成器网络训练的扩散生成的图像应用于另一个生成器网络，并检测其分类性能。实验结果表明，multiLID 方法的 Transferability 能力相对较低。
在 cross domain 时ACC 约 0.7。