(ICCV2023)UCF: Uncovering Common Features for Generalizable Deepfake Detection
date
Jan 1, 2024
Last edited time
Jan 1, 2024 03:23 PM
status
Published
slug
UCF 论文阅读
tags
summary
type
Post
origin
Field
Plat
由于对于新型伪造的推广具有困难，深度伪造检测仍然是一项具有挑战性的任务。这个问题的主要原因在于现有的检测方法对于与伪造无关的特征和特定方法的模式过度拟合。
本文提出了一种新颖的方法来解决通过揭示常见伪造特征来解决两种过拟合问题。具体而言，我们首先提出了一个解缠结框架，将图像信息分解为三个不同的组成部分：与伪造无关的、特定于方法的伪造以及常见的伪造特征。为了确保方法特定和常见的伪造特征的解耦，采用了多任务学习策略，包括多类别分类预测伪造方法的类别和二进制分类区分真伪。此外，设计了一个条件解码器，利用伪造特征作为条件以及与伪造无关的特征生成重建图像。此外，提出了一种对比正则化技术，以促进常见和特定的伪造特征的解耦。最终，我们只利用常见的伪造特征来进行可泛化的深度伪造检测。
为了验证我们的想法，我们在图2中进行了t-SNE可视化，展示了基线和我们的特定组件实际上学习了特定方法的纹理，而我们的共同组件能够捕捉到伪造物中的共同特征。
Method
我们的框架旨在将输入解开成内容、特定和常见的伪造特征。通过仅利用常见的伪造特征进行检测，我们的框架可以帮助提高深度伪造检测器的泛化能力，并避免伪造不相关和特定方法特征的过拟合。
- 我们的解码器（见图4）通过一系列上采样和卷积层利用图像的内容和指纹来重建图像。
一般来说，我们的框架中有两种重构类型：自重构和交叉重构。对于自重构，我们将解码器D应用于从同一图像编码的内容和指纹，以重构相应的图像，公式如下：
- 对于分类，我们提出了两种不同的分类损失。首先，我们提出了一种使用交叉熵计算的二元分类损失，用于指导模型学习不同伪造方法的共同特征。此外，我们还提出了一种方法特定模式的学习损失，通过引导模型识别应用于伪造图像的具体伪造方法。
- 此外，我们还引入了条件解码器和对比正则化损失，以进一步帮助解缠并增强框架的泛化能力。对比正则化损失的目标是优化图像之间的相似度和差异度测量。
一个异常检测的损失
Exp
