Self-supervised Learning of Adversarial Example: Towards Good Generalizations for Deepfake Detection
date
Sep 26, 2022
Last edited time
Mar 27, 2023 08:47 AM
status
Published
slug
Self-supervised_Learning_of_Adversarial_Example:Towards_Good_Generalizations_for_Deepfake_Detection
tags
DL
CV
DeepFake
summary
这篇文章开头提出目前的伪造检测算法，在训练集与测试集都是使用同一个伪造生成算法的情况下，检测效果很好。（即普通DeepFakes训练过程中的判别器，其输入的假图像分布一致，都是由同一个生成器生成的）这篇文章使用的GAN结构与DeepFakes不同，其使用设计的算法生成不同方式伪造的假图像，再由判别器判断是否为假图像。
为了提高伪造效果，使用对抗方法来生成判别器鉴别困难的伪造配置。另外，引入多任务学习来提高学习效率，判别器还要判断输入假图像的伪造配置。
type
Post
Field
Plat
这篇文章开头提出目前的伪造检测算法，在训练集与测试集都是使用同一个伪造生成算法的情况下，检测效果很好。（即普通DeepFakes训练过程中的判别器，其输入的假图像分布一致，都是由同一个生成器生成的）这篇文章使用的GAN结构与DeepFakes不同，其使用设计的算法生成不同方式伪造的假图像，再由判别器判断是否为假图像。
为了提高伪造效果，使用对抗方法来生成判别器鉴别困难的伪造配置。另外，引入多任务学习来提高学习效率，判别器还要判断输入假图像的伪造配置。
概述
这篇论文使用对抗数据增强基准和自监督方法提出了一个人脸伪造算法，通过对抗学习去生成增强不同类型的人脸伪造数据及对应的伪造配置 {构成伪造合成器，即生成器} ，再使用这些数据及对应的伪造配置通过多任务自监督方法去判断类别及对应的伪造配置 {构成伪造检测器，即鉴别器}。通过生成器与鉴别器的对抗学习去丰富增强伪造类型，提高模型的泛化能力。其中伪造配置有三个类别：选择的区域 {region selection，}，选择的混合类型 {blennding type selection，} 和混合比 {blending ratio，} 。其中混合比 只有在选择的混合类型为 mixup 时才不为 0，并且当输入为原始伪造图像时，合成过程将跳过，对应的配置将使用数据库官方提供的原始配置。
方法
1. 选择空间及合成伪造图
假设原始真图与原始参考图分别是 和 ，生成器为
，确定了一个伪造的脸部区域。
，确定了一个混合类型，对这两幅图进行混合。
，确定了当 为 mixup 时的混合比例
合成的 图像计算公式如下：
其中 为最终的变换模板， 为 Hadamard 乘积。
2. 带自监督任务的联合训练
该论文设计了一个多任务方法去训练模型，该多任务方法分为一个主任务和一个富足自监督任务集，辅助自监督任务集通过预测估计伪造配置如选择的区域、选择的混合类型以及混合比来进行辅助监督模型。
——主任务损失
使用 AM-Softmax Loss 代替传统的二元监督 BCE，匹配较小的类内差异，较大的类间差异。
——伪造区域估计损失
使用一个伪造区域预测头去生成一个 的伪造区域模板
真实伪造区域模板 可分为三类
则损失 为：
其中 为检测网络估计的区域图。
——混合类型估计损失
与伪造区域估计类似，真实混合类型 也随着输入类型的变化而变化
类似的，使用 AM-Softmax Loss 去计算
——混合比估计损失
由于混合比只当混合类型为 mixup 时才有效，因此真实混合比 当输入为合成的对抗伪造图且混合类型为 mixup 时，其他的情况则为 0. 因此损失函数 为：
其中 为估计的混合比， 为二元值 {当 时为 ，否则为 )
3. 对抗训练
通过最大化生成器损失，最小化鉴别器损失来进行对抗训练。其优化目标为：
首先固定当前生成器参数 ，设定学习率 与 batch size 为 ，那么梯度更新为：
生成器的设定目的是增加鉴别器的训练损失，鼓励鉴别器学习更泛化的特征，因此生成器是一个最大化问题：
然而从 到 可能存在破坏梯度流的不可微操作，因此论文使用 REINFORCE 算法去估计 θ 的梯度：
其中 ， 作为一个 batch 中所选配置系列的数目， 为 和 的概率（由生成器 估计而来）。
4. 实现细节
以 Xception 为骨干网， 和 ，使用 Adam 优化器进行优化。