Generalizing Face Forgery Detection with High-frequency Features 论文阅读

Generalizing Face Forgery Detection with High-frequency Features

Current face forgery detection methods achieve high accuracy under the within-database scenario where training and testing forgeries are synthesized by the same algorithm. However, few of them gain satisfying performance under the cross-database scenario where training and testing forgeries are synthesized by different algorithms. In this paper, we find that current CNN-based detectors tend to overfit to method-specific color textures and thus fail to generalize.

https://ieeexplore.ieee.org/document/9578868/

Abstract

• Problem



当前的人脸伪造检测方法在训练和测试伪造由相同算法合成的数据库内场景下实现了高精度。然而，在训练和测试伪造由不同算法合成的跨数据库场景下，很少能够获得令人满意的性能。
人脸伪造检测的泛化性问题是由于不同操作技术产生的数据分布多样化，具有高数据库内检测精度的方法在跨数据库场景中总是会出现严重的性能下降，从而限制了更广泛的应用。

• Analysis
我们发现当前基于 CNN 的检测器倾向于过度拟合特定于方法的颜色纹理，因此无法泛化。观察到高频噪声可以抑制图像纹理并暴露篡改区域和真实区域之间的统计差异，我们建议利用噪声来解决过度拟合问题。

• Method
1. 首先是多尺度高频特征提取模块。我们采用 SRM 中广泛使用的高通滤波器来从图像中提取高频噪声。
2. 同时使用高频噪声和低频纹理(RGB)，我们构建了一个双流网络来处理两种模式。
3. 应用 residual guided spatial attention，引导 RGB 模态更加重视伪造痕迹。
4. 设计了一个双重跨模式注意模块来制定两种模式之间的交互，而不是让它们保持独立。

Analysis

Why current methods fail to generalize?

What is common in forged face images?

SRM Noise

1. 不仅要注意与纹理相关的特征，还要注意与纹理无关的特征。

2. 能够发现被篡改的人脸和原始背景之间的差异。

Method

Multi-scale High-frequency Feature Extraction

Residual Guided Spatial Attention

Dual Cross-modality Attention

Experiments

Result

Ablation Study