Domain Generalization

date

Oct 15, 2024

Last edited time

Oct 15, 2024 05:44 AM

status

Published

slug

Domain Generalization - Part1

(ACM2022) Domain Generalization via Frequency-domain-based Feature Disentanglement and Interaction

本文的动机主要在于寻找一种方法来解决域泛化问题，即识别不同领域（domains）中的共享语义信息。具体来说，作者观察到图像的高频信息描述了对象的边缘结构，这在不同域之间是自然一致的；而低频成分则包含了对象的平滑结构，它保留了图像的更多能量分布，但是更具域特异性。为了验证这一点，作者计算了PACS数据集上不同域之间高频和低频图像的A-距离，并发现高频图像在不同域之间更为相似。

为了利用这些观察结果，作者对PACS数据集中同一类别的图像执行快速傅里叶变换（FFT），以获取它们的高通滤波版本和低通滤波版本。结果表明，高通滤波的成分不受域变化的影响，保留了我们希望保留的与域无关的语义。然而，高通滤波图像丢失了大部分图像能量，更容易受到背景边缘结构引起的噪声的影响，这使得前景和背景难以区分。相反，尽管低通滤波图像更具域特异性，它们仍然保留了大部分图像能量，例如对象位置信息。因此，低频信息可以作为高频信息的补充，在进行识别时协助高频信息。