Probabilistic Embedding

date

Oct 3, 2023

Last edited time

Oct 3, 2023 06:35 AM

status

Published

slug

Probabilistic Embedding - Part 1

(CVPR2021-PCME)Probabilistic Embeddings for Cross-Modal Retrieval

Probabilistic Embeddings for Cross-Modal Retrieval

Cross-modal retrieval methods build a common representation space for samples from multiple modalities, typically from the vision and the language domains. For images and their captions, the...

https://arxiv.org/abs/2101.05068

GitHub - naver-ai/pcme

Contribute to naver-ai/pcme development by creating an account on GitHub.

https://github.com/naver-ai/pcme

在本文中，我们认为确定性函数不能充分捕获到多种对应关系。相反，我们提出使用全概率交叉模态嵌入（PCME，概率跨模态嵌入），其中不同模态状态的样本在共同嵌入空间中表示为概率分布。

鉴于来自不同模态的查询和数据库，跨模态检索是检索与查询最相关的数据库项目的任务。通常，方法估计嵌入函数，将视觉和文本输入映射到共享嵌入空间，从而将跨模态检索任务归结为欧几里德空间中熟悉的最近邻检索任务。然而，共同表示必须处理这样一个事实，即一个图像可能与多个不同的描述相匹配。相反,给定一段描述,可能会有多个视觉形式的描述的表现形式。总之，需要建立一个用于图像和文本模式的共同表示空间，以建模个体的一对多映射。

依赖于常规函数的标准方法不能满足这一必要条件:它们只能量化一对一的关系。在这项工作中，我们提出了概率跨模态嵌入（PCME）。我们认为概率映射是一种有效的表示工具，它不需要像基于检测的方法那样显着地进行配对多表示，并且还提供了许多表示工具优点。首先，PCME提供了估计的不确定性，可以用于估计查询的开销或丢失的机会等有用的应用程序。其次，概率表示可以导致更丰富的嵌入空间，其中集合合代数是有意义的第三，PCME对确定性搜索系统具有互补性。

(CVPR2023)MAP: Multimodal Uncertainty-Aware Vision-Language Pre-training Model

MAP: Multimodal Uncertainty-Aware Vision-Language Pre-training Model

Multimodal semantic understanding often has to deal with uncertainty, which means the obtained messages tend to refer to multiple targets. Such uncertainty is problematic for our interpretation,...

https://arxiv.org/abs/2210.05335

GitHub - IIGROUP/MAP

Contribute to IIGROUP/MAP development by creating an account on GitHub.

https://github.com/IIGROUP/MAP

💡

对于两个模态的输入，先使用两个编码器得到两个概率分布。然后使用修改版（概率分布版）的对比学习对齐两个分布。这两个概率分布继续通过特征交互，最后完成D-ITM, D-MLM任务进行预训练。

在本文中，我们通过利用序列级交互，将所有模态的表示投影为概率分布，通过概率分布编码器（Probability Distribution Encoder，简称PDE）来建模这种不确定性。应用高斯分布是用于在表示空间中建模不确定性的突出方法之一。然而，在这些方法中，获得的不确定性取决于个体特征，而不是考虑整个特征之间的内在联系。为了利用这种联系，我们在用概率分布编码器（Probability Distribution Encoder，PDE）表述不确定性时隐含地对其进行建模。受到自注意机制的启发，我们在构建分布表示时，进一步添加了文本令牌和图像补丁之间的相互作用，以捕捉更多的信息。在图 1 (e) 中，我们提供了两种不同类型的表示来描述语言的不确定性，其中分布表示能够表达比传统的点表示更丰富的语义关系。分布方差衡量了对应文本的不确定性。作为副产品，分布表示实现了多样的生成，通过随机抽样提供多个合理的预测。

具体而言，PDE预测每个输入特征的均值向量（μ）和方差向量（σ2）。我们提出了基于分布的视觉-语言对比学习方法，称为 D-VLC，以在融合之前实现粗粒度语义对齐的总体单模态分布表示。

如何融合使用？

where , are mean vectors of vision and language [CLS] distributions. , are sample points and is the DITM classifier.

(ICLR2022-DSU)UNCERTAINTY MODELING FOR OUT-OF-DISTRIBUTION GENERALIZATION

GitHub - lixiaotong97/DSU: [ICLR 2022] Official pytorch implementation of "Uncertainty Modeling for Out-of-Distribution Generalization" in International Conference on Learning Representations (ICLR) 2022.

[ICLR 2022] Official pytorch implementation of &quot;Uncertainty Modeling for Out-of-Distribution Generalization&quot; in International Conference on Learning Representations (ICLR) 2022. -...

https://github.com/lixiaotong97/DSU

虽然在各种视觉任务中取得了显著进展，但深度神经网络在在分布场景外进行测试时仍然存在明显的性能下降问题。我们认为，特征统计量（均值和标准差）承载着训练数据的域特征，可以通过适当操作来提高深度学习模型的泛化能力。常见的方法通常将特征统计量视为从学到的特征中测量得到的确定值，并没有明确考虑由于潜在域漂移而导致的统计差异的不确定性。在本文中，我们通过在训练过程中使用合成特征统计量来建模域漂移的不确定性，从而改善网络的泛化能力。具体来说，我们假设经过考虑潜在不确定性的特征统计量遵循多元高斯分布。因此，每个特征统计量不再是确定值，而是具有各种分布可能性的概率点。通过使用不确定的特征统计量，可以训练模型以减轻域扰动，并更好地抵御潜在的域漂移。我们的方法可以轻松集成到网络中，不需要额外的参数。大量实验证明，我们提出的方法在多个视觉任务上始终提高了网络的泛化能力，包括图像分类、语义分割和实例检索。