A Benchmark on Tricks for Large-scale Image Retrieval

摘要

  关于度量学习已进行了许多研究，而度量学习已成为实例级图像检索的最佳执行方法中的关键要素。同时，对可以显著提高性能的预处理和后处理技巧的关注较少。此外，我们发现大多数以前的研究都使用小型数据集来简化处理。由于深度学习模型中特征表示的行为取决于领域和数据，因此使用适当的检索技巧组合时，了解模型在大规模环境中的行为非常重要。在本文中，我们广泛分析了众所周知的预处理，后处理技巧及其组合对于大规模图像检索的效果。我们发现正确使用这些技巧可以显著改善模型性能，而无需复杂的体系结构或造成损失，正如在2019年Google Landmark检索挑战赛上获得竞争性结果所证实的那样。
1

1、引言

  随着度量学习技术的最新发展，已经进行了积极的研究[26、14、19、42、36]，旨在提高图像检索的模型性能。先前的大多数方法都集中在通过精心设计损失函数[35，46]和体系结构[22]来学习良好的表示方法，并针对诸如牛津5k [28]和巴黎6k [29]等相对较小规模的数据集评估其性能。这些数据集结构良好，可靠且足够小，易于处理。但是，在小型数据集上的高性能并不能保证对发现的模型进行泛化。尽管一些研究[25]尝试使用牛津105k [28]和巴黎106k [29]等数据集来研究大规模图像检索，但是我们发现大多数公共大规模数据集并不是真正的大。相反，它们通常由少量查询和索引图像以及大量不相关的图像用作干扰因素。此外，我们很少见有针对包含超过100K查询的数据集评估性能的工作，而该数据集实际上在查询和索引大小方面都是大规模的。原因很简单：从大量索引图像中查询超过100K图像非常耗时且计算量大。       另一方面，在预处理和后处理过程中使用的技巧[40、3、17、26]也对检索性能有重大影响。 F. Radenovic等。 [30]通过在主要处理之前和之后应用几种检索技巧，报告了性能的极大提高。尽管这些技巧很重要，但我们发现很少有论文讨论性能最佳的预处理和后处理技巧，尤其是在大型环境中。       在本文中，我们旨在分析当组合使用不同类型的预处理技巧和后处理技巧时，大规模数据集的检索性能如何变化。为此，我们设计了一个非常简单的模型，该模型不使用任何困难的工程（例如网络手术