【深度学习： Encord Active平台】Encord 中的数据、标签和模型质量指标

在使用数据集或开发机器学习模型时，经常会发现自己在查找或假设具有某些属性的数据子集、标签或模型预测。

质量指标是查找此类数据和检验假设的基础。

什么是质量指标？

核心概念是使用质量指标以结构化方式对相关主题进行索引、切片和分析，以便在不断启动主动学习周期时执行明智的行动。

具体示例：您假设对象“红色”会影响对象检测模型的 mAP 分数。为了测试这个假设，您定义一个质量指标来捕获数据集中每个对象的红色度。根据质量指标，您可以对数据进行切片，以比较红色和非红色对象上的模型性能。

定义质量指标

考虑计算机视觉质量指标的最佳方法是：

为数据集中的各个数据点、标签或模型预测分配值的任何函数。

根据设计，质量度量是一类非常抽象的函数，因为随附的方法对于质量度量所表达的特定属性是不可知的。无论具体的质量指标如何，您都可以：

• 根据指标对数据进行排序
• 对数据进行切片以检查特定子集
• 找出异常值
• 将训练数据与生产数据进行比较以检测数据漂移
• 根据指标评估模型性能
• 定义模型测试用例
• 以及更多

专业提示：尝试阅读本文的其余部分，并考虑根据质量指标对数据、标签和模型预测进行“索引”。下面提到的指标只是质量指标可以捕获的冰山一角。每个项目都有自己的具体指标需要考虑和考虑。

数据质量指标

数据质量指标是那些仅需要有关数据本身的信息的指标。在计算机视觉领域中，这意味着没有任何标签的原始图像或视频帧。这个质量指标子集通常在机器学习项目开始时经常使用，其中标签很少甚至可能不存在。

以下是数据质量指标的一些示例，从简单到复杂：

图像亮度作为 Encord 上 MS COCO 验证数据集的数据质量指标。

图像奇异性作为 Encord 上 MS COCO 验证数据集的数据质量指标。

标签质量指标

标签质量指标适用于标签。一些指标使用图像内容，而另一些指标仅适用于标签信息。标签质量指标有多种用途，但一些更常见的用途是显示标签错误、模型故障模式和评估注释器性能。

以下是标签质量指标的一些具体示例，从简单到复杂：

Encord 上的 MS COCO 验证数据集上的对象计数作为标签质量指标。

注释重复作为 Encord 上 MS COCO 验证数据集的标签质量指标。

模型质量指标

模型质量指标还考虑模型预测。这些指标最明显的用例是获取函数，回答“接下来我应该标记什么？”的问题。有许多智能方法可以利用模型预测来回答这个问题。以下是一些最常见的列表：

使用模型置信度作为 Encord 上 MS COCO 验证数据集的模型质量指标。它显示置信度在 50% 到 80% 之间的预测。

使用多边形形状相似度作为 Encord 上 MS COCO 验证数据集的模型质量指标。它根据 Hu 矩，根据对象与前一帧中的实例的相似程度对对象进行排名。物体的形状变化越多，其得分就越低。

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】