目标检测和计算机视觉中的mAP指标
computer-vision
machine-learning
6
0

在计算机视觉和目标检测中,常用的评估方法是mAP。它是什么以及如何计算?

参考资料:
Stack Overflow
收藏
评论
共 5 个回答
高赞 时间 活跃

引文摘自上述Zisserman论文-4.2结果评估(第11页)

首先,“重叠标准”被定义为大于0.5的交叉重叠。 (例如,如果预测的盒子相对于地面真盒子满足此标准,则视为检测)。然后使用这种“贪婪”方法在GT盒和预测盒之间进行匹配:

将一种方法输出的检测结果分配给满足重叠标准的地面真相对象,并按(递减)置信度输出进行排序。图像中对同一对象的多次检测被认为是错误检测,例如,将单个对象的5次检测计为1次正确检测和4次错误检测

因此,每个预测的框都是“真”或“假”。每个地面真理框都是“正正”的。没有真否定词。

然后,通过平均召回范围为[0,0.1,...,1](例如11个精度值的平均值)的精确召回曲线上的精度值来计算平均精度。更精确地说,我们考虑略微校正的PR曲线,其中对于每个曲线点(p,r),如果存在不同的曲线点(p',r'),使得p'> p并且r'> = r ,我们用这些点的最大p'替换p。

对我来说仍然不清楚的是,那些从未被检测到的GT盒(即使置信度为0)会如何处理。这意味着存在某些召回值,精确度-召回曲线将永远无法达到,这使得上述平均精确度计算不确定。

编辑:

简短的答案:在无法召回的区域中,精度降至0。

一种解释的方法是假设当置信度的阈值接近0时,整个图像将无数个预测的边界框点亮。然后,精度立即变为0(因为只有有限数量的GT盒),并且召回率在此平坦曲线上不断增长,直到达到100%。

收藏
评论

mAP是平均平均精度。

在信息检索(参考[1] [2] )和多类分类(对象检测)设置领域,它的用法有所不同。

要为目标检测计算它,您需要根据模型预测为数据中的每个类别计算平均精度。平均精度与某个类的精度调用曲线下的面积有关。然后,将这些平均个体类别精度的平均值作为平均值。

要计算平均精度,请参阅[3]

收藏
评论

定义:mAP→平均平均精度

在大多数对象检测竞赛中,有许多类别要检测,并且模型评估每次都在一个特定类别上执行,评估结果是该类别的AP。

当评估每个类别时,将所有AP的平均值计算为模型的最终结果,即mAP。

收藏
评论

为了进行检测,确定一个对象建议书是否正确的一种常见方法是“ 联合路口” (IoU,IU)。这将采用建议的目标像素的集合A和真实目标像素的集合B并计算:

通常,IoU> 0.5表示这是命中,否则是失败。对于每个类别,可以计算出

  • True Positive TP(c):为c类提出了一个建议,实际上有一个c类对象
  • 误报FP(c):针对c类提出了建议,但没有c类对象
  • C级的平均精度:

那么,mAP(平均平均精度)为:

注意:如果需要更好的建议,则可以将IoU从0.5增加到更高的值(最理想的是增加到1.0)。可以用mAP @ p表示这一点,其中p \ in(0,1)是IoU。

mAP@[.5:.95]表示在多个阈值上计算了mAP,然后再次对其求平均

编辑:有关更多详细信息,请参阅COCO 评估指标

收藏
评论

我认为这里的重要部分是链接如何将对象检测视为与标准信息检索问题相同,对于该问题至少存在一个关于平均精度的出色描述

某些对象检测算法的输出是一组建议的边界框,并且每个边界框都有一个置信度和分类分数(每类一个分数)。现在让我们忽略分类分数,并使用置信度作为阈值二进制分类的输入。直观上,平均精度是阈值/截止值的所有选择的总和。可是等等;为了计算精度,我们需要知道一个盒子是否正确!

这是令人困惑/困难的地方;与典型的信息检索问题相反,我们实际上在这里有一个额外的分类级别。也就是说,我们无法在框之间进行精确匹配,因此我们需要对边界框是否正确进行分类。解决的方法是对包装盒尺寸进行硬编码分类。我们会检查它是否与任何基本事实充分重叠以被视为“正确”。这部分的阈值是根据常识选择的。您正在处理的数据集可能会定义“正确”边界框的阈值。大多数数据集只是将其设置为0.5 IoU ,然后保持该值不变 (我建议您进行一些手动IoU计算([不难],以了解0.5的IoU实际上有多严格)。

现在,我们已经定义了“正确”的含义,我们可以使用与信息检索相同的过程。

要找到平均平均精度(mAP),您只需根据与这些框相关的最大分类得分对建议的框进行分层,然后对各个类别的平均精度(AP)进行平均(取平均值)即可。

TLDR;在确定边界框预测是否为“正确”(分类的额外级别)与评估框的置信度为您提供“正确”边界框预测(完全类似于信息检索的情况)和以下方面的典型描述之间进行区分:行动计划将是有意义的。


值得注意的是, Precision / Recall曲线下的Area与平均precision相同 ,并且我们实际上是使用梯形或右手定则来近似该面积以近似积分。

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号