与“细分”和“场景标记”相比,“语义细分”是什么?
computer-vision
image-processing
image-segmentation
object-detection
5
0

语义分割是仅仅是“白痴”,还是“语义分割”和“分割”之间有区别? “场景标签”或“场景解析”有什么区别吗?

像素级分割和像素级分割有什么区别?

(旁问:当您具有这种像素级注释时,是否可以免费获得对象检测,或者还有什么事情要做?)

请提供您的定义来源。

使用“语义细分”的来源

  • Jonathan Long,Evan Shelhamer,Trevor Darrell: 用于语义分割的完全卷积网络 。 2015年的CVPR和2016年的PAMI
  • Hong,Seunghoon,Hyeonwoo Noh和Bohyung Han:“去耦深度神经网络用于半监督语义分割。” arXiv预印本arXiv:1506.04924,2015
  • V. Lempitsky,A。Vedaldi和A. Zisserman:用于语义分割的塔模型。 《神经信息处理系统进展》,2011年。

使用“场景标签”的来源

使用“像素级”的来源

  • Pinheiro,Pedro O.和Ronan Collobert:“从卷积网络的图像级到像素级标签。” IEEE计算机视觉和模式识别会议的论文集,2015年。(请参阅http://arxiv.org/abs/1411.6228

使用“ pixelwise”的源

Google Ngrams

近年来,“语义细分”似乎比“场景标记”使用更多

在此处输入图片说明

参考资料:
Stack Overflow
收藏
评论
共 3 个回答
高赞 时间 活跃

我读了很多有关对象检测,对象识别,对象分割,图像分割和语义图像分割的论文,这是我得出的结论,但可能不正确:

对象识别:在给定图像中,您必须检测所有对象(对象的受限类取决于您的数据集),使用边界框将其本地化,并用标签标记该边界框。在下图中,您将看到一个最新的对象识别状态的简单输出。

物体识别

对象检测:类似于对象识别,但是在此任务中,您只有两类对象分类,即对象边界框和非对象边界框。例如,汽车检测:您必须使用给定的边界框来检测给定图像中的所有汽车。

物体检测

对象分割:与对象识别类似,您将识别图像中的所有对象,但输出应显示该对象,以对图像的像素进行分类。

对象分割

图像分割:在图像分割中,您将分割图像的区域。您的输出将不会标记彼此一致的图像的片段和区域应在同一片段中。从图像中提取超像素是此任务或前景背景分割的一个示例。

图像分割

语义分割:在语义分割中,您必须使用一类对象(汽车,人物,狗等)和非对象(水,天空,道路等)标记每个像素。换句话说,在语义分割中,您将标记图像的每个区域。

语义分割

我认为像素级和像素级标记基本上可以是图像分割或语义分割。我也同样在此链接中回答了您的问题。

收藏
评论

“分段”是将图像划分为几个“连贯”的部分,但是没有试图理解这些部分代表什么的尝试。最著名的作品之一(但绝对不是第一件)是Shi和Malik的“ Normalized Cuts and Image Segmentation”(标准化切割和图像分割)PAMI 2000 。这些工作试图根据低级提示(例如颜色,纹理和边界的平滑度)来定义“连贯性”。您可以将这些著作追溯到格式塔理论

另一方面, “语义分割”试图将图像划分为语义上有意义的部分, 并将每个部分分类为预定类别之一。您还可以通过对每个像素(而不是整个图像/段)进行分类来实现相同的目标。在这种情况下,您要按像素进行分类,这将导致相同的最终结果,但路径略有不同...

因此,我想您可以说“语义分割”,“场景标记”和“按像素分类”基本上是在试图实现相同的目标:从语义上理解图像中每个像素的作用。您可以采取许多途径来实现该目标,这些途径会导致术语上的细微差别。

收藏
评论

先前的答案确实很棒,我想指出更多补充内容:

对象分割

之所以在研究界不受欢迎的原因之一是因为它存在问题。对象分割过去只是意味着在图像中找到单个或少量对象并在它们周围绘制边界,对于大多数目的,您仍然可以假设这意味着这一点。但是,它也开始用于表示可能是对象的Blob分割, 从背景进行对象分割(现在通常称为背景减法或背景分割或前景检测),甚至在某些情况下也可以与使用边界框(随着深度神经网络方法的出现,这一点很快就消失了,但是事先的对象识别也可能意味着简单地在其中标记了整个图像)。

是什么使“分段”“语义”?

Simpy,每个片段,或者在采用深层方法的情况下,每个像素都基于一个类别被赋予一个类别标签。一般而言,分割只是按照某些规则对图像进行分割。例如, 均值漂移分割可以根据图像能量的变化从非常高的水平划分数据。同样,无法学习基于图割的分割,而是直接从与其余图像分开的每个图像的属性中得出的。最近的(基于神经网络的)方法使用标记的像素来学习识别与特定类别关联的局部特征,然后根据哪个类别对该像素具有最高置信度来对每个像素进行分类。这样,“像素标记”实际上是任务的更真实的名称,并且出现了“细分”组件。

实例细分

可以说,对象分割是最困难,最相关和最原始的含义,“实例分割”是指场景中各个对象的分割,无论它们是否是同一类型。但是,这样做如此困难的原因之一是,从视觉角度(从某种角度来说,从哲学角度而言),使“对象”实例构成什么的原因还不是很清楚。身体部位是否物体?这样的“零件对象”是否应该通过实例分割算法进行分割?如果仅将它们与整体分开看,是否应该将它们细分?对于复合物体,应该清楚地将两个物体连接在一起但又可以分开的是一个物体还是两个物体(除非正确制作,否则岩石是用斧头,锤子还是棍棒和石头粘在棍子顶部的)?另外,不清楚如何区分实例。遗嘱实例是否会与其连接的其他墙壁分开?实例应以什么顺序计算?当他们出现?接近观点?尽管存在这些困难,但对象的分割仍然很重要,因为作为人类,我们始终在与对象互动,而不管它们的“类别标签”如何(使用您周围的随机对象作为纸张重量,坐在不是椅子的东西上),因此某些数据集确实试图解决该问题,但是尚未对该问题给予足够重视的主要原因是因为对它的定义不够好。 在此处输入图片说明

场景解析/场景标签

场景解析是场景标记的严格分割方法,它本身也存在一些模糊性问题。从历史上看,场景标记的意思是将整个“场景”(图像)划分为多个片段,并为它们赋予所有的类标记。但是,它也用于表示为图像的区域提供类标签,而无需对其进行明确的分段。关于分割,“语义分割” 并不意味着分割整个场景。对于语义分割,该算法旨在仅分割其已知的对象,并且会因其丢失函数而对没有标签的像素进行标记而受到惩罚。例如,MS-COCO数据集是用于语义分割的数据集,其中仅对某些对象进行了分割。 MS-COCO样本图像

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号