如何在Mathematica中找到Waldo?
image-processing
5
0

这个周末让我烦恼:什么是解决“瓦尔多在哪里”的好方法 [北美以外的'Wally' ]使用Mathematica(图像处理和其他功能)感到困惑吗?

到目前为止,这是我所拥有的功能,该功能通过使某些非红色变暗来稍微降低视觉复杂性:

whereIsWaldo[url_] := Module[{waldo, waldo2, waldoMask},
    waldo = Import[url];
    waldo2 = Image[ImageData[
        waldo] /. {{r_, g_, b_} /;
          Not[r > .7 && g < .3 && b < .3] :> {0, 0,
          0}, {r_, g_, b_} /; (r > .7 && g < .3 && b < .3) :> {1, 1,
          1}}];
    waldoMask = Closing[waldo2, 4];
    ImageCompose[waldo, {waldoMask, .5}]
]

还有一个“可行”的URL示例:

whereIsWaldo["http://www.findwaldo.com/fankit/graphics/IntlManOfLiterature/Scenes/DepartmentStore.jpg"]

(沃尔多在收银机旁):

Mathematica图形

参考资料:
Stack Overflow
收藏
评论
共 5 个回答
高赞 时间 活跃

我有一个使用OpenCV查找Waldo的快速解决方案。

我使用OpenCV中可用的模板匹配功能来查找Waldo。

为此,需要一个模板。因此,我从原始图像中裁剪了Waldo并将其用作模板。

在此处输入图片说明

接下来,我将cv2.matchTemplate()函数与归一化的相关系数一起用作调用的方法。如下面的白色所示(在左上角的某处),它在单个区域返回的概率很高:

在此处输入图片说明

使用cv2.minMaxLoc()函数找到了最高可能区域的位置,然后使用该函数绘制矩形以突出显示Waldo:

在此处输入图片说明

收藏
评论

我不认识Mathematica。 。 。太糟糕了。但在大多数情况下,我喜欢上述答案。

仅仅依靠条纹来收集答案仍然存在一个重大缺陷(我个人没有一个手动调整的问题)。有一个示例(由Brett Champion列出, 在此处 )显示该示例有时会破坏衬衫样式。因此,它变成了更复杂的模式。

我会尝试使用形状ID和颜色以及空间关系的方法。就像人脸识别一样,您可以按一定比例查找几何图案。需要注意的是,通常会阻塞这些形状中的一个或多个形状。

在图像上获得白平衡,并从图像中获得红色平衡。我相信Waldo始终是相同的值/色相,但是图像可能来自扫描或不良副本。然后,请始终参考Waldo实际使用的颜色数组:红色,白色,深棕色,蓝色,桃红色,{鞋子颜色}。

有衬衫的图案,还有定义Waldo的裤子,眼镜,头发,脸,鞋子和帽子。此外,相对于图像中的其他人,Waldo处于瘦弱的一面。

因此,在这张照片中,找到随机的人以获得人的高度。在图像中的随机点测量一堆东西的平均高度(简单的轮廓会产生很多个人)。如果每个事物彼此之间的标准偏差都不在一定范围内,则暂时将其忽略。比较平均高度与图像高度。如果比率太大(例如1:2、1:4或类似的比率),请重试。运行10次(?),以确保所有样本都非常接近,不包括任何超出标准偏差的平均值。在Mathematica中可能吗?

这是您的Waldo尺寸。 Walso很瘦,所以您正在寻找5:1或6:1(或其他)ht:wd的东西。但是,这还不够。如果Waldo被部分隐藏,则高度可能会改变。因此,您正在寻找约2:1的红白色块。但是必须有更多指标。

  1. 沃尔多有眼镜。在红白色上方搜索0.5:1的两个圆圈。
  2. 蓝色的裤子。在红白底端与脚之间的距离内,在相同宽度内的任意数量的蓝色。请注意,他的衬衫穿得短,所以脚不要太紧。
  3. 帽子。红白色,距离不超过他头顶的两倍。请注意,它下面必须有一头黑发,可能还有眼镜。
  4. 长袖。红白色与主红白色成一定角度。
  5. 黑头发。
  6. 鞋的颜色。我不知道颜色。

这些都可以适用。这些也是对图片中相似人物的否定检查-例如,#2否定穿着红白色围裙(太靠近鞋子),#5否定浅色头发。同样,形状只是这些测试中每一项的指标。 。 。在指定距离内单独使用颜色可以提供良好的效果。

这将缩小要处理的区域。

存储这些结果将产生一组应该包含Waldo的区域。排除所有其他区域(例如,对于每个区域,选择一个比普通人大两倍的圆圈),然后运行@Heike布置的过程,除去所有红色,以此类推。

关于如何编写代码有什么想法?


编辑:

关于如何编写此代码的思考。 。 。排除沃尔多(Waldo)红色以外的所有区域,对红色区域进行骨架化,然后将它们修剪到一个点。对于Waldo头发棕色,Waldo裤子蓝色,Waldo鞋子颜色也是如此。对于Waldo肤色,排除后找到轮廓。

接下来,排除非红色区域,扩大(大量)所有红色区域,然后进行骨架化和修剪。这部分将给出可能的Waldo中心点的列表。这将是比较所有其他Waldo颜色部分的标记。

从这里开始,使用带骨架的红色区域(而不是膨胀的红色区域),计算每个区域中的线。如果有正确的数字(四个,对吗?),则肯定是可能的区域。如果不是的话,我想就把它排除在外了(作为沃尔多中心……那可能仍然是他的帽子)。

然后检查上方是否有面部形状,上方是否有头发点,下方是否有裤子点,下方是否有鞋子点等等。

尚无代码-仍在阅读文档。

收藏
评论

我的猜测是“做到这一点的防弹方式”(想想CIA随时都能在任何卫星图像中找到Waldo,而不仅仅是没有竞争元素的单个图像,例如条纹衬衫)...我会在许多Waldo图像上训练Boltzmann机器 -他的坐姿,站立姿势,被遮挡姿势等的所有变化;衬衫,帽子,相机和所有作品。您不需要庞大的Waldos语料库(也许3-5个就足够了),但越多越好。

这会将概率云分配给以任何正确排列出现的各种元素,然后(通过分段)确定平均物体大小是什么,将源图像分解为最类似于单个人的物体单元(考虑可能的遮挡和姿势变化) ),但由于Waldo图片通常包含许多大约相同比例的人物,因此这应该是非常容易的任务,然后将这部分预训练的Boltzmann机器输入。它会给您每个人都是Waldo的可能性。以最高的概率。

今天,这就是OCR,邮政编码读取器和无笔迹手写识别的工作方式。基本上,您知道答案在那里,您或多或少知道它的外观,并且其他所有内容可能都有共同的元素,但绝对是“ not it”,因此您不必理会“ not it”,您只需看一下您之前见过的所有可能的“ it”中的“ it”的可能性即可(例如,在邮政编码中,您训练BM的时间仅为1s,2s,3s等),然后分别喂入数字到每台机器,然后选择一个最有信心的机器。这比所有数字的单个神经网络学习功能要好得多。

收藏
评论

我同意@GregoryKlopper的观点,解决在任意图像中找到Waldo(或任何感兴趣的对象)的一般问题的正确方法是训练有监督的机器学习分类器。使用许多带有正面和负面标记的示例,可能会训练诸如支持向量机Boosted Decision Stump或Boltzmann机之类的算法来实现此问题的高精度。 Mathematica甚至将这些算法包括在其机器学习框架中

训练Waldo分类器的两个挑战是:

  1. 确定正确的图像特征变换。这就是@Heike的答案有用的地方:红色滤镜和剥离的图案检测器(例如,小波或DCT分解)将是将原始像素转换成分类算法可以学习的格式的好方法。还需要对图像的所有子部分进行评估的基于块的分解……但是,由于Waldo a)总是大致相同的大小,b)始终在每个图像中仅出现一次,这一点变得更加容易。
  2. 获得足够的培训示例。 SVM最好与每个类至少100个示例一起使用。数以百万计的正面和负面例子训练了增强的商业应用(例如,数码相机中的面部对焦)。

快速的Google图片搜索会发现一些好的数据-我将立即收集一些培训示例并立即进行编码!

但是,即使是机器学习方法(或@iND建议的基于规则的方法)也将难以获得Waldos之类的形象

收藏
评论

我找到沃尔多了!

瓦尔多被发现

我是如何做到的

首先,我要过滤掉所有不是红色的颜色

waldo = Import["http://www.findwaldo.com/fankit/graphics/IntlManOfLiterature/Scenes/DepartmentStore.jpg"];
red = Fold[ImageSubtract, #[[1]], Rest[#]] &@ColorSeparate[waldo];

接下来,我正在使用简单的黑白图案计算此图像的相关性,以找到衬衫中的红色和白色过渡。

corr = ImageCorrelate[red, 
   Image@Join[ConstantArray[1, {2, 4}], ConstantArray[0, {2, 4}]], 
   NormalizedSquaredEuclideanDistance];

我使用Binarize挑选出具有足够高相关性的图像像素,并在其周围绘制白色圆圈以使用Dilation强调它们

pos = Dilation[ColorNegate[Binarize[corr, .12]], DiskMatrix[30]];

我必须和水平玩一些。如果水平太高,则会挑出太多的误报。

最后,我将此结果与原始图像结合起来得到上面的结果

found = ImageMultiply[waldo, ImageAdd[ColorConvert[pos, "GrayLevel"], .5]]
收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号