3D重建—如何从2D图像创建3D模型?
image-processing
language-agnostic
7
0

如果我使用相机拍照,那么我知道从相机到物体的距离(例如房屋的比例模型), 我想将其转换为可以操纵的3D模型,以便对其进行评论房子的不同部分。

如果我坐下来考虑拍摄一张以上的图片,标注方向和距离,我应该能够弄清楚该怎么做,但是,我想问一问有人是否可以提供一些有助于解释更多内容的论文。

您正在使用哪种语言解释都没有关系,因为我正在寻找最佳方法。

现在,我正在考虑展示房屋,然后用户可以对高度进行一些辅助,例如从摄像机到模型那部分顶部的距离,并且如果有足够的空间,就有可能开始计算高度其余的,特别是如果有一个自上而下的图像,则从四个侧面的角度拍摄图片,以计算相对高度。

然后,零件的颜色需要不同,以帮助分离出我期望的模型的各个零件。

参考资料:
Stack Overflow
收藏
评论
共 5 个回答
高赞 时间 活跃

请查看Deadalus Project ,尽管该网站没有包含有关解决方案的说明性信息的画廊,但它发布了几篇论文和有关工作方法的信息。

我观看了该项目主要研究人员之一(Roger Hubbold)的演讲,图像结果非常出色!虽然是一个复杂而长期的问题。要获得3D数据的近似值,需要考虑很多棘手的细节,例如从墙表面获取3D信息,其工作原理如下:拍摄具有正常场景照明的照片,然后在全闪光激活的情况下在相同位置重新拍摄照片,然后将两个图像相减,然后将结果除以预先拍摄的闪光校准图像,将盒式滤波器应用于此新结果,然后进行后处理以估计深度值,整个本文详细解释了过程(也在项目网站上发布/引用)

收藏
评论

Google Sketchup (免费)具有照片匹配工具 ,可让您拍摄照片并匹配其角度以进行建模。

编辑:看来您有兴趣开发自己的解决方案。我以为您正在尝试在单个实例中获取图像的3D模型。如果这个答案没有帮助,我深表歉意。

收藏
评论

研究取得了重大进展,如今,可以从2D图像中获得漂亮的3D形状。例如,在我们最近的研究工作中,“ 通过使用深度生成网络对多视图深度图和轮廓建模来合成3D形状 ”迈出了一大步,解决了从2D图像获取3D形状的问题。在我们的工作中,我们证明了您不仅可以直接从2D转换为3D并获得良好的近似3D重建,而且还可以有效地学习3D形状的分布并生成/合成3D形状。以下是我们的工作图像,显示即使从单个轮廓或深度图(左侧),我们也可以进行3D重建 。真实的3D形状显示在右侧。

在此处输入图片说明

我们采用的方法在认知科学或大脑工作方式方面做出了一些贡献:我们建立的模型共享所有形状类别的参数,而不仅限于一个类别。同样,它获得一致的表示,并在生成3D形状作为输出时考虑输入视图的不确定性。因此,即使对于非常模糊的输入,它也能够自然给出有意义的结果。如果您查看我们论文的引文,则可以看到从2D图像到3D形状的更多进步。

收藏
评论

这个问题被称为摄影测量法

Google会为您提供无穷无尽的参考,只是要知道,如果您想自己动手,这是一个非常困难的问题。

收藏
评论

如上所述,该问题非常棘手,通常也称为多视图对象重建 。通常通过解决每对连续图像的立体视图重建问题来解决。

执行立体重建需要拍摄成对的图像,这些图像具有大量的物理点可见重叠。您需要找到相应的点 ,以便随后可以使用三角测量来找到这些点的3D坐标。

对极几何

立体声重建通常是通过首先校准相机设置来完成的,以便您可以使用对极几何学原理校正图像。这简化了寻找对应点以及最终三角剖分计算的过程。

如果你有:

可以计算出基本必要的矩阵只使用矩阵理论,并利用这些来纠正你的图片。这需要一些关于具有同构 坐标的坐标投影的理论,并且需要有关针孔相机模型相机矩阵的知识

如果您想要一种不需要相机参数且可用于未知相机设置的方法,则可能应该考虑使用未经校准的立体声重建方法。

对应问题

查找对应的点是棘手的部分,需要您寻找亮度或颜色相同的点,或者使用纹理图案或某些其他功能来识别成对的图像中的相同点。该技术在本地通过寻找每个点周围的小区域的最佳匹配,或全局考虑的图像作为一个整体。

如果您已经有了基本矩阵 ,它将允许您校正图像,从而将两个图像中的对应点限制为一条线(理论上)。这可以帮助您使用更快的本地技术。

当前尚没有解决对应问题的理想技术,但可能的方法可能属于以下类别:

  • 手动选择 :请一个人手动选择匹配点。
  • 自定义标记 :放置标记或使用您可以轻松识别的特定图案/颜色。
  • 差异平方和 :在一个点周围取一个区域,然后在另一个图像中找到最接近的整个匹配区域。
  • 图割 :一种基于图论优化的全局优化技术。

对于特定的实现,您可以使用Google学术搜索来搜索当前文献。这是一篇引文比较广泛的论文,比较了各种技术: 密集两帧立体对应算法的分类法和评估

多视图重建

一旦有了相应的点,就可以使用对极几何理论进行三角测量,以找到这些点的3D坐标。

然后,将对每对连续的图像重复整个立体声重建(这意味着您需要对图像进行排序,或者至少需要知道哪些图像具有许多重叠点)。对于每一对,您将计算一个不同的基本矩阵。

当然,由于每个步骤的噪音或不准确,您可能需要考虑如何以更全面的方式解决问题。例如,如果您有一系列围绕某个对象拍摄并形成循环的图像,则这会提供额外的约束条件,这些约束条件可用于使用捆绑调整之类的方法来提高先前步骤的准确性。

如您所见,立体和多视图重建远未解决问题,仍在积极研究中。您希望以自动化的方式完成的工作越少,问题就越清晰,但是即使在这些情况下,也需要大量的理论知识才能开始。

备择方案

如果它在您要执行的操作范围内,我建议您考虑使用专用的硬件传感器(例如XBox的Kinect ),而不是仅使用普通相机。这些传感器使用结构化的光,飞行时间或其他某种距离成像技术来生成深度图像,这些图像也可以与自己相机中的颜色数据进行组合。它们实际上为您解决了单视图重建问题,并且通常包括用于拼接/组合多个视图的库和工具。

对极几何参考

我的知识实际上在大多数理论上都很薄弱,因此,我能做的最好的就是进一步为您提供一些有用的参考资料(按相关性顺序):

我不确定这一切有什么帮助,但希望它包括足够有用的术语和参考资料以查找更多资源。

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号