卡内基梅隆大学和富士通的研究人员开发了一种将2D图像转换为3D结构的新方法。

这项工作由Laszlo a . Jeni在计算机科学学院的CUBE实验室领导，代表了解决计算机视觉长期挑战的重大突破。

动态光场网络(DyLiN)利用人工智能处理非刚性变形和拓扑变化，超越了当前的静态光场网络。

“使用2D图像创建3D结构是一个复杂的过程，需要对如何处理变形和变化有深刻的理解。DyLiN是我们解决这个问题的答案，它已经在速度和视觉保真度方面比现有的方法有了显著的改进，”机器人研究所的教授Jeni说。

DyLiN学习从输入射线到规范射线的变形场，并将它们提升到更高的维度空间以处理不连续。该团队还引入了CoDyLiN，它通过可控制的属性输入增强了DyLiN。这两个模型都是通过预训练的动态辐射场的知识蒸馏来训练的。

在测试过程中，DyLiN在包含各种非刚性变形的合成和实际数据集上都表现出优异的性能。DyLiN在视觉保真度方面与最先进的方法相匹配，同时计算速度快25-71倍。在对带有属性注释的数据进行测试时，CoDyLiN超越了它的教师模型。

“DyLiN和CoDyLiN所取得的进步标志着实时体渲染和动画的一个令人兴奋的进展，”Jeni说。“在不牺牲保真度的情况下提高速度，为各种应用带来了无限的机会。”

这项研究得到了富士通美国研究院的支持，代表了3D建模和渲染领域的重大进步。这些方法的实现可以彻底改变严重依赖可变形3D模型的行业，例如虚拟仿真、增强现实、游戏和动画。DyLiN和CoDyLiN可以在基于2D图像的虚拟3D空间内准确渲染和分析人体运动的变化。它能够从实际图像中创建一个3D化身，从而将真人的面部表情转移到虚拟人物身上。

这项研究是由来自CMU机器人研究所的Jeni、Heng Yu、Joel Julin、Zoltan A. Milacski和来自美国富士通研究院的Koichiro Niinuma共同完成的。该团队在6月份的视觉与模式识别会议上发表了他们的论文“DyLiN:使光场网络动态”。更多信息可以在该项目的网站上找到。