一种将2D图像转换为3D结构的新方法

【字体: 时间:2023年06月20日 来源:AAAS

编辑推荐:

  卡内基梅隆大学和富士通的研究人员开发了一种将2D图像转换为3D结构的新方法。这项工作代表了解决计算机视觉长期挑战的重大突破。动态光场网络(DyLiN)利用人工智能处理非刚性变形和拓扑变化,超越了当前的静态光场网络。

  

卡内基梅隆大学和富士通的研究人员开发了一种将2D图像转换为3D结构的新方法。

这项工作由Laszlo a . Jeni在计算机科学学院的CUBE实验室领导,代表了解决计算机视觉长期挑战的重大突破。

动态光场网络(DyLiN)利用人工智能处理非刚性变形和拓扑变化,超越了当前的静态光场网络。

“使用2D图像创建3D结构是一个复杂的过程,需要对如何处理变形和变化有深刻的理解。DyLiN是我们解决这个问题的答案,它已经在速度和视觉保真度方面比现有的方法有了显著的改进,”机器人研究所的教授Jeni说。

DyLiN学习从输入射线到规范射线的变形场,并将它们提升到更高的维度空间以处理不连续。该团队还引入了CoDyLiN,它通过可控制的属性输入增强了DyLiN。这两个模型都是通过预训练的动态辐射场的知识蒸馏来训练的。

在测试过程中,DyLiN在包含各种非刚性变形的合成和实际数据集上都表现出优异的性能。DyLiN在视觉保真度方面与最先进的方法相匹配,同时计算速度快25-71倍。在对带有属性注释的数据进行测试时,CoDyLiN超越了它的教师模型。

“DyLiN和CoDyLiN所取得的进步标志着实时体渲染和动画的一个令人兴奋的进展,”Jeni说。“在不牺牲保真度的情况下提高速度,为各种应用带来了无限的机会。”

这项研究得到了富士通美国研究院的支持,代表了3D建模和渲染领域的重大进步。这些方法的实现可以彻底改变严重依赖可变形3D模型的行业,例如虚拟仿真、增强现实、游戏和动画。DyLiN和CoDyLiN可以在基于2D图像的虚拟3D空间内准确渲染和分析人体运动的变化。它能够从实际图像中创建一个3D化身,从而将真人的面部表情转移到虚拟人物身上。

这项研究是由来自CMU机器人研究所的Jeni、Heng Yu、Joel Julin、Zoltan A. Milacski和来自美国富士通研究院的Koichiro Niinuma共同完成的。该团队在6月份的视觉与模式识别会议上发表了他们的论文“DyLiN:使光场网络动态”。更多信息可以在该项目的网站上找到。


下载安捷伦电子书《通过细胞代谢揭示新的药物靶点》探索如何通过代谢分析促进您的药物发现研究

10x Genomics新品Visium HD 开启单细胞分辨率的全转录组空间分析!

欢迎下载Twist《不断变化的CRISPR筛选格局》电子书

单细胞测序入门大讲堂 - 深入了解从第一个单细胞实验设计到数据质控与可视化解析

下载《细胞内蛋白质互作分析方法电子书》

相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号