一种将2D图像转换为3D结构的新方法

生物通官微
陪你抓住生命科技
跳动的脉搏

生物通首页 > 今日动态 > 正文

一种将2D图像转换为3D结构的新方法

【字体：大中小】 时间：2023年06月20日 来源：AAAS

编辑推荐：

　　卡内基梅隆大学和富士通的研究人员开发了一种将2D图像转换为3D结构的新方法。这项工作代表了解决计算机视觉长期挑战的重大突破。动态光场网络(DyLiN)利用人工智能处理非刚性变形和拓扑变化，超越了当前的静态光场网络。

濞戞捁妗ㄧ花鈩冪┍閸愵厾绠荤紒澶嬪灥椤掔喖鎯冮崟顏嗙倞闁圭虎鍙忕槐婵嬫偨閻斿搫鈷栭梺顐ｅ哺閸ｄ即姊块崱鏇犲晩閺夆晜鐟ч惁鎺楀棘閸モ晝褰块柨娑樿嫰椤┭囨閳ь剟鎳熸潏銊︾€柛妯煎枑閺嬪啴鏁嶅畝鍐惧殲闁绘劗鎳撻崵顕€鏁嶉敓锟�閻犱降鍨藉Σ鍑歩oHot缂佷究鍨硅ぐ鍥储閻斿憡鐎�

卡内基梅隆大学和富士通的研究人员开发了一种将2D图像转换为3D结构的新方法。

这项工作由Laszlo a . Jeni在计算机科学学院的CUBE实验室领导，代表了解决计算机视觉长期挑战的重大突破。

动态光场网络(DyLiN)利用人工智能处理非刚性变形和拓扑变化，超越了当前的静态光场网络。

“使用2D图像创建3D结构是一个复杂的过程，需要对如何处理变形和变化有深刻的理解。DyLiN是我们解决这个问题的答案，它已经在速度和视觉保真度方面比现有的方法有了显著的改进，”机器人研究所的教授Jeni说。

DyLiN学习从输入射线到规范射线的变形场，并将它们提升到更高的维度空间以处理不连续。该团队还引入了CoDyLiN，它通过可控制的属性输入增强了DyLiN。这两个模型都是通过预训练的动态辐射场的知识蒸馏来训练的。

在测试过程中，DyLiN在包含各种非刚性变形的合成和实际数据集上都表现出优异的性能。DyLiN在视觉保真度方面与最先进的方法相匹配，同时计算速度快25-71倍。在对带有属性注释的数据进行测试时，CoDyLiN超越了它的教师模型。

“DyLiN和CoDyLiN所取得的进步标志着实时体渲染和动画的一个令人兴奋的进展，”Jeni说。“在不牺牲保真度的情况下提高速度，为各种应用带来了无限的机会。”

这项研究得到了富士通美国研究院的支持，代表了3D建模和渲染领域的重大进步。这些方法的实现可以彻底改变严重依赖可变形3D模型的行业，例如虚拟仿真、增强现实、游戏和动画。DyLiN和CoDyLiN可以在基于2D图像的虚拟3D空间内准确渲染和分析人体运动的变化。它能够从实际图像中创建一个3D化身，从而将真人的面部表情转移到虚拟人物身上。

这项研究是由来自CMU机器人研究所的Jeni、Heng Yu、Joel Julin、Zoltan A. Milacski和来自美国富士通研究院的Koichiro Niinuma共同完成的。该团队在6月份的视觉与模式识别会议上发表了他们的论文“DyLiN:使光场网络动态”。更多信息可以在该项目的网站上找到。

濞戞挸顑堝ù鍥┾偓鐟邦槹瀹撳孩瀵奸敂鐐毄閻庢稒鍔掗崝鐔煎Υ婵犲洠鍋撳宕囩畺缂備礁妫滈崕顏呯閿濆牓妯嬮柟娲诲幘閵囨岸寮幍顔界暠闁肩瓔鍨虫晶鍧楁閸撲礁浠柕鍡楊儐鐢壆妲愰姀鐙€娲ゅù锝嗘礋閳ь剚淇虹换鍐╃閿濆牓妯嬮柛鎺戞閻庤姤绌遍崘顓犵闁诡喓鍔庡▓鎴︽嚒椤栨粌鈷栭柛娆愬灩楠炲洭鎯嶉弮鍌楁晙

10x Genomics闁哄倹婢橀幖顪渋sium HD 鐎殿喒鍋撻柛姘煎灠瀹曠喓绱掗崱姘姃闁告帒妫滄ご鎼佹偝閸モ晜鐣遍柛蹇嬪姀濞村棜銇愰弴鐘电煁缂佸本妞藉Λ鍧楀礆閸℃ḿ鈧粙鏁嶉敓锟�

婵炲棎鍨肩换瀣▔鐎ｎ厽绁癟wist闁靛棗锕ｇ粭澶愬棘椤撶偛缍侀柛鏍ㄧ墱濞堟厤RISPR缂佹稒鐩埀顒€顦伴悧鍝ヤ沪閳ь剟濡寸€ｎ剚鏆╅悗娑欏姃閸旓拷

闁告娲滅划蹇涙嚄閻愬銈撮幖鏉戠箰閸欏棝姊婚妸銉ｄ海閻犱焦褰冮悥锟� - 婵烇絽宕崣鍡樼閸℃鎺撶鎼达綆鍎戝☉鎾亾濞戞搩浜滃畷鐔虹磼閸℃艾鍔掗悗鍦仱閻涙瑧鎷嬮幑鎰靛悁闁告帞澧楅弳鐔煎箲椤斿灝绐涢柟璨夊倻鐟㈤柛娆樺灥椤宕犻弽顑帡寮搁敓锟�

濞戞挸顑堝ù鍥Υ婵犲嫮鐭庨柤宕囧仜閸炴挳鎽傜€ｎ剚顏ら悹鎰╁妺缁ㄧ増鎷呭⿰鍐ㄧ€婚柡瀣姈閺岀喎鈻旈弴鐘虫毄閻庢稒鍔掗崝鐔煎Υ閿燂拷