http://www.thehefmall.com

3D深度学习火了!NVIDIA NeurIPS论文:训练AI迅速将2D图像转换成3D模型

  【新智元导读】NVIDIA的研究团队开发出一个可以在不需要任何3D训练数据的情况下预测2D图像的3D特征的AI系统。该项研究成果会在今年最大的人工智能研究会议NIPS年会上公布,NVIDIA可能会尝试将可微渲染框架(DIB-R)扩展到更复杂的任务。现在戳右边链接上 新智元小程序 了解更多!

  NVIDIA的研究团队开发出一个人工智能系统,它可以在不需要任何3D训练数据的情况下,预测2D图像的3D特征。该项研究成果会在NIPS(Neural Information Processing Systems)年会上公布;今年的NIPS年会有超过13000名与会者,是今年最大的人工智能研究会议。

  这项工作由加拿大向量学院(Vector Institute)、多伦多大学(University of Toronto)、Nvidia Research、阿尔托大学(Aalto University)共同完成,相关研究的细节呈现在论文《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》中。

3D深度学习火了!NVIDIA NeurIPS论文:训练AI迅速将2D图像转换成3D模型

  论文链接:https://nv-tlabs.github.io/DIB-R/files/diff_shader.pdf

  Nvidia的人工智能总监和论文合著者Sanja Fidler说:“公司下一步可能会尝试将可微渲染框架(Differentiable Rendering Framework,DIB-R)扩展到更复杂的任务,比如为多个对象或整个场景渲染三维模型;这样的工作可以应用于游戏、AR/VR、机器人或目标跟踪系统中。”

  Fidler还说:“关于三维深度学习目前很多公司已经做了一些工作,如Facebook AI Research与DeepMind也能将二维转化成三维AI,但DIB-R是第一个可以通过二维图像预测几个关键的三维特征(如对象的形状、三维几何、颜色和纹理)的神经或者深度学习架构之一。因此尽管之前有很多研究,但没有一个能真正同时预测所有这些关键属性的研究;它们不是专注于预测几何形状就是专注于预测颜色,而不是同时预测形状、颜色、纹理和光线;而我们的这项研究是真正完成了——不是完全完成,但却是对一个场景中的对象更加完整的理解。”

3D深度学习火了!NVIDIA NeurIPS论文:训练AI迅速将2D图像转换成3D模型

  NeurIPS的一项相关工作是试图根据人们的声音来预测他们的“声之形”。

  Fidler说:“我认为这是一个非常有趣的领域,我们没有在这篇特别的论文中解决这个问题;但就深度学习而言,这是另一个有趣的输入,当提供给神经结构后就可以得到非常好的三维信息;如今,我认为这绝对是有效的。”

  DIB-R是在Nvidia今年发布Kaolin(Kaolin是Nvidia的三维深度学习库,拥有一系列的模型来帮助开发人员开始使用神经网络进行三维处理)之后发布的,Nvidia会在NeurIPS上公布五篇论文:《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》、《Joint-task Self-supervised Learning for Temporal Correspondence》、《Dancing to Music》、《Few-shot Video-to-Video Synthesis》、《Exact Gaussian Processes on a Million Data Points》。

  参考资料:

  https://venturebeat.com/2019/12/09/nvidia-trains-ai-to-transform-2d-images-into-3d-models/

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。