Nvidia的GANverse3D使用AI从2D图像创建带纹理的3D模型

导读 GTC 2021的最后一天，Nvidia展示了其最新的AI开发成果。利用Nvidia Omniverse平台和一个名为GANverse3D的新工具，用户可以使用训练有素的

GTC 2021的最后一天，Nvidia展示了其最新的AI开发成果。利用Nvidia Omniverse平台和一个名为GANverse3D的新工具，用户可以使用训练有素的AI从单个2D图像创建包含网格和纹理的3D模型。为了展示这项技术，Nvidia从80年代的经典Knight Rider中重新创建了KITT –一种由AI驱动的汽车。

GANverse3D是一款可获取平面2D图像并将其转换为可在虚拟环境中可视化和控制的逼真的3D模型的应用程序。例如，汽车的单张照片可以转换成3D模型，该模型可以在具有工作功能的虚拟场景中行驶，包括前灯，尾灯和信号灯。

该AI在超过50,000张图像的数据集上进行了训练，这些图像展示了多个视点，从而使AI能够识别汽车的不同部分。Nvidia还对鸟类和马匹的AI进行了培训，但是在这一点上，汽车仍然表现最佳。例如，如果您尝试向工具喂狗，人或树的图像，则由于几何复杂性，它将无法以相同的精确度渲染3D模型。

展望未来，该工具可以改善许多行业的工作流程，包括建筑师和游戏开发人员。尽管场景的“主要主题”是手工建模的，但艺术家和开发人员可以通过使用AI生成环境和背景内容而无需手工或购买现成的资产来节省时间。

该技术可以适应其他数据集以产生不同的结果，而英伟达则以鸟和马为例。对于真正对所有这些背后的科学感兴趣的人，您可以查看完整的ICLR文件，在与KitGuru一起参加的Nvidia的简报中，我们还被告知该项目的代码可能会发布，以便其他开发人员可以协作和迭代。关于技术和进一步的AI研究。