本条微博地址黄建同学Meta 推出 Garment3DGen!
一种可以从 2D 图像生成 3D 网格服装中风格化几何形状和纹理的方法,可以将其安装到参数化身体上并进行模拟↓
项目:nsarafianos.github.io/garment3dgen
论文:arxiv.org/abs/2403.18816
Garment3DGen: 3D Garment Stylization and Texture Generation(3D 服装风格化和纹理生成)
论文摘要:
#ai# 我们引入了 Garment3DGen 一种新方法,以单个输入图像作为指导,从基础网格合成 3D 服装资产。我们提出的方法允许用户基于真实图像和合成图像(例如通过文本提示生成的图像)生成 3D 纹理衣服。生成的资产可以直接覆盖并模拟在人体上。
首先,我们利用图像到 3D 扩散方法的最新进展来生成 3D 服装几何形状。然而,由于这些几何形状不能直接用于下游任务,我们建议将它们用作伪地面实况,并建立一个网格变形优化程序,使基础模板网格变形以匹配生成的 3D 目标。
其次,我们引入了精心设计的损失,允许输入基础网格向所需目标自由变形,同时保留网格质量和拓扑,以便可以对其进行模拟。
最后,纹理估计模块生成全局和局部一致的高保真纹理图,并忠实地捕获输入指导,使我们能够渲染生成的 3D 资产。
借助 Garment3DGen,用户可以生成自己选择的纹理 3D 服装,而无需艺术家干预。人们可以提供文字提示来描述他们想要生成模拟就绪的 3D 资产的服装。我们对各种真实和生成的资产进行了大量的定量和定性比较,并提供了如何生成可用于模拟的 3D 服装的用例。
ChatGPT 黄建同学的微博视频
搜索微博更多关键词-GitHub