Hunyuan3D 2.0 高分辨率3D合成系统

腾讯研发的Hunyuan3D 2.0发布了纹理增强模块，用户可以通过该模块获取高清纹理，Hunyuan3D-DiT-v2-0-Fast是Hunyuan3D 2.0的指导蒸馏模型，能够将推理时间减半。

Hunyuan3D 2.0是一个先进的大规模3D合成系统，用于生成高分辨率的纹理3D资产。Hunyuan3D 2.0系统包含两个核心组件：大规模形状生成模型Hunyuan3D-DiT和大规模纹理合成模型Hunyuan3D-Paint。形状生成模型基于可扩展的基于流的扩散变换器，能够创建与给定条件图像正确对齐的几何形状，为下游应用奠定基础。纹理合成模型利用强大的几何和扩散先验，为生成或手工制作的网格生成高分辨率和生动的纹理贴图。

Hunyuan3D-Studio是一个多功能、用户友好的生产平台，简化了3D资产的重新创建过程，允许专业和业余用户高效地操作甚至动画化他们的网格。

Hunyuan3D 2.0采用两阶段生成管道，首先生成裸网格，然后为该网格合成纹理贴图，能有效解耦形状和纹理生成的难度，为生成或手工制作的网格提供了灵活性。

在性能评估中，Hunyuan3D 2.0在生成的纹理3D资产的质量和条件跟随能力方面超越了所有基线模型。具体数值如下：

• CMMD: 3.193

• FID_CLIP: 49.165

• FID: 282.429

• CLIP-score: 0.809

Hunyuan3D 2.0的生成结果展示了其在几何细节、条件对齐和纹理质量等方面的卓越表现。

模型库

• Hunyuan3D-DiT-v2-0-Fast: 指导蒸馏模型，2.6B，[下载](https://huggingface.co/tencent/Hunyuan3D-2)

• Hunyuan3D-DiT-v2-0: 图像到形状模型，2.6B，[下载](https://huggingface.co/tencent/Hunyuan3D-2)

• Hunyuan3D-Paint-v2-0: 纹理生成模型，1.3B，[下载](https://huggingface.co/tencent/Hunyuan3D-2)

• Hunyuan3D-Delight-v2-0: 图像增亮模型，1.3B，[下载](https://huggingface.co/tencent/Hunyuan3D-2)

开始使用Hunyuan3D 2.0

1、安装要求

请通过官方站点安装Pytorch。然后通过以下命令安装其他依赖项：

pip install -r requirements.txt
# 对于纹理
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
python3 setup.py install

2、代码使用

我们设计了一个类似diffusers的API来使用形状生成模型Hunyuan3D-DiT和纹理合成模型Hunyuan3D-Paint。你可以通过以下方式访问Hunyuan3D-DiT：

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

输出的网格是一个trimesh对象，你可以将其保存为glb/obj（或其他格式）文件。对于Hunyuan3D-Paint，执行以下操作：

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
# 首先生成一个网格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')