TripoSG 基于大规模矫正流模型的高保真图像到3D形状生成工具

TripoSG 是一个先进的图像到3D模型生成工具，通过大规模修正流模型，混合监督训练和高质量的数据集，实现了目前最先进的3D形状生成效果。

TripoSG 能够生成具有锐利几何特征、精细表面细节和复杂结构的网格，生成的模型能够精确地捕捉输入图像的各个细节。

TripoSG 生成的形状能够准确反映输入图像的语义和外观，能保证输出的三维形状与输入图像的内容是一致的。

TripoSG 能够处理多种输入风格，包括照片级真实感图像、卡通和草图。

TripoSG 在输入具有复杂拓扑结构的挑战性情况下也能创建连贯的形状，能够在各种复杂的输入条件下有稳定的表现。

TripoSG 结合了 RF 的线性轨迹建模和变换器架构，实现稳定高效的训练，让模型在训练过程中能够更好地捕捉数据的复杂性，保持结果的一致性。

模型使用有符号距离函数（SDFs），结合混合监督，包括 SDF 损失、表面法线指导和 eikonal 损失，能有效提高模型的生成质量。

TripoSG 在 200 万 Image-SDF 对上进行训练，大规模的数据集训练让模型能够学习到更广泛的图像特征。

安装TripoSG

1、克隆仓库：

git clone https://github.com/VAST-AI-Research/TripoSG.git
cd TripoSG

2、创建 conda 环境（可选）：

conda create -n tripoSG python=3.10
conda activate tripoSG

3、安装依赖项：

# pytorch（选择正确的 CUDA 版本）
pip install torch torchvision --index-url https://download.pytorch.org/whl/{your-cuda-version}
# 其他依赖项
pip install -r requirements.txt

快速启动

从图像生成三维网格：

python -m scripts.inference_triposg --image-input assets/example_data/hjswed.png

所需的模型权重会自动下载。