腾讯 Hunyuan3D-2：高分辨率 3D 资产生成的突破
前言
在当今数字化时代，3D 资产生成技术正变得越来越重要。无论是游戏开发、影视制作还是虚拟现实领域，高质量的 3D 模型和纹理都是创造沉浸式体验的关键。然而，传统的 3D 资产制作往往需要大量的时间和专业技能。幸运的是，腾讯的 Hunyuan3D-2 项目为我们带来了新的希望，它通过大规模扩散模型实现了高分辨率 3D 资产的高效生成。
项目简介
Hunyuan3D-2 是腾讯推出的一个先进的大规模 3D 合成系统，旨在生成高分辨率的纹理化 3D 资产。该项目于 2025 年 1 月 21 日发布了推理代码和预训练模型，并通过其官方网站 Hunyuan3D Studio 提供了令人兴奋的 3D 生成体验。
核心架构
Hunyuan3D-2 采用了一个两阶段生成流程，首先创建一个裸网格，然后为该网格合成纹理贴图。这种策略有效地分离了形状和纹理生成的复杂性，并且为生成或手工制作的网格提供了纹理化的灵活性。
形状生成模型：Hunyuan3D-DiT
Hunyuan3D-DiT 是一个基于可扩展的流式扩散变换器的形状生成模型。它的目标是根据给定的条件图像生成合适的几何形状，为下游应用奠定坚实的基础。
纹理合成模型：Hunyuan3D-Paint
Hunyuan3D-Paint 利用强大的几何和扩散先验，为生成或手工制作的网格生成高分辨率且生动的纹理贴图。
性能表现
Hunyuan3D-2 在生成纹理化 3D 资产的质量和条件跟随能力方面超越了现有的开源和闭源 3D 生成方法。以下是其与其他模型的性能对比：
| 模型 | CMMD(⬇) | FID_CLIP(⬇) | FID(⬇) | CLIP-score(⬆) |
|---|---|---|---|---|
| Top Open-source Model1 | 3.591 | 54.639 | 289.287 | 0.787 |
| Top Close-source Model1 | 3.600 | 55.866 | 305.922 | 0.779 |
| Top Close-source Model2 | 3.368 | 49.744 | 294.628 | 0.806 |
| Top Close-source Model3 | 3.218 | 51.574 | 295.691 | 0.799 |
| Hunyuan3D 2.0 | 3.193 | 49.165 | 282.429 | 0.809 |
使用方法
安装依赖
首先，通过 Pytorch 官方网站安装 Pytorch，然后安装其他依赖项：
pip install -r requirements.txt
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.shAPI 使用
Hunyuan3D-2 提供了一个类似 diffusers 的 API，用于使用形状生成模型 Hunyuan3D-DiT 和纹理合成模型 Hunyuan3D-Paint。
形状生成
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]生成的网格是一个 trimesh 对象，可以保存为 glb/obj（或其他格式）文件。
纹理合成
from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]
pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')更多高级用法，如文本到 3D 和手工制作网格的纹理生成，请参考 minimal_demo.py。
Gradio 应用
你还可以在自己的计算机上托管 Gradio 应用，或者直接访问
腾讯混元3D 以快速使用。
pip3 install gradio==3.39.0
python3 gradio_app.py开源计划
Hunyuan3D-2 的开源计划包括：
-
推理代码
-
模型检查点
-
技术报告
-
ComfyUI
-
TensorRT 版本
Hunyuan3D-2 为我们提供了一个强大的工具，用于高效生成高分辨率的 3D 资产。它的两阶段生成流程和灵活的 API 设计使其在 3D 资产生成领域具有巨大的潜力。无论你是专业开发者还是业余爱好者，Hunyuan3D-2 都能帮助你轻松实现 3D 创作的梦想。