3D 生成重建029-Turbo3D一个让3D生成大模型更快的思路-1 论文方法

请添加图片描述
上图是论文的流程图,论文为了加速做了两个工作,一个就是加速多视图生成工作,另外一部分就是直接微调GS-LRM用latets直接生成3DGS,这部分实际上相当于节约了decode和多视图编码的时间。

请添加图片描述
这部分就是论文的核心工作。Turbo3D 旨在解决现有文本到三维模型生成方法速度慢和质量差的问题。它采用了一个两阶段流水线:
快速多视图扩散生成器: 首先,利用一个经过双教师蒸馏训练的四步四视图扩散模型,从文本提示快速生成多视角的潜在表示 (约0.32秒)。 双教师蒸馏方法同时利用多视图教师模型学习视图一致性,利用单视图教师模型学习照片级真实感,从而在速度和质量上取得平衡。
高效前馈重建器: 然后,利用一个高效的前馈重建器,直接从多视角潜在表示重建高质量的三维高斯 splatting 模型 (约0.03秒)。 通过将重建器的输入从像素空间转移到潜在空间,减少了计算量,提高了效率。

双教师蒸馏: 这是Turbo3D的核心创新点。它巧妙地将多视图一致性和照片级真实感这两个目标结合起来,通过双教师蒸馏方法训练一个快速的多视图扩散生成器。这种方法不仅提高了生成速度,而且显著提升了生成质量,避免了只用单一教师模型蒸馏可能导致的模式坍塌和细节丢失问题。

潜在空间重建: Turbo3D 将三维模型重建过程从像素空间转移到潜在空间进行。这大大减少了计算量,显著提高了重建速度和效率。
高效的四步四视图扩散生成器: 通过设计一个四步四视图扩散生成器,在保证生成质量的同时,显著缩短了生成时间。
端到端、单阶段推理: Turbo3D 的整个流程是端到端的,并且只需要单阶段推理即可生成最终的三维模型,进一步提高了效率。

上一篇:跨域问题排查实战:一个困扰两天的线上问题


下一篇:小程序维护外包流程和费用