sudo -H pip install --upgrade youtube-dl -i https://pypi.doubanio.com/simple/
一、概况
OpenAI 的 Sora 在生成一分钟高质量视频方面非常出色。然而,它几乎没有透露任何有关其细节的信息。为了让AI更加“开放”,致力于打造Sora的开源版本。本报告描述了colossal-ai首次尝试训练基于 Transformer 的视频扩散模型。
选择架构的效率
为了降低计算成本,我们希望利用现有的 VAE 模型。Sora 使用时空 VAE 来减少时间维度。然而我们发现目前还没有开源的高质量时空VAE模型。MAGVIT的 4x4x4 VAE 不是开源的,而