大规模语言模型在理解和生成人类语言方面具有非凡的能力，但迄今为止，它们的能力主要局限于文本处理。然而，现实世界是一个多模式的环境，信息通过视觉、听觉和触觉等多种感官进行交换。融入这种多样性是开发下一代系统的主要目标。具体来说，多模态编码器的加入有望使大规模语言模型能够处理不同模式的信息，并利用其先进的文本处理能力生成一致的响应。然而，这种方法无法产生多模态输出。

Emu (Sun et al., 2023b)、SEED-LaMA (Ge et al., 2023b) 和 SpeechGPT (Zhang et al., 2023a)等开创性工作在实现语言模型中的多模态理解和生成方面取得了重大进展，但这些但这些模型只集成了单一的非文本模态，如图像或音频。虽然将文本与一种额外的模态对齐相对容易，但将多种模态（N ≥ 3）整合到一个框架中并实现它们之间的双向一致性则是一个更大的挑战。

为了应对这一挑战，本文开发了 “AnyGPT”。这是一种新型的多模态大规模语言模型，带有一个多模态标记器，可将图像和语音等原始数据转换为离散的语义标记。这种方法允许大规模语言模型在语义层面以统一的方式执行识别、理解、推理和生成。此外，该模型还可处理多模态输入和输出的任何组合，实验结果表明，其零点性能可与专用模型相媲美。

本文还建立了一个新的以文本为中心的多模态对齐数据集。由于自然语言是最复杂的语义表示模式，而且存在于大多数多模态数据集中，因此该数据集旨在以文本为桥梁，实现所有模态之间的相互对齐。通过这一举措，AnyGPT 促进了多模态对话，并证明了使用离散表示统一多种模态的可行性。

本文提出了一种新的多模态大规模语言模型 AnyGPT，它可以理解和生成多种模态，并开发了一个数据集 AnyInstruct-108k，该数据集遵循多模态交织指令，并使用离散表示法有效地统一了多种模态。在演示中，我们看到了这样做的可能性。这些发展为下一代多模态系统的开发开辟了新的可能性。