问题：许多亚二次时间架构(运行时间复杂度低于O(n^2)，但高于O(n)的情况)（例如线性注意力、门控卷积和循环模型以及结构化状态空间模型（SSM））已被开发出来，以解决 Transformer 在长序列上的计算效率低下问题，但此类模型的一个关键弱点是它们无法执行基于内容的推理

1. 模型架构

模型简单理解(特殊的门控RNN网络)：线性层+门控+选择性SSM的组合

2. 模型特点

2.1 选择性机制

$\Delta$ 、A、B、C应该是SSM中的可学习参数

• 根据输入参数化 SSM 参数来设计一种简单的选择机制，这使得模型能够过滤掉不相关的信息并无限期地记住相关信息。
  这里作者认为（研究动机）：‘序列建模的一个基本问题是将上下文压缩成更小的状态。事实上，我们可以从这个角度来看待流行序列模型的权衡。例如，注意力既有效又低效，因为它明确地根本不压缩上下文。自回归推理需要显式存储整个上下文（即KV缓存），这直接导致Transformers的线性时间推理和二次时间训练缓慢。’
  
• 序列模型的效率与有效性权衡的特征在于它们压缩状态的程度：高效模型必须具有较小的状态，而有效模型必须具有包含上下文中所有必要信息的状态。反过来，我们提出构建序列模型的基本原则是选择性：或关注或过滤掉序列状态输入的上下文感知能力。

2.2 硬件算法

算法通过扫描而不是卷积来循环计算模型，但不会具体化扩展状态，计算速度比所有先前的 SSM 模型提升三倍。

代码调用

import torch
from mamba_ssm import Mamba

batch, length, dim = 2, 64, 16
x = torch.randn(batch, length, dim).to("cuda")
model = Mamba(
    # This module uses roughly 3 * expand * d_model^2 parameters
    d_model=dim, # Model dimension d_model
    d_state=16,  # SSM state expansion factor
    d_conv=4,    # Local convolution width
    expand=2,    # Block expansion factor
).to("cuda")
y = model(x)
print(x.shape)
print(y.shape)
assert y.shape == x.shape

---