从代码和公式来看，Swish包含了SiLU，换句话说SiLU是Swish的一种特例。

S i L U ( x ) = x ⋅ S i g m o i d ( x ) SiLU(x) = x \cdot Sigmoid(x) SiLU(x)=x⋅Sigmoid(x)

S w i s h ( x ) = x ⋅ S i g m o i d ( β x ) Swish(x) = x \cdot Sigmoid(\beta x) Swish(x)=x⋅Sigmoid(βx)

Swish原文：https://arxiv.org/pdf/1710.05941.pdf
SiLU的出处没有找到。

主要是Swish发文的时候SiLU已经有了，所以…这就很难说了