注：术语来源请参照《人工智能论文术语集》
术语内容
- corrupt the input
- 破坏性输入 ～ 掩码语言模型的方式就是破坏性输入
- As an alternative
- 作为一种替代方案 ～
- abbreviations
- 缩写 ～
- irregular
- 不规则的 ～
- typographical error
- 印刷错误 ～
- hashtags
- 散列标签 ～
- Given the widespread usage of
- 鉴于 ～
- plausible alternatives sampled
- 合理的替代性采样 ～ 在Electra中不没有使用mask遮掩，而是用生成器产生的token进行替代
- underlying model
- 底层模型 ～ 是指模型的核心结构（如attention）
- project
- 投射，变换 ～ 张量或者embedding之间的投射和变换
被虐的还不过瘾？快关注我，查看更多粉丝可见内容！！！