归纳偏置(inductive bias):由于归纳学习需要某种形式的预先设定。
CNN的inductive bias应该是locality和spatial invariance,即空间相近的grid elements有联系而远的没有,和空间不变性(kernel权重共享)
RNN的inductive bias是sequentiality和time invariance,即序列顺序上的timesteps有联系,和时间变换的不变性(rnn权重共享)
2024-01-27 13:03:46
归纳偏置(inductive bias):由于归纳学习需要某种形式的预先设定。
CNN的inductive bias应该是locality和spatial invariance,即空间相近的grid elements有联系而远的没有,和空间不变性(kernel权重共享)
RNN的inductive bias是sequentiality和time invariance,即序列顺序上的timesteps有联系,和时间变换的不变性(rnn权重共享)
下一篇:机器学习,什么是过拟合和欠拟合