Xavier在tanh中表现的很好，但在Relu激活函数中表现的很差，所何凯明提出了针对于relu的初始化方法。pytorch默认使用kaiming正态分布初始化卷积层参数。
(1)kaiming均匀分布
U(−bound,bound)
(2)kaiming正态分布
N(0,std)
相关文章
- 01-30币圈修心：什么是分布式账本（Distributed Ledger）？
- 01-30dask.distributed搭建分布式计算环境
- 01-30分布式计算平台介绍
- 01-30【Distributed】分布式Session一致性问题
- 01-30c – NTP对分布式时间同步有多好？
- 01-30五分钟学后端技术：分布式系统理论 - 从放弃到入门
- 01-30jvm性能调优实战 - 30使用jmap和jhat摸清线上系统的对象分布
- 01-30分布式一致性协议三部曲-深入理解一致性协议Paxos
- 01-30《从Paxos到Zookeeper》第1章 分布式架构
- 01-30windows平台的分布式微服务解决方案(5)--Web服务/WebApi的负载均衡