mode:‘fan_in’ (default)或者‘fan_out’. 使用fan_in保持weights的方差在前向传播中不变;使用fan_out保持weights的方差在反向传播中不变。
在这里插入图片描述
在使用过程中,一般都要默认设置fan_out
见Pytorch官网详解

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐