Pytorch Kaiming 初始化(Initialization)中fan_in和fan_out的区别
mode:‘fan_in’ (default)或者‘fan_out’. 使用fan_in保持weights的方差在前向传播中不变;使用fan_out保持weights的方差在反向传播中不变。在使用过程中,一般都要默认设置fan_out见Pytorch官网详解
·
mode:‘fan_in’ (default)或者‘fan_out’. 使用fan_in保持weights的方差在前向传播中不变;使用fan_out保持weights的方差在反向传播中不变。
在使用过程中,一般都要默认设置fan_out
见Pytorch官网详解
更多推荐
所有评论(0)