目录

1.指数加权平均

（1）公式

（2）指数加权平均 理解

（3）偏差修正

1.指数加权平均

• 在理解其他几个优化算法之前，你需要用到指数加权平均（exponentially weighted averages）

（1）公式

• 公式

  

• 例子
• 这是某年伦敦的每日温度，用数据作图，得到上面的散点图，起始日在1月份，结束日在12月末，这样的数据看起来有点杂乱，如果要计算趋势的话，即温度的局部平均值（移动平均值)。例如我们设V0 = 0，当成第0天的气温值，每天需要使用0.9的加权前一天的数值，再加上当天温度的0.1倍（公式如上图）。现在将0.9记为β，0.1记为（1-β），则

  

  可以看成vt是1/（1-β）天的平均值,当β=0.9时，是这10天的平均值，就是上图的红线部分。当β=0.98时，是这50天的平均值，就是上图的绿线部分。
• β值越大，你得到的曲线要平坦一些，原因在于你多平均了几天的温度，所以这个曲线，波动更小，更加平坦，缺点是曲线进一步右移，因为现在平均的温度值更多，要平均更多的值，指数加权平均公式在温度变化时，适应地更缓慢一些，所以会出现一定延迟。
• 如果β=0.5，则平均了2天的温度，得到黄线如下：

（2）指数加权平均 理解

• 以上面温度为例，第100天的温度计算为：
• 展开后：
• 所以叫指数加权平均
• 指数加权平均数公式的好处之一在于，它占用极少内存，电脑内存中只占用一行数字而已，然后把最新数据代入公式，不断覆盖就可以了，正因为这个原因，其效率，它基本上只占用一行代码，计算指数加权平均数也只占用单行数字的存储和内存，当然它并不是最好的，也不是最精准的计算平均数的方法。

（3）偏差修正

• 指数加权平均的偏差修正，是指在初期 的加权平均计算中使用公式计算的结果偏差太大，没有参考价值，所以计算结果用一个公式来减少偏差。在估测初期，vt = vt / (1-β^t)

• 在上面的β=0.98的例子中，其实曲线应该是紫色的，绿色时修正后的曲线。

  

• 初期vt的计算有用 vt = vt / (1-β^t) 。其中，t是现在的天数。刚开始时t比较小，这样修正的就更大一些，紫色曲线上移；随着t增大，紫色曲线和绿色曲线基本重合。

• t = 1时，v1 = 0.02θ1 / (1-0.98) = θ1（完全修正）