一、作用

• 信息泄露：如果在训练中使用未来位置的信息(例如，右侧的单词)，模型会作弊，因为在实际推理过程中我们无法提前知道未来的信息。
• 增量更新：我们希望对于重复的单词，预测结果时一样的，并且每个预测结果只使用左侧的信息，不使用右侧的信息。

二、具体过程

1. 先看$q_0$, 屏蔽$x_1,x_2$的k。
   
2. 再看$q_1$，屏蔽$x_2$

3. 再看$q_2$, 都不屏蔽。

三、简略过程

$b_1$由$a_1$生成
$b_2$由$a_1,a_2$生成
$b_3$由$a_1,a_2,a_3$生成
$b_4$由$a_1,a_2,a_3,a_4$生成

四、具体例子解释（这个解释有些问题，欢迎大家评论留言）

由 我 -> 爱，北京，天安门
由 我，爱 -> 北京，天安门
由 我，爱，北京 -> 天安门