了解对抗攻击

看b站李宏毅教授的课程，了解对抗攻击

One pixel attack、universal adversarial attack、attack in the physical world等等

“Backdoor“ in Model 对训练集中的图片进行攻击，使得模型在经过该数据集训练后，识别特定图像时会发生错误。告诫我们在我们训练模型时，谨慎挑选数据集。https://arxiv.org/abs/1804.00792

防御：被动防御:模糊化、影像压缩再解压缩、Generator，但一旦被知道极易被破解，所以要引入randomization，可这种方法也并非绝对安全。

主动防御proactive defence：对抗训练adversarial training，主动进行攻击，从而得到被误判的数据，再把这些数据重新加到训练数据中，从而达到强化模型的作用。缺点是，挡不住新的攻击方式；需要大量的训练资源

对抗攻击的常见方法

Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy. "Explaining and harnessing adversarial examples." arxiv preprint arxiv:1412.6572 (2014). 本文为对抗学习的开山之作，实验者发现了一些机器学习模型易受到对抗样本的攻击。根据高维线性空间足以产生对抗样本这一理念，提出了一种可以快速生成对抗样本的方法——FGSM，同时发现一般的正则化策略不能显著降低模型对对抗样本的脆弱性，而改用非线性模型可以做到这一点，希望未来可以通过优化得到更好的非线性模型。 基于线性假设，最有效的扰动不是随机扰动，而是沿着使损失函数增长最快的方向，即梯度方向。FGSM将对抗样本从一个耗时的优化问题，变为了一次梯度计算，降低了成本。同时，还提出的对抗训练帮助模型增强抵抗性。

Dong, Yinpeng, et al. "Boosting adversarial attacks with momentum." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.  MI-FGSM，一类基于动量迭代梯度的攻击方法，在每一次迭代中，积累损失函数的梯度来稳定优化和逃离较差的局部最大值，避免陷入局部最优。该方法显著提高了对抗样本的迁移性和黑盒攻击成功率。论文中还提出了集成攻击策略，即融合多个模型的logits来生成更具迁移性的对抗样本，实验证明该方法优于传统的集成预测或集成损失的方法，这种集成攻击提升了对抗训练模型的黑盒攻击的成功率。

Zhu, Hegui, et al. "Boosting adversarial transferability via gradient relevance attack." Proceedings of the IEEE/CVF international conference on computer vision. 2023.  GRA，通过梯度相关攻击增强对抗可迁移性。本文发现的问题是在黑盒模型下，当时的梯度攻击对于有防御功能的模型，尤其是受过对抗训练的模型，攻击效果很差。由此，作者开始研究对抗样本生成过程中对抗扰动的正负号上的波动，计算了两个梯度相关框架来挖掘输入周围的潜在邻居信息，这也是和之前的方法中考虑上一次迭代信息的不同之处。还针对频繁波动，设计了衰减指示器来减少补偿。最后将MI-FGSM与平均梯度框架和衰减指标相结合，得到梯度相关性攻击。

了解优化算法

文献Simon J.D. Prince ”Understanding Deep learning” 

优化算法的目标是找到最小化损失的模型。

梯度下降法：基于迭代的优化算法，调整学习率找到损失减少最多的。在损失函数的·最小处，函数曲面必须平坦。

优化器：随机梯度下降法（SGD），为了方便更好的找到全局最优值，解决梯度下降的结果是由起始位置决定的问题。在梯度每次梯度下降的过程中添加噪声，在整体下降的趋势下，使得其中的方向不再只是沿着最陡的下降，可能会上升，这样就可能从一个“谷底”跳出，到达另一个“谷底”。随机指的是每次迭代的过程中随机选取训练集的子集，将这些子集称为批次。一些证据证明，该方法可以在神经网络模型上找到在新数据集上具有良好泛化性的模型参数。

随机梯度下降算法在优化的过程中引入动量，可以使得陡峭曲折的图像变得平滑。

同时针对固定值梯度下降中的问题，提出了Adam优化器，它在梯度和平方梯度的计算中引入动量因素，使得结果变得平滑，也就能获得一个既可收敛到全局最小值，又在参数空间的每个方向上都能取得良好优化的结果。

Sharpness-aware minimization（SAM）锐度感知最小化，旨在改善深度神经网络的泛化能力，通过直接优化训练损失的最小值及其周围的平坦度，从而显著的提升模型的泛化能力。SAM不是一个新的优化器，常与其他优化器一起使用，比如SGD/Adam。SAM的核心思想是，不应该只寻找损失低的点，而应该寻找损失低且平坦的区域。缺点：训练时间翻倍、需要仔细调参数ρ、在已经非常平坦的损失上不是很有效。

了解常见深度神经网络模型

常见的用于对抗攻击的模型

ResNet，残差块最初用于图像分类的卷积网络，由此产生的网络被称为残差网络。每个残差块包括批量归一化操作BN、ReLU激活函数和卷积层Conv。学习了Resnet-50特征提取模型，解决了网络深度深的时候，梯度消失的问题。了解了其可以在迁移学习中的得到使用，对对抗攻击的研究也有帮助。

DenseNet，这种架构使用残差连接将早期层的输出连接到后面的层。 Densenet-121密集卷积网络，作为卷积特征提取器，可拓展至数百层而不存在优化困难，随着深度和kernel size的提升，大参数会使得精度不断提高，且不会有过拟合的现象。性能上与ResNets相当，而所需的参数和计算量大大减少。

Transformer ：由encoder和decoder两部分组成，本身不能利用单词的顺序信息，因此需要在输入中添加位置embedding。但对于模型方面还是看不懂。