AI技术领域未来几年最引人瞩目的新方向是什么?( 三 )


3.1.3其他领域的对抗攻击
近期也有一些其他领域的对抗攻击 。
首先 , Adversarial Examples for Evaluating Reading Comprehension Systems[8]这篇论文对QA系统进行对抗攻击 , 通过向问题中中加入不影响人类理解并且不影响正确答案的句子来欺骗问答系统 , 来获得错误的答案 。 论文中给出的结果很显著 , 使原先75%的 F1 score 下降至36% , 如果允许不符合语法规则的话可以下降至7% 。
其次 , 对于强化学习的对抗攻击 。 Lin等[9]提出了两种不同的针对深度强化学习训练的代理的对抗性攻击 。 在第一种攻击中 , 被称为策略定时攻击 , 对手通过在一段中的一小部分时间步骤中攻击它来最小化对代理的奖励值 。 提出了一种方法来确定什么时候应该制作和应用对抗样本 , 从而使攻击不被发现 。 在第二种攻击中 , 被称为迷人攻击 , 对手通过集成生成模型和规划算法将代理引诱到指定的目标状态 。 生成模型用于预测代理的未来状态 , 而规划算法生成用于引诱它的操作 。 这些攻击成功地测试了由最先进的深度强化学习算法训练的代理 。
还有一些对于 RNN, Speech Recognition 等领域的攻击[10][11] , 这些领域的对抗攻击基本上只有一两篇 。
综上所述 , 对于对抗攻击的应用场景 , 现阶段所发掘的只不过是冰山一角 , 在这个领域 , 还有很多很多应用场景可以进行研究 。 因此 , 仅从应用场景而言 , 对抗攻击绝对是最近几年最具潜力的方向 。
3.2算法
对抗攻击的本质是用机器学习的方法去攻击机器学习模型 , 来检测模型的鲁棒性 。 由于它的攻击目标和自身所用的方法都是机器学习 , 所以当机器学习领域出现了更好的算法时 , 对于对抗攻击而言 , 这既是新的应用场景 , 又是自身可用的新算法 。
在 Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey[14]这篇论文中总结了12种攻击方法 , 如下图所示:
经过我的调研 , 在论文 Adversarial Examples for Semantic Segmentation and Object Detection[4]的启发下 , 我认为 , 既然对抗攻击是对抗样本的生成任务 , 而生成任务又是现在发展非常迅速的一个领域 , 我们可以把一些生成模型迁移到这个任务上来 。
比如 , 现在非常热门的对抗生成网络 GAN 是生成任务最有效的模型之一 , 我认为可以借用这种对抗的思想生成对抗样本:一个专门向原数据中加噪声的网络和一个试图根据对抗样本完成分类任务的网络 , 两个网络就像 GAN 里面的生成器和鉴别器一样对抗学习 , 最后会收敛于加噪声的网络生成的对抗样本足以迷惑分类网络 , 这样生成的对抗样本或许会比前文所述的方法效果更好 。
由于生成任务还在不断发展 , VAE、GAN 等模型或许都可以用于对抗攻击 , 近期新出现的 CoT[15](合作训练)为离散数据的生成任务也提供了一种新的思路 , Glow[16]提出了基于流的可逆生成模型 , 据说效果会超过GAN......这些生成模型不断在发展 , 可供对抗样本生成借鉴的思路也越来越多 , 所以 , 我认为在算法上对抗攻击还有无限的潜力 。
4.总结
经过对对抗攻击的调研 , 首先 , 我发现这一领域的论文数很少 , 而且受大众的关注度不是很高 , 但是对抗攻击已经有趋势要迎来蓬勃发展的时期了 。
其次 , 对抗攻击还处于寻找新的应用场景和不断尝试新的算法的阶段 , 还不成熟 , 未形成完整的体系 , 而且和攻击与生俱来的还有防御问题 , 现阶段防御问题基本还处于把对抗样本加入原始数据一起训练以此来防御攻击的状态 , 研究的人很少 , 也没有十分显著的效果 。 这说明在这个领域还有很大的可挖掘的空间 。

推荐阅读