2021年12月30日最新消息:研究人员详细介绍了使攻击者能够窃取强化学习算法的技术

导读 南洋理工大学的一组研究人员声称，深度强化学习(DRL)算法(用于预测蛋白质形状和教机器人抓取物体的算法)容易受到对抗性攻击，因此蛋白质可

南洋理工大学的一组研究人员声称，深度强化学习(DRL)算法(用于预测蛋白质形状和教机器人抓取物体的算法)容易受到对抗性攻击，因此蛋白质可以被提取和复制，恶意行为者可以“窃取”它们。在印前论文中，合著者描述了一种用于输入和操作未发布的黑盒模型的技术，据说该技术能够以“非常高的保真度”恢复DRL模型。

DRL可以处理复杂的任务和环境交互，因此它获得了一些好处。它结合深度学习架构和强化学习算法构建复杂策略，从而了解环境的上下文(状态)并做出最佳决策(动作)。然而，随着DRL进入越来越多的商业产品，如Mobileye和Wayve的高级驾驶员辅助系统，它可能成为针对知识产权盗窃或潜在有害逆向工程的对手的目标。

研究人员的方法假设目标DRL的域(即模型正在执行的任务、上下文和输入输出格式)是已知的，攻击者可以设置环境状态并观察DRL模型的相应动作。他们的攻击分为两个阶段：

分类器根据给定黑盒DRL模型的动作序列预测其训练算法。

通过提取的算法，模仿学习方法可以生成和微调与目标行为相似的模型。

首先，基于算法在大量“阴影”DRL模型上训练分类器。该分类器为每个算法训练DRL模型，并通过使用包括所有考虑中的算法的多样化池来评估其在多个环境中的性能。然后，它收集性能最好的模型的状态动作序列，生成样本(由序列表征并由训练算法标记)，并将提取的模型传递给第二阶段进行细化。

第二阶段(模仿学习阶段)采用GAIL，这是一种无模型的学习算法，可以在大规模、高维环境下模仿复杂行为。在仿真过程中，构造了两个相互竞争的模型：带提取算法的生成DRL模型和判别模型。生成的模型将根据反馈迭代优化其参数，直到生成的数据无法与目标模型区分，并且该过程将重复，直到获得与目标模型具有相似性能的模型。

在实验中，研究人员将他们的方法应用于OpenAI健身房软件中的两个流行的基准测试：Cart-Pole和Atari Pong。对于每个环境，他们选择了50个训练好的模型，产生了250个训练好的DRL模型和12500个动作序列。

他们发现分类器以相对高的置信度区分每个算法的DRL模型，置信度从54%(在Cart-Pole中)到100%(在Atari Pong中)。对于模仿学习阶段，它尝试使用与目标模型性能相似的相同算法来复制模型，尤其是在Cart-Pole中。研究人员写道：“当复制的模型具有与目标模型相同的训练算法时，[攻击]的成功率将会增加。”“我们希望这项研究能够激发人们对DRL模型隐私问题严重性的认识，并提出更好的解决方案来缓解此类模型攻击。”