原创：谭婧人工智能算法攻与防，始于一个幽默的“捣鬼”，在谷歌试验室里。“捣鬼”，纯正是人为的，自己给自己添乱。失掉的试验室论断是：对输入样本（一张图片）故意减少一些人无法肉眼发觉的纤细搅扰，可以造成图像分类模型，会以较高的概率（高置信度）给出一个失误的输入。在事实环球里，“捣鬼”就让计算机出错。2014年的这一结果写在了，谷歌钻研员Christian Szegedy博士和其团队的论文《神经网络的幽默个性》（Intriguingproperties of neural networks）中。论文作者，也觉“幽默”，不信你看论文的标题叫啥。这可以算，环球最早对人工智能算法攻与防的钻研。
或许说，人工智能算法攻与防的钻研，肇始于谷歌公司。2017年，Ian Goodfellow博士牵头组织了 NIPS 2017 反抗样本攻防竞赛，这是国际上第一次性专门举行反抗攻防专竞赛。
这位三十多岁的AI重生代首领，还有一个江湖称呼，“生成反抗网络之父。”
此网络，彼网络，都是深度学习之网络。
值得一提的是，清华大学朱军传授团队包揽了这次较量三个赛道的冠军。
也在2017年，AI反抗攻防迎来首个算法开源平台CleverHans，听下来，中文名像“痴呆的汉斯”。
由Ian Goodfellow和其团队开发并开源，欢迎来自环球各地的反抗算法开发人员奉献代码。
Cleverhans平台的攻防框架，将攻防算法模块化，环球钻研者能在这一平台上，极速研发不同的反抗样本生成算法和进攻算法。
次年，来自图宾根大学团队推出的Foolbox（直译，傻盒子）图像分类畛域的攻防算法库，开源。2019年，谷歌Ian Goodfellow博士团队就曾在2019年的论文“针对智能语音识别的无法发觉的、鲁棒的和有目的的反抗样本”，英文名为，Imperceptible, Robust, and Targeted Adversarial Examples forAutomatic Speech Recognition。
这一钻研成绩，通知咱们“幽默的捣鬼”也实用在语音，将AI反抗样本攻防算法从图像畛域裁减到语音畛域。
这个谷歌团队的钻研（语音反抗攻击算法），经过减少无法发觉的噪声到达100%的攻击成功率。2019年，博士Ian Goodfellow从谷歌跳槽去了苹果公司。谷歌AI痛失一员大将。
既然是攻防，一直要决出上下。
2020年底，来自图宾根大学的团队颁布图像分类畛域评价攻防算法鲁棒性的基准平台RobustBench。这一基准平台，坐拥30多篇论文中零散的进攻模型，应用繁多的攻击算法测量进攻模型的鲁棒性，惋惜的是，用于评测的数据集不多。
IBM公司的团队也做了相似的事件，开源了Adversarial Robustness Toolbox（ART，直译反抗鲁棒性工具箱）。
短期内，两个针对图像分类畛域的攻防算法开源库，相继面世。
在清华大学，朱军传授团队低调开源了 AI 反抗安保算法平台ARES，简称Adversarial Robustness Evaluation for Safety。ARES的中文名是阿瑞斯，古希腊神话中的抗争之神，奥林匹斯十二主神之一。古希腊神话中的战神，双手持矛和盾是攻防合一的化身，AI安保算法攻与防博弈。开源时期追溯到2019年11月24日。
ARES平台，有朱军传授团队自行研发的关系攻防算法，有40多个不同类型的进攻模型，允许下层API间接调用。除了算法库，还有鲁棒性测评工具，允许对图像分类义务上不同模型的反抗鲁棒性启动准确和片面的基准测试。妇孺皆知，数据集分为训练集和测试集，训练集，训练模型；测试集，测试模型的性能。由于测试鲁棒性所用的测试集很关键，所以，ARES平台驳回了地下的CIFAR10和ImageNet数据集。
这一成绩也被收录为CVPR2020的Oral论文《基于图像分类的反抗鲁棒性基准》，Benchmarking Adversarial Robustness on Image Classification。
图示：评测的设定值（setting），CIFAR-10是数据集，Untargeted是攻击的目的，epsilon是减少扰动大小。
CVPR2021时期，ARES平台也允许了白盒的反抗攻击竞赛（在线运转环境），环球1600多支代表队的选手在平台提交攻击算法，在提交的约2000个攻击算法中，高品质算法大略有100个。
在ARES平台上，为了做得更好，CVPR2021人工智能攻防竞赛中排名前五的攻击算法被收录，清华大学此前的钻研成绩也被收录。
ARES也是目前为止图像分类畛域较为片面的算法鲁棒性基准平台。
现有的四大AI 反抗安保算法平台，CleverHans、Foolbox、ART、ARES，均有一致的底层框架和图像分类畛域典型攻防算法，大型交友社区Github上都能测评。
然而，只要RobustBench和ARES后续出了网页版。
AI反抗算法鲁棒性基准平台的英文名是AdversarialRobustness Benchmark，也是网页的名字，Benchmark直译为“基准”。
这是国际首个，由清华大学朱军传授带头，瑞莱智慧RealAI和阿里安保团队均有介入。
光阴匆匆，人工智能算法攻与防，也走过了七个年头的岁月。
是时驻足思索，这一时期推出基准平台有什么意义？
朱军传授的了解是：
第一，致力提供一个地下、偏心、公正、片面的权衡。第二，一个繁难经常使用的，鲁棒性测试工具，人人提交模型，均可以失掉综合鲁棒的分数。第三，一直引入新的攻击进攻算法，作为规范测试平台。
新的算法提交到这个网站上，可以看到算法的大略体现。更综合的测评目的，评价战略更为迷信，能给攻防畛域的钻研提供更多的指点和测评撑持，能片面、主观地展现最新的攻防方法。
最后，朱军传授宿愿和学术界、产业界一同去共建、保养这个地下榜单，让其成为攻防算法畛域的一个规范。
专家观念：
阿里安保初级算法专家，越丰：像打仗一样，攻击者或许用水攻，也或许火攻，还或许偷偷挖条地道来攻击一座城，守城的人不能只思索一种或许性，必定设防应答许多的攻击或许性，尤其要关注恶意攻击者对数据或样本启动“投毒”，故意影响AI模型的攻击行为。
瑞莱智慧 RealAI CEO，田天博士：算法安保，比拟典型的就是反抗样本，它是深度学习范式下人工智能存在的一种毛病，经过算法修正为样本攻击提供深档次的攻击，而且曾经成为了干流的技术趋向。
伊利诺伊大学（UIUC）计算机迷信系助理传授，李博：机器学习在推理和决策的极速开展，已使其宽泛部署于智能驾驶、智慧市区、智能医疗等运行中。然而，传统的机器学习系统理论假如训练和测试数据遵照相反或相似的散布，并未思索到潜在攻击者恶意会修正训练和测试数据这两种数据的散布。这相当于在一团体生长的环节中，故意启动失误的行为疏导。恶意攻击者可以在测试时设计小幅度扰动，误导机器学习模型的预测，或将精心设计的恶意实例注入训练数据中，经过攻击训练引发AI系统发生失误判别。
好比是从AI“基因”上就做了扭转，让AI在训练环节中按失误的样本启动训练，最终变成被操控的“傀儡”，只是经常使用的人全然不知。深化钻研潜在针对机器学习模型的攻击算法，对提高机器学习安保性与可信任性有关键意义。
本文致谢，董胤蓬博士，没有他的解说，很难实现梳理。
他是清华大学计算机系四年级博士生，导师为朱军传授，担任AI攻防算法的钻研与落地。关键钻研方向为机器学习与计算机视觉，聚焦深度学习鲁棒性的钻研，先后宣布CVPR、NeurIPS、IJCV等顶级国际会议及期刊论文二十余篇。
曾是ICML、NeurIPS、ICLR、CVPR、ICCV、TPAMI等会议和期刊的审稿人。曾取得国度奖学金，清华大学未来学者奖学金、CCF-CV学术新锐奖、微软奖学金、百度奖学金等。在NeurIPS 2017人工智能反抗性攻防大赛中取得所有三个较量名目的冠军。
以下是朱军传授的PPT，自取，不谢。
可取得朱军传授PPT。更多浏览：搞深度学习框架的那帮人，不是疯子，就是骗子七分之一在线评论都有假，人工智能救一把？难倒刘强东的奥数题，京东智能供应链解开了超级计算机与人工智能：大国超算，无人领航隐没的人工智能 “法外之地”孩子心脏发育不好，我要存孩子的心电数据电子地图“顽疾”难治，会“传染”智能驾驶公用高精地图吗？
最后，再引见一下主编自己吧。我是谭婧，科技和科普题材作者。围追科技大神，堵截科技公司。生命持久，不走捷径。还想看我的文章，就关注“爱戴的数据”。