微软发布了一个名为Counterfit的开源工具,帮助开发者测试人工智能(AI)系统的安全性https://github.com/Azure/counterfit/“target=”\u blank“rel=”noopener noreferrer nofollow“data component=”externalLink“>在GitHub上发布了Counterfit项目指出a此前的研究发现,大多数组织缺乏解决对抗性机器学习的工具。
“该工具诞生于我们评估微软人工智能系统漏洞的需要,目的是主动保护人工智能服务,根据https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1:primaryr6“target=”\u blank“rel=”noopener noreferrer“data component=”externalLink“>微软负责任的人工智能原则和负责任的人工智能工程(RAISE)战略计划,“微软在博客中说。
请参见:构建仿生大脑(免费PDF)(TechRepublic)
Microsoft描述了该命令line工具作为“通用自动化工具,可大规模攻击多个人工智能系统”,微软的红队作战用于测试自己的人工智能模型。微软也在探索在人工智能开发阶段使用反比特技术。
该工具可以通过浏览器通过Azure Shell部署,也可以在Anaconda Python环境中本地安装。
微软承诺,命令行工具可以评估托管在任何云环境、本地或边缘网络中的模型。Counterfit也是模型无关的,并且努力做到数据无关,适用于使用文本、图像或通用输入的模型。
“我们的工具使安全社区可以访问已发布的攻击算法,并有助于提供一个可扩展的接口,用于构建、管理和发起对AI模型的攻击,”Microsoft指出。
这个工具在一定程度上可以用来防止对抗性机器学习,即攻击者用操纵性数据欺骗机器学习模型,例如McAfee的 用MobileEye摄像头对老款特斯拉进行黑客攻击,通过在速度标志上贴上黑色胶带,诱使他们误读限速。另一个例子是 微软的Tay聊天机器人灾难,该机器人在推特上发表种族主义言论。
它的工作流程也按照广泛使用的网络安全框架设计,如Metasploit或adobeflash:Microsoft计划将其从windows10pc中永久删除