人工智能和算法决策的普及帮助塑造了我们社会的许多方面:从面部识别到深度伪造技术,再到刑事司法和医疗保健,它们的应用似乎无穷无尽。在这些背景下,应用算法决策的故事既有希望也有危险。考虑到这些技术的许多应用所涉及的新颖性、规模和不透明性,其风险往往非常高。
这是联邦贸易委员会委员丽贝卡·凯利·斯劳特(Rebecca Kelly Slaught)白皮书《算法和经济正义:危害分类法》的简介,也是联邦贸易委员会的前进之路。如果你一直在关注数据驱动和算法决策、分析、机器学习、人工智能以及它们的应用程序,你就可以知道它是正确的。这份长达63页的白皮书并不令人失望。
斯劳特与她的联邦贸易委员会同事珍妮丝·科佩克和穆罕默德·巴塔尔共同编写了白皮书。他们的工作得到了Immuta的支持,并且刚刚作为耶鲁法学院信息社会项目“数字未来白皮书”系列的一部分发表。数字未来白皮书系列于2020年推出,是全球领先思想家质疑数字技术对法律和社会的影响的场所。
该系列旨在为学术界、研究人员和从业者提供一个论坛,描述数据和监管的新挑战,面对有关法律和技术的核心假设,并提出新的方法,使法律和道德框架与数字世界的问题保持一致。
斯劳特指出,近年来,算法决策产生了偏见、歧视性,在美国经济中一些最重要的领域也会出现问题。她的工作提供了预示不公正的算法危害的基本分类,描述了危害本身和驱动这些危害的技术机制。
此外,还描述了斯劳特对联邦贸易委员会现有工具如何能够和应该积极应用于挫败不公正的观点,并探索新立法或联邦贸易委员会规则制定如何从结构上帮助解决算法决策产生的危害。
错误输入、错误结论、未充分测试斯劳特确定了算法设计缺陷产生有害结果的三种方式:错误输入、错误结论,机器学习算法的价值与用于开发它的数据的质量内在地相关,错误的输入可能产生完全有问题的结果。这一宽泛的概念可以用一句熟悉的话来概括:“垃圾输入,垃圾输出。”
用于开发机器学习算法的数据可能会有偏差,因为单个数据点反映了有问题的人类偏见,或者因为整个数据集没有足够的代表性。Slaught指出,经常出现偏差的训练数据反映了偏见或不平等的历史和持久模式,当它们出现偏差时,这些错误的输入会产生有偏差的算法,加剧不公正。
她列举了一些引人注目的错误输入示例,比如亚马逊开发机器学习驱动的招聘算法的尝试失败,以及国际文凭考试和英国a级考试。在所有这些情况下,用于自动化决策的算法不断识别用于训练决策的数据中的偏差模式,并试图重现这些模式。
另一种类型的问题是将数据输入算法,生成不准确或误导性的结论——也许更好的措辞是“数据中,这种类型的缺陷、错误的结论,加深了人们对人工智能驱动的“影响识别”技术迅速发展领域的担忧,并常常因实验设计的失败而加剧。
机器学习通常是一个黑匣子,随着应用程序的影响越来越大,这可能会产生问题。图像:Immuta
Slaught描述了算法试图在某些类型的身体表现和习性中找到模式并根据这些模式得出结论的情况。但是,她指出,正如人们所预料的那样,人的性格不能被简化为一组客观的、可观察的因素。斯劳特强调了在招聘中使用情感识别技术的问题尤其严重。
有些人比其他人更为严重,例如,一家公司声称描述了60多种与工作表现相关的个性特征——从“机智”到“冒险”再到“有教养”——所有这些都是基于对申请人30秒录制的视频求职信的算法分析。
尽管“人工智能”等术语带来了客观的外表“机器学习”,在许多情况下,这项技术仍然非常不完善,许多人认为它的使用完全是伪科学。
但斯劳特指出,即使是精心设计的算法,也会产生意想不到的有偏见或有害的结果。很多时候,算法的部署都没有经过充分的测试,这些测试可能会在这些不受欢迎的结果伤害到现实世界中的人们之前就发现它们。
斯劳特提到了谷歌和LinkedIn搜索测试时发现的搜索结果中的偏差,但重点是医疗领域。最近的一项研究发现,在广泛使用的机器学习算法中存在种族偏见,该算法旨在改善患有慢性健康问题的高风险患者获得护理的机会。
该算法使用医疗成本作为健康需求的代理,但出于与健康需求无关的各种原因,白人患者在医疗保健上的花费比同样患病的黑人患者要多。因此,使用医疗成本来预测健康需求,导致算法不成比例地标记白人患者接受额外护理。
研究人员估计由于这种嵌入式偏倚,被确定需要额外护理的黑人患者数量减少了一半以上。发现算法缺陷的研究人员之所以能够做到这一点,是因为他们不仅关注算法本身,还关注算法产生的结果,因为他们能够获得足够的数据来进行有意义的调查。
当研究人员发现缺陷时,算法的制造商与他们合作以减轻其影响,斯劳特指出,最终将偏见减少84%——这正是测试和修改试图实现的偏见减少和伤害减轻的类型。
促进代理歧视,实现监督资本主义,抑制市场竞争并非所有算法的有害后果都源于设计缺陷。斯劳特还指出了复杂算法产生系统性伤害的三种方式:促进代理歧视、启用监督资本主义和抑制市场竞争。
代理歧视是使用一个或多个表面中立的变量来代表受法律保护的特征,通常导致对受保护阶级的不同对待或不同影响,以获得特定的经济、社会和公民机会。换言之,这些算法识别看似中性的特征,以创建与受保护类密切对应的组,斯劳特提到了一些引人注目的代理歧视案例:住房和城市发展部指控Facebook的工具“相貌相似的受众”,向不同的受众展示职位空缺,金融科技创新可以使历史偏见得以延续,从而拒绝进入信贷系统,或有效地将高息产品瞄准那些最负担不起的人。
算法决策可以引发更广泛的社会挑战的另一种方式是它在监督资本主义系统中所起的作用,斯劳特将其定义为一种系统性侵蚀隐私、促进错误信息和虚假信息、推动激进化、破坏消费者心理健康的商业模式,减少或消除消费者的选择。
人工智能道德具有非常现实的影响,通过不断的、数据驱动的调整、屠宰记录、处理消费者数据的算法(通常是实时的)发展,其影响越来越广泛和重要,并“改进”以不懈的努力吸引尽可能多的人的注意力并将其货币化。许多监控资本主义企业在使用算法“优化”消费者注意力方面非常成功,几乎不考虑下游后果。
斯劳特研究了针对儿童的YouTube内容以及它是如何被武器化的。联邦贸易委员会已经处理了这一问题,斯劳特指出,YouTube宣布他们将使用机器学习积极搜索错误指定的内容,并自动应用年龄限制。
虽然这听起来像是在这种情况下要求的技术支持,但她指出了两个主要区别:第一,这完全是自愿的,其次,它的应用和有效性都是不透明的。她认为,这引发了对监控资本主义更广泛的担忧——这一担忧超出了任何单一平台。
斯劳特指出,与算法决策相关的陷阱最明显地体现在联邦贸易委员会通过其消费者保护使命实施的法律中。但是联邦贸易委员会也负责促进竞争,算法所带来的威胁也深刻地影响着这项任务。
此外,她接着补充说,这两项任务实际上并不不同,而问题——包括与算法和经济公正相关的问题——需要从竞争和消费者保护的角度加以考虑。
斯劳特研究了包括传统反垄断费用(如定价和合谋)在内的主题,以及更为新颖的问题,如占主导地位的数字公司使用算法来巩固市场力量和进行排他性实践的影响。
总体而言,白皮书似乎研究得很好,并对主题进行了很好的概述。虽然该文件中关于利用联邦贸易委员会的现有权力更好地保护消费者以及建议的新立法和监管解决方案的章节提到了我们认为没有资格报告的法律工具,但我们鼓励感兴趣的读者阅读这些工具。但是,我们也希望注意到,意识到人工智能道德以及数据和算法的深远影响固然重要,但同样重要的是,当涉及到往往是主观的、可以解释的问题时,保持建设性的、公正的态度。
在社交媒体上经常发生的辩论中,态度过于热情,当背景和意图很容易被误解和曲解时,可能不是取得进展的最具建设性的方式。举个例子,人工智能是Yann LeCun和Pedro Domingo的不幸故事的主角。
说到人工智能道德,我们需要超越耸人听闻,转向一种信息充分、数据驱动的方法。斯劳特的工作似乎是朝着这个方向迈出的一步。
亚马逊海王星更新:机器学习、数据科学和图形数据库的未来
开源增长和风险资本投资:数据、数据库、挑战和机遇,但是它好吗?
不仅仅是文字:通过注册,您同意使用条款并承认隐私政策中概述的数据实践。
您还将免费订阅ZDNet的今日技术更新和ZDNet公告时事通讯。您可以随时取消订阅这些时事通讯。
您同意接收CBS公司系列的更新、提醒和促销活动,包括ZDNet的今日技术更新和ZDNet公告时事通讯。您可以随时取消订阅