一项旨在协助英国警方做出羁押决议的算法最近做了一些调整，缘由是担忧它能够会歧视来自贫穷地域的公民。回忆这项算法任务的历程，你会发现它做出的预测和人类预测有着宏大的差别。

过来五年，达勒姆警察局和计算机迷信家们不断在开发“危害风险评价工具”（简称HART）。HART是一团体工智能零碎，它可以预测立功嫌疑人两年内再犯的概率是较低、中等还是较高。

HART是英国警方最先采用的人工算法之一。它不直接决议能否羁押立功嫌疑人，而是意在协助警察决议能否将某团体列入一个叫做“Checkpoint”的康复方案。这个康复方案的初衷是调停诉讼，避免嫌疑人被送上法庭。

HART零碎用到了34项团体数据（包括年龄、性别和立功史等）来评价立功风险的上下，其中包括了邮政编码。不过警方目前正在剔除该AI零碎中的邮政编码信息的次要字段，比方删除达勒姆邮政编码的前四位数。2017年9月宣布的一篇学术论文草案在回忆对这项算法的运用时写道：“HART目前正在承受数据更新，目的是删除两个与邮政编码相关的预测目标中的一个。”这篇论文的结合作者之一是一位警方成员。

爱丁堡纳皮尔大学立功司法零碎专家Andrew Wooff说道：“我关于将邮政编码前几位作为预测目标心存忧虑。”他补充说，将地域和社会人口统计信息等作为预测目标，会加深警务决策和司法零碎中的成见。“假如零碎预测某个邮编对应的地域具有立功高发风险，而且警方据此采取了举动，无疑会缩小这种认知。”

这篇行将宣布的学术论文，初次对HART停止了仔细的审视。它指出，邮政编码和社区的贫穷水平能够有一定的相关性。住址信息之所以会成为预测立功的相关目标，能够是人为形成的后果。假如把邮政编码作为树立再犯模型的根据，那么这个模型就会使立功高发地域的居民备受关注。这篇论文强调，真正令人担忧的不是模型自身，而是用来构建模型的预测因子。

该论文还强调，“人类和算法的预测观念存在分明的分歧。”在该算法的初始实验阶段，警方成员被要求模拟算法的输入后果，预测一团体的再犯几率是较低、中等还是较高。差不多三分之二的状况下（63.5％），警员将罪犯的再犯几率归类为中等。论文中写道，“模型和警员预测的吻合率只要56.2％。”

就修正算法一事，外媒WIRED联络了达勒姆警察局，但截至发稿工夫尚未收到对方回答。

分析HART算法的内在机制

“您被约请参与一项研讨方案”，一位达勒姆警官手中的约请函这样写道。他原告知，“这项研讨将彻底改动你的生活”，假如这项研讨取得成功，罪犯们将永不再犯。

Checkpoint方案是达勒姆警察局和剑桥大学结合主导的一项实验。这项实验希望经过研讨为什么有些人会吸毒、酗酒、无家可归和呈现心思成绩来降低再立功率。

Checkpoint方案的研讨对象由HART算法来提供。假如某人被HART算法断定为具有中等再犯几率，就会被列入Checkpoint方案。而被零碎断定为具有较低或较高再犯风险的人，则不会被列入方案。

弗吉尼亚大学公共政策与经济学教授Jennifer Doleac说道：“人们的生活被现状所扰，但有没有一种更好的处置立功的方式呢，这种方式愈加公道，让我们愈加接近社会目的？”Checkpoin方案曾被霍华德刑法变革联盟授予奖项，后者称誉了它试图让人们免受司法体系困扰的尝试。

HART是一个运用R编程言语，经过随机森林停止决策的机器学习零碎。所谓随机森林，是指一种基于一系列不同输入停止预测的办法。

HART所做的每一个决策都是树立在历史数据之上的，它经过剖析历史数据来预测将来。达勒姆警察局向HART的第一代模型提供了2008-2012年时期的104000起羁押工夫的详细信息。它从这些信息中提取出了包括地位数据在内的34个预测因子，并据此预测每团体的再犯几率。HART的一切预测后果都是经过零碎外部的509个投票得出的，投票分为低、中、高三个选项。

这项研讨由达勒姆警察局的刑事司法主管Sheena Urwin指导，他宣布的研讨效果显示，HART零碎在真实世界中是卓有成效的。HART零碎的晚期版本已经预测一个24岁的女子具有高再犯几率。该女子有过暴力立功史，警方掌握了他的22条立功记载。HART零碎外部投票时有414票投给了高再犯几率，另有87票和8票辨别投给了中等再犯几率和低再犯几率。后来该女子果真由于谋杀而被捕定罪。

以算法为执法根据

虽然人工智能在警察和执法机构中的使用仍处于晚期阶段，但对有志于开发AI算法零碎的警察机构来说，这个进程中曾经暴显露了很多值得警觉的成绩。

Pro Publica 2016年的一项调查研讨曾被普遍援用，该调查显示，Northpointe开发的COMPAS软件对黑人立功持有成见。

乔治梅森法学教授Megan Stevenson在研讨风险评价算法Kentucky的作用时发现，该算法并没有起到多大的作用。经过剖析一百多万起刑事案件的材料，Stevenson得出结论，“它既没有带来风险评价算法的拥趸们所等待的效率提升，也没有像批判者们预言的那样加深种族歧视。”研讨后果还显示，法官们运用Kentucky零碎的风险评价法的工夫越长，他们就越倾向于回到本人原有的任务办法和形式。

为了防止人类的种族和社会歧视浸透到HART算法当中，达勒姆警察局专门为员工举行了围绕“有意识歧视”的宣传讲座。警方还强调，这项算法所运用的预测因子中并不包括种族，而且算法输入的后果只是一种辅佐，它的目的在于协助人类更好地作出决策。2017年12月，Urwin向国会议员解释道：“虽然我不能通知你详细的数字，但警员们的确不会完全依照算法的预测行事，由于预测并非全部和最终的参考根据，它只是一种辅佐而已。”

爱丁堡纳皮AI已经渗透到了生活中的方方面面。在智能交通领域，人工智能技术也正在发挥作用。尔大学的Wooff教授则表示，出于工夫紧迫和集约资源的思索，警方能够会让警员们过度依赖AI生成的决议。他说道：“我可以想象，警员们能够更依赖于零碎的决策而不是本人的考虑。” Wooff教授以为，书面记载对需求做决策的警员们或许有所协助，“这局部是由于，一旦呈现了成绩，你可以为本人的决策辩护。”

另一项聚焦于COMPAS软件的精确性的研讨发现，它和没受过专业训练的人类做出的决策没什么不同。这项研讨的作者之一Julia Dressel说道：“COMPAS的预测并不比那些简直没有任何刑事司法经历的人，基于在线调查做出的预测愈加精确。” Julia Dressel如今曾经成了一名苹果工程师。

Dressel和达特茅斯学院教授Hany Farid付费让人们运用亚马逊的Amazon Mechanical Turk网站，预测罪犯能否会再次立功，并将预测后果和COMPAS的后果相比拟。后果显示，人类和算法的预测精确率都在67%左右。Dressel说道：“我们不能凭幻想象，以为一个工具运用了大数据就能精确地预测将来。我们需求让它到达十分高的规范，而且要对它停止测试，让它证明本人的确像标榜的那般精确无效。”

推心置腹，承受大众监视

达勒姆警察局的算法是一个“黑箱”，零碎无法完全解释本人是如何做出决策的，我们只晓得它是基于模型外部的超越420万个数据点。2017年9月，对HART的总结和反思得出一个结论，“不通明度似乎无可防止”。目前HART零碎仅接入了达勒姆警局的数据，将来它能够还会接上天方议会或英国警察国度数据库中的数据。

为了躲避算法不通明的成绩，警方创立了一个框架，框架规则了算法该在何种状况下被运用。这个框架被称为“算法留意事项”，外面说道，算法必需是合法、精确、可应战、担任人和可解释的。

AI Now研讨所的技术人员Dillon Reisman说道：“问责不能只是一个核对清单。很快乐看到他们制定了“算法留意事项”，但他们还应该考虑优先运用算法能否恰当。” AI Now研讨所次要的做事情是研讨人工智能关于社会发生的影响。

警方回绝发布HART的底层代码，以为这不契合群众的利益，而且有能够将这个零碎扼杀于研讨阶段。不过，警方表示他们情愿将底层零碎交给地方组织。

“达勒姆警察局将预备好向算法监管机构地下HART算法和相关的团体数据及羁押数据集，”警方被问及数据地下成绩时如此回应道。

Reisman以为，仅仅地下这些数据还不够，由于“光看代码无法对算法停止评价”。他说道：“你还等晓得人们是如何依据算法的决策采取举动的。”

在这些发作之前，AI警务零碎的无效性仍值得商榷。2017年9月，一份由Urwin参与写作的关于HART的审查报道，重点关注了算法预测能否完全适用，以及种族等相关数据能否应该被归入警务零碎这两大课题。

COMPAS剖析报告的结合作者说道：“依据以往的行为精确预测一团体将来两年会做些什么是十分困难的。假如你无法做到那样高的精确率，那么就应该保持这种办法，转而寻觅其他更复杂的途径，并在公民的自在和社会波动之间寻觅均衡。” 雷锋网雷锋网 聚集了全世界身经百战的最优秀的创业导师，汇集了全世界各国最优质的产业资源，召唤全球未来的商业领袖。

 via wired 雷锋网 (大众号：雷锋网) 编译

。