在她终身中的大局部工夫里，脑瘫患者Tammy Dobbs依托她在密苏里州的家人照料。 2008年，她搬到了阿肯色州，在那里她请求了一个为看护人提供赞助的方案。

依据医疗补助减免方案，评价员与受害人停止了面谈，并决议看护者应该多久上门效劳一次。 Dobbs的诉求十分多。她的病使她不得不坐在轮椅里，双手生硬无法做事。生活中最根本的义务比方起床、去洗手间、洗澡等都需求护工的协助，更不必说她喜欢光临的后院售卖活动（在院子里出售家里闲置的物品）。护士评价了Dobbs的状况，每周提供56个小时的家庭护理效劳，这是该项目允许的最长效劳工夫。

多年来，她的生活调理得很好。 每天上午8点，一位护工到她家，协助Dobbs起床，推她进入浴室，做早餐。 她会在午餐时回来，然后早晨再回来预备晚饭和做其他必要的家务，然后协助Dobbs上床睡觉。最初时辰特别重要：无论Dobbs在哪里入睡，她都会等到11小时后护工回来。

Dobbs的需求会被活期评价，但由于她并不会康复，所以似乎没有必要改动对她的看护方案。

当评价员在2016年上门检查她的状况时，采用的是惯常的流程：她需求多少协助才干洗澡？ 吃东西的才能？ 她的心情形态如何？那个女人在电脑中输出了笔记，完毕时，给了Dobbs一个震惊的结论：她被照顾的工夫会延长到每周32小时。

Dobbs表示，她对这名男子表达了愤恨。她央求、解释这点工夫是相对不够的。Dobbs说，她们俩其实都不晓得发作了什么。Dobbs的状况没有改善，一种有形的变化发作了。 当评价者将Dobbs的信息输出计算机时，该州最近同意的一种算法决议了她将取得多少小时的护理。

该州其他一些人也在试图理解为什么会变化那么大。参加这个方案的人们相互通气，数百人埋怨说他们最重要的生命线曾经被切断，他们无法了解是什么缘由让他们深陷这种不利的地步。

阿肯色州2016年上线的这种算法工具无处不在，从医疗保健到执法机构，受其影响的人们生活遭到改动，但对算法自身却知之甚少。即便算法的细节被地下（状况并非总是如此），即便是运用它们的人也经常无法了解，从而提出了通明度在自动化时代意味着什么，担忧对机器做出的决议人类能否有才能停止申辩。

为了应对延长的护理工夫，Dobbs计算了她可以不用要做的事情，在去教堂或清扫房子之间做出选择。 她不断在尝试写诗，后来写了首复杂的七行诗，称为“小时窘境”，直指州政府。 她写道：制度化将是一场“噩梦”，并要求州政府“重新回到人工判别的评价”。

这一变化让Dobbs堕入了她从未想象过的窘境，由于她多年来依赖的方案丢弃了她。 “我本以为他们会不断照顾我的，”她说。

推翻Dobbs生活的算法打印出来大约20页左右。虽然没有专家的协助很难解读，但该算法将大约60种描绘，症状和疾病停止归类（发热，体重加重，呼吸机运用），每个类别对应几小时的家庭护理。

像许多行业一样，医疗保健曾经转向自动化以进步效率。阿肯色州运用的算法被称为“工具”，它试图提供团体安康情况的快照，以便协助养老院、医院和监狱等护理有关的机构作出判别。

阿肯色州运用的工具由InterRAI设计，InterRAI是来自世界各地的非营利卫生研讨人员的协作组织。InterRAI总裁Brant Fries是密歇根大学安康管理与政策系的的教授。他在20世纪80年代开端开发算法，最后用于养老院。他说，这些工具受权给软件开发商以取得“小额的版税”，并要求用户将数据发回InterRAI。美国简直一半的州以及其他一些国度的卫活力构都在运用该组织的工具。

在家庭护理中，分配护理工夫的成绩尤其严重。美国还没有预备好为寿命越来越长的民众提供效劳，这种状况给需求照顾的人和护工人员都形成了成绩。其中一些人说有些任务工夫得不到报酬。随着需求的添加，各州曾经被敦促寻觅新的办法来控制本钱并合理分配他们所拥有的资源。

依据研讨卫生政策的布朗大学教授、InterRAI会员Vincent Mor的说法，各州采取了不同的途径来处理这个成绩。加利福尼亚州有一个庞大的、多层次的家庭护理零碎，而一些较小的州仅依托人工评价。运用算法零碎之前，阿肯色州的评价者有很大的余地来分配他们以为必要的工夫。在许多州，“只需你契合资历要求，指定的经理、护士或社会任务者将为你制定特性化的方案，”Mor说。

零碎上线后，阿肯色州的发言人曾表示，以前的人工评价制度由于偏袒和独断遭到质疑。“我们晓得有些人的护理方案会有变化，由于这种新的评价零碎更为客观。”受援助者指出没有证据显示这种改善。阿肯色州官员还说，相当一局部人的小时数失掉添加，而受援助者则以为，州政府也无法提供双向变化的数据。执行该方案的阿肯色州人类效劳部回绝答复任何成绩，理由是州法院正在展开一场诉讼。

当相似的医疗零碎完成自动化时，并不总是完满的，错误难以失掉纠正。 学者Danielle Keats Citron以科罗拉多州为例，编程人员在2000年代中期将900多条不正确的规则归入其公共福利体系，招致孕妇被医疗补助方案拒之门外。加利福尼亚也有相似的成绩，Citron在一篇论文中写道，由于寄养儿童被医疗补助方案采纳，招致“公共福利多付、少付、误取消”。 Citron论述了“技术合理化流程”的必要性，既了解自动化零碎的任务原理，又提供合理的手腕来应战它们。

批判者指出，在设计这些方案时，鼓励措施并不总是与复杂的界面和易了解的流程相婚配。《Automating Inequality》（自动化的不平衡）的作者Virginia Eubanks说，美国的许多方案的首要义务是转移视野，承受效劳的难度添加，流程很难懂，这只是意味着真正需求这些效劳的人无法取得协助。

在爱达荷州发作了一同最新奇的事情，外部开发了一套相似阿肯色州那样的算法零碎，试图用来分配家庭护理和社区整合基金。该州的家庭护理方案计算了照顾严重残疾人的费用，然后分配资金。但是在2011年左右，当一个新的公式被制定时，这些资金忽然大幅下跌，很多人蒙受高达42％的经费增添。当福利遭到锐减的人试图搞清楚这套福利是如何计算时，该州回绝泄漏其运用的公式，称其计算办法是商业机密。

2012年，外地的ACLU分部代表该方案的受害人提起诉讼，以为爱达荷州的行为剥夺了他们走合理顺序的权益。依据开庭信息披露，当州政府开发这套工具时，基于的是有严重缺陷的数据，虽然将其大局部数据删除了，该州持续处置剩下的数据。爱达荷州法律总监Richard Eppink说：“在开发这种公式的进程中，每一步确实都有错误。”

最重要的是，当爱达荷州的零碎呈现毛病时，普通人无法了解或应战它。法院写道：“参与者没有失掉采纳的解释，也没有书面规范提供指点，并且通常没有家庭成员、监护人或许付费的效劳协助他们。”上诉的流程很难操作，Eppink说，无论如何，这是“毫有意义的”，由于接到上诉的人也无法了解公式。他们会看看零碎并说：“以我的职权和专业知识无法质疑这个后果的牢靠性。”

爱达荷州曾经赞同改良该工具并创立一个新零碎，Eppink说新零碎将愈加“通明，容易了解、公道”。他说，能够会有一个理想的公式，当输出精确的变量时，没有失误，以完满的方式分配援助。但是假如这个零碎太复杂了，以致于它影响到的人们无法了解，那么它就不合格，Eppink以为。 “你必需可以了解一台机器做了什么。”

Cash, Arkansas. 位于阿肯色州的 Cash 市

“这是一个矛盾，”Fries说。 “我觉得这很奇异。”他同情那些在阿肯色州任务护理工夫被消减的人们。当一个零碎部署时，他建议旧方案中的人员应该被约请参与其中，或许至多应该逐渐调整护理工夫。他说这些方案中的人们“不会活得那么久，”他还建议给人们一些调整后果的空间，他供认，假如不解释清楚缘由，从“非感性”疾速转变为“感性”体系是苦楚的。他说，阿肯色州的官员并没有听取他的建议。 “他们所做的在我看来真的很愚笨，”他说。那些习气了某种护理方案的人忽然被推入新的零碎，他们一定会提出异议。

Fries说他晓得评价流程：让一团体上门，停止面试，给机器输出数字，然后输入后果，这一切并不舒适。但是该零碎提供了一种由研讨效果支持的护理分配方式。 “你能够会争辩说，每团体都应该取得更多的护理，”算法使州政府官员基于他们仅有的资源停止分配。

至于零碎的通明度，他也以为算法对大少数人来说是不太容易了解的，但这不是成绩。他说， “就像我的洗衣机也不复杂。”但假如你能搜集到更多复杂的细节，这将最终更好地为大众效劳，并且在某种水平上，“你必需得置信，一群聪明人以为这才是明智之举。“

在阿肯色州于2016年开端运用该算法后不久，阿肯色州法律援助律师Kevin De Liban开端承受赞扬。有人控诉说由于护理被缩减而住院。其别人提交材料赞扬了保守的调整带来的负面影响。

De Liban从Bradley Ledgerwood这位受害人那里初次理解到算法带来的变化。 Ledgerwood家生活在该州西南部的一个小城市Cash，儿子Bradley有脑瘫，但是十分活泼，关注篮球和共和党政治，并在市政厅任职。

当Bradley还小的时分，白昼他的祖母照顾他，但随着年龄越来越大，她无法抱起他，事情就变得很蹩脚。 Bradley的父母争论应该怎样应对，最终决议他的母亲Ann留在家里照顾他。这个决议给这家人带来了严重的财务危机。Ann不得不辞去任务。阿肯色州的补助方案给了他们一些聚集了全世界身经百战的最优秀的创业导师，汇集了全世界各国最优质的产业资源，召唤全球未来的商业领袖。补偿。评价Bradley的护理需求后，州政府给予Ann一定的补贴。

Legal Aid attorney Kevin De Liban. 法律援助律 师 Kevin De Liban

当州政府开端采用新的算法零碎，Bradley的护理工夫也大幅增加。Bradley与管理该方案的阿肯色州人类效劳部已经就家庭护理工夫争辩过，他向De Liban求助，De Liban容许参与调查。

The Ledgerwood family. The Ledgerwood 一家人

De Liban开端记载一个他以为的“算法荒唐”的清单。一个变量触及足部的成绩，当评价者讯问某团体时，他们写道这团体没有任何足部成绩，由于他们是截肢者。Bradley说，随着工夫的推移，他们在评价同一人时发现了一模一样的分值，虽然他们的情况没有任何变化。（Fries辩驳说研讨标明这种状况很少发作。）

在州政府看来，纠纷中最令人为难的时辰是在法庭审问中发作的。Fries被要求答复有关算法的成绩，耐烦地向De Liban解释零碎是如何任务的。经过去回争辩后，De Liban提出了一个建议：“你可以看一份评价报告，然后停止分类吗？”（他想晓得哪些变量引发了下一年的护理缩减。）

Fries说他可以，只是需求一点工夫。他检查了Ethel Jacobs的数据。休息工夫当时，一位代言州政府的律师回来，怯怯地向法庭供认：零碎犯了一个错误。不知何故，零碎运用了错误的算法。他们说Jacobs的护理工夫将被恢复到原来的程度。

“当然，我们很欣喜发现了这个错误，这差不多佐证了这个案件中被告的论点，”De Liban在法庭上说。 “没有就这个十分复杂的零碎发布评判规范，因而直到我们发起联邦诉讼并破费数百小时和数千美元才干到取得这个效果，他们的机构中没有人发现这个错误。那才是成绩所在。”

法庭审理进程暴露的成绩是施行该零碎的第三方软件供给商形成的，零碎错误地运用了未思索糖尿病成绩的算法版本。脑瘫也存在一个错误，算法中没有正确编码，招致数百人的计算错误，大局部护理工夫被延长。

“据我们所知，我们的办法是对的，”供给商Center for Information Management的总裁Douglas Zimmer在答复关于算法脱漏糖尿病时这样表示。纽约也在运用这个版本的算法。他供认触及脑瘫的编码成绩是他们犯了错。

“假如各州在运用如此复杂的零碎，以致于他们本人都不能充沛理解，我们怎样能晓得它在正确的轨道上运转呢？”De Liban说。“假如有错误怎样办？”

后来Fries在给州政府的报告中写道，约有19％的被护理者遭到糖尿病选项脱漏的影响。他说思索到算法的边沿效益，总的来说，州政府应该持续运用这套分配更少护理工夫的算法，由于纽约州也在运用。他说糖尿病的变化并不是一个“错误”，报告称普遍运用的算法是阿肯色州的“亮点”。报告中有一项被注明为“专业意见”：回到原始算法是“为了呼应实验后果”，由于它会将被告的护理小时数进步到接近其先前的程度。目前尚不清楚州政府能否曾经开端计算糖尿病成绩。截至12月，一位官员说他以为还没有。人类效劳部则回绝就此宣布评论。

但在外部电子邮件中，阿肯色州官员讨论了脑瘫编码错误和最佳执行方案。官员们提议说，由于一些护理工夫被砍的人不会提出上诉，他们实践上保持了抗争的合法权益。（“当人类效劳部自身没有确定这个成绩时，人们应该如何申述并指出软件存在的成绩？”De Liban说。）但经过一番讨论后，最终有人说：“如今我们曾经失掉无效的告诉，有些没有失掉所需求的效劳的人，应该由于充足的护理小时数取得补偿。这将会将摆正人类效劳部在这次争议中的地位。

联邦法院的法官最终裁定州政府没有充沛部署该方案。纽约州随后也停止了一些调整，以协助人们理解该零碎，其中包括清楚地列出评价项目每年会发作什么变化。但是De Liban说有一个更大的成绩：普通人没有给予足够的协助。虽然该算法设定了护理工夫的比例，例如，一个护理级别能够比另一个护理级别工夫多出两到三倍。州政府决议在等式中拔出多少工夫差。

“与其说这是一个效劳管理成绩，还不如说这是一个政治成绩，”Mor说。

Kevin De Liban after a visit to Tammy Dobbs. 刚 拜 访过 Tammy Dobbs 的 Kevin De Liban

“Automating Inequality”一书的作者Eubanks就“数字穷人”这个话题写道：自动化给临时蒙受不公道待遇的弱势群体带来新的希望。基于计算机的零碎会发生不偏不倚、中立的后果从而带来“自但是然的信任”。她说：“但是，我确定在某些状况下，它不像零碎的追捧者宣称的那样可了解、可预测。”

Eubanks提出了一个针对穷人的算法的评价测试，其中包括讯问该工具能否添加了对代理人的需求，以及能否可以承受与更富有的人一同运用。阿肯色州零碎似乎无法经过这个测试。有迹象标明官员们对这个零碎感到绝望，他们表示很快就会交换成一个新的零碎和软件提供商，能够会以不同的方式计算小时数，虽然目前还不清楚零碎迁移关于该方案中的相关人员有何影响。

Dobbs with Kenny Rogers. Dobbs 与 Kenny Rogers.

目前，Dobbs堕入了僵局。她很快会重新承受评价，虽然简直可以一定，基于对零碎的理解，她的护理工夫AI已经渗透到了生活中的方方面面。在智能交通领域，人工智能技术也正在发挥作用。还是会被增添，只是被砍多少的成绩。她屡次阅历了这个进程。在法官裁定被告在联邦诉讼中胜诉后，她的小时数失掉长久的恢复，在州政府重新改动算法后再次被增添。De Liban说在Dobbs停止上诉时，人力效劳部门再次悄然恢复了她的小时数。这是在脑瘫成绩被发现的时分。许多面对变化的人能够会感遭到出路难料。

AD： 进击•交融 猎云网&AI星球2018年度人工智能产业峰会 将于4月17号在深圳大中华希尔顿酒店举行。这里有最深度的考虑，最有价值的投资建议，以及最酷的黑科技展现，精彩不容错过。