儿童保育福利事件：AI导致荷兰内阁辞职

世界上首起AI导致政府辞职的事件：2021年1月发生在荷兰。时任内阁因所谓的 kinderopvangtoeslagaffaire(儿童保育福利事件)而辞职。

当荷兰家庭寻求申请政府托儿津贴时，他们需要向荷兰税务机关提出申请。申请需要自学习算法审核，该算法最初于 2013 年部署。在税务机关的工作流程中，算法首先审查索赔是否存在欺诈迹象，然后人类将仔细审查那些它标记为高风险的申请。

实际上，机器学习算法发展出将补贴申请错误地标记为欺诈的模式。因此，多年来，税务机关毫无根据地命令成千上万的家庭退回津贴，将许多家庭推入沉重的债务中。

对AI的“尸检”显示出偏见的证据。许多受害者的收入较低，而且不成比例的人为​​少数族裔或移民背景。

“当产生不同的影响时，需要围绕这个进行社会讨论，这是否公平。我们需要定义什么是‘公平’。”美国圣母大学技术、经济和全球事务教授 Yong Suk Lee 说。

“模型和算法的性能需要透明或由不同的团体发布。”他补充说，这包括模型的准确率之类的东西。

税务机关的算法规避了此类审查；它是一个不透明的黑匣子，内部运作不透明。对于那些受影响的人来说，几乎不可能确切地说出他们被标记的原因。他们缺乏任何正当程序或求助手段。

比利时KU Leuven 的技术法律学者 Nathalie Smuha 说：“政府对其有缺陷的算法比对自己的公民更有信心，处理文件的公务员只是通过算法来免除道德和法律责任。”

随着尘埃落定，很明显，这件事对阻止AI在政府中部署的无济于事——60 个国家已经有了国家人工智能计划。私营企业无疑看到了帮助公共部门的机会。对于他们所有人来说，荷兰算法的故事——部署在一个欧盟。拥有强有力的法规、法治和相对负责任的机构的国家——是一个警告。

那么，如何管理AI呢？

在荷兰，他们的解决方案是将所有面向公众的人工智能——无论是在政府还是在私营部门——置于该国数据管理局的监管机构的监督之下。一位部长表示，这将确保人类参与其中。

在更大范围内，一些政策专家寄希望于欧洲议会的人工智能法案，该法案对公共部门的人工智能进行了更严格的审查。以目前的形式，人工智能法案将彻底禁止一些应用程序，例如政府社会信用系统和执法部门对面部识别的使用。

“如果人工智能法案在五年前实施，我想我们那时就会发现[算法偏见]。”布鲁塞尔未来社会智囊团的人工智能政策研究员 Nicolas Moës 说。

Moës 认为，人工智能法案提供了比其海外同行更具体的执法计划，例如最近在中国生效的法案——它较少关注公共部门的使用，而更多地关注私营公司对客户数据的使用——以及目前在立法领域中浮动的美国法规。

游说者和立法者仍在忙于将 AI 法案敲定为最终形式，但并不是每个人都相信该法案。

“我们看到，即使是 2018 年生效的 [通用数据保护条例]，仍然没有得到适当的实施，法律只能带你走这么远。为了让公共部门的人工智能发挥作用，我们还需要研究。”

“这不仅仅是确保人工智能系统是道德的、合法的和强大的；这也是为了确保人工智能系统[运行]的公共服务以允许批判性反思的方式组织。”她说。

https://spectrum.ieee.org/artificial-intelligence-in-government