人工智能与大数据会纠正我们的偏见，还是会更糟糕？

虽然这段插曲展示了算法决策带来的许多危险，但也引发了一系列学术研究，得到了一个令人惊讶的结论：为一个被告指定风险评分的做法需要在“公平”一词的两种不相容的定义之间进行权衡。而且，这种权衡是普遍的。“任何执行这一过程的系统都将面临这种挑战，”康奈尔大学的计算机科学教授乔恩。克莱因伯格说，“无论它是一个算法系统，还是人类决策者。”

克莱因伯格及其同事发表了一篇论文，证明Northpointe公司和ProPublica对公平的两种定义在数学上是不相容的。用术语来说，他们展示了预测性平价（无论黑人和白人被告是否有相同的风险评分总体准确率）和错误率平衡（无论两个人群是否以相同方式获得错误的风险评分）之间是相互排斥的。当任何两个人群之间的测量结果——在COMPAS中是再次被捕的概率——具有不同的基础比率时，如果应用相同的标准，就必然会对较高基础比率的人群产生偏见误差。“‘校准’正是导致这一问题的原因，”克莱因伯格说道。任何使用风险评分的系统——机器算法或人类机构——都是如此，无论是使用哪些因素来生成。

值得注意的是，这种不相容性此前从未出现过。它的发现指向了大数据时代最显著的好处之一：我们决策的逻辑可以用以前不可能的方式进行形式上的分析，以及数字上的分离。因此，如今法官们知道在做决定时需要考虑这些更广泛的不平衡。“ProPublica揭示的问题其实是关于我们如何看待预测，而我们如何看待算法也同样重要。”

学术界也有一些COMPAS如何改进的建议。卡内基梅隆大学海因茨学院统计学与公共政策教授亚历桑德拉。乔尔德乔娃表示，如果COMPAS的设计者允许在处理非裔美国人被告时稍微增加一些整体的不准确性，就可以确保算法对不同种族的错误率大致相同。“这个，”她指出，“或许就是你希望达成的权衡。”

算法中的性别歧视

谷歌翻译存在着隐性的性别歧视问题。你可以尝试将短语“o bir doktor”和“o bir hem？ire”从土耳其语翻译成英语。这两个土耳其语短语用的都是性别中性的代词“o”，而谷歌翻译强制性地选择了性别代词。结果是，第一个短语被翻译成“he is a doctor”（他是一名医生），第二个则是“she is a nurse”（她是一名护士）。

在波士顿大学的Tolga Bolukbasi及其同事于2016年发表的一篇论文中，这些翻译是他们关注的焦点，并作为一类被称为单词嵌入的语言模型的例子。这些模型用于为翻译服务、搜索算法和自动完成功能提供支持，它们用自然语言的采集主体（比如谷歌新闻的文章）进行训练，通常没有人类语言学家的太多介入。模型中的单词被映射为高维空间中的点，因此给定的一对单词间的距离和方向表明了它们在意思上有多接近，以及具有什么样的语义关系。

举个例子，“Man”（男人）和“Woman”（女人）之间的距离与“King”（国王）和“Queen”（王后）之间的距离大致相同，方向也一样。单词嵌入模型还能使隐性偏见永久存在，就像谷歌翻译里的那样。模型的基础架构，即几十年来在数字语料库中收集的数十亿文本，已经开始以难以理解和改变的方式影响着我们的日常交流。然而，基础架构中许多偏见的纳入要早于它们以数字形式的制度化。而且，与COMPAS类似，研究这些偏见在算法中的出现带来了新的机会。

Bolukbasi和同事开发了一种通过在单词嵌入模型空间内移动单词，对语言进行“去偏见”的技术。想象一下，将单词“doctor”（医生）、“nurse”（护士）、“man”（男人）和“woman”（女人）放到一个正方形的4个点上，“man”和“woman”在底部，“doctor”和“nurse”在顶部。连接“doctor”和“nurse”的线段与“man”和“woman”之间的线段长度完全一致。因此，系统会将它们的关系视为是可类比的。Bolukbasi的去偏见策略是将“doctor”和“nurse”都推到顶部线段的中点，使它们与“man”和“woman”的距离都相同。从结果上，系统已经“忘记了”可类比性；之后翻译中所使用的代词将留给系统设计者决定。

改变单词之间的联系可能会带来显著的影响。普林斯顿大学的计算机科学教授阿尔文德。纳拉亚南与同事一起开发了测量机器学习模型中偏见程度的工具。三人从已经被深入研究的心理学测验——内隐联系测验（Implicit Association Test）——开始，在该测验的一个常见变体中，受试者在积极属性的词汇与反映社会类别的词汇之间进行配对的速度越快，他们对二者联系的确信程度就越高。在许多这样的配对中，反应时间的平均差异——通常是以毫秒计——可以作为隐性偏见的测量指标。纳拉亚南和同事讲反应时间替换成单词间的距离，建立了“单词嵌入联系测验”。该测验重现了内隐联系测验研究在同一组词汇中所发现的同一组刻板印象。

20多年来，内隐联系测验已经揭示出各种各样的隐性偏见，从性别到国籍再到种族，跨越许多不同背景的人群。由于偏见如此普遍，有人猜测人类的自然倾向——比如支配等级和群体内部的身份识别等——是造成这些偏见的原因；从这一角度看，偏见是人类天性中不可避免的。单词嵌入联系测验论文的作者推测，他们的研究结果支持了另一种（尽管不是唯一的）可能性：“仅仅接触语言就足以在我们脑海中产生这些隐性偏见。”换句话说，如果偏见是在语言本身的统计中体现并传播，那么我们说话的方式就不只是表达我们看待彼此的方式，而且也是构建偏见的方式。如果诸如Bolukbasi开发的去偏见项目能奏效的话，我们就可以大规模地改变偏见，并且是以之前不可能的方式：用软件。如果这些软件不能发挥作用，那持续几代人的数字化基础结构可能就会不断加强和延续这些偏见。

纳拉亚南指出，Bolukbasi的论文假设了性别是二元的，或至少性别词汇之间的遵循一条直线。“我不认为（我们）有任何（去偏见）能对一个可能稍微复杂的概念起作用的线索，”他说道。他特别指出了种族刻板印象，其中有关类别的概念与用来定义它们的方法一样有问题。

（编辑：东莞站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!