人工智能与大数据会纠正我们的偏见，还是会更糟糕？

美国科学杂志nautil.us《鹦鹉螺》作者Aaron M. Bornstein近日发表了讨论人工智能与大数据能否纠正人类种族歧视的深度报道。尽管人工智能设计者和数据工程师可能没有类似种族歧视的偏见，但大数据从业者都明白，用于提供定制服务的大型数据集不可避免地包含丰富详细的信息，包括具有受保护属性的肤色、性别、性取向和政治取向等。算法在这些数据的基础上做出的决定可以隐蔽地打开这些属性，既令人难以察觉，又是不道德的。

以下为文章全文：

我们对大数据的使用是会纠正我们的偏见，还是会让情况更加糟糕？

“我们不知道顾客是什么样的，”亚马逊公司负责全球通讯公关的副总裁克雷格。伯曼（Craig Berman）在接受彭博新闻社采访时说道。伯曼是在回应有人对亚马逊的当日送达服务歧视有色人种的指控。从字面上看，伯曼的辩护是诚实的：亚马逊在选择当日送达的区域时是根据成本和收益因素，例如家庭收入和送达的可及性。但是，这些因素是通过邮政编码汇总起来的，因此会受到其他塑造了——并将继续塑造——文化地理学的因素的影响。查看当日送达的服务地图，很难让人不注意到其与肤色的对应关系。

这样的地图让人想起了罗伯特。摩斯（Robert Moses），这位城市规划大师在数十年时间里塑造了现代纽约城及周边郊区大部分的基础设施。然而，他备受争议的一点是不希望穷人，尤其是穷苦的有色人群，使用他在长岛上建造的新公园和海滩。尽管摩斯曾努力促成了禁止公共汽车在高速公路上行驶的法律，但他知道，这条法律迟早有一天会被废除。因此，他建造了更加持久的东西：几十个高度很低，公共汽车无法通行的天桥，将歧视真正地具体化。这一决定，以及其他几十个类似的决定都影响深远而持久。几十年后，关于公共汽车的法律已经废除，但沿着高速公路排列的城镇依然像从前一样隔离着。“法律总是可以修改的，”摩斯说，“但一座桥建好以后，就很难拆掉了。”

今天，在受到原有结构影响的数据基础上，这样的隔离又重现了。尽管新基础设施的设计者可能没有类似的不良意图，但他们也不能自称对这些设施的影响毫不知情。大数据从业者都明白，亚马逊和其他公司用于提供定制服务的大型数据集不可避免地包含丰富详细的信息，包括具有受保护属性的肤色、性别、性取向和政治取向等。算法在这些数据的基础上做出的决定可以隐蔽地打开这些属性，既令人难以察觉，又是不道德的。

凯特。克劳福德在微软研究院从事算法偏见的研究，并且是“AI Now”计划的合作创立者。这项研究关注的是如今在使用人工智能系统时所面临的危险。她提出了一个算法公平性的基本问题，即算法可以在多大程度上理解它们所使用数据的社会和历史背景。“你可以让一个人类操作者去尝试考虑数据本身代表人类历史的方式，”克劳福德说，“但如何训练机器来做到这一点呢？”不能以这种方式理解背景的机器最多只能传递制度化的歧视，即所谓的“偏见入，偏见出”（bias in， bias out）。

纠正这些隐性歧视的努力不足，可能会让事情变得更糟。克劳福德的同事、康奈尔大学的索伦。巴洛卡斯观察到，终端用户会“不加批判地接受供应商的声明”，即算法中已经消除了偏见。在那些普遍存在偏见的应用场合，比如司法系统中，情况尤其如此。对于这些地方，号称更客观的机器具有非常大的吸引力。剥离算法中的偏见还要求认可某个关于公平的主观定义，同时不理会其他定义，但被选择的定义往往是最容易量化的，而不是最公平的。

然而，虽然有着种种缺陷，但找出并对抗数据和算法中的偏见也会带来一些机会——能以新的方式使偏见的轮廓呈现在我们面前。

COMPAS的预测偏见

COMPAS是美国各地法院使用的一款软件，可以根据被告人对137个调查问题的回答，评估他们重新犯罪的可能性。评估结果将被用于指导保释决定。

COMPAS的调查问卷并不涉及肤色、遗产甚至邮政编码，但确实提出了诸如被告人是否居住在一个“犯罪很多”的街区，以及他们是否难以找到“超过最低工资”的工作等问题。这些问题更适合向社会提出，而非针对个人。请注意问题中的偏见：答案与种族等受保护的属性有关，意味着算法可以学习有效地“发现”数据中的这些属性。然而，推出COMPAS的Northpointe公司宣称，他们已经对该软件进行了校准，使其对再次被捕的预测准确性与肤色无关。

2015年，ProPublica的记者开始利用佛罗里达州布劳沃德县一位COMPAS用户的公开记录来验证这一说法。他们发现，当COMPAS预测被告再次被捕的风险很高，并且之后确实再次被捕时，其预测确实在最直接意义上是无关肤色的。但是，当COMPAS预测不准确时（要么预测的再次被捕没有发生，要么没有做出实际再次被捕的预测），它通常会低估白人再犯的可能性，并高估黑人再犯的可能性。换句话说，它在一组统计数据中隐藏的偏见，在另一组统计数据中呈现了出来。

ProPublica在一篇文章中报道了这一发现，文章副标题是“全国各地都使用软件来预测未来的罪犯，而它对黑人存有偏见”。Northpointe公司对他们的评价提出了异议，并对文中的论点进行了再次统计分析，以作为回应。Northpointe公司将争论从错误率的差异转移到另一个事实，即风险分数反映了一个真实而普遍的情况：未来再次被捕的非裔美国人被告确实更多。该公司指出，这意味着非裔美国人作为一个人群具有较高的风险得分并不奇怪。

Northpointe公司的中心论点有一个本质性的谬误：因为在训练数据集中，被警察归类为非裔美国人的人会更频繁地再次被捕，所以他们宣称COMPAS有理由预测其他被警察归为非裔美国人的人——即使在不同城市、州和时间段——更有可能再次被捕。在数据中进行分类的结果又作用于分类本身，这让人不禁想起W.E.B.杜波依斯（W.E.B. Dubois）在1923年所下的定义，“黑人就是在佐治亚州必须乘坐吉姆。克劳公交车的人”[吉姆。克劳（Jim Crow）原是19世纪初一个剧目中黑人角色的名字，后来成为“黑鬼”的贬义词，之后美国南方针对黑人的种族隔离法案被称为吉姆。克劳法，而吉姆。克劳的公交车指1960年代之前美国南方各州在公交车上实行的种族隔离].

（编辑：东莞站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!