深度学习的发展，与由此引发的气候变化问题

我们用实例来证明这个观点。ResNet是一套于2015年发布的知名计算机视觉模型。该模型的改进版本名为ResNeXt，于2017年问世。与ResNet相比，ResNeXt需要的计算资源提升了35%（按总浮点运算量计算），但精度却只增长了0.5%。

在艾伦人工智能研究所2019年发表的论文中，我们可以看到更详尽的比较数据，其中记录了不同任务、模型与AI子领域的模型规模收益递减情况。与GPT-2相比，最新发布的超大型GPT-3模型也出现了显著的收益递减迹象。

如果AI社区继续沿着当前的道路前进，那么研究人员们必然需要花费更多精力构建起越来越大的模型，但由此带来的性能提升却越来越小。这意味着成本/收益率将变得愈发不相称。

既然收益递减客观存在，为什么人们还在不断推出越来越大的模型呢？一大主要原因，在于AI社区当下仍过于关注能在性能基准测试中创下新高的“最新”纪录。在众所周知的基准测试中拿下新顶点的模型（即使仅提升一个百分点），也能赢得研究人员们的一致认可与好评。

正如加州大学洛杉矶分校（UCLA）Guy Van den Broeck教授所言，“我认为比较准确的比喻，就是某个盛产石油的国家能够建造一座很高的摩天大楼。在摩天大楼的建造过程中，当然能够帮国家积累下「最先进的技术」。但这一切……无法带来任何科学意义上的进步。”

目前，AI研究议程领域这种“越大越好”的偏执精神很可能在未来几年给自然环境造成重大破坏。这就要求我们在深思熟虑之后进行大胆变革，将人工智能重新引导到持续性更强、生产力水平更高的正确轨道上。

首先，每一位AI从业者应该尽快将“缩短周期”作为研究目标，借此降低技术发展对环境造成的影响。

而最重要的第一步，就是增强AI模型碳排放问题的透明度与量化考核。当AI研究人员发布新模型的研究结果时，除了性能与精度两项核心指标之外，还应该附上模型开发过程中的总体能源数据。

经过认真分析，艾伦人工智能研究所的团队提出将浮点运算作为研究人员们最通用也最准确的能效衡量标准。另一支小组也创建出一款机器学习碳排放计算器，可帮助从业者们借此估算当前模型的碳足迹（其中涵盖硬件、云服务供应商以及地理区域等诸多因素）。

遵循这些思路，研究人员们还需要在模型训练过程中，将能源成本与性能收益之间的关系作为不能回避的重要度量。明确量化这项指标，将促使研究人员们重要收益递减问题，进而在资源分配上做出更明智、更平衡的决策。

希望随着可持续AI实践的普及，技术社区能够在评估AI研究时着重考虑这些效率指标，并把这些指标的重要性提高到精度等传统性能指标的水平，最终使其在论文发表、演讲分享以及学术成果等领域发挥更重要的作用。

当然，其他一些方法也有望在短期之内帮助AI模型减少碳排放：使用更高效的超参数搜索方法、减少训练过程中不必要的实验次数、采用更节能的硬件等等。
但单靠这些补救性的措施，不足以彻底解决问题。人工智能领域需要在根本上做出长期转变。

我们需要退后一步，承认单纯建立越来越庞大的神经网络并不是通往广义智能的正确路径。从第一原理出发，我们必须逼迫自己去发现更优雅、更高效的方法，对机器中的智能进行建模。我们与气候变化的斗争，甚至是整颗蓝色星球的未来，可能也都将维系于此。

引用AI界传奇人物、深度学习教父Geoff Hinton的名言，“未来可能掌握的某些研究生手里，因为他们对我所说的一切深表怀疑……他们可能会彻底抛弃我的观点，从零开始再次探索。”

AI社区必须敢于建立人工智能的新范式，这些范式既不需要指数级增长的数据集、也不需要恐怖的电力消耗。小样本学习等新兴研究领域，也许会成为我们走向光明未来的新道路。

作为最初的智能来源，人脑也将给我们带来重要启发。与目前的深度学习方法相比，我们的大脑非常高效。人脑仅几磅重，运行功率约20瓦——只够让低功率灯泡亮起昏暗的光。然而，它们却也代表着宇宙中当前已知的最强大的智能形态。

AI研究人员Siva Reddy也不禁感叹，“人脑只需要极低的功耗，就能达成令人惊奇的表现。问题在于，我们如何才能制造出这样的机器。”

（编辑：东莞站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!