能源与节能教学论文（节能减排与绿色能源论文(5)

作者:网站采编
关键词:
摘要：可以肯定的是，这项估算主要针对那些高度依赖于能源的模型。毕竟结合当前现实，机器学习模型的平均训练过程绝不至于产生60多万磅二氧化碳。 同样值

可以肯定的是，这项估算主要针对那些高度依赖于能源的模型。毕竟结合当前现实，机器学习模型的平均训练过程绝不至于产生60多万磅二氧化碳。

同样值得注意的是，在进行这项分析时，GPT-2仍然是研究领域规模最大的模型，研究人员也将其视为深度学习模型的极限。但仅仅一年之后，GPT-2就成了“纤细瘦小”的代名词，下代模型的体量超过其百倍。

为什么机器学习模型会消耗那么多能源？

最重要的原因，就是训练这些模型的数据集本身也在快速增肥。在使用包含30亿个单词的数据集进行训练之后，BERT模型在2018年实现了同类最佳的自然语言处理（NLP）性能。而在利用包含320亿个单词的训练集完成训练之后，XLNet又超越了BERT。不久之后，GPT-2开始在包含400亿个单词的数据集上接受训练。最终是我们前面提到的GPT-3，它使用的是一套包含约5000亿个单词的加权数据集。

在训练过程中，神经网络需要为每一条数据执行一整套冗长的数算（正向传播与反向传播），并以复杂的更新模型参数。因此，数据集规模越大，与之对应的算力与能源需求也在飞速增长。

导致AI模型大量消耗能源的另一个理由，在于模型开发过程中所需要的大量实验与调整。目前，机器学习在很大程度上仍是一个反复实验试错的流程。从业人员通常会在训练过程中为当前模型构建数百个版本，并通过不断尝试各类神经架构与超参数确定最佳设计方案。

之前提到的2019年论文中还包含一项案例研究，研究人员们选择了一个体量适中的模型（显然要比GPT-3这样的庞然大物小得多），并对训练其最终版本所需要的电力、以及生产最终版本所需要的试运行总量进行了统计。

在为期六个月的过程中，研究人员共训练了该模型的4789个不同版本，折合单GPU运行时长为9998天（超过27年）。考虑到所有因素，研究人员们估计，该模型的构建过程将产生约7万8000磅二氧化碳，超过美国成年人两年的平均二氧化碳排放量。

而到这里，我们讨论的还仅仅是机器学习模型的训练部分。而训练只能算是模型生命周期的开始；在训练完成之后，我们还需要在现实环境中使用这些模型。

在现实环境中部署并运行AI模型（即推理过程），所带来的能源消耗量甚至高于训练过程。实际上，英伟达公司估计，神经网络全部算力成本中的80%到90%来自推理阶段，而非训练阶段。

例如，我们可以考虑自动驾驶汽车中的AI模型。我们需要首先对该神经网络进行训练，教会它驾驶技巧。在训练完成并部署至车辆上之后，该模型将持续不断地进行推理以实现环境导航——只要汽车仍在行驶，模型的推理过程就将不间断地进行。

毋庸置疑，模型中包含的参数量越大，推理阶段所带来的电力需求就越夸张。

能源使用与碳排放

要探讨这个问题，我们先要找到能源使用与碳排放之间的对应关系。那么，该如何准确判断这种对应关系？

根据美国环保署（EPA）公布的数据，在美国，一千瓦时电力平均对应0.954磅二氧化碳排放量。这一平均值反映了碳足迹变化以及美国电网当中的不同电力来源（包括可再生能源、核能、天然气以及煤炭等）的客观比例。

如上所述，Strubell在分析中采用了美国本土的电力碳排放平均值，以根据不同AI模型的能源需求计算对应的碳排放量。这个假设已经相当合理，因为Amazon Web Services的电力组合就一致符合美国整体的发电来源结构，而目前的大多数AI模型都会选择在公有云端进行训练。

当然，如果尽可能使用可再生能源产生的电力进行AI模型训练，其碳足迹必将有所降低。例如，与AWS相比，Google Cloud Platform的电力结构中可再生能源的比例更高（根据Strubell的论文，AWS的可再生能源占比17%，谷歌方面则占比56%）。

我们也可以再举个例子，由于所在地区拥有丰富的清洁水电资源，因此大西洋西北部区域的硬件设施在训练模型时所产生的碳排放将低于全美平均水平。值得一提的是，目前各大云服务供应商都在强调其在碳排放控制方面做出的努力。

但总体来说，Strubell认为美国的整体电力组合仍然具有充分的说服力，可用于大体准确地估算出AI模型的碳足迹。

收益递减

模型体量与模型性能之间的关系，则能帮助我们了解提升模型规模到底能够给AI技术发展带来怎样的帮助。这方面数据倒是非常明确：模型体量的持续增加，最终会导致性能回报急剧下降。

我们用实例来证明这个观点。ResNet是一套于2015年发布的知名计算机视觉模型。该模型的改进版本名为ResNeXt，于2017年问世。与ResNet相比，ResNeXt需要的计算资源提升了35%（按总浮点运算量计算），但精度却只增长了0.5%。

文章来源：《能源与节能》 网址: http://www.nyyjnzz.cn/zonghexinwen/2022/1209/2497.html

上一篇：能源与节能硕士论文参考文献格式（清洁能源论
下一篇：焊工技师论文怎么写（节能与能源管理论文）