为什么机器学习模型会消耗那么多能源？
时间：2022-03-05 08:50:01 | 来源：行业动态
时间：2022-03-05 08:50:01 来源：行业动态
最重要的原因，就是训练这些模型的数据集本身也在快速增肥。在使用包含30亿个单词的数据集进行训练之后，BERT模型在2018年实现了同类最佳的自然语言处理（NLP）性能。而在利用包含320亿个单词的训练集完成训练之后，XLNet又超越了BERT。不久之后，GPT-2开始在包含400亿个单词的数据集上接受训练。最终是我们前面提到的GPT-3，它使用的是一套包含约5000亿个单词的加权数据集。
在训练过程中，神经网络需要为每一条数据执行一整套冗长的数学运算（正向传播与反向传播），并以复杂的方式更新模型参数。因此，数据集规模越大，与之对应的算力与能源需求也在飞速增长。
导致AI模型大量消耗能源的另一个理由，在于模型开发过程中所需要的大量实验与调整。目前，机器学习在很大程度上仍是一个反复实验试错的流程。从业人员通常会在训练过程中为当前模型构建数百个版本，并通过不断尝试各类神经架构与超参数确定最佳设计方案。
之前提到的2019年论文中还包含一项案例研究，研究人员们选择了一个体量适中的模型（显然要比GPT-3这样的庞然大物小得多），并对训练其最终版本所需要的电力、以及生产最终版本所需要的试运行总量进行了统计。
在为期六个月的过程中，研究人员共训练了该模型的4789个不同版本，折合单GPU运行时长为9998天（超过27年）。考虑到所有因素，研究人员们估计，该模型的构建过程将产生约7万8000磅二氧化碳，超过美国成年人两年的平均二氧化碳排放量。
而到这里，我们讨论的还仅仅是机器学习模型的训练部分。而训练只能算是模型生命周期的开始；在训练完成之后，我们还需要在现实环境中使用这些模型。
在现实环境中部署并运行AI模型（即推理过程），所带来的能源消耗量甚至高于训练过程。实际上，英伟达公司估计，神经网络全部算力成本中的80%到90%来自推理阶段，而非训练阶段。
例如，我们可以考虑自动驾驶汽车中的AI模型。我们需要首先对该神经网络进行训练，教会它驾驶技巧。在训练完成并部署至车辆上之后，该模型将持续不断地进行推理以实现环境导航只要汽车仍在行驶，模型的推理过程就将不间断地进行。
毋庸置疑，模型中包含的参数量越大，推理阶段所带来的电力需求就越夸张。
在线咨询
