以下是减少 AI 碳足迹所需采取的措施
扫描二维码
随时随地手机看文章
在 COP26 气候会议结束后,私营公司和政府都在加紧承诺应对气候变化,采用公共政策和创新技术的组合来应对我们这个时代的决定性挑战之一。
其中一家公司是 Nvidia,它是超级计算机(称为“Earth-2”)的创造者,它利用预测模型帮助科学家了解未来几十年全球气候变化可能如何显现。但是,尽管设想一个人工智能有助于应对气候危机的世界可能会令人兴奋,但人工智能本身带有 显着的碳足迹这一讽刺性的讽刺是无法逃避的。
恰当的例子:使用传统神经架构搜索构建的单个基于变压器的神经网络(2.13 亿个参数)会产生超过 600,000 磅的二氧化碳,几乎是普通汽车在其生命周期内产生的排放量的六倍。
只有当我们首先了解问题的范围时,才有可能缩小人工智能的碳足迹。幸运的是,科技行业领导者可以采取一些措施来确保人工智能创新不会以牺牲地球健康为代价。从重新思考硬件和模型的复杂性,到减少训练和推理阶段所需的处理,这就是实现生态友好型人工智能创新所需要的。
禁止低功耗模型
人工智能模型需要大量的能量才能运行,并且它们对计算能力的渴望随着模型的准确性而增长。AI 模型越大(因此通常预测更准确),它需要的能量就越多。
为了将这种巨大的能源消耗放在背景下,在 2020 年, 用于解决魔方的算法 需要的能量相当于三个核电站在一小时内产生的能量。尽管这个例子是一个异常值(并且 AI 模型倾向于专注于解决更多实际问题,而不是简单地解决魔方),但它仍然说明了一个总体趋势:随着 AI 模型的规模和准确性不断增长,它们的负面影响也在不断增长。环境。
提供一个不那么异想天开的统计数据:早在 2018 年,进行电力推理的数据中心每年估计使用 200 太瓦时 (TWh),超过了一些国家的国家能源消耗量。
直到最近,训练阶段仍占 AI 算力消耗的大部分。但随着越来越多的公司将他们的人工智能产品商业化,更多的能源消耗将用于推理。
随着这一趋势的加速,与人工智能相关的二氧化碳排放量将呈指数级增长——除非该行业采取措施减少排放。
更重要的是,我们目睹了 AI 模型复杂性和大小的持续增加,模型大小从 2012 年的 26MB 增长到 2019 年的1TB 。这种增长相应地推动了对更多计算能力的需求。
与气候变化本身一样,人工智能正越来越不可逆转地融入我们的日常生活。所以,人工智能先驱者必须要问的问题是:我们如何才能让复杂的人工智能更环保?
幸运的是,在它所关注的行业中,人们越来越意识到这个问题。2021 年初,MLPerf 推出了 MLPerf 功率测量 ——一套新的技术和指标,可补充 AI 流程的性能基准。这些指标的引入为报告和比较模型和硬件性能建立了一个急需的标准,同时还考虑了能耗而不是仅仅跟踪延迟。
测量和跟踪人工智能碳足迹的能力是朝着正确方向迈出的一步,但整个行业需要做更多的事情。值得庆幸的是,有些步骤可以很容易地实施。
工作更聪明,而不是更难
任何希望在气候变化面前表现出可敬的责任感的企业都必须更聪明地了解他们如何以及为什么运行他们的人工智能项目。在不影响计算能力的情况下提高效率的一种方法是简单地投资于更节能的硬件来部署模型。高通等硬件制造商——他们的新 Cloud AI 100 芯片在设计时考虑到了降低功耗——通过在设计新产品时考虑能源问题,开辟了一条有希望的道路。
而随着 MLPerf 发布 了另一个 试图测量和比较硬件功率效率的基准,不乏降低 AI 芯片功耗的重要工作。
更小更环保
另一个重要的难题是模型本身——尤其是它们的尺寸和配置。简而言之,现在是企业重新思考越大越好的传统智慧的时候了。
在无影响的真空中,准确性可以说是人工智能计算最重要的方面。但对于实际应用,仅靠准确性不足以成功部署,而且从环境的角度来看,不能以牺牲模型效率为代价。
好消息是,有一些方法可以优化深度学习模型的核心架构,可以在不影响其准确性的情况下提高性能效率。根据 Deci 在降低计算能力和模型增强方面的内部估计和经验,优化核心架构有助于将推理所需的计算功耗降低 50% 到 80% ——对于希望保持领先地位的企业来说,这是一个充满希望的前景。人工智能游戏,同时为地球尽自己的一份力量。
从表面上看,有太多行业的投资回报率考虑与环境问题不一致——这就是气候变化的痛苦历史。幸运的是,人工智能不一定是这种情况,效率优化是双赢的局面。
需要更少处理能力的更小、更高效的模型运行起来更便宜,而且对环境更友好。深度学习模型可以在不加剧气候变化的情况下满足他们设定的所有目的。