国科网

2024-06-26 12:12:09  星期三
立足国科融媒,服务先进科技
CIO可以做的三件事,使GenAI与可持续性同步

点赞

0
发布时间:2024年06月03日 浏览量:43次 所属栏目:人工智能 发布者:田佳恬

去年,随着许多CIO首次准备进行范围3(Scope 3)报告,GenAI几乎渗透到了每一个办公室。有时它是通过正门进来的,但在大多数情况下,它是悄悄渗入的,因为知识工作者在编写文档和电子邮件时试验了它,而不一定承认他们在这样做。

在许多企业中,使用案例就此止步,但一些IT部门现在正在批准甚至鼓励将GenAI用于编码等用途,还有一些企业则希望他们的软件供应商提供包含GenAI组件的升级。在更远的范围内,如瑞典金融科技公司Klarna,不仅在一系列内部项目中集成了GenAI,还在他们销售的产品中集成了GenAI,并制定了包括AI使用指南在内的AI治理。

自从2022年11月ChatGPT发布以来,Klarna一直在大力使用AI,公司内部普遍认为GenAI可以帮助几乎所有人变得更有效,无论他们的技能水平或角色是什么。“我们目前在公司内有大约一百个正在生产和开发中的项目,可能会使用GenAI,”Klarna的高级工程总监Martin Elwin说,“不仅仅是工程师在做这件事,财务、法律、市场营销和其他所有部门的人都在使用。”

几周前,Klarna宣布了一款AI助手,它几乎不需要人工支持就能回答用户问题,其软件帮助消费者从最相关的商家找到他们想买的东西,并提供支付和售后支持。根据Klarna的通讯负责人Daniel Greaves的说法,这款新的GenAI助手一经推出就立即取得了成功。“在发布后的四周内,这款AI助手已经接管了我们三分之二的客户服务聊天请求,相当于约700人的工作量。”他说。

然而,尽管这些和其他AI的应用听起来很有益,但也引起了关注。Rackspace Technology的AI、技术和可持续发展总裁Srini Koushik说:“表面上看,现阶段AI和可持续性是相对立的方向。”他说:“AI消耗了大量的电力,无论是训练大型语言模型还是运行推理,而这只是开始,功耗正以指数级增长。”

尽管如此,Koushik和许多其他技术专家认为,AI的好处远远超过其不断增长的碳足迹,这可能不是其他耗能应用(如加密货币)的情况。AI有望帮助研究人员发现更高效的能源,如核聚变,优化当前能源的利用,通过增强电力分配,以及通过分析气候模式来测量CO2排放的影响。Koushik说:“AI将在许多方面造福人类。从我自己的企业角度来看,如果AI的一个好处是让我不需要派人从纽约飞往伦敦,那我就已经抵消了能耗。”

不论AI是否能在长期内实现其承诺,CIO们现在需要在其范围3(Scope 3)报告中包含AI的影响,而这很快就变得复杂起来。例如,如果你使用了别人训练的模型进行推理,你应该报告你分担的CO2影响。供应商可能能告诉你训练的总体成本,但没有人知道如何在模型的生命周期内将成本分配给所有用户。

“这一切目前还不明确,因为范围3报告是新的,GenAI也是新的,”瑞士全球运输和物流公司Kuehne+Nagel的首席数字官兼高级副总裁Niklas Sundberg说。Sundberg对范围3报告了解颇多,并在他的书《技术领导者的可持续IT手册》中涵盖了这一主题。

尽管存在种种不明确之处,IT领导者们仍在推进AI的应用。在此过程中,有些人发现了三种可以减轻AI对自身可持续发展项目影响的方法,他们分享了这些方法。

1. 使用大型供应商优化利用率

“Klarna已经是AI的高级用户,我们建议使用共享的按需AI推理环境的供应商来进行AI推理,”Elwin说道。这是合理的,因为使用公共云服务的人越多,利用率就越高。运行耗电的AI应用程序的资源利用率提高,可以对企业的总体碳足迹产生积极影响。

CIO们可以更进一步,向供应商询问一系列问题,首先是他们如何训练模型以及如何进行推理。Verne公司(总部位于英国,提供企业和超大规模数据中心解决方案)的CTO Tate Cantrell建议:“如果你只购买推理服务,问问他们如何解释所有上游影响。推理输出只需要一瞬间,但神经网络内的权重之所以是现在这个样子,是因为大量的训练——可能需要一到两个月,耗电量在100到400兆瓦之间——才使得基础设施达到现在的水平,所以你应该为这些训练付多少钱?”

Cantrell敦促CIO们询问供应商关于他们自身报告的问题:“他们是否公开报告了他们服务对可持续性产生的全部上游影响?训练过程持续了多长时间,有效期是多久,这些权重影响了多少客户?”

根据Sundberg的说法,理想的解决方案是让AI模型告诉你它的碳足迹。“你应该能够问Copilot或ChatGPT你上次查询的碳足迹是多少,”他说,“据我所知,目前没有任何工具能回答这个问题。”

2. 使用最合适的模型解决每个问题

当Klarna构建他们的AI助手时,他们没有使用一个AI模型完成所有任务。相反,他们评估了服务的每一步,看看每个部分真正需要什么。“我们力求资源效率,”Elwin说,“我们确保使用尽可能小的模型,提供完成给定步骤所需的能力。”

Klarna通过发布指南来推广这种思维方式,确保团队在构建其他解决方案时也这样考虑。一个步骤可能需要一个全面的模型,如GPT-4,而服务的另一个部分则可以使用较轻的模型,如GPT-3.5 Turbo。

较小的模型在训练阶段和推理阶段都需要较少的电力。最终,企业将不得不测量能耗——这可能是基于每个查询的基础,小模型在这方面表现更好。“在保险环境中进行索赔裁定时,你不需要GPT-4,”Koushik说,“你需要的是一个较小的、在更具体领域数据上训练的模型,它在回答你领域内的问题时比使用GPT-4更准确。”

尽管大型公司已经在机器学习领域工作了一段时间,它们的模型并不像更大的开源模型那样复杂,Sundberg说。“但它们在解决非常具体的企业问题方面做得更好,比如定价和预测客户流失。”

3. 优先考虑你的使用案例

CIO可以对使用案例进行平衡评估并优先考虑它们。“大多数人不需要Copilot,”Koushik说,“写更好的邮件的好处并不足以证明订阅成本和二氧化碳排放的合理性。另一方面,我们的法律部门确实从Copilot中受益,这些收益抵消了成本,因此我们向他们推广了该工具。”

优先考虑使用案例意味着IT领导者将不得不告诉一些用户,AI并不是解决他们问题的适当解决方案。避免引起不满的最佳方法是及早制定明确的指导方针。首先找出测量AI工具碳足迹的方法,然后将其与每个使用案例的潜在收益进行比较。Sundberg说:“对CIO来说,了解某个应用程序的二氧化碳排放量非常重要。”这使他们能够权衡成本和收益。如果你无法自己找到碳足迹,试着问你的软件供应商。”

但这使事情变得更加具有挑战性,因为供应商并不总是会说出他们知道的东西。“尽管GenAI可以释放许多可持续性机会,但也有一个没有被讨论的阴暗面——当然不是由供应商讨论的,”Sundberg说,“他们太专注于在他们的领域中实现顶级供应商地位的竞争。”

分享说明:转发分享请注明出处。

    热点图讯
    最新图讯
    相关图讯
    网站简介  |   联系我们  |   广告服务  |   监督电话
    本网站由国科网运营维护 国科网讯(北京)技术有限公司版权所有  咨询电话:010-88516927
    地址:北京市海淀区阜石路甲69号院1号楼1层一单元114
    ICP备案号:京ICP备15066964号-8   违法和不良信息举报电话:010-67196565
    12300电信用户申诉受理中心   网络违法犯罪举报网站   中国互联网举报中心   12321网络不良与垃圾信息举报中心   12318全国文化市场举报网站
    代理域名注册服务机构:阿里巴巴云计算(北京)有限公司