Gartner:到2027年,中国AI推理工作中的云负载将上升至80%

数码
TIME
2024-10-29 10:25
通信世界全媒体
分享

Gartner研究表明,随着时间的推移和价格的持续下降,以及云部署在敏捷性、创新速度和生态系统方面的优势,中国企业的人工智能(AI)部署将逐步从本地转向云端。Gartner预测,到2027年,中国的全部AI推理工作负载中,基于云的工作负载占比将从前的20%上升至80%。

对此,Gartner高级研究总监方琦表示:“多家中国生成式人工智能(GenAI)厂商,其大语言模型应用编程接口(API)的推理成本已经降低了90%以上,有力地推动了企业地GenAI采用。企业数据和分析(D&A)领导者应积极评估相关影响,并扩展GenAI解决方案,以满足未来需要。”

就厂商表现来看,DeepSeek于2024年5月6日推出了V2模型,价格仅为GPT-4 Turbo的1/75。几天后,字节跳动于5月16日推出豆包大模型,宣称比行业平均价格便宜99.3%。作为应对,阿里巴巴、百度和腾讯纷纷调整了其大语言模型API的价格。

图1:中国主流厂商大语言模型与OpenAI的价格变化情况比较

API价格下降短期内对企业的影响有限

在计算企业GenAI解决方案的总拥有成本(TCO)时,需要将微调成本考虑在内。首先,可以使用高端GenAI模型来评估企业用例的技术可行性,然后使用企业自身的数据,对小型模型进行微调,以执行特定的下游任务。此外,在使用API将数据上传到云端时,还应考虑额外的数据安全和隐私要求。与规模较小的模型相比,最先进的大语言模型的价格变化并不显著,这将进一步减轻价格变动的影响。

方琦表示:“已部署本地GenAI解决方案的中国企业,不会受到大语言模型 API价格变化的影响。对于云部署来说,API成本只是GenAI解决方案整体成本的一部分。需要注意的是,价格只是评估因素之一,还需要对其他因素进行仔细审查,如模型质量、吞吐量和延时。”

API价格的持续下降,推动了对AI部署策略的重新评估

企业应根据业务重点来选择AI部署方式,尤其需要从六个角度比较云部署和本地部署方案的优劣势,这六个角度分别是:企业数据的主要存放位置、安全和监管合规、专门的基础设施、平台/集成的优劣势、运营支出(OpEx)与资本性支出(CapEx)、人才和技能集合。

方琦表示:“随着大语言模型API的平均价格不断下降,云部署解决方案在未来将拥有更明显的优势。此外,随着技术的加速迭代和相关架构的日益复杂化,云部署解决方案的优势将在许多场景中更加突显。因此,各企业机构需要重新评估其AI部署战略。”

THE END
免责声明:本文系转载,版权归原作者所有;刊载之目的为传播更多信息,如内容不适请及时通知我们。

相关热点

  第七届进博会落下帷幕,企业展保持36万多平方米的超大规模,共有129个国家和地区的3496家展商参加,有太多亮点技术和产品让人目不暇接。其中,进博会“老朋友”三星连续七...
手机
原标题:我区政策持续加力促高校毕业生就业宁夏日报讯(记者 马照刚)11月8日,记者从自治区人力资源和社会保障厅获悉,我区将通过开展就业政策“三送五进”活动、加大离校未就...
企业

相关推荐

1
3