2 月 10 日消息,据科创板日报报道,华为计算产品线相关负责人就“华为在类似 ChatGPT 方向的布局”回应称,公司 2020 年开始在大模型有布局,2021 年发布了鹏城盘古大模型,是业界首个千亿级生成和理解中文 NLP 大模型。
在 2021 年 4 月的华为开发者大会 2021(Cloud)上,华为云发布盘古系列超大规模预训练模型,包括 30 亿参数的视觉(CV)预训练模型,以及与循环智能、鹏城实验室联合开发的千亿参数、40TB 训练数据的中文语言(NLP)预训练模型。
华为云人工智能领域首席科学家、IEEE Fellow 田奇彼时表示:“预训练大模型是解决 AI 应用开发定制化和碎片化的重要方法。华为云盘古大模型可以实现一个 AI 大模型在众多场景通用、泛化和规模化复制,减少对数据标注的依赖,并使用 ModelArts 平台,让 AI 开发由作坊式转变为工业化开发的新模式。”
根据此前信息,盘古 NLP 大模型是当时全球最大的千亿参数中文语言预训练模型,由华为云、循环智能和鹏城实验室联合开发,预训练阶段学习了 40TB 中文文本数据,并通过行业数据的样本调优提升模型在场景中的应用性能。
▲ 华为开发者大会 2021(Cloud)发布的盘古大模型
报道称,华为表示,在大模型产业化方面已发起了智能遥感开源生态联合体、多模态人工智能产业联合体,智能流体力学产业联合体等,将以联合体的模式把科研院所、产业厂商等结合起来,更好地让大模型产业形成正向的闭环回路。