傅盛周鸿祎同台泯恩仇,发布单卡可部署的百亿模型 | 最前线

业界
TIME
2024-01-22 16:10
36氪
分享

  “下面一起聊碰到AI的东西,放心,我来跟他是放心碰撞的,不是怼。”

  2024年1月21日,360创始人周鸿祎罕见现身猎户星空的大模型发布会,与猎户星空董事长傅盛,进行了一场隔了16年的同台对谈。

  周鸿祎与傅盛同台对谈。图源:直播截图

  早年间,傅盛曾是周鸿祎在360的得力干将,其带领团队探索的业务360安全卫士,在2006年的日均安装量已经达到20万。但由于发展理念不合,2008年10月,傅盛辞职离开360,并与雷军合作创办竞品公司金山网络。2011年,360以窃取机密资料为由,与傅盛对簿公堂。

  而让双方在公开场合一笑泯恩仇的,则是被周鸿祎视为“这辈子经历PC、互联网、移动互联网之后第四次巨大的机会”的AI大模型。

  在圆桌对谈中,傅盛和周鸿祎两人对AI模型层和应用层的创业,有以下观点:

  •   AI不是操作系统,而是更像当年人人配备的PC,难以被两三家企业垄断;

  •   大模型一定会两级分化:一条路是在云端越做越大,另一条路是把大模型做小;

  •   训千亿大模型是大公司的活,资金资本消耗太大,但从应用出发去找好的场景把AI技术用好,是很好的机会;

  •   ToC产品无法用定制去解决,核心在于让每个人感受到独特的价值。今天的大模型做ToC,除了套皮之外想做深不容易;

  •   AI对原有业务的改进更适合有一定规模的公司,AI原生业务更适合早期的公司;公司要重视组合式的创新,把非AI的部分做到能让AI做起来;

  •   因为行业套件还不成熟,真正ToC的AI原生应用还需要一两年。

  傅盛提到,未来千亿参数规模的模型将半凋零,百亿规模的模型必将绽放。而猎户星空在模型的布局上,走的也是“把大模型做小”的路子。

  此次猎户星空发布的是一款140亿参数的中型规模的大模型Orion-14B,在一张消费级的千元显卡上就能部署,针对的是企业的专业场景。

  Orion-14B在NVIDIA RTX 3060显卡上推理速度可达31 Token/s (约每秒50汉字)。图源:猎户星空

  与众多国内外200亿参数规模的模型相比,Orion-14B在MMLU、C-Eval、BBH等中英主流测试集上拿下SOTA(最佳模型),并且在700亿参数以下基座模型中,在中文数据集的表现上总分位列榜首。

  基于第三方机构OpenCompass独立评测结果。图源:猎户星空

  基于第三方机构OpenCompass独立评测结果。图源:猎户星空

  对于榜单上的好成绩,猎户星空也表示,Orion-14B没有提前刷基准测试里面的真题,成绩绝对真实。

  此外,Orion-14B单次可推理320K的上下文,相当于一次性看完约50页的小说(45万字)。而在针对大模型“记忆力”的权威测试“大海捞针(Needle in A Haystack)”中,Orion-14B对200k Token的召回率是100%。

  图源:猎户星空

  傅盛并不避讳承认Orion-14B的训练,基于的是8个开源的MoE(专家混合模型)。目前,Orion-14B也已经在GitHub、Hugging Face、ModelScope等平台开源。

  同时,傅盛指出,ChatGPT只从公开出版物上获取数据,后果是无法深入解决企业问题。

  落地到具体的企业应用场景,模型要解决的问题,一是幻觉和错误,二是缺乏自主性。

  针对幻觉和错误问题,猎户星空推出了RAG能力微调模型Orion-14B-RAG。所谓的RAG(检索增强生成),能够从数据源中检索信息来复制大模型生成答案。Orion-14B-RAG对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力,进行了专项微调,让其能更好配合企业整合自身知识库,构建定制化的应用。

  针对构建自主性,猎户星空推出了辅助企业构建AI Agent的插件能力微调模型Orion-14B-Plugin。该插件能够通过Orion-14B-RAG更好理解用户需求,并调用相关的工具解决问题。

  图源:猎户星空

  附:

  Orion-14B技术报告 https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf

  欢迎交流

THE END
免责声明:本文系转载,版权归原作者所有;刊载之目的为传播更多信息,如内容不适请及时通知我们。

相关热点

  今日是新一轮油价调整的第3个工作日,目前预计上调油价65元/吨,折合升计算为上调油价0.05元/升-0.06元/升,相比上个工作日预计涨幅增加5元/吨,超过上调红线,油价呈上涨状...
汽车
  中新网北京1月22日电(记者 李金磊)2024年最新的各地最低工资标准出炉了。  近日,人社部官网发布了全国各省、自治区、直辖市最低工资标准情况(截至2024年1月1日)。...
消费

相关推荐

1
3