重磅!PerfXLM+推理框架支持DeepSeek全系列模型!

热点
TIME
2025-02-07 10:18
科技在线
分享

  澎峰科技最新消息,公司自主研发的PerfXLM+推理框架已基于海光DCU,完成对DeepSeek全系列模型的深度适配与优化,AI大模型应用效能大幅提升。

  PerfXLM+推理框架通过底层架构优化,全面适配海光DCU算力平台,为DeepSeek模型提供了高性能支持。针对DeepSeek-R1-Distill系列等模型,框架结合海光DCU的并行计算能力,可显著降低资源消耗,在同等硬件条件下进一步提高了推理效率。

  另外,海光DCU作为关键“媒介”,采用兼容度最高的GPGPU通用加速计算架构,可支撑DeepSeek模型直接运行,大幅减少底层适配工作量,技术团队仅需聚焦模型精度验证与持续性能优化,即可实现高效部署。

  PerfXLM+推理框架目前已覆盖自然语言处理、多模态理解等核心场景,客户可基于海光DCU集群实现模型快速迭代与弹性扩展,满足各行各业的实时推理需求。

  并且,PerfXLM+推理框架通过模型量化、算子融合等核心技术,正在进一步挖掘海光DCU的异构计算潜力,为企业提供更高质量、低成本的AI推理服务。

  随着“框架+硬件+模型”的全栈能力构建完毕,国产厂商或将加速打破企业AI部署门槛。


THE END
免责声明:本文系转载,版权归原作者所有;刊载之目的为传播更多信息,如内容不适请及时通知我们。

相关热点

  辛选集团关联公司广州辛选网络信息科技有限公司因虚假宣传违法行为,于今年 1 月被广州市白云区市场监督管理局罚款 175 万元。  处罚事由显示,当事人通过某平台直...
电商
  具体来说,根据分析机构TechInsights和市场研究公司Canalys的数据,2024年苹果手机在中国的智能手机市场出货量大幅下降。TechInsights的数据显示,2024年第四季度,尽管中...
数码

相关推荐

1
3