英特尔开源NPU加速库,方便使开发人员优化其AI应用

业界
TIME
2024-03-03 15:55
IT之家
分享

  @Tony MongkolsmAI 发现,英特尔已经在 GitHub 上开源了其 NPU 加速库,支持 Windows 和 Linux。

  开发人员可以按照相应文档对其软件进行优化,从而适配新一代 AI 模型,包括 TinyLlama 和 Gemma-2b-it。

  根据官方描述:英特尔 NPU 加速库是一个 Python 库,旨在利用英特尔神经处理单元 (NPU) 的强大性能在兼容硬件上执行高速计算,从而提高应用的效率。

  英特尔还表示其 NPU 加速库目前不断开发中,后续将推出各种能显著提高性能的功能,截至IT之家发稿已经实现了 8bit 量化、Float16 支持、torch.compile 支持等,后续还将支持 NPU / GPU 异构计算等功能。

THE END
免责声明:本文系转载,版权归原作者所有;刊载之目的为传播更多信息,如内容不适请及时通知我们。

相关热点

  据中国载人航天工程办公室29日消息,2024年,中国载人航天工程将统筹推进空间站应用与发展和载人月球探测两大任务,向着建设航天强国的奋斗目标迈出坚实步伐。目前,中国...
业界
  在1月份油价共出现了“2次200元/吨的大涨,1次50元/吨的下跌”,导致油价累计大涨了350元/吨。根据最新油价统计的数据,预计3月4日晚油价又要涨超125元/吨,这让今年油价...
汽车

相关推荐

1
3