英伟达发文介绍“黄氏定律”:GPU 推理性能十年提升 1000 倍,无惧摩尔定律影响

业界
TIME
2023-10-02 09:45
IT之家 汪淼
分享

  正当人们争论摩尔定律在 2020 年代是否会放缓、是否仍然适用、甚至已死的时候,英伟达发文宣布了黄氏定律(Huang's Law)。

  据英伟达一篇最新博客称,在过去十年中,英伟达 GPU 人工智能处理能力增长了 1000 倍。黄氏定律意味着在单芯片推理性能中看到的加速不会逐渐消失,而是会继续出现。

  文中表示,英伟达首席科学家 Bill Dally 所描述的后摩尔定律时代计算机性能如何实现的结构性转变主要基于人类的聪明才智。这一特征似乎难以建立一条定律,但 Dally 认为,下面的图表标志着黄氏定律的开始。

  IT之家查询发现,黄氏定律并非英伟达自己的首创说法。IEEE Spectrum 第一个提出以黄仁勋命名定律,黄氏定律后来因《华尔街日报》的一篇专栏而广为人知。

  根据 Dally 最近在 Hot Chips 2023 会议上的演讲,上图显示过去十年 GPU AI 推理性能增长了 1000 倍。Dally 表示,有趣的是,与摩尔定律不同,工艺缩小对黄氏定律的进展几乎没有影响。

  Dally 回忆起如何通过改变英伟达 GPU 底层数字处理来实现 16 倍的增长。使用 Transformer 引擎的 Nvidia Hopper 架构的到来带来了另一个巨大的推动。据称,Hopper 使用 8 位和 16 位浮点与整数数学的动态组合,实现了 12.5 倍的性能飞跃,并且节省了能源。

  Dally 还称,尽管摩尔定律的收益不断减少,但他相信黄氏定律仍将继续存在。

THE END
免责声明:本文系转载,版权归原作者所有;刊载之目的为传播更多信息,如内容不适请及时通知我们。

相关热点

  重庆网红景点洪崖洞人山人海,游客热潮不断,女主播现场直播火爆。  9月28日晚,重庆市渝中区嘉陵江滨江路88号的洪崖洞,这个古老而独特的城市景点,再次以其独特的魅力吸...
消费
  厄尔尼诺和拉尼娜现象想必大家有所耳闻,近些年来前者在太平洋多发,对我国造成了不小影响。  昨日下午,中国气象局召开2023年10月新闻发布会,国家气候中心副主任介绍,...
互联网

相关推荐

1
3