Meta 新研究可让大模型自动屏蔽无关信息

数码
TIME
2023-12-06 10:25
通信世界全媒体
分享

Meta 近日公布了一项关于注意力机制的新研究。该研究团队将这种新注意力机制命名为“System 2 Attention”(S2A),可屏蔽无关信息的干扰,将大模型的准确率进一步提升。根据测试结果,该机制不需要微调或训练,只靠 Prompt 就能让大模型的准确率上升 27%。

S2A通过提示词对Transformer中的注意力机制进行了“调节”,使模型整体上的思考方式更接近复杂、有意识的推理。

THE END
免责声明:本文系转载,版权归原作者所有;刊载之目的为传播更多信息,如内容不适请及时通知我们。

相关热点

  中国物流与采购联合会12月5日公布11月份中国电商物流指数。在电商集中促销活动的带动之下,电商物流需求明显回升,总业务量指数和农村业务量指数均创出年内新高。  ...
电商
  据交通运输部消息,2023 年 12 月 5 日,交通运输新业态协同监管部际联席会议办公室对货拉拉进行约谈,并对满帮集团、滴滴货运、快狗打车等进行了提醒。  约谈指出了...
企业

相关推荐

1
3