Meta 近日公布了一项关于注意力机制的新研究。该研究团队将这种新注意力机制命名为“System 2 Attention”(S2A),可屏蔽无关信息的干扰,将大模型的准确率进一步提升。根据测试结果,该机制不需要微调或训练,只靠 Prompt 就能让大模型的准确率上升 27%。
S2A通过提示词对Transformer中的注意力机制进行了“调节”,使模型整体上的思考方式更接近复杂、有意识的推理。