关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2357人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

廷贝尔:联赛杯决赛也许能成为争冠动力;哈弗茨不是安静的人

懂球帝 浏览 2374

美拉德+黑蓝白,太好看了!

Yuki女人故事 浏览 4099

泽连斯基接受采访期间马林斯基宫两度停电 俄官员回应

环球网资讯 浏览 3407

爱优腾芒长剧阵地战

海克财经 浏览 2446

极狐汽车4月销量16532辆 同比增长101.7%

网易汽车 浏览 201

美业数字化再添新助力 成都美博会AI美业工具受追捧丨新经济观察

封面新闻 浏览 3670

日间为虫,夜晚化蝶,CHANEL的多变性

时尚COSMO 浏览 1780

特斯拉 FSD V14 Lite 将上线,老车主率先体验

三言科技 浏览 517

丝巾的10种系法,爱美的女人必看

LinkFashion 浏览 499

北约:将考虑对俄罗斯发动“先发制人”的打击

环球网资讯 浏览 16528

马克龙时隔两年半再访华 中法领导人将举行两轮会晤

上观新闻 浏览 17175

曼城vs埃克塞特城:塞门约首秀,哈兰德、罗德里、阿克首发

懂球帝 浏览 2142

刘强东“最值钱”的金融牌照,迎来75后掌舵人

经理人杂志 浏览 3728

伊姐周日热推:电视剧《依依向北风》;电视剧《水龙吟》......

伊周潮流 浏览 3110

今年春天最流行的4件卫衣,照着穿就很好看

LinkFashion 浏览 1945

马筱梅爆料,不亲自带娃,十天后有好消息要发生

洲洲影视娱评 浏览 3555

叶珂不再隐忍,黄晓明“私生活”被揭露

乡野小珥 浏览 215

苹果折叠屏iPhone Fold细节曝光:钛合金机身,售价超2000美元

IT之家 浏览 4338

带队英超客胜曼城和利物浦,阿莫林是近五个赛季唯一一人

懂球帝 浏览 3875

黄慧颐手撕保剑锋 曾黎意外卷入风波

第一娱记 浏览 2617

中年女性高级感穿搭秘诀:裙过膝、鞋带跟、包精致,更大方

静儿时尚达人 浏览 3185
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1