关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2098人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

曝国际巨头拟裁员3万人,多家美银行停止相关项目贷款;老外吐槽国产手机:为了像苹果,3个摄像头里1个是假的;闻泰业绩变脸:巨亏135亿元

雷峰网 浏览 2125

深圳00后600多万在港抄底买房 内地客十年砸下8000亿

南方都市报 浏览 15749

何穗首晒产后美照!身材苗条丰满,被质疑传递焦虑,本人连忙删图

萌神木木 浏览 3086

纯电续航420km 曝大众ID.Cross无伪装谍照

车质网 浏览 2749

太阳报:曼联预计未来几周官宣前往沙特踢季中赛

懂球帝 浏览 3104

登顶Hugging Face GAIA全球榜首!中兴超级智能体终结「AI黑盒」时代

新智元 浏览 3475

奔驰部分车型指导价下调10%,两大行业组织曾发函:经销商库存过高、价格倒挂严重

红星资本局 浏览 2112

豪华装饰,卢卡斯为家中置办一座4米高举起世界杯的金刚雕像

懂球帝 浏览 1711

联合国秘书长:美国对委军事行动未尊重国际法规则

澎湃新闻 浏览 2386

以色列允许部分学校复课 继续扩大黎南部地面行动

国际在线 浏览 1317

900万粉丝网红到一村庄办杀猪宴:村民收场地费还分肉

极目新闻 浏览 20060

轻舟亮剑:城市NOA计划上车50款,量产下放10万级

网易汽车 浏览 2158

梅德维德夫晋级中网男单八强

体坛周报 浏览 3946

特朗普急于将爱泼斯坦案翻篇 仍有250万页文件未公布

极目新闻 浏览 95395

全球最大稳定币遭质疑 标普将评级降至“最差一档”

财联社 浏览 2915

新势力做了这么久豪车 为什么只有尊界卖爆了?

差评XPIN 浏览 2558

你的卫衣该换了!这4款真的太显土啦!

Yuki女人故事 浏览 3133

娜扎被抢休息室,网友扒出疑似林允

萌神木木 浏览 3429

大动作!科技巨头,摊牌了!

米筐投资 浏览 2712

中方接连被美国暗中"做局" 两个国家几乎同时对华出手

头条爆料007 浏览 6880

德国15人“大军”突然撤离格陵兰 原因公布

澎湃新闻 浏览 6441
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1