关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2093人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

升东部第二!绿军轻取公牛获4连胜 西蒙斯27分普里查德21分

醉卧浮生 浏览 2436

三次联排后,央视春晚越看越悬:分会场像宣传片主会场全是老套路

肆季娱乐 浏览 2073

王心凌再回应与吴克群绯闻

半岛晨报 浏览 3142

鲁媒:洛佩斯需证明自己,否则很可能不在泰山队未来计划中

懂球帝 浏览 3495

日媒:中国U23仿佛在球场筑起万里长城,完成了数据上不可能的奇迹

懂球帝 浏览 2222

跟队:拜仁内部不会轻易谈论让伦纳特-卡尔踢世界杯的话题

懂球帝 浏览 3346

曾经被国产质疑的增程,现在又被老外质疑了?

汽车公社 浏览 668

郭敬明太爱用风险艺人!吸毒的、偷税的、进监狱的,埋了好几部戏

萌神木木 浏览 2038

从 “扛周期” 到 “稳经营”:生猪期货如何破解产业困局

澎湃新闻 浏览 2342

广东大胜西班牙球队1喜3忧!二老老寒腿,张昊无球权,张皓嘉辣眼

篮球资讯达人 浏览 3332

ESPN:德容已与巴萨就续约达成协议,他的薪水将降低

懂球帝 浏览 3376

亚马逊历史新高!道指标普月线六连阳,中概股探底回升

第一财经资讯 浏览 3137

特朗普:继续陈兵伊朗及周边

极目新闻 浏览 689

厂补叠加国补,长安启源全新Q05仅6.6万元起

豆哥不卖车 浏览 2500

戏骨许绍雄去世,身家上亿却穿百元衣吃路边摊

八卦南风 浏览 2729

王浩然第二阶段再进步!展露持球和突破能力,若补强防守还了得?

篮球资讯达人 浏览 755

44岁阿娇自曝手抖出肝不太好,已戒酒一年多

小咪侃娱圈 浏览 3280

世体:姆巴佩顺利通过考试,已拿到驾照

懂球帝 浏览 1616

商务部:2026年优化消费品以旧换新政策实施

央视财经 浏览 2298

美高官:委官员已私下保证 将满足美提出的条件和要求

中国经营报 浏览 7877

海哈金喜更新离婚后动态,状态不错

影视口碑榜 浏览 2725
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1