当前位置:首页 > Deepseek最新资讯 > 正文内容

谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明

3周前 (01-20)Deepseek最新资讯33

  研究发现,当遇到 GPQA graduate-level 科学问题、复杂数学推导这类高难度任务时,这种内部观点冲突会变得更加激烈。

  团队通过分析 DeepSeek-R1 和 QwQ-32B 等模型的思维轨迹发现,它们的推理过程充满了对话感。

  团队借助稀疏自编码器 SAE,对 AI 的推理黑盒进行了深度解码,成功“监听”到了 AI 的脑内群聊。

  首先,研究者让 AI 执行复杂的数学或逻辑推理任务。在模型产出思维链的同时,团队同步提取其隐藏层神经元的激活数值。

  将这些激活数据输入 SAE,通过 SAE 的稀疏约束机制,就可以把杂乱的激活拆解为“自问自答”、“切换视角”等独立的对话语义特征;

  通过分析这些特征的激活频率以及它们在时间序列上的协同关系,团队成功识别出了不同的内部逻辑实体。

  再给上述特征打上“规划者”、“验证者”等虚拟角色的标签,就成功解码了 AI 内部的多角色对话行为deepseek

  通过对比 DeepSeek-R1 与 DeepSeek-V3、Qwen-2.5-32B-IT 这类普通指令模型的推理轨迹,发现推理模型的对话式行为出现的频率显著更高。

  当团队通过激活添加法强化模型的对话特征,放大“哦!”这类表达惊讶、转折的话语标记时,模型在 Countdown 算术推理任务中的准确率直接从 27.1% 翻倍至 54.8%。

  研究人员不提供任何对话结构的训练信号,只奖励模型答对题目的行为,结果发现模型会自发学会用对话式思考;

  而先通过多智能体对话数据对模型进行微调,再进行推理训练,进步速度会远快于直接训练推理或用独白式推理数据微调的模型。

  在 Qwen-2.5-3B 和 Llama-3.2-3B 两个模型体系中,早期训练阶段对话微调模型的准确率比独白微调模型高出 10% 以上,Llama-3.2-3B 到训练后期差距甚至扩大到 22%。原文出处:谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明,感谢原作者,侵权必删!

标签: deepseek

“谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明” 的相关文章

DeepSeek预测:西班牙人vs瓦伦西亚!米拉缺阵,鹦鹉军团主场恐遭蝙蝠逆袭?

DeepSeek预测:西班牙人vs瓦伦西亚!米拉缺阵,鹦鹉军团主场恐遭蝙蝠逆袭?

  西甲第6轮即将上演一场欧战资格卡位战,排名第4的西班牙人将在RCDE球场迎战第10的瓦伦西亚。主队目前以3胜1平1负积10分紧咬欧冠区,而客队7分距离欧战区仅2分之差。有趣的是,两队近...

10月25日DeepSeek预测:凯尔特人vs尼克斯,塔图姆率队复仇麦迪逊广场花

10月25日DeepSeek预测:凯尔特人vs尼克斯,塔图姆率队复仇麦迪逊广场花

  NBA常规赛东部焦点战即将打响,10月25日07:30,波士顿凯尔特人将造访麦迪逊广场花园挑战纽约尼克斯。两支球队上赛季季后赛曾上演五场激战,此番再度相遇火药味十足。...

DeepSeek 官方点赞元宝,罕见现身互动

DeepSeek 官方点赞元宝,罕见现身互动

  12 月 24 日,DeepSeek 官方在小红书点赞并回应元宝发布的年度报告,双方公开互动。   在全球已有超过百款产品接入 DeepSeek 模型的背景下,此类互...

12月11日DeepSeek预测:太阳vs雷霆,亚历山大率队延续连胜?

12月11日DeepSeek预测:太阳vs雷霆,亚历山大率队延续连胜?

  西部第七的菲尼克斯太阳将客场挑战联盟榜首俄克拉荷马雷霆,这场看似悬殊的对决暗藏玄机。尽管雷霆以23胜1负的恐怖战绩领跑全联盟,但太阳近期两连胜的反弹势头不容忽视。  ...

2月9日DeepSeek预测:快船vs森林狼,森林狼主场延续连胜,爱德华兹对决伦

2月9日DeepSeek预测:快船vs森林狼,森林狼主场延续连胜,爱德华兹对决伦

  2月9日,NBA常规赛将迎来一场西部对决,洛杉矶快船客场挑战明尼苏达森林狼。快船目前以24胜27负排名西部第10,胜率47.1%,而森林狼则以32胜21负排名西部第6,胜率60.4%。...

DeepSeek预测:罗马vs那不勒斯巅峰对决!苏莱PK德布劳内,红狼主场2-1

DeepSeek预测:罗马vs那不勒斯巅峰对决!苏莱PK德布劳内,红狼主场2-1

  北京时间12月1日凌晨3:45,意甲第13轮将上演一场焦点战,领头羊罗马坐镇奥林匹克球场迎战第三名那不勒斯。目前罗马以9胜0平3负积27分领跑积分榜,而那不勒斯以8胜1平3负积25分紧...