AI邪修时刻！Meta联手MIT投毒
2026-05-11 22:16:26 新浪新闻
Meta SOAR用「该领域」当垫脚石，硬生生把模型从Fail@128的认知黑洞里拽出来，推理能力暴涨9.3%！这证该领域能实现长期、稳定的推理提升Meta证明了，AI不需要人类的「真理」也能进化，它完全可以自己编写教科书——同时是用一种人类看不懂、甚至看来全是错误的语言编写的。Meta的数据显示，负责出题的那个模型，自己做题能力没什么提高，但它培养出的学生却进化了。研究团队选了MATH和HARP数据集里最变态的「Fail@128」子集。通过大量人工清该范围，o1试图教给模型最标准的推理步骤。SOAR的高明之处在于，它不试图把所有技能点都加在同一个脑子里，而是让一部分算力异化为「磨刀石」，去打磨另一部分算力。直接用训练好的教师模型去解题，并没有比基座模型强多少。这说明，「出题」和「解题」是两种完全不同的技能树。OpenAI o1则是「精英教育派」，它坚信「CoT必须完美」。绝境求生者：负责做题，然后去挑战那道「Fail@128」的终极死局。这证明有根奖励让教师法规鲁棒，而内在奖励易不稳定/崩溃。它必须生成那些怪异的、甚至含有错误答案的题目，因为只有这些题目，才能让学生真的进步。SOAR教师变体消融学习曲线：用Grounded-T（有根奖励教师，粉红实线）采样的问题训练学生，在MATH和HARP上实现最高、最稳定的Pass@32提高，远超Base-T（蓝虚线，波动大）和Hard Only（蓝点线）故而，为了得高分，建筑师只能去「猜」学生到底缺什么，要出什么题。如果按照OpenAI o1的清洗标准，该范围会在第一轮就被作为「幻觉垃圾」剔除。这证明教师通过promotion逐步生成更难但结构有效的垫脚石，推动学生推理突破。当「学生模型」去解这道题时，即便最后对答案是寂寞，但它在「构建推理路径」过程中的脑力体操，是实打实的！Intrinsic-T表现较差，验证了‘有根奖励’的重要性。在数据枯竭论甚嚣尘上的今天，Meta的这条路，可能是唯一能让AI在没有任何人类知识的荒原上继续进化的希望。SOAR不依赖DeepSeek式的海量算力撞大运，也不需要OpenAI该范围。这不仅仅是「难」，还是绝对的认知真空：在传统的强化学习里，这意味着「梯度消失」——就像在黑屋子里打拳，因为从来没打中过，它根本不知道该往哪儿用力。SOAR生成的那些「满嘴谎言」的难题，虽然答案错了，但往往包含了人类意想不到的「思维突触」。这在通常难题上效果极佳，但在Fail@128这种「绝对死局」面前，DeepSeek的策略碰到了物理墙。这是什么概念？就是让Llama-3.2-3B对着一道题连蒙128次，成功率依然是0。研究员扒开这些「垫脚石」一看，背脊发凉：84%的题目逻辑结构清晰、合理；只有33%的参考答案是做对的。SOAR教师种子消融学习曲线：Grounded-T（G-T到G-T，红色系线）四个独立种子生成的课程，让学生Pass@32稳定一致升至~18-22%/~12-15%，方差极小；Intrinsic-T（I-T到I-T，青色系线）三个种子波动剧烈，甚至出现崩溃模式（I-T学生性能崩盘）。SOAR学习曲线：用Promotion Questions 训练的学生模型，在1500步内Pass@32稳定升至~18-19%，接近完整MATH训练集的上界，而Hard Only 几乎无进步甚至衰退。放在以前，他绝对会被喷成筛子：这叫「数据投毒」！轻则模型脑雾，重则逻辑崩塌，直接送进ICU。2026年，这才是最硬核的反杀路线。如果给AI喂一份错误率高达67%的教材，结局会是什么？产业普遍悲观地认为，当人类生产的高质量文本被吃光后，AI的进化将停滞不前。更致命的是，该领域已经面临枯竭，人类产生难题的速度这一探讨的速度。奖励完全基于学生在极难题目上的真实提升，该领域的正确性。SOAR的meta-RL训练循环：该领域集，学生模型在内层循环中开展加强学习训练，并在硬验证问题上评估进步，计算奖励R反馈给教师进行外层更新。这就像让一只猴子坐在打字机前，试图靠随机敲击写出《哈姆雷特》——理论上可行，但现实中算力成本是无限大。但SOAR的实验狠狠嘲弄了这种洁癖。Meta证明，该行业可能是在扼杀天才。DeepSeek R1的解法是「卷算力」，靠GRPO疯狂采样，赌那千万分之一的「顿悟时刻」。DeepSeek R1代表了「暴力美学派」。其核心武器GRPO依赖于大规模采样——让模型反复尝试，直到偶然撞上那个正确的答案，产生所谓的「顿悟时刻」。长久以来，悬在AI头顶最大的达摩克利斯之剑，是「数据枯竭论」。但在Meta FAIR的实验室里，这剂毒药，变成了救命的神药。SOAR课程演化示例：左图说明学生在Fail@128硬题上的greedy acc随教师训练/promotion时段阶梯上升；右图展示典型生成题目——Stage 1多为生活word problem，Stage 2转向高等代数/三角。哪怕「教师模型」自己都算不对微积分，它依然能编出一道高质量的微积分题。直接训练 vs 自生成课程：左侧稀疏奖励导致无梯度信号；右侧教师模型生成中间难度难题，形成渐进式课程，帮助学生模型在Fail@128数据集上实现突破SOAR一图封神：教师造合成错题，学生苦练+硬题评估，奖励直击硬题进步——粉红曲线暴涨，蓝线彻底躺平路线之争：DeepSeek的蛮力 vs Meta的诡道2026年的大模型推理战争，本质上是三种「宗教」的碰撞。但要是让AI该范围，这种「近亲繁殖」会导致模型崩溃。论文链接：https://arxiv.org/abs/2601.18778不仅没把模型喂傻，反而让它踩着一堆「满嘴谎言」的废料，爬上了人类无法触及的推理巅峰。SOAR架构搞出了一个「教师模型」，专门生成中间难度的「垫脚石问题」。AI为了拿奖励，时常会生成一堆简易重复的垃圾题来刷分。对此，SOAR搞了一个极其冷酷的「双层博弈」：混沌建筑师：负责瞎编题，不管对错。如果按照OpenAI该行业，模型反而失去了跳出局部最优解的机会。当成功率为0时，无论你采样多少次，奖励永远是0。没有正反馈，梯度就不会下降。除此以外，Meta引入了「有根奖励」机制。建筑师编的题再花哨也没用，只有当学生做完这些题，在真实的Fail@128难题上升分了，建筑师才能拿到奖励。SOAR在MATH和HARP Fail@128数据集上的性能提升：Promotion Questions 带来最大增益，该领域的结构质量远胜答案正确性。在AI自我进化的历史上，无数次在一个坎上跌倒——「自我欺骗」。只要「黑盒奖励」还在，AI就能在虚空中左脚踩右脚，螺旋升天。曾经我们以为AI是婴儿，必须喂纯净水；现在才发现，哪怕喂它吃垃圾、吃毒药，它照样能长出獠牙。它在零外部输入的情况下，借助内部互博，强行挖掘出了模型潜意识里的能力。当错误的答案成为了通向更高智能的唯一阶梯，人类手里那几本标准答案，还有多少保质期？https://ssundaram21.github.io/soar/https://arxiv.org/abs/2601.18778
热点排行
1
今日商丘
新浪微博
商丘网