o1 背后的推理道理赌足球app，斯坦福和伯克利帮咱们总订盟了！

在最新的一篇长达100 页的论文中，他们将 o1 模子背后的推理机制提取成了一个通用的框架——元链式想维（Meta-CoT）。

这个元链式想维（Meta-CoT）到底是什么道理呢？

松弛来说，它不错让模子在推理经过中反想推理任务——

这么不仅能得出论断，它还不错匡助咱们找到更多新的究诘想路和活动。

比如在经典的 24 点问题中，传统的 CoT 诚然也能得出正确的论断，但是 Meta-CoT 在推理经过中不啻会温暖输入的问题，而是在推理经过中想考更多的子问题并进行尝试：

这亦然 o1 模子不错在 HARP 等数学基准中大幅率先的原因：

SynthLabs 公司的 CEO Nathan Lile 还自信地暗示：

元链式想维（Meta-CoT）是通往超等智能（Superintelligence）的正确说念路。下一波东说念主工智能便是元链式想维（Meta-CoT）轮回。

元链式想维 ( Meta-CoT ) 框架为什么传统 CoT 非论用了

在建议新框架之前，咱们先要联贯一个问题：为什么传统模子普通在高档推理任务中"卡壳"。

其实啊，主要原因在于假话语模子的预老师和指示调整语料库数据中，不包含信得过数据生成经过。

以数学问题为例，网上和教科书中虽有会有解答，但关于古怪的论证活动为何失效，却很少有相关的贵府，

如斯一来，在遭受复杂推理问题时，被中间要津困住的模子就很难调整到正确的想考宗旨。

而在全新的高中奥数水平数学基准测试中，OpenAI 的 o1 模子系列推崇出众，不仅远超以往的模子，况兼问题越难上风越彰着。

从生成 tokens 数目看，其他假话语模子生成的处分有贪图长度与东说念主类左近，这也便是评释，它们仅仅在搜索匹配老师数据。

而 o1 模子在松弛问题上生成的 tokens 数与东说念主类额外，在高难度问题上，生成 tokens 数则大幅增多，与传统模子拉开差距。

这标明 o1 模子的 CoT 掩盖范围更广，能更好地接近信得过数据生成经过。

Meta-CoT 的主要想想

咱们先来看一说念 2011 年国外数学奥林匹克竞赛的 "风车问题"：

平面上有至少两个点的有限会聚，假定任性三点不共线，从过其中少许的直线启动，让直线绕该点顺时针旋转，碰到麇聚首另少许时，新点成为旋转轴连接旋转，此经过无穷握续。能否选一个点和过该点的直线，让麇聚首每个点皆无穷次成为旋转轴呢？

官方给出的解答如下：

这说念题的解答诚然很粗陋，不依赖先验常识，但却是竞赛中最难的题之一，600 多名参赛者中惟一少数东说念主答对。

主要难点在于，它的解答经过不是线性的。好多东说念主会遴聘请凸包构造或哈密顿图论活动，最终皆会失败。

而答对的东说念主主淌若依靠大批几何探索和归纳推理，才最终找到了谜底。

也便是说，这个解答经过不是从左到右鲁人持竿生成的。

从潜在变量经过角度看，经典想维链是对潜在推理链进行边际化，得出最终谜底的概率。

但关于复杂问题，信得过解答生成经过应该是解答的连结概率漫衍，取决于潜在生成经过。

这便是团队所说的元想维链（Meta - CoT）经过，使用这个想路，就不错大大擢升假话语模子在复杂问题上的推理武艺。

里面化搜索经过

Meta-CoT 的一个进犯活动是，在濒临高档推理问题时，假话语模子会用功提高搜索的服从。

以前模子普通会使用Best-of-N 活动，也便是寥寂生成多个完竣谜底，然后挑出最佳的，但这个活动比较耗时。

在 Meta-CoT 中，究诘东说念主员把推理经过联想成一个"步步走"的游戏，也便是马尔可夫决策经过（MDP）。

在这个经过里，他们还引入一个经过奖励模子（PRM），它不错用来评估中间活动能能否得出正确谜底。

如果发现某个解答宗旨没但愿，模子就会尽快停驻，回到可能得胜的中间情状，再行寻找处分有贪图。

这种树搜索活动在松弛推理任务里依然显出彰着的上风，在实质操纵中也有得胜案例。

论文的主要作家之一 Rafael Rafailov 是斯坦福毕业的博士，也进入过好多数学竞赛，他暗示这个新的搜索经过和他我方解答题目时的情状亦然相同的：

评估处分有贪图的潜在活动、修剪莫得获取进展的宗旨、探索其他可能的分支看法、尝试凭据直观构建通往最终方针的旅途

合成元链式想维

另外一个挑战在于，大模子普通会使用强化学习活动从曩昔教训里学习好的推理计谋，但当遭受新界限的推理问题时，用传统 RL 老师出来的计谋就不太好用了。

为了提精深模子处分不熟谙界限问题的武艺，究诘东说念主员尝试在 Meta-CoT 中让大模子把推理经过当成一场"冒险游戏"，也便是部分可不雅测马尔可夫决策经过（POMDP），相配顺应用来升级模子。

在这个经过中，模子不错凭据不轸恤况调整计谋。

以下图中的迷宫游戏为例，模子一启动不错松驰行走，但渐渐地，通过将不同的极点加入到旅途数据集或删除数据聚首，就会渐渐找到正确的宗旨。

况兼，通过经过监督，模子能实时得到响应，知说念我方是否走在正确的解答说念路上。

究诘东说念主员还发现，让模子主动探索不同的推理旅途，能大大擢升它的推崇。在执行里，模子会用功尝试各式活动，限制在处分复杂问题时，答对的概率也提高了好多。

论文还有计划了通过搜索算法（如下图中的蒙特卡罗树搜索（MCTS）和 A* 搜索）生成合成老师数据的更多活动，这些活动不错匡助模子在高下文中学习并膨胀复杂的搜索计谋。

使用新框架的 LLM 推崇全面擢升

那么比较原始的 CoT，使用 Meta-CoT 新框架的 LLM 性能到底变强了若干呢？底下一齐来望望论文中的执行部分。

执行遐想

在数据收罗方面，本论文主要使用了多个数学问题数据集，包括 HARP、NuminaMath、Omni-MATH 和 OpenMathInstruct-2。通过对这些数据集进行过滤和处理，生成了顺应老师的合成数据。

执行中的模子包括面前主流的多个 LLM，包括 Llama 3.1 8B、70B 和 GPT-4o 等。

执行遐想包括指示调优和强化学习后老师两个阶段。指示调优阶段使用线性化的搜索轨迹进行老师，强化学习后老师阶段使用 E-RL2 方针进行老师。

在指示调优阶段，团队使用了多种优化方针，包括表率经过克隆活动和元链式想维优化方针。

在强化学习后老师阶段，他们使用了不同的扣头率和优化算法，如 PPO 和 REINFORCE。

限制与分析

小限度的执行限制：在小限度执行中，使用 MCTS 和 A* 搜索算法生成的合成数据显赫提高了模子在复杂数学问题上的推崇。

高下文探索的执行限制：在高下文探索执行中，模子在数学问题上的推崇跟着高下文探索序列长度的增多而提高。可是，过长的序列长度也会导致性能下落，这也指示咱们需要在探索和推理之间找到均衡。

回溯执行限制：在回溯执行中，o1、DeepSeek-R1、Gemini 2.0 Flash Thinking 等模子在解答数学题的经过中，在复杂数学问题上的推崇皆跟着回溯次数的增多而提高。这标明回溯是一种灵验的古怪改革机制。

详尽执行限制：详尽执行限制标明，使用元链式想维框架不错显赫提高 LLMs 在复杂推理任务上的推崇。举例，使用 E-RL2   方针老师的模子在 HARP 数学基准测试中的推崇比基线模子提高了约 25%。

团队还在权术更多数学究诘

论文建议的通过自教推力器、A* 算法等活动进行合成的元链式想维（Meta-CoT）的框架，通过显式建模推理经过和搜索经过，使得 LLMs 在各项常见的执行任务中进行复杂推理的推崇皆有所擢升。

团队成员也暗示，改日会进一步考证所建议活动服从的必要性，设备出更灵验的经过监督和考证工夫。

此外，针对面前 LLM 普遍在数学问题等逻辑性较强的任务上推崇欠安的景象，他们还正在构建大数学（Big Math） 形势。

这个形势的方针是团员率先50万个高质料、可考证的数学问题，并最终全皆开源！

对相关形势感兴味的一又友们不错点击底下的联贯了解更多内容～

参考联贯：

[ 1 ] https://arxiv.org/pdf/2501.04682v1

[ 2 ] https://x.com/NathanThinks/status/1877510438621163987赌足球app