新闻动态
开云体育(中国)官方网站o3 使用的测验筹画资源是 o1 的 10 倍-开云集团「中国」Kaiyun·官方网站
这个月 AI 社区很吵杂，尤其是 Llama 4 和 GPT-4.5 等新旗舰模子的发布。但你可能仍是着重到开云体育(中国)官方网站，东谈主们对这些新模子的反映相对凡俗。原因之一可能是 Llama 4 和 GPT-4.5 仍然是传统的模子，这意味着它们的测验莫得使用明确的强化学习进行推理。
与此同期，xAI 和 Anthropic 等坚毅敌手在其模子中增多了更多推理材干和功能。举例，Grok 和 Claude 的界面当今王人为某些模子添加了一个「念念考」（或扩张念念考）按钮，不错明实在换推理功能。
不管何如，Llama 4 和 GPT-4.5（非推理）模子的低迷反响标明，咱们正接近仅靠扩张模子鸿沟和数据所能达到的极限。
相关词，OpenAI 近期发布的 o3 推理模子标明，在战术性参加筹画资源方面，绝顶是通过针对推理任务量身定制的强化学习步伐仍有相配大的纠正空间。据 OpenAI 职工在直播中先容，o3 使用的测验筹画资源是 o1 的 10 倍。
图源：OpenAI o3 与 o1 的性能与算力相比。诚然单靠推理并非灵丹仙丹，但如实能培育模子在挑战性任务上的准确率和措置问题的材干（现时截止）。因此，Sebastian 展望以推理为重心的后测验将成为改日 LLM 过程的法度作念法。本文将洽商强化学习在推理方面的最新发达。
张开剩余54%图源：本文重心先容用于缔造和纠正推理模子的强化学习测验步伐。本文主要实质包括以下几部分：
领路推理模子； RLHF（Reinforcement Learning from Human Feedback）基础：一切从何而来； PPO（Proximal Policy Optimization）简介：强化学习的核默算法； RL 算法：从 PPO 到 GRPO（Generalized Return and Policy Optimization）； RL 奖励模子：从 RLHF 到 RLVR（Reinforcement Learning wit DeepSeek-R1 推理模子的测验步伐； 从最近对于测验推理模子的 RL 论文中给与的教会； 值得暖和的推理模子测验照看论文。下文以作家第一东谈主称口气阐扬。
领路推理模子
咱们最初来了解推理的界说。简而言之，推理（reasoning）是指使 LLM 冒昧更好地处理复杂任务的推理（inference）和测验手段。为了更详备地诠释何如竣事这少量（现时截止），我界说如下：在 LLM 的语境中，推理是指模子在提供最终谜底之前生成中间法子的材干。
这个过程时时被称为念念维链 (CoT) 推理。在念念维链推理中，LLM 会明确生成一个结构化的语句或筹画序列开云体育(中国)官方网站，以证实其何如得出论断。具体如下图所示：
LLM 何如处理多法子推理任务的浅薄图例。模子并非只是回忆一个事实，而是需要麇集多个中间推理法子才能得出正确的论断。凭据具体竣事花式，中间推理法子可能会潜入给用户，也可能不会潜入。 发布于：中国香港