产品ByteByteGo·原文 2026年10月12日本站收录 2026年10月13日

Sudoku测试中LLM仅解出 2%:Logical Intelligence用能量推理模型Kona达到 96.2%

据Logical Intelligence公开的实验,GPT-5.2、Claude Opus 4.5、Sonnet 4.5、Gemini 3 Pro和DeepSeek V3.2等前沿LLM在Sudoku上总体只解出 2%,API花费约 1.1 万美元;名为Kona的能量推理模型参数量小约一千倍,解出 96.2%,GPU时间花费 4 美元。该公司CEO Eve Bodnia解释了Kona这类能量推理模型(EBRM)为何在约束满足问题上表现不同。

AI解读:LLM按从左到右、逐个token生成,且输出是离散的,因此在一处提前填入的候选数字若与后续行列冲突,只能回退重新生成,且无法把答案“稍微调近”正确值。这是它在Sudoku这类需要同时满足多个约束的任务上失败的两个结构性原因。

Kona属于能量推理模型(EBRM),不直接生成token,而是学习一个能量函数E(x, y),给候选答案打分,低能量代表更符合问题;推理时从随机噪声出发,沿能量下降方向逐步调整整个候选表示,直到能量不再下降,再由解码器输出答案。

据Bodnia所说,Kona用“只给一半格子”的未完成Sudoku训练,没有使用强化学习,但模型仍学会了规则并在测试时产出完整正确网格。Logical Intelligence没有公布Kona的具体内部训练细节。

在效率方面,文章给出的测试数据显示Kona平均 313 毫秒得出结果,而LLM单个谜题耗时可达 90 秒;该比较范围限于这次Sudoku演示。

文章指出,这类模型适合“正确性可以被精确定义和验证”的任务,例如Sudoku、形式数学、规划,因为可以用检查器或约束求解器判断对错;当正确性依赖主观判断时,LLM仍更有优势。

据Logical Intelligence公开的一项Sudoku实验,包括OpenAI的GPT-5.2、Anthropic的Claude Opus 4.5和Sonnet 4.5、Google的Gemini 3 Pro以及DeepSeek V3.2在内的前沿大语言模型,整体只解出了 2% 的谜题,API调用花费约 1.1 万美元。

同一实验中,Logical Intelligence的模型Kona解出了 96.2%,参数量比上述LLM小约一千倍,GPU时间花费约 4 美元。该公司创始人兼CEO Eve Bodnia向ByteByteGo解释了Kona所属的能量推理模型(EBRM)如何处理此类问题。

LLM在Sudoku上失败的两个结构性原因

文章以Sudoku为例说明LLM的工作方式:模型从左到右、逐个token生成数字。如果它在第 2 行填入一个数字,直到第 7 行才发现同一列已经冲突,就必须回退到出错位置并重新生成后续内容。早期提交的答案无法低成本修改。

第二个原因是输出离散。数字 1 到 9 是模型学习和产生的最小单位,一个格子里的数字要么正确要么错误,没有办法把答案向正确方向“移动一点”,只能丢弃并重新从离散集合中采样。

文章将这两个特性称为LLM的基础限制,并在需要同时满足多个约束的问题上显现,例如棋类、芯片设计、工业控制、电网优化和交易系统。

  • LLM按从左到右顺序生成,发现早期错误时代价高。
  • 输出为离散token,无法对答案做连续调整。
  • Sudoku只是这类约束满足问题的一个示例。

能量推理模型如何给出答案

EBRM不生成token,而是学习一个能量函数E(x, y):输入问题和候选答案,返回一个能量值。能量越低,表示候选答案与问题越一致;最低能量对应正确回答。

训练使用对比损失,让正确答案的能量低于错误答案。错误答案可以来自对正确答案的破坏,也可以来自模型自身的搜索过程。训练只调整网络权重,不修改答案本身。

推理时,候选答案从随机噪声开始,模型计算能量并沿下降方向逐步调整,直到能量不再下降,再由解码器转换成任务需要的格式。因为求解所需的步数不固定,较难的问题会消耗更多计算步骤。

  • Kona在演示中平均 313 毫秒得出结果,LLM单个谜题耗时可达 90 秒。
  • Logical Intelligence称Kona用半隐藏的未完成Sudoku训练,未使用强化学习,但未公开具体训练细节。
  • 文章强调上述技术描述是能量推理的一般要求,不是对Kona内部实现的精确说明。

适用边界:正确性能否被精确定义

文章给出的判断标准是:如果正确答案可以被精确定义,EBRM更合适;如果正确性依赖主观判断,LLM仍有优势。

Sudoku的完成网格可以被简单程序验证,形式数学和规划也有证明检查器或约束求解器作为最终裁判。文章认为这些任务适合EBRM。而一篇评论文章是否论证充分、一条商业建议是否合理,通常依赖判断,这类任务仍偏向语言模型。

  • EBRM适合Sudoku、形式数学、规划等可验证任务。
  • LLM在需要主观判断的任务上仍占优势。
  • 文章的对比范围限于这次Sudoku实验,未给出其他任务上的公开效果数据。

信息来源

ByteByteGo原始来源

更多

新闻专题
外观