亚马逊科学论文称LLM研究代理不过拟合，因有效策略可压缩至16个token
该论文提出压缩与泛化之间的数学联系：在八个数据集上，数百轮实验得到的策略可压缩为16至32个token的提示，让无记忆的新代理复现结果；而故意过拟合时，性能优势无法通过压缩瓶颈。
AI解读：研究人员想解释一个长期疑惑：整个社区反复使用同一批基准数据集调参，按理说应该严重过拟合，但换成全新测试集后，改进依然成立。亚马逊科学的论文用可控的LLM代理做实验，给出了一个可检验的解释：真正有效的策略是可压缩的。
论文的逻辑是，如果一个策略能用极短的描述写出来，它就装不下训练数据，因此泛化性能好不是因为记住了答案，而是因为抓住了数据结构。实验把探索代理数百轮实验的成果压缩成16到32个token的提示，交给没有验证集访问权限的新代理复现。
对做模型训练和评测的人来说，这个结果提供了一种识别过拟合的操作手段：如果短提示无法复现结果，说明性能可能来自对验证集特定样本的利用。论文也承认关键限制，代理可能在预训练时见过验证数据，需要全新数据集才能完全排除。
亚马逊科学发表的一篇论文提出，基于大语言模型（LLM）的机器学习研究代理之所以在反复使用同一验证集调参后仍不过拟合，可以用“可压缩性”来解释：在八个数据集上，数百轮迭代实验得到的策略可被压缩为16至32个token的提示，一个没有记忆的全新代理仅凭这些提示就能复现原代理的模型表现。
论文标题为《What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents》。论文指出，这一实验之所以可行，是因为代理可以被重置——清空记忆、控制其看到的信息、重新运行实验——而人类研究社区无法做到这一点。
论文提出的数学解释：短描述装不下训练数据
论文从奥卡姆剃刀出发，给出一种精确的数学形式：如果一个假设——模型或策略——可以用远少于记忆训练数据所需的比特数描述，并且它在训练数据上表现很好，那么它在新数据上也会表现好。
论文给出的直觉是计数论证：短字符串的数量本来就很少，因此候选假设数量少，某一个假设靠运气在训练集上骗过你的可能性就低。另一种说法是，如果压缩后的描述小到装不下训练数据，那么它在训练数据上表现好，就不可能是记住了答案，而是捕捉到了数据结构的某些真实特征。
论文将这一思路与LLM的世界知识联系起来：向一位懂机器学习的高中生解释完整流程需要很长对话，而向一位专家解释同样流程只需几句话，因为大部分内容属于对方已知的通用背景知识。LLM掌握大量此类世界知识，因此是极强的压缩解码器，能把简短的专家式信息还原成完整可执行流程。论文强调，这类世界知识不计入奥卡姆剃刀的论证，因为它无需查看训练集就能写出。
实验设置：探索者、压缩者和复现者
论文设计了三类角色的实验流程。第一类代理是“探索者”（explorer），它面对一个新的机器学习问题，可以完全访问验证集，自由实验和迭代，在数百轮中追求更好的验证性能。这里验证集扮演基准数据集的角色，是一个被反复查询的可复用留出集——按教科书说法，这种爬坡式优化应当导致过拟合。
第二类代理是“压缩者”（compressor），它阅读探索者的全部工作记录，把获胜策略提炼成极短的提示，短到只有几个token。第三类代理是“复现者”（reproducer），它只拿到这段短提示和训练数据，必须从零实现策略，无法访问验证集、探索者的代码或记录。短提示是验证集信息到达复现者的唯一通道。论文中压缩者和复现者均使用Claude模型。
论文将这种设置称为“输出压缩证书”（certificate of output compression）：如果复现者仅凭几个token就能匹配探索者的表现，那么指定该策略所需的全部依赖验证集的信息，都装进了这条极窄的通道，说明策略是可压缩的。
实验设置有一个人类研究社区不具备的特性：复现者可以被反复重置。压缩者可以尝试多种不同的压缩，因为每次尝试都落在一个对上次毫无记忆的全新复现者上。论文将其比作电影《记忆碎片》：你给一个记忆将被抹去的自己留一张简短便条，因为收件人会按照你的方式补全你省略的内容，便条可以非常短。
压缩结果：16至32个token即可复现
论文报告，压缩后的提示出乎意料地小。在覆盖表格分类、图像分类、语言建模、扩散建模和奖励建模的八个数据集上，32个token的提示足以让一个全新复现者在大 多数问题上匹配探索者经过自适应优化得到的模型。其中一个语言建模策略被压缩到仅16个token时，留出集性能没有损失。
论文给出了一个语言建模实验中的16个token提示示例：“QKn 12L768 Mu .1 R² b2M 4x”。对人类读者这看起来难以理解，但对另一个机器学习代理而言信息具体：QKn指QK归一化，12L768指12层、768维的Transformer，Mu .1指学习率为0.1的Muon优化器，R²指平方ReLU激活，b2M指200万token的批次，4x指四倍前馈块。
当预算削减到八个token时，提示变为“12L768 Mu .1 R²”，复现者不再能匹配探索者。论文指出，丢失的部分指定了根据数据做出的真实训练选择，且与最明显的默认值不同。这一边界说明了可压缩性的极限，也表明复现者并非仅靠先验知识成功：少数压缩token确实携带了从数据本身学到的信息，这些token消失后性能也随之消失。
论文还从相反方向施加信息瓶颈：不压缩探索者的输出，而是压缩它的输入。研究者不告诉探索者每个模型的数值验证分数，只返回一个比特——该模型是否超过当前最佳。论文称，即使每次查询只给一比特反馈，探索者找到的策略与使用完整数值分数时一样好；这一比特版本甚至带有严格的泛化数学保证。
可证伪性检验：故意过拟合无法通过压缩
论文认为，如果不过拟合确实由可压缩性解释，那么真正过拟合的模型应当无法通过这一压缩管道，这一预测可被检验。
研究者故意把代理推向过拟合：直接给它们验证集访问权限，并提示它们不惜代价最大化验证性能。代理上钩了：在102次实验运行中，有38次验证准确率比真实留出准确率高出10%以上。
论文预测这些增益无法在压缩瓶颈中存活，因为它们编码的是特定验证样本的古怪特征，而非可迁移结构。结果如预期：当这些策略被压缩成短提示交给全新复现者时，验证集特有的优势消失了。论文称，压缩以很高准确率区分了合法策略和过拟合策略，因此它不仅能解释代理为何不易过拟合，还提供了一种在过拟合发生时将其识别出来的工具——标记出那些没有短描述能够复现结果的情况。
论文承认的限制
论文列出若干注意事项。整个框架假设从验证数据到最终模型的唯一路径经过喂给复现者的提示。如果模型在预训练时记住了验证数据，就会存在一条绕过该信息瓶颈的侧信道。
论文表示不认为其实验中发生了这种情况：代理是通过真实搜索逐步改进的，而非一开始就表现最佳，且在极短token预算下性能会退化。但论文承认，完全解决这一问题可能需要在模型训练截止日期之后采集的全新数据集上做实验，而他们尚未这样做。
论文还指出，其结果是关于LLM代理的，因为只有在这里才能重置实验对象、控制其输入并计算输入长度。但论文认为，这一图景对人类研究社区也有强烈暗示：当一个领域多年攀登固定基准，而增益持续迁移到新数据上时，原因可能和代理策略能通过32个token提示存活一样——真正有效的配方是简单的。