Sakana AI 与加州大学伯克利分校(UC Berkeley)推出了 MASS。这种训练方法让一个模型通过设计智能体团队、评判其工作,并从最佳结果学习来改进。

预印本针对无法用编译器或精确解检查答案的研究任务。不是手动固定多智能体工作流,而是由同一底层模型写出角色、指令、输出约定和调用顺序,执行形成的团队,再评分候选答案。

为什么重要

对构建研究智能体的团队,工作流设计通常又是一项手动提示词工程项目。MASS 将设计转成训练的一部分,部署时去掉多智能体机制,让改进的单模型无需支付整个搜索过程的成本即可回答。

方法有两重循环。内循环中,工作流优化器提出书面团队结构,执行器运行。评判器从没有自动真实答案的任务中选择更强输出。外循环中,用选定团队运行微调模型,成为下一轮起点。

作者将过程比作自我对弈,但对手不是另一玩家。模型为自身副本创造越来越有挑战性的协作形式,再把最佳行为吸收到一个检查点。团队拓扑因此是临时训练支架,而非永久推理服务要求。

选择质量是关键依赖

MASS 依赖模型判断,因为目标研究问题没有确定性判定器。论文使用独立前沿模型,包括 GPT-5.5 和 Claude Opus 4.8,作为评测中留出的裁判。Sakana 报告,训练后的模型提高了被评判的答案质量,同时使用的输出 token 少于生成训练材料的多智能体团队。

证据仍来自语言模型评测内部。裁判可能偏好润色、熟悉或冗长的回答,而不测量研究主张是否真实。留出裁判减少对一个评判器的直接过拟合,却没有提供真实事实答案。结果最好理解为论文评判协议下的改进。

训练程序试图避免坍缩到一个偶然成功的工作流。每一代运行冠军锦标赛 18 次,保留最佳 16 条团队轨迹用于微调。优化器可以修改角色描述、通信顺序和输出格式,比从少数固定提示词中选择更自由。

共享模型设计也限制了主张。执行器、优化器和评判器是一个模型家族承担的角色,而非独立专业系统组成的市场。这更容易将递归改进归于训练循环,但异构团队是否会发现不同策略仍未知。

训练后工作流消失

最明确的实际特征是蒸馏进基础模型。部署后的用户无需重放 18 次锦标赛,也无需维护最终团队图。额外计算集中在数据生成与训练,推理直接使用生成的模型。

论文与项目描述公开,可更仔细检查提示词和评测设计。独立复现需测试,增益是否能经受不同裁判、事实核实,以及作者研究集之外的任务。

核实

说法标签一手来源独立核实
MASS 用一个模型作工作流优化器、执行器和评判器,再用选定团队运行微调已核实arxiv.orgpub.sakana.ai
内循环搜索书面团队角色、指令、输出约定和调用顺序已核实arxiv.orgpub.sakana.ai
作者报告训练后被评判质量更高,输出 token 更少据公司称pub.sakana.ai无
GPT-5.5 与 Claude Opus 4.8 在报告的评测中担任留出的外部裁判已核实arxiv.org无
模型评判不能独立确立事实正确性分析arxiv.org无