# 一个 40 亿参数级智能体学会了何时点击、何时敲命令

> 微软的开放模型 Mage-VL-Cowork 既能操作屏幕，也能使用保持会话状态的终端。它的训练方法表明，精简教师模型的工具、奖励能以更少步骤完成任务的路径，可能比再加一种界面更有用。

- URL: https://ai-news-daily.xyz/zh/posts/a-4b-agent-learned-when-to-click-and-when-to-type/
- Published: 2026-10-31
- Tags: models, agents, research
- Author: AI 生成 (this text was generated by AI; see https://ai-news-daily.xyz/zh/about/#ai-disclosure)
- Publisher: [AI News Daily](https://ai-news-daily.xyz/zh/)

设想一名分析师正对着一份电子表格。她要合并两个标题栏，添加一张图表，还要保留 `.xlsx` 文件格式。分析师是虚构的，选择却很实际：用鼠标在菜单和单元格之间逐个操作，还是打开终端，用 Python 编辑工作簿？一个称职的电脑操作智能体，应该在第一次点击前就知道哪条路适合这项任务。

## 一套策略，两种操作方式

微软 Mage 团队发布了 Mage-VL-Cowork。这款采用 Apache-2.0 许可证的模型有 47.4 亿个参数，既能操作图形桌面，也能在保持会话状态的 Bash 和 Python 环境中工作。它不把选择交给外部路由器。每一轮都由同一个视觉语言模型决定，该从 11 种屏幕操作中选一种，还是执行终端命令。

区别看似很小，却会改变智能体怎么分配上下文空间，以及能多直接地验证自己的工作。一张截图可能就占用数千个词元；一长串鼠标操作也未必能准确复现软件库可以精确完成的动作。反过来，终端看不到尚未保存的画布、屏幕上的对话框或应用程序的临时状态。模型既需要两条通道，也要学会在两者之间作选择。

Mage 团队报告，在每项任务最多 50 步的限制下，模型两轮测试完成 361 项 OSWorld-Verified 任务的平均成功率为 66.04%。两轮分别为 65.33% 和 66.75%。团队的对照表中，人类成绩为 72.4%；GPT-5.4-mini 在相同任务和步数限制下测了一轮，得分为 69.6%。在参与比较的开放权重模型中，ScaleCUA-Qwen3.5-9B 以 68.7% 领先。因此，团队对 Mage-VL-Cowork 的说法有明确范围：它在 40 亿参数级模型中成绩最好，并非总榜第一。

这些都是微软的测量结果，尚无独立复现。代码仓库提供了评测任务、智能体代码和启动脚本，比单看模型卡上的一个分数更便于检验。

## 为什么要给教师模型减工具

训练工作从生成示范的环节就开始了。即便教师模型能力很强，把所有可用界面都交给它，也不会自动得到清晰的示例。多条路线功能重叠，让训练示范指向不同做法：同一步操作，既可以读取无障碍树，也可以直接调用桌面自动化工具，还可以看图点击。

团队用专门留作测试的 672 项跨应用任务，比较了两套教师环境。在最终选用的环境中，GPT-5.4 可以使用图形和编程工具。团队移除了 `xdotool`、无障碍信息转储等功能重叠的工具，并预装了处理电子表格、文档、演示文稿、PDF 和图像的库。教师模型的任务成功率为 92.0%，平均需要 25 步。额外提供无障碍数据的环境则为 89.6%，平均需要 35.33 步。

蒸馏之后，差距进一步扩大。用精简环境中的示范训练，40 亿参数级学生模型的成功率达到 37.6%；用较大工具集中的示范训练，学生模型只达到 25.1%。平均步数从 39.40 降至 30.91。两组结果都来自同一研究团队。比较仍揭示了一种值得留意的失败方式：前沿模型可以多走几步，消化多余选项带来的负担，小模型却会把这种混乱一起学走。

数据生成流程同样强调复用。Mage-CUA-Forge 针对 6,915 项基本技能生成了 293,806 个任务，并保留了 318,837 条混合操作轨迹。系统没有让智能体每次从零搭建环境，而是针对每项技能一次性构建可复用的工作流程，以及为各应用程序做准备的工具。团队报告，使用相同的生成模型时，每项任务消耗的词元从 127.6 万个降至 8.5 万个，每项任务的经常性成本从 0.906 美元降至 0.158 美元。

这已经是工业规模的合成训练数据。它们是否有价值，取决于准备工具、任务说明和评分标准是否正确。据代码仓库介绍，生成的任务中有 38.24% 涉及多个应用程序。在保留的轨迹中，图形操作约占 68%，终端操作约占 32%。

## 先分别学会，再合起来用

Mage-VL-Cowork 以 Mage-VL 训练过程中的一个中间版本为起点，没有选用已经专门针对图形操作或编程优化的模型。训练分五步：在图像中定位目标，完成多步图形操作，编程并使用终端，结合两种通道做监督微调，最后进行在线强化学习。

这个顺序很重要。模型先学会熟练使用两种通道，然后才学如何选择。在混合监督训练阶段，它在 OSWorld-Verified 上的成功率为 55.84%。在线强化学习将成功率提高到 66.04%，同时把平均模型调用次数从 21.57 次降至 18.77 次，每项任务的输出词元数从 7,374 个降至 5,499 个。

奖励并不只是促使智能体多试几次，它还缩短了成功路径。团队在 1,988 项任务上根据可验证的结果给予奖励，每次更新设置 768 个回合槽位。按团队的计算，强化学习仅占整个训练日程的 3.5%，但其名义计算量超过其他任何一个单独阶段。

长时间操作桌面还带来另一个问题：工作没做完，截图可能已经占满上下文。Mage-VL-Cowork 保留最近三张截图和四条完整的助手回复，把更早的每轮操作压缩成一行摘要。这样，策略既能看到近期的画面变化，也保留了先前工作的简要记录。

实际使用的上下文窗口是 32,768 个词元，尽管架构支持更长的窗口。每一步，模型都输出推理过程、简短的操作摘要和一次工具调用。这种格式让系统能够丢弃较早的推理过程，同时留下操作记录。

## 基准测试回答不了什么

OSWorld 的设计目标是考查智能体在真实应用程序和操作系统任务中的表现，而不是只测试孤立的网站。经过核验的任务集提高了自动评分的可靠性，但基准测试仍会固定运行环境、已安装的软件和成功判据。它不能说明智能体遇上个人密码库、不稳定的网络或夹带恶意指令的文档时会怎样。

微软自己的部署指引也反映了这一差距。模型可以执行任意终端命令并操作桌面，因此团队建议使用用后即弃的虚拟机或容器，不提供个人凭据，限制对外网络连接，并在执行不可逆操作前由人确认。该模型面向研究发布，不用于产品部署。

40 亿参数级也不意味着整套系统轻巧。团队报告，语言模型五个训练阶段的名义计算量合计为 7.79 ZFLOPs；强化学习使用了 32 块英伟达 B200 GPU 和 1,120 个 CPU 沙箱槽位。部署 BF16 版模型时，光是两个权重分片就需要约 9.48 GB，还没算运行时和桌面环境的内存。

这次发布最有说服力的是训练方法。设计者先缩小教师模型的选择范围，围绕可复用的技能构造任务，分别训练两个操作通道。直到这些工作完成，他们才奖励模型以更少的调用完成结果可验证的工作。

回到开头那位虚构的分析师。图表仍适合放在图形应用程序里处理，因为可以直接看效果。合并单元格则适合交给 Python，因为它能精确修改并检查文件结构。关键动作发生在打开任何工具之前：模型先选择路线，而这个选择现在已经成为任何人都能检查的策略的一部分。

## 参考文献

- Microsoft Mage Team. (2026). *Mage: A Lightweight, Research-Friendly Multimodal Model Family*. https://github.com/microsoft/Mage
- Microsoft Mage Team. (2026). *Mage-VL-Cowork: A Full Training Recipe to Learn Hybrid Computer Use from Evolved Harnesses*. https://github.com/microsoft/Mage/blob/main/assets/mage_vl_cowork_tech_report.pdf
- Microsoft. (2026). *Mage-VL-Cowork model card*. https://huggingface.co/microsoft/Mage-VL-Cowork
- Xie, T., et al. (2024). *OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments*. https://arxiv.org/abs/2404.07972
- Yang, S., et al. (2026). *Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model*. https://arxiv.org/abs/2607.24904