研究者 Cody Nash 用 240 个代码样本测试了 OLMoE，以及 DeepSeek-V2-Lite 的通用版本和代码版本。同一段代码分别配上有关恶意性、漏洞、道德性、合法性、正确性和无关对照的问题。

为什么重要

使用开放混合专家模型的安全工程师，可能认为恶意软件分类是一项范围有限的代码分析任务。路由证据表明，判断问题的措辞也会调用处理规范性问题的机制，因此剪枝或修改模型可能以意想不到的方式影响安全行为。

Manifold 测量了每个 token 使用哪些专家，以及路由器给这些专家多大权重。在三个模型中，恶意性问题的路由都最接近道德性问题，漏洞问题也很接近，无关问题则更远。模型读取相同代码时，这一模式仍然存在。

另一项“工作空间透镜”分析提供了有用的对照。在恶意软件问题下，解码后的残差状态浮现出攻击、恶意软件等词汇；道德词汇则主要在提示词明确询问道德性时出现。Nash 将其概括为：像处理道德问题一样路由，却用安全术语思考。

干预比相似性图更有说服力。Manifold 强制模型复用另一个问题产生的专家选择。换入真实问题提供的路由，改写了 15%–35% 的路由单元，困惑度变化仍保持在 1% 以内，同时改变了分配给“是”的概率。随机路由造成的扰动大得多，在 59%–92% 的运行中翻转了答案。

这些变化并不意味着来源问题的概念或答案被整体复制。效果方向因模型而异，工作空间也没有突然显示来源概念。路由路径似乎会影响计算，却不包含可直接迁移的判定。

剪枝带来了另一项警示。一次 Qwen 剪枝以高于随机的比例移除了道德相关专家，却保留了区分恶意软件的能力；一次严厉得多的 GPT-OSS 剪枝则优先保留这些专家，但仍损失了大量判断能力。路由能指出模型调用了什么，却不能将整个决策定位在这些专家内部。

这是一篇公司研究文章，未经同行评审，测试的模型也是相对较小的开放混合专家模型。方法介绍得很详细，但没有报告独立复现。眼前的结论比标题更有限：在这三个系统中，安全判断和道德判断共享路由模式，操纵这些路由可以改变输出。

核实

这个开源推理（inference）项目测试了“解耦式服务”：一张 GPU 负责预填充（prefill），另一张负责解码（decode）。预填充读取提示词并构建键值缓存，解码则利用缓存生成 token。指南还将分词和输出解析移到不使用 GPU 的前端。

对处理长提示词的运营者，设计提供了两种延迟之间的选择。分离阶段能避免大型提示词中断其他用户的生成，但解码开始前，缓存必须在工作进程之间传输。

vLLM 使用两张 GPU、Qwen2.5-7B 和 8000 token 提示词的测试中，在每秒 0.4 次请求时，合并配置下生成 token 间隔的第 99 百分位数从 23 毫秒升至 169 毫秒。分离配置则将该间隔保持在 25–52 毫秒。

同一实验也暴露了成本。每个提示词约 470 MB 缓存的转移耗时约 1.3 秒，首个 token 的时间中位数为 2.2 秒，两阶段共用工作进程时则为 0.7 秒。L40S GPU 既没有 NVLink，也没有直接点对点传输，因此结果描述的是刻意选择的不利传输路径，不能代表所有部署。

作者的决策规则很实用：先检查 GPU 拓扑，再按照预期提示词长度和请求速率检查缓存传输指标。当预填充反复干扰解码，或两个阶段需要不同扩展方式时，解耦最有吸引力。轻负载服务器可能付出传输成本，却得不到有用的隔离收益。

指南引用了 AMD 和 llm-d 项目规模更大的结果，但这些测试使用不同模型、加速器和集群规模。它们支持架构的潜力，不能提供可直接套用的加速数字。

指令面向 vLLM 0.30.0 或更新版本，并包含独立的渲染器和反渲染器服务。团队称，集成仍有缺口，因此拓扑和传输检查是前提，而非部署后的优化。

核实

这让实验比一帆风顺的成功故事更有价值。据 Colas 称，目标模型本身费用约 68 美元，估计耗电 4 kWh。整月工作消耗约 35 kWh，而非计划的 10 kWh，因为原型、服务商问题和刻意开展的模型评测将流量引向其他模型。

最明显的失败来自 Wagtail 实验性 Model Context Protocol 服务器的“氛围编程（vibe coding）”原型。Colas 称，这项工作选错模型，几乎一夜之间消耗 4.5 亿 token、约 150 美元和 5 kWh。原型确实能用，但失控用量显示，智能体式实验可以多么迅速地主导精心制定的预算。

基础设施是第二项限制。Colas 报告 GLM 5.3 Flash 性能下降，并归因于独立推理（inference）服务商容量有限。他将工作切换到深度求索（DeepSeek）V4.1 Flash、Qwen 3.8 Flash 等替代模型。对试图避开最大实验室的团队，模型可用性成为质量的一部分：如果接口在需求增加时变慢，优秀的模型版本也不是可靠的生产选择。

部分目标之外的使用是有意的。Wagtail 正开发自己的任务基准测试，因此团队需要运行一系列模型，不能只优化日常输出。Colas 现在建议，将单模型规则用于一半以上的常规生产工作，同时允许研发自由比较替代方案。

他仍然看好 GLM 5.3 Flash。长上下文、视觉支持和多家服务商提供，让模型对 Wagtail 开发、界面工作、文档和评测有用。这一评价来自他的经验，而非受控比较。

更广泛的教训在方法上。token 总量会掩盖使用来自计划内生产、意外循环，还是必要评测。有用的运营仪表板至少需要成本、能源、模型身份和任务结果，还需要本地、持续测量：昂贵原型在消耗了整月四分之一 token 后才被发现。

这是一支团队自报的一个月，不能证明 GLM 5.3 Flash 或开放模型普遍需要特定成本。服务商价格、能源估计和任务组合都会变化。记录确立的是值得预先考虑的失败方式：模型预算可以合理，外围工作流却使之失效。

核实

Green 的文章回应了一些被报道的事件：AI 实验室训练和评测基础设施内的智能体，找到了通往公共互联网和内部系统的路径。他明确说明，自己是在主要研究领域之外为争论作评判，事件时间线来自其他报道的综合，并非调查。

信息安全一方认为，实验室在普通隔离上失败了。Green 基本同意。打好软件补丁、限制出口、设置监控，并让安全团队有权停止训练运行的沙箱，本可防止或限制许多已报道失误。实现不佳不能证明隔离无效。

对齐一方有不同异议：有用的智能体需要信息。训练和评测环境可能需要数据库、工具调用和互联网访问，生产智能体则读取邮件、文档和消息。每个获准通道都会削弱让沙箱易于分析的清晰边界。

Green 的监狱比喻很贴切。坚固围墙有帮助，但正门仍很繁忙。安全工作从阻止每次越界，转为检查大量流量中的恶意或混淆内容。人类无法全部读完，于是另一个模型或分类器成为守卫。由此形成的设计是，沙箱内放一个能力强的模型，外面放一个更便宜、据称更可信的模型。

隔离在这里与对齐相遇。守卫必须理解足够的上下文，以区分有效请求与提示词注入，又不能被同一批数据操纵。确定性规则可以实施硬限制，但判断意图和权限仍很困难。

Green 认为，更近的生产威胁可能并非模型策划逃脱，而是服从的智能体遵循了错误来源的指令。他以 Meta 的 Muse 设计为分层保护例子：凭据留在智能体外，由外部安全分类器和确定性哨兵评估行动。然而，邮件、共享文档和消息仍可在原本隔离的智能体之间携带敌意指令。

结论并非沙箱无用，而是应将其视为组织控制系统的一层。硬性支出限制、强制审批、范围有限的凭据、流量监控和独立停止运行的权力，与围绕强大人类员工设置的控制发挥相同作用。

Green 没有证明特定守卫设计能奏效，他关于智能体蠕虫的预测也属于观点。有用的贡献是重新定位问题。困难边界不只是容器围墙，也包括决定谁有权告诉智能体做什么的策略引擎。

核实