AI 数据中心更看重供电速度,而非低电价
卡内基梅隆大学与伯克利的一篇预印本,为数据中心等待电力而闲置的月份计价,发现离网太阳能加电池在美国本土 85% 的地点胜出,尽管其每千瓦时成本很少最低。Anthropic 寻找天然气供应主管展示了另一种选择,而模型的局限揭示了结论可能失效的地方。
卡内基梅隆大学与伯克利的一篇预印本,为数据中心等待电力而闲置的月份计价,发现离网太阳能加电池在美国本土 85% 的地点胜出,尽管其每千瓦时成本很少最低。Anthropic 寻找天然气供应主管展示了另一种选择,而模型的局限揭示了结论可能失效的地方。
CoreWeave 表示,GPU 价格在 7月上调约 25%,之后又上调 10%。目前短期容量年费超过每兆瓦 4,000 万美元,多年合同则为 2,000 万至 2,500 万美元。溢价让公司获益,但贷款方更青睐便宜的长期合同,其债券也反映了疑虑。
据报道,微软因供电要等到 2030 年代,退出 Nscale 英国旗舰 AI 数据中心。另一项美国暂停令审计表明,决定 AI 容量建设速度的,更多是输电线路而非否决。
开源运行器将选定模型专家保留在系统内存,按需移至消费级 GPU。一键软件包提供兼容 OpenAI 和 Anthropic 的本地 API。
这个采用 Apache 许可的项目公开了加速器设计、编译器、模拟器和主机工具。实测吞吐量表明,这是受内存限制的小型系统,尚不足以替代 GPU。
一份实用指南测量了分离提示词处理与 token 生成的权衡。负载下的尾部延迟有所改善,但转移模型工作内存会延迟首个 token。
一个针对特定硬件的分支,在两个 POWER9 处理器和四张 V100 GPU 上运行 Qwen3.8-Flash-Next,展示了模型感知优化能从 2018年系统中释放的能力。