# 助手记得越多，越容易在不该开口时插话

> 当记忆库从八条记录增加到 2,048 条时，原本固定的检索阈值几乎失去了作用。一项新研究解释了背后的统计陷阱，并测试了一种无需标注训练数据就能将误报率维持在约 5% 的方法。

- URL: https://ai-news-daily.xyz/zh/posts/an-assistants-memory-gets-noisier-as-it-grows/
- Published: 2026-11-01
- Tags: research, agents
- Author: AI 生成 (this text was generated by AI; see https://ai-news-daily.xyz/zh/about/#ai-disclosure)
- Publisher: [AI News Daily](https://ai-news-daily.xyz/zh/)

设想一位项目经理在周一早上打开助手。几个月前，她提过一家供应商更愿意在午饭后接电话。从那以后，系统存下了成千上万条细节：会议、截止日期、姓名、购物记录，还有取消的旅行。她打了个招呼，助手却插话提起供应商当年的偏好，又顺便提醒她春天去过的一家餐厅。两条记忆都是真的，却没有一条适合此时提起。

## 难的是判断何时插话

谈到长期记忆，人们通常把它当作搜索问题。用户问起以前聊过的事，系统就找出一段相关内容。主动记忆多了一道更难的判断：每一轮对话中，助手都得决定，有没有哪条记录值得在用户没问的情况下打断对话。

浙江理工大学的 Yichuan Chen 和 Xin Wang 研究了记忆库扩大后的情况。他们在预印本 *The Price of Scale in Proactive Memory Recall* 中，把每条记忆都视为一次额外的统计检验。即使单条无关记忆越过相似度阈值的概率很低，机会一旦达到数千次，也很可能至少有一条越线。

影响相当明显。研究者把阈值调到在八条记忆时产生 5% 的误报；记忆增至 2,048 条后，根据嵌入模型和线索的不同，误报率升至 84% 至 100%。小规模时还能克制的助手，此时几乎总会插话。

这不是通常意义上的遗忘。信息依然在库里。出错的是决定什么时候把它提出来的那一步。

## 记忆越多，抽奖机会越多

假设系统给每条无关记忆打分，衡量它与用户最新消息的相似程度。最高分超过固定阈值，系统就开口。只有八条无关记忆时，噪声有八次机会看起来像有意义的信号；有 2,048 条时，机会就是 2,048 次。

Chen 和 Wang 推导出一个结果：要让整体误报率保持在目标水平，单条记忆允许的假阳性概率就必须大致与库容量成反比。若整体目标为 5%，单条记忆的容许概率近似等于 0.95 的对数取负，再除以记忆条数。

收紧标准也有代价。真正有用的线索同样必须跨过更高的门槛，系统的工作点会被推到受试者工作特征曲线（ROC 曲线）的最左端。误报减少，命中也随之减少。更好的嵌入模型可以改善这条曲线，却无法消除检验次数增加带来的影响。

作者重放了基于 LongMemEval 构建的对话序列。这个基准包含 500 个问题，涉及信息提取、跨会话推理、时间推理、信息更新，以及该不该放弃作答。他们还使用了 LoCoMo，其中的长对话依据人物设定和事件图生成，再由人工修订以保持一致。这些基准原本用来考查系统能否找回旧信息。两位研究者将其改造成按时间推进的场景，让助手决定此刻是否应该主动提供那条信息。

他们构造了隐含线索，既不直接要求回忆，也不在其中给出答案。实验测试了词汇和语义评分、多个嵌入模型，以及用交叉编码器对候选结果重新排序的方法。换了这些条件，同一规律依然存在。评分方法再昂贵，也要面对规模扩大的代价。

## 随用户变化的阈值

研究者提出的方法，是通过交换线索进行共形判定。系统不仅把当前消息与记忆库进行比较，还从同一用户早先的消息中抽取参考线索，在同一个库上给它们打分。它要判断的是：与这些日常线索相比，当前线索是否强得反常？

这样一来，校准的单位变了。阈值会随记忆库和用户消息的分布而变化，而不是在库容量增长时保持不动。在满足可交换性假设的情况下，共形排序无需标注样本，就能在有限样本上给出误报率的上界。

在 LongMemEval 上，使用来自用户未筛选历史记录的背景条目时，交换线索的方法将误报率保持在 3% 至 6%，命中率与用标注样本调出的阈值相当。按时间顺序重放对话、以用户此前发过的消息为参考线索时，助手只在 6% 至 8% 的会话开场轮次主动发言。而模拟常见部署方式的规则在库中有 2,048 条记忆时，开场发言比例达到 57%。

一次判断在单个 CPU 线程上约需 50 毫秒。公开的代码仓库提供了用 NumPy 实现的判定规则、测试、实验脚本、标注和结果。作者在一块 RTX 3090 上完成实验，并记录了如何复现基准对话的重放过程。

## 校准后仍有取舍

有了校准，主动记忆也并不简单。在 LoCoMo 上，根据参考线索的来源不同，共形规则有时误报超标，有时又过于保守。其保证依赖可交换性：未来线索的表现必须与参考线索足够相似，排名才仍然有效。但用户习惯会变，精心选出的参考集也可能不同于真实使用时收到的消息。

论文还测试了前瞻记忆，即助手必须在未来某个条件成立时采取行动。TriggerBench 已经表明，这比直接回答一道记忆问题更难：随着上下文增长，性能会下降，模型还可能滑向“一律提醒”的策略。在 Chen 和 Wang 控制误报率的实验中，相似度规则在前瞻记忆基准上最多只召回了 9% 的约束条件。

对误报的人工评判也体现了记忆噪声的代价。一名人工标注者和两个担任标注者的语言模型检查了误报；其中大部分对回答并无帮助。在论文早期版本中，三名标注者的一致性对应的 Fleiss' kappa 系数为 0.63，约九成误报被判为确实打断了用户。找回的事实可以完全正确，却依然让对话变差。

这是一篇 14 页的预印本，尚未经同行评审。实验序列来自基准测试，而不是数百万人多年自然使用留下的记录。因此，交换线索的结果还需要在用户习惯变化、多种语言混用，以及记忆彼此相关而非独立的场景中检验。不过，多重检验的问题并不取决于具体产品。任何从许多带噪评分中选取最高值的系统都会遇到它。

再看看那位虚构的项目经理。到了这周晚些时候，她的助手仍然记得供应商的偏好，也记得那家餐厅。不同之处在于，现在连沉默都有了设计依据：在任一细节显示出来之前，当前消息与这个拥挤的记忆库之间的关联，必须强于用户平常的消息与同一个库之间的关联。一个有用的记忆系统不能只会记事。它还需要有充分的理由才开口。

## 参考文献

- Angelopoulos, A. N., & Bates, S. (2021). *A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification*. https://arxiv.org/abs/2107.07511
- Chen, Y., & Wang, X. (2026). *The Price of Scale in Proactive Memory Recall*. https://arxiv.org/abs/2610.34507
- Chen, Y., & Wang, X. (2026). *Code, data and results for The Price of Scale in Proactive Memory Recall*. https://github.com/RiverChenStillCompiling/price-of-scale
- Maharana, A., Lee, D.-H., Tulyakov, S., Bansal, M., Barbieri, F., & Fang, Y. (2024). *Evaluating Very Long-Term Conversational Memory of LLM Agents*. https://aclanthology.org/2024.acl-long.747/
- Wu, D., Wang, H., Yu, W., Zhang, Y., Chang, K.-W., & Yu, D. (2024). *LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory*. https://arxiv.org/abs/2410.10813
- Zhang, T., Wang, X., Zhang, Q., Chen, Q., Li, K., Chen, Y., Wang, D., Meng, H. M., & Lu, Y. (2026). *TriggerBench: Investigating Prospective Memory for Large Language Models*. https://aclanthology.org/2026.emnlp-main.1319/