设想一位项目经理在周一早上打开助手。几个月前,她提过一家供应商更愿意在午饭后接电话。从那以后,系统存下了成千上万条细节:会议、截止日期、姓名、购物记录,还有取消的旅行。她打了个招呼,助手却插话提起供应商当年的偏好,又顺便提醒她春天去过的一家餐厅。两条记忆都是真的,却没有一条适合此时提起。

难的是判断何时插话

谈到长期记忆,人们通常把它当作搜索问题。用户问起以前聊过的事,系统就找出一段相关内容。主动记忆多了一道更难的判断:每一轮对话中,助手都得决定,有没有哪条记录值得在用户没问的情况下打断对话。

浙江理工大学的 Yichuan Chen 和 Xin Wang 研究了记忆库扩大后的情况。他们在预印本 The Price of Scale in Proactive Memory Recall 中,把每条记忆都视为一次额外的统计检验。即使单条无关记忆越过相似度阈值的概率很低,机会一旦达到数千次,也很可能至少有一条越线。

影响相当明显。研究者把阈值调到在八条记忆时产生 5% 的误报;记忆增至 2,048 条后,根据嵌入模型和线索的不同,误报率升至 84% 至 100%。小规模时还能克制的助手,此时几乎总会插话。

这不是通常意义上的遗忘。信息依然在库里。出错的是决定什么时候把它提出来的那一步。

记忆越多,抽奖机会越多

假设系统给每条无关记忆打分,衡量它与用户最新消息的相似程度。最高分超过固定阈值,系统就开口。只有八条无关记忆时,噪声有八次机会看起来像有意义的信号;有 2,048 条时,机会就是 2,048 次。

Chen 和 Wang 推导出一个结果:要让整体误报率保持在目标水平,单条记忆允许的假阳性概率就必须大致与库容量成反比。若整体目标为 5%,单条记忆的容许概率近似等于 0.95 的对数取负,再除以记忆条数。

收紧标准也有代价。真正有用的线索同样必须跨过更高的门槛,系统的工作点会被推到受试者工作特征曲线(ROC 曲线)的最左端。误报减少,命中也随之减少。更好的嵌入模型可以改善这条曲线,却无法消除检验次数增加带来的影响。

作者重放了基于 LongMemEval 构建的对话序列。这个基准包含 500 个问题,涉及信息提取、跨会话推理、时间推理、信息更新,以及该不该放弃作答。他们还使用了 LoCoMo,其中的长对话依据人物设定和事件图生成,再由人工修订以保持一致。这些基准原本用来考查系统能否找回旧信息。两位研究者将其改造成按时间推进的场景,让助手决定此刻是否应该主动提供那条信息。

他们构造了隐含线索,既不直接要求回忆,也不在其中给出答案。实验测试了词汇和语义评分、多个嵌入模型,以及用交叉编码器对候选结果重新排序的方法。换了这些条件,同一规律依然存在。评分方法再昂贵,也要面对规模扩大的代价。

随用户变化的阈值

研究者提出的方法,是通过交换线索进行共形判定。系统不仅把当前消息与记忆库进行比较,还从同一用户早先的消息中抽取参考线索,在同一个库上给它们打分。它要判断的是:与这些日常线索相比,当前线索是否强得反常?

这样一来,校准的单位变了。阈值会随记忆库和用户消息的分布而变化,而不是在库容量增长时保持不动。在满足可交换性假设的情况下,共形排序无需标注样本,就能在有限样本上给出误报率的上界。

在 LongMemEval 上,使用来自用户未筛选历史记录的背景条目时,交换线索的方法将误报率保持在 3% 至 6%,命中率与用标注样本调出的阈值相当。按时间顺序重放对话、以用户此前发过的消息为参考线索时,助手只在 6% 至 8% 的会话开场轮次主动发言。而模拟常见部署方式的规则在库中有 2,048 条记忆时,开场发言比例达到 57%。

一次判断在单个 CPU 线程上约需 50 毫秒。公开的代码仓库提供了用 NumPy 实现的判定规则、测试、实验脚本、标注和结果。作者在一块 RTX 3090 上完成实验,并记录了如何复现基准对话的重放过程。

校准后仍有取舍

有了校准,主动记忆也并不简单。在 LoCoMo 上,根据参考线索的来源不同,共形规则有时误报超标,有时又过于保守。其保证依赖可交换性:未来线索的表现必须与参考线索足够相似,排名才仍然有效。但用户习惯会变,精心选出的参考集也可能不同于真实使用时收到的消息。

论文还测试了前瞻记忆,即助手必须在未来某个条件成立时采取行动。TriggerBench 已经表明,这比直接回答一道记忆问题更难:随着上下文增长,性能会下降,模型还可能滑向“一律提醒”的策略。在 Chen 和 Wang 控制误报率的实验中,相似度规则在前瞻记忆基准上最多只召回了 9% 的约束条件。

对误报的人工评判也体现了记忆噪声的代价。一名人工标注者和两个担任标注者的语言模型检查了误报;其中大部分对回答并无帮助。在论文早期版本中,三名标注者的一致性对应的 Fleiss’ kappa 系数为 0.63,约九成误报被判为确实打断了用户。找回的事实可以完全正确,却依然让对话变差。

这是一篇 14 页的预印本,尚未经同行评审。实验序列来自基准测试,而不是数百万人多年自然使用留下的记录。因此,交换线索的结果还需要在用户习惯变化、多种语言混用,以及记忆彼此相关而非独立的场景中检验。不过,多重检验的问题并不取决于具体产品。任何从许多带噪评分中选取最高值的系统都会遇到它。

再看看那位虚构的项目经理。到了这周晚些时候,她的助手仍然记得供应商的偏好,也记得那家餐厅。不同之处在于,现在连沉默都有了设计依据:在任一细节显示出来之前,当前消息与这个拥挤的记忆库之间的关联,必须强于用户平常的消息与同一个库之间的关联。一个有用的记忆系统不能只会记事。它还需要有充分的理由才开口。

参考文献

  • Angelopoulos, A. N., & Bates, S. (2021). A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification. arxiv.org
  • Chen, Y., & Wang, X. (2026). The Price of Scale in Proactive Memory Recall. arxiv.org
  • Chen, Y., & Wang, X. (2026). Code, data and results for The Price of Scale in Proactive Memory Recall. github.com/RiverChenStillCompiling/price-of-scale
  • Maharana, A., Lee, D.-H., Tulyakov, S., Bansal, M., Barbieri, F., & Fang, Y. (2024). Evaluating Very Long-Term Conversational Memory of LLM Agents. aclanthology.org
  • Wu, D., Wang, H., Yu, W., Zhang, Y., Chang, K.-W., & Yu, D. (2024). LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory. arxiv.org
  • Zhang, T., Wang, X., Zhang, Q., Chen, Q., Li, K., Chen, Y., Wang, D., Meng, H. M., & Lu, Y. (2026). TriggerBench: Investigating Prospective Memory for Large Language Models. aclanthology.org