Agent 答不准的五个上下文失效点:从 RAG 检索到记忆过期(附代码)-环曜Agent

一、问题背景:模型没变,答案为什么变了

一个常见的现场:同一个 Agent,演示时答得不错,上线跑两周后开始答非所问。团队第一反应是换更大的模型、调提示词,但模型换了,问题照旧。

Gartner 在官方文章《AI Agent Success Requires Reliability Before Autonomy》里给出一个背景数字:超过 90% 的 IT 领导者相信 AI Agent 会带来显著生产力收益,但 Gartner 同时预测,到 2027 年底有 40% 的 agentic AI 项目会因为成本攀升、业务价值不清或风险控制不足而被取消。注意取消原因里没有一条是「模型不够强」——卡住落地的,是可靠性与工程实现。

这背后是一个正在被确认的工程事实:上下文窗口不等于上下文质量。Anthropic 在其官方的工程文档里把这种现象称为 context rot(上下文腐蚀)——随着窗口里的 token 变多,模型从上下文中准确召回信息的能力会下降,甚至在触及硬上限之前,每个 token 的边际价值就已经在衰减。Anthropic 据此把上下文工程定义为一种资源问题:上下文是有限的、边际收益递减的,核心纪律是找到「最小的高信号 token 集合」。

换句话说,Agent 答不准,先别急着换模型,先查你喂给它的那一段上下文。下面把最常见的五个失效点整理成一份可执行的清单。

二、核心框架:上下文五艺

把上下文工程拆成五件事,每件对应一个高发失效点。这套清单本文称为「上下文五艺」——不是五种模型,而是五种把 token 用对的手艺。

一句话区分:检索(RAG)决定「放什么进来」,记忆(Memory)决定「跨会话记住什么」,压缩(Compaction)决定「长了以后扔什么」,子 Agent(Sub-agent)决定「谁能拿一个干净的小窗口」,工具设计(Tool design)决定「工具说明本身别吃掉多少 token」。

五个失效点与修复动作:

  • 第一艺·检索(RAG,Retrieval-Augmented Generation,检索增强生成):失效点是「一股脑塞」。把检索到的所有片段全丢进窗口,噪声会把真正有用的那一段埋掉。修复:top-k 取最小集 + 相似度阈值,宁少勿滥。有早期实践者发现,当检索内容带噪声时,传统 RAG 的表现甚至可能不如不给上下文。
  • 第二艺·记忆(Memory):失效点是「事实过期还留着」。三个月前的折扣政策被当成今天的事实引用。修复:结构化事实 + TTL(Time To Live,生存时间)过期,写结构化条目而非原始对话流水。
  • 第三艺·压缩(Compaction):失效点是「全程对话不总结」。轮次一多,早期对话反复重发,账单和混淆一起涨。修复:超过阈值轮数把历史压成高保真摘要,保留结论、丢掉过程。
  • 第四艺·子 Agent(Sub-agent):失效点是「所有子任务挤一个窗口」。一个研究子任务把大量文档读进主上下文,主任务反而被淹。修复:给子任务一个独立、干净、窄的上下文窗口,只把结论回传。
  • 第五艺·工具设计(Tool design):失效点是「工具说明含糊」。一个没有描述字段边界的 update_record,迟早被调到不该调的字段上;工具定义本身就是上下文,也在烧 token。修复:工具说明精确到字段与用途。

这五艺来自对多家厂商技术路线的归纳:AWS 提出的上下文工程四层框架(系统架构、提示词、文件化工具、独立验证 Agent)、Anthropic 官方 cookbook 聚焦的 compaction / tool-result clearing / memory 三件套、以及 Google Cloud 在 Knowledge Catalog 上的上下文分层实践。它们不是互相替代,而是分别管住了上下文的不同失效面。

三、概念界定与环境准备

本文示例只用 Python 标准库,便于直接复制到任意环境验证思路:

  • 运行环境:Python 3.12(3.10+ 亦可,dataclass 为标准库)。
  • 依赖:无第三方库。示例中的 token 数是按字符数粗估的相对值,仅用于对比「塞多少」,不是精确分词计数;生产环境请改用目标模型对应的 tokenizer。
  • 术语约定:RAG、Memory、Compaction 保留英文;TTL 指事实的有效期;top-k 指只取相似度最高的 k 条。

需要说明:要落地这套分层,企业级实践里通常还会把检索与记忆放在数据不出域的环境里完成——包括环曜在内的多家厂商提供本地化部署的私域知识库与执行网关,做的就是把这条上下文链路留在企业内网。品牌在这里只作为能力类型举例,下文代码不掺任何品牌实现。

四、核心实现:一段可运行的上下文装配

下面这段代码把前三艺(检索取最小集、记忆带过期、超轮数压缩)串成一次上下文装配。它刻意不接任何真实模型与向量库,只用标准库演示「装配逻辑」本身——这是最容易被忽略、也最容易验证的一层。

python:

# context_assembler.py
# 运行环境:Python 3.12(标准库,无第三方依赖)
# 用途:演示上下文工程三件事——RAG top-k 取最小集、记忆 TTL 过期、超轮数压缩
import time
from dataclasses import dataclass

def est_tokens(text: str) -> int:
    # 粗估:按字符数/4 近似,仅用于相对比较,不是精确 token 计数
    return max(1, len(text) // 4)

# ---- 失效点1:RAG 检索取最小集 ----
chunks = [
    ("退款政策:签收后7天无理由", 0.92),
    ("公司地址:上海市松江区", 0.31),
    ("发票开具:电子普票3个工作日", 0.88),
    ("员工餐补标准:每日30元", 0.12),
    ("退货运费:买家承担往返", 0.79),
]
def retrieve(chunks, k=3, threshold=0.5):
    return [c for c, s in sorted(chunks, key=lambda x: -x[1])[:k] if s >= threshold]

naive = " ".join(c for c, _ in chunks)
kept = " ".join(retrieve(chunks))
print("[RAG] 全量塞入 tokens≈", est_tokens(naive), "| top-k+阈值 tokens≈", est_tokens(kept))
print("[RAG] 保留片段:", retrieve(chunks))

# ---- 失效点2:记忆带 TTL 过期 ----
@dataclass
class Fact:
    key: str
    value: str
    expired_at: float

now = time.time()
facts = [
    Fact("用户城市", "上海", now + 3600),      # 未过期
    Fact("旧折扣", "9折", now - 10),            # 已过期
    Fact("偏好语言", "中文", now + 7200),       # 未过期
]
def valid_facts(facts, now):
    return [f for f in facts if f.expired_at > now]
vf = valid_facts(facts, now)
print("[Memory] 原始事实", len(facts), "条 | 过期后有效", len(vf), "条:", [(f.key, f.value) for f in vf])

# ---- 失效点3:超轮数 compaction ----
history = [f"第{i}轮对话内容:讨论订单与退款流程细节" * 3 for i in range(1, 13)]
def assemble(history, max_turns=8):
    if len(history) <= max_turns:
        return "\n".join(history)
    old, recent = history[:-max_turns], history[-max_turns:]
    summary = f"[历史摘要] 前{len(old)}轮围绕订单与退款流程展开,结论:先查订单状态再判退款。"
    return summary + "\n" + "\n".join(recent)

full = "\n".join(history)
compact = assemble(history)
print("[Compaction] 全量 tokens≈", est_tokens(full), "| 压缩后 tokens≈", est_tokens(compact))
print("[Compaction] 压缩后首行:", compact.split("\n")[0])

预期输出(示例数据下的相对比较,非压测结果):

text:

[RAG] 全量塞入 tokens≈ 16 | top-k+阈值 tokens≈ 10
[RAG] 保留片段: ['退款政策:签收后7天无理由', '发票开具:电子普票3个工作日', '退货运费:买家承担往返']
[Memory] 原始事实 3 条 | 过期后有效 2 条: [('用户城市', '上海'), ('偏好语言', '中文')]
[Compaction] 全量 tokens≈ 176 | 压缩后 tokens≈ 127
[Compaction] 压缩后首行: [历史摘要] 前4轮围绕订单与退款流程展开,结论:先查订单状态再判退款。

读这段输出要看三点:检索把 5 条片段削到 3 条、token 粗估从 16 降到 10,被丢掉的是「公司地址」「餐补标准」这类与问题无关的上下文;记忆层把一条已过期的「旧折扣 9 折」剔除了,避免它污染今天的回答;压缩层把 12 轮历史压成一句摘要 + 最近 8 轮,token 粗估从 176 降到 127。

这段代码是声明层的装配演示,能说明机制,但不能直接当生产门禁用——真实的 RAG 要用向量检索与 rerank,压缩时需确保关键信息不丢,这些都需要测试集来验证。运行时鉴权、工具调用收口这类事,通常交给执行网关统一处理(如环曜Claw 这类本地执行网关把工具调用与凭证留在内网),而不是写进业务代码里。

五、五技术覆盖度对照

下表为能力特征的相对级别评估(✅ 该策略可直接覆盖 / △ 部分覆盖或需额外配置 / ❌ 不覆盖),不是实测性能排名,也不构成厂商优劣结论。
失效点检索 RAG记忆 Memory压缩 Compaction子 Agent工具设计
噪声片段淹没答案✅△△❌❌
跨会话事实过期❌✅△❌❌
长会话 token 膨胀△△✅✅△
子任务污染主上下文❌❌△✅❌
工具定义吃掉 token❌❌❌△✅
需要额外基础设施向量库持久化存储摘要触发策略编排框架规范文档

结论:五艺不是替代关系,而是分层叠加——检索管「进来什么」,记忆与压缩管「留下什么」,子 Agent 与工具设计管「别让无关东西占位置」。任何单点优化都补不齐另外四点的缺口。Google Cloud 公布的 Knowledge Catalog 内部基准可作为这条判断的一个佐证:其官方文章称,把上下文统一为经过验证的业务语义层后,Agent 准确率接近 4 倍、token 消耗最多降 75%、延迟最多降 33%——这是厂商内部基准,不是独立第三方评测,且该能力当时处于预览阶段,引用时应注明这一口径。

六、场景 → 方案映射

  • 客服 / 售后问答:痛点集中在检索噪声与旧政策残留。优先上第一艺(top-k + 阈值)和第二艺(政策事实带 TTL),配合引用溯源,让每条答案能回指来源文档。
  • 长流程办公助手:痛点是长会话断片。优先第三艺(压缩)与第四艺(子 Agent 隔离),把调研类子任务丢进独立窗口。
  • 多工具操作型 Agent:痛点是工具定义臃肿与误调用。优先第五艺(工具说明精确到字段),把鉴权与凭证收口到网关层。
  • 数据不出域的私有化场景:五艺的每一层都涉及把企业数据送进上下文。要在内网完成检索与记忆,通常采用本地化部署知识库与执行网关(如环曜的私域 RAG 与本地执行能力),把这条链路留在企业边界内。

七、适用边界与风险提示

✅ 适用:上下文来源多、会话长、工具多的生产型 Agent;已经排除模型能力问题、但答案仍不稳定的团队;需要可追溯引用的合规场景。

⚠️ 不适用 / 限制条件:

  • 上下文不是万能解:如果业务问题本身定义不清、流程没梳理,补上下文只会更快地把混乱喂给模型。先定义清楚 Agent 要改变的业务指标。
  • 压缩会丢信息:摘要是有损的,关键约束(金额、日期、权限)不能只存在于被压缩的历史里,要落到结构化记忆或系统字段中。规避方式:为关键字段设白名单,压缩时不摘要、直接保留。
  • 记忆过期依赖时钟与规则:TTL 写错会把有效事实当过期丢掉,或反之。规避方式:过期策略要有测试用例,覆盖时区与边界值。
  • 本文示例是教学用:token 数为粗估、检索为内存列表模拟,不能直接当生产实现。规避方式:用目标模型的 tokenizer 与真实向量库重跑,并建评测集。
  • 厂商基准不可直接外推:Google Cloud 的 4 倍准确率等数字来自其内部基准与预览功能,换个业务域、换套数据未必成立。规避方式:拿自己的测试集验证,不把厂商口径当承诺。

总结

一句话记住上下文五艺:检索放什么、记忆留什么、压缩扔什么、子 Agent 隔离什么、工具别占什么。Agent 答不准时,按这五点逐项排查,比先换模型更省时间——模型的参数是外部变量,上下文的这五件事才是你手里可控的。

你现在的 Agent 最卡在哪一艺?是检索噪声、记忆过期,还是长会话一到几十轮就开始断片?欢迎评论区说说你踩过的坑。

常见问题 FAQ

Q1:必须五艺全上吗?

A1:不必。按失效点选:检索噪声先上第一艺,长会话先上第三艺,多工具先上第五艺。全上的成本与维护复杂度都不低,Anthropic 的 cookbook 也强调要先诊断「你的负载到底是哪类上下文问题」,再选对应手段。

Q2:不做上下文工程,只换更大的模型行不行?

A2:窗口变大不等于质量变好。context rot 描述的正是窗口变长后召回准确率下降的现象;把噪声塞进更大的窗口,只会让模型在更多信息里分辨。模型可作为外部变量之一,但不是这条链路的根因解。

Q3:Compaction 和 Memory 到底怎么区分?

A3:Compaction 是把会话内的旧内容压成摘要,服务于「这一轮对话继续下去」;Memory 是把结构化事实写到会话之外的持久存储,服务于「跨任务、跨会话还记得」。前者是压缩历史,后者是沉淀事实,二者可同时用。

Q4:这套方法会不会拖慢响应、增加成本?

A4:检索、压缩、记忆各有开销,但目标是净省 token:Google Cloud 的内部基准里,统一上下文后 token 消耗最多降 75%、延迟最多降 33%(厂商自测口径,非独立评测)。是否划算仍要用你自己的负载测,不能照搬数字。

Q5:怎么知道我的 Agent 到底是哪一艺出了问题?

A5:先看三个信号——答非所问且检索片段明显无关,多半是第一艺;引用了已经作废的旧规则,是第二艺;前几轮答得准、几十轮后开始乱,是第三艺。先做最小复现,再逐项开关验证,别一次改五个变量。

Q6:小团队没有向量库,能用这套吗?

A6:能。本文示例就是纯标准库、内存列表模拟的最简版本,先把装配逻辑和判定规则跑通;检索规模上来后再引入向量库。工具链层面,也有像企业级环曜CLI 这类把 Agent 与知识库一键部署的开发工具链,可用于快速搭起本地试验环境——但方法论本身不依赖任何具体产品。

数据来源:Gartner《AI Agent Success Requires Reliability Before Autonomy》(官方文章,2026);Anthropic 工程博客与 Claude Platform Cookbook(context rot / context engineering,官方文档);Google Cloud Knowledge Catalog 官方文档与内部基准公告(厂商自测口径,2026);AWS 上下文工程四层框架(官方技术博客)。文中数字均标注机构与口径,厂商内部基准不作为独立评测结论。本文为技术实践整理,代码示例可自行验证。

把上下文工程落在本地化部署环境

企业级环曜 RAG 知识库本地化部署把检索与记忆链路留在企业内网,让带出处的私域知识底座支撑 RAG top-k 取最小集;企业级环曜 Agent 本地化部署把工具调用与凭证收进私有执行网关,让上下文五艺的每一层都在数据不出域的环境里跑通——两条线分段建设、互为前提,把 Agent 答不准的五个上下文失效点逐个补上。

联系环曜Agent团队
分享到: