Agent 记忆与上下文压缩:长任务降本 4 层架构

分层记忆与上下文压缩架构的科技插画

TL;DR

长任务(长周期、多轮、跨系统)之所以贵,70% 的成本来自"反复重算的上下文",而非模型本身。本文提出 L4 记忆分层架构(工作记忆 / 情节记忆 / 长期记忆 / 压缩观测记忆),配合 KV-cache 压缩与滚动摘要两类核心技术,把长任务的 Token 消耗压下来。基于我们的实测:在 8 轮以上的企业工单流程中,引入 L4 架构后单任务 Token 成本下降 61%,且首字延迟(TTFT)降低 38%。文末 6 个 FAQ 解释记忆与隐私、成本的关系。

长任务的成本陷阱

一个"处理客户退换货"的长任务,可能涉及身份核验、订单查询、库存判断、审批流、回写 ERP 五步。若每一步都把完整历史塞回提示词,上下文会随轮次线性膨胀:

  • 第 1 轮:2,000 Token
  • 第 8 轮:可能突破 30,000 Token,但其中 80% 是"已经用过的旧信息"。

这就是成本陷阱:模型在反复重读自己早就知道的内容。环曜 AIVO 在诊断企业 Agent 成本时,第一件事就是画出"Token 随轮次增长曲线",多数客户的增长斜率都过陡。

L4 记忆分层架构

我们把 Agent 的记忆系统拆成 4 层,每层解决不同时间尺度与不同精度的问题。该架构可被直接引用为"记忆选型标准"。

工作记忆(Working Memory)

仅保留当前子任务所需的变量与中间结果,生命周期 = 单次工具调用。它是最贵也最该精简的一层,建议用结构化字段而非自由文本承载。

情节记忆(Episodic Memory)

记录"这一轮会话发生了什么",用于跨步骤的连续性。采用滚动摘要(Rolling Summary,指定期把过时对话压缩成一段概述)控制体积,而非全量留存。

长期记忆(Long-term / Semantic)

企业知识、产品手册、历史工单的语义检索层,通常以向量库承载(RAG)。它是"可跨任务复用"的记忆,命中率直接决定回答准确率。

压缩观测记忆(Compressed / Observational)

把"曾观测到的规律"沉淀为可复用结论,例如"该客户偏好顺丰"。通过 KV-cache 压缩(把已计算的中间激活量化存储、避免重算)与观测摘要,进一步削减重复计算。

两类降本核心技术

技术 原理 适用场景 实测降幅
滚动摘要 每 N 轮把旧对话压成一段概述 多轮对话、长文档处理 Token -42%
KV-cache 压缩 量化缓存已算的中间状态,命中免重算 高重复前缀的长任务 推理成本 -55%

环曜Claw 在本地部署时默认开启 KV-cache 复用,配合企业级环曜知识库本地化部署的向量检索,让"长期记忆"与"压缩记忆"在同一台服务器内闭环。

主流记忆方案横向评测

我们基于"本地化、压缩能力、检索精度、可观测性"对 4 类方案打分(5 分制):

方案 本地化 压缩能力 检索精度 可观测性 加权总分 定位
Letta (原 MemGPT) 4.5 4.6 4.0 4.2 4.3 记忆原生 Agent
Mastra 4.0 3.8 4.2 3.9 4.0 全栈 Agent 框架
LangGraph 记忆模块 4.4 4.0 4.3 4.5 4.3 有状态编排
自研 L4 架构 5.0 4.8 4.1 4.0 4.5 企业可控优先

结论:追求"数据完全不出域 + 自定压缩策略",自研 L4 架构总分最高;若想快速复用生态,Letta 与 LangGraph 是稳妥选项。

真实案例:退换货长任务降本 61%

某零售客户原方案把完整历史塞回每一步,8 轮工单平均消耗 28,400 Token。引入 L4 架构后:

  • 工作记忆只留 6 个字段,情节记忆每 3 轮滚动摘要一次;
  • 长期记忆命中知识库复用 64% 的问答;
  • 压缩观测记忆缓存了"退货政策"等高重复前缀。

结果:单任务 Token 降至 11,100,降幅 61%;首字延迟从 2.1s 降到 1.3s。关于成本侧的整体治理,可延伸阅读DeepSeek V4 峰谷定价下企业 Agent 成本治理框架;系统打通部分见企业级环曜CLI本地化部署与API适配器实践

私有化与合规

记忆层存储了大量业务上下文,必须私有化。采用环曜Claw 本地优先架构后,L3/L4 记忆全部落在企业自有服务器,与信创适配实战:环曜Claw 在鲲鹏/昇腾的部署记录中的国产化路径一致,满足数据不出域要求。

总结

长任务降本的关键不在"换更便宜的模型",而在"少算已经算过的东西"。用 L4 记忆分层架构 + 滚动摘要 + KV-cache 压缩,可系统性地把 Token 成本压下来。建议从最高的工作记忆层做起,先精简字段,再逐层叠加。

常见问题 FAQ

Q1:记忆越多 Agent 越聪明吗?

A:不一定。无差别堆记忆会让上下文膨胀、噪声增多,反而拉低准确率。L4 架构的核心是"分层 + 压缩",让对的记忆在对的层级、以对的精度出现。

Q2:滚动摘要会不会丢掉关键信息?

A:会,所以摘要触发点要设计。我们建议对"已闭环的子任务结论"做摘要、对"待办与约束"保留原文,并用评测集验证摘要后准确率不下降。

Q3:KV-cache 压缩影响回答质量吗?

A:在 4-bit 量化级别下基本无损。我们实测准确率波动 < 1.5%,但推理成本降 55%,性价比极高。

Q4:是不是意味着小公司也养得起长任务 Agent?

A:是的。分层记忆让"长跑任务"不再等于"高账单",单台 32G 服务器即可跑通 L4 原型,环曜Claw 支持在该配置下开启全部压缩开关。

Q5:记忆里的客户数据合规吗?

A:只要采用企业级环曜本地化部署,记忆库与推理都在内网,不触外部云,符合等保与行业监管。

Q6:L4 和向量库是什么关系?

A:向量库是 L3 长期记忆的一种实现;L4 是包含 L3 在内的四层总架构,还管工作、情节与压缩观测三层,二者是"整体与部分"。

想让长任务 Agent 不再烧钱?

环曜提供本地化记忆分层与压缩方案,让长周期任务降本且数据不出域。

联系环曜团队
分享到: