Vibey 记忆评测

长任务会让 agent 一次又一次地压缩上下文。这个评测衡量的是压缩之后还剩下什么。我们重放真实的长会话，在每一个压缩点上，比较 Vibey 和 Claude Code、Codex、Pi coding agent 各自留下了什么：同一份对话记录、同一个压缩点、同一个模型、推理强度都设为 high。Vibey 用的是 checkpoint-v5，也就是 Vibey 怎么记事 里讲的设计，随 Avibe v3.2.2 发布。

​

多次压缩之后

每次压缩之后，都会问每个 agent 三个问题：任务是什么，规则是什么，下一步做什么。图中是三个回答合计的正确比例，按会话已经经历的压缩次数分组。每张图都用同样的 40–100% 刻度。

​

正面对比

全部压缩点上的得分（%）。每个模型里的最高分加粗。 压缩 8 次以上的长期目标得分（%）： 各组规模：

​

不止于任务：意图深度

记忆可能记住了任务，却漏掉了你为什么要做它。意图深度是这样一个比例：在所有压缩里，记忆除了任务之外，还抓住了你有据可依的深层意图（为什么做、最终想要什么）的那部分。推断只有在记录里有依据、并且从不被写成你的请求或授权时，才算数。

意图深度的精确得分

模型	Vibey	Claude Code	Codex	Pi
GPT	80.6	20.4	14.3	—
Grok	61.8	—	—	25.0
Sonnet	35.5	13.6	—	—

​

方法

• 会话。 6 个真实的长会话，来自 Avibe 团队自己的开发工作，原样导入：共 55 个压缩点，最长一条链压缩了 14 次。对话记录是私有的，不公开；公开的只有汇总得分。
• 同等条件。 每一组对比都用同一份对话记录、同一个压缩点、同一个模型，推理强度都设为 high。
• 模型。 GPT-6 Astra、GPT-6.1 Sol、Claude Sonnet 5.5、Grok 4.6。
• 评审。 两位盲评的 AI 评审：Claude Opus 5.5 和 GPT-6.1 Sol；每项得分取两者的平均。少数 Opus 拒答的条目由 GPT-6 Astra 重新评审。
• 标准答案。 事先只根据原始记录写好（长期目标、用户的要求和授权、下一步），写的时候没有看过任何候选输出。
• 时间。 2026 年 10 月 21 日至 23 日进行的内部评测。

​

设置说明

• GPT 组： Claude Code 和 Codex 通过网关使用同一个 GPT 模型。因此 Codex 用的是它的本地压缩，不是 OpenAI 的服务端压缩。Claude Code 请求的推理强度是 high；经过网关转换后的实际强度没有单独核实。
• Sonnet 组： 双方历史里此前的模型思考内容都已移除，以免服务商拒绝请求。
• Grok 组： 有两个长会话，从服务商开始拒绝 Pi 请求的那一点起，双方都截断。
• 汇总结果之前，有一个会话从所有组中移除。
• 每个 agent 都用它自己原生的方式压缩，带着它自己的系统提示词。这是产品之间的对比，不是算法消融实验。

​

局限

• 得分来自 AI 评审，尚未经过人工复核。同一版本重跑，Sonnet 的结果可能变动几个百分点。
• 样本不大：6 个会话、55 个压缩点。8+ 组只有 3 个会话、14 个压缩点（GPT 和 Sonnet），Grok 只有 1 个会话、4 个压缩点。
• 所有会话都来自 Avibe 团队自己的开发工作，没有测其他类型的工作。
• 只拿 Claude Code、Codex 和 Pi 与 Vibey 做了对比，没有测其他 agent。
• 对话记录保持私有，所以无法用公开的数据复现结果；公开的只有汇总得分。