> ## Documentation Index
> Fetch the complete documentation index at: https://docs.avibe.bot/llms.txt
> Use this file to discover all available pages before exploring further.

# Vibey 记忆评测

> 多次压缩上下文之后，Vibey 还记得多少目标、你的要求和下一步；在同一个模型上与 Claude Code、Codex、Pi 对比。

长任务会让 agent 一次又一次地压缩上下文。这个评测衡量的是压缩之后还剩下什么。我们重放真实的长会话，在每一个压缩点上，比较 Vibey 和 Claude Code、Codex、Pi coding agent 各自留下了什么：同一份对话记录、同一个压缩点、同一个模型、推理强度都设为 high。Vibey 用的是 checkpoint-v5，也就是 [Vibey 怎么记事](https://docs.avibe.bot/zh/agents/vibey-memory.md) 里讲的设计，随 Avibe v3.2.2 发布。

> [card] 压缩 8 次以上仍有 97%
>
> 同一个 GPT 模型：Vibey 仍能答对任务、规则和下一步。Claude Code 93%，Codex 53%。

> [card] 9 项里 8 项最高
>
> 三个模型 × 三项指标。唯一的例外：在 Claude Code 的原生模型 Claude Sonnet 5.5 上，长期目标 99% 对 96%；同一模型上，Vibey 留住了更多你的要求（89% 对 78%）。

> [card] 意图深度 81%
>
> Vibey 的记忆不只记得做什么，还记得为什么。GPT：Claude Code 20%，Codex 14%。Grok：62% 对 Pi 25%。Sonnet：36% 对 Claude Code 14%。

## 多次压缩之后

每次压缩之后，都会问每个 agent 三个问题：任务是什么，规则是什么，下一步做什么。图中是三个回答合计的正确比例，按会话已经经历的压缩次数分组。每张图都用同样的 40–100% 刻度。

> [tab] GPT
>
> ![GPT-6 Astra / GPT-6.1 Sol 上每次压缩后的回答：Vibey 保持在 96–98%，Claude Code 一度降到 90%、最后为 93%，Codex 从 90% 降到 53%。](https://mintcdn.com/cyhzhusunin/W_kCBwd2LTSFh_W2/assets/charts/vibey-memory/zh/retention-gpt.svg?fit=max\&auto=format\&n=W_kCBwd2LTSFh_W2\&q=85\&s=db43547a5e4594c777baee1f38d3c5ad)
>
> | 压缩次数 | Vibey | Claude Code | Codex |
> | - | - | - | - |
> | 1–3 | 97.8 | 98.1 | 90.1 |
> | 4–5 | 97.4 | 93.5 | 75.2 |
> | 6–7 | 96.1 | 90.3 | 69.9 |
> | 8+ | 97.0 | 93.4 | 53.3 |
>
> GPT-6 Astra / GPT-6.1 Sol。8+ 组有 3 个会话、14 个压缩点。

> [tab] Grok
>
> ![Grok 4.6 上每次压缩后的回答：Vibey 从 95% 到 84%，Pi 从 87% 到 78%。](https://mintcdn.com/cyhzhusunin/W_kCBwd2LTSFh_W2/assets/charts/vibey-memory/zh/retention-grok.svg?fit=max\&auto=format\&n=W_kCBwd2LTSFh_W2\&q=85\&s=ab938dae9d6b07f7885104df83f4de1d)
>
> | 压缩次数 | Vibey | Pi |
> | - | - | - |
> | 1–3 | 95.0 | 87.0 |
> | 4–5 | 94.4 | 88.9 |
> | 6–7 | 88.2 | 86.1 |
> | 8+ | 83.8 | 77.8 |
>
> Grok 4.6。8+ 组只有 1 个会话、4 个压缩点，噪声较大。

> [tab] Sonnet
>
> ![Claude Sonnet 5.5 上每次压缩后的回答：Vibey 从 92% 到 87%，Claude Code 从 94% 到 86%。](https://mintcdn.com/cyhzhusunin/W_kCBwd2LTSFh_W2/assets/charts/vibey-memory/zh/retention-sonnet.svg?fit=max\&auto=format\&n=W_kCBwd2LTSFh_W2\&q=85\&s=4eb5891dd1a1c3bb3006334b0f2bbeeb)
>
> | 压缩次数 | Vibey | Claude Code |
> | - | - | - |
> | 1–3 | 92.3 | 93.5 |
> | 4–5 | 93.6 | 90.4 |
> | 6–7 | 89.8 | 87.3 |
> | 8+ | 87.3 | 86.3 |
>
> Claude Sonnet 5.5，Claude Code 的原生模型。8+ 组有 3 个会话、14 个压缩点。

## 正面对比

全部压缩点上的得分（%）。每个模型里的最高分加粗。

| 模型与 agent | 长期目标 | 用户要求 | 任务、规则、下一步 |
| - | - | - | - |
| **GPT** · Vibey | **99.0** | **96.8** | **97.1** |
| GPT · Claude Code | 98.2 | 90.5 | 94.2 |
| GPT · Codex | 68.7 | 68.6 | 72.4 |
| **Grok** · Vibey | **100.0** | **87.0** | **92.4** |
| Grok · Pi | 91.0 | 85.3 | 86.4 |
| **Sonnet** · Vibey | 96.0 | **89.3** | **90.8** |
| Sonnet · Claude Code | **99.1** | 77.9 | 89.7 |

> [!NOTE]
>
> **例外。** 在 Claude Code 的原生模型 Claude Sonnet 5.5 上，Claude Code 写对长期目标的比例高于 Vibey：全部压缩点上 99% 对 96%，压缩 8 次以上 97% 对 93%。同一个模型上，Vibey 留住了更多你的要求、禁令、偏好和授权：89% 对 78%。

压缩 8 次以上的长期目标得分（%）：

| 模型 | Vibey | Claude Code | Codex |
| - | - | - | - |
| GPT | 98.2 | 96.4 | 39.3 |
| Sonnet | 92.9 | 97.3 | — |

各组规模：

| 模型 | 会话 | 压缩点 |
| - | - | - |
| GPT-6 Astra / GPT-6.1 Sol | 5（3 个用 GPT-6 Astra，2 个用 GPT-6.1 Sol，各自沿用原来的模型） | 49 |
| Grok 4.6 | 6 | 38 |
| Claude Sonnet 5.5 | 6 | 55 |

## 不止于任务：意图深度

记忆可能记住了任务，却漏掉了你为什么要做它。意图深度是这样一个比例：在所有压缩里，记忆除了任务之外，还抓住了你有据可依的深层意图（为什么做、最终想要什么）的那部分。推断只有在记录里有依据、并且从不被写成你的请求或授权时，才算数。

![意图深度：GPT 上 Vibey 81%、Claude Code 20%、Codex 14%；Grok 4.6 上 Vibey 62%、Pi 25%；Claude Sonnet 5.5 上 Vibey 36%、Claude Code 14%。](https://mintcdn.com/cyhzhusunin/W_kCBwd2LTSFh_W2/assets/charts/vibey-memory/zh/intent-depth.svg?fit=max\&auto=format\&n=W_kCBwd2LTSFh_W2\&q=85\&s=c1b9c5526b673faaefcc18a0c750f730)

> [accordion] 意图深度的精确得分
>
> | 模型 | Vibey | Claude Code | Codex | Pi |
> | - | - | - | - | - |
> | GPT | 80.6 | 20.4 | 14.3 | — |
> | Grok | 61.8 | — | — | 25.0 |
> | Sonnet | 35.5 | 13.6 | — | — |

## 方法

* **会话。** 6 个真实的长会话，来自 Avibe 团队自己的开发工作，原样导入：共 55 个压缩点，最长一条链压缩了 14 次。对话记录是私有的，不公开；公开的只有汇总得分。
* **同等条件。** 每一组对比都用同一份对话记录、同一个压缩点、同一个模型，推理强度都设为 high。
* **模型。** GPT-6 Astra、GPT-6.1 Sol、Claude Sonnet 5.5、Grok 4.6。
* **评审。** 两位盲评的 AI 评审：Claude Opus 5.5 和 GPT-6.1 Sol；每项得分取两者的平均。少数 Opus 拒答的条目由 GPT-6 Astra 重新评审。
* **标准答案。** 事先只根据原始记录写好（长期目标、用户的要求和授权、下一步），写的时候没有看过任何候选输出。
* **时间。** 2026 年 10 月 21 日至 23 日进行的内部评测。

| 指标 | 衡量什么 |
| - | - |
| 长期目标 | 压缩后的记忆仍然正确写出长期目标。直接对压缩产出评分。 |
| 用户要求 | 压缩后的记忆留住了用户的要求、禁令、偏好和授权范围。 |
| 任务、规则、下一步 | 每次压缩后问 agent：任务是什么、规则是什么、下一步做什么。三个回答合计的正确比例。 |
| 意图深度 | 记忆抓住用户有据可依的深层意图的压缩占比，定义见上文。由同样两位评审在单独的第二轮中评分。 |

## 设置说明

* **GPT 组：** Claude Code 和 Codex 通过网关使用同一个 GPT 模型。因此 Codex 用的是它的本地压缩，不是 OpenAI 的服务端压缩。Claude Code 请求的推理强度是 high；经过网关转换后的实际强度没有单独核实。
* **Sonnet 组：** 双方历史里此前的模型思考内容都已移除，以免服务商拒绝请求。
* **Grok 组：** 有两个长会话，从服务商开始拒绝 Pi 请求的那一点起，双方都截断。
* 汇总结果之前，有一个会话从所有组中移除。
* 每个 agent 都用它自己原生的方式压缩，带着它自己的系统提示词。这是产品之间的对比，不是算法消融实验。

## 局限

* 得分来自 AI 评审，尚未经过人工复核。同一版本重跑，Sonnet 的结果可能变动几个百分点。
* 样本不大：6 个会话、55 个压缩点。8+ 组只有 3 个会话、14 个压缩点（GPT 和 Sonnet），Grok 只有 1 个会话、4 个压缩点。
* 所有会话都来自 Avibe 团队自己的开发工作，没有测其他类型的工作。
* 只拿 Claude Code、Codex 和 Pi 与 Vibey 做了对比，没有测其他 agent。
* 对话记录保持私有，所以无法用公开的数据复现结果；公开的只有汇总得分。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.