平时用各种模型工具跑任务,感觉 token 消耗挺快。社交媒体上有人提到,可能是 token 的缓存机制没用上。联想到自己也在做 Agent,就把这件事系统查了一遍——原理、各家厂商机制、和 Agent 场景里常见的几个反模式。
> DULUU_GUO:/tags/cache
found 1 post(s)
平时用各种模型工具跑任务,感觉 token 消耗挺快。社交媒体上有人提到,可能是 token 的缓存机制没用上。联想到自己也在做 Agent,就把这件事系统查了一遍——原理、各家厂商机制、和 Agent 场景里常见的几个反模式。