程序员小柯
大模型每写一个字都要回头看前面所有字。KV 缓存把算过的 K、V 存起来,本机实测生成 200 个字从 19 秒降到 2.6 秒;代价是内存,跨请求时还只认开头一模一样的前缀。
2026 年 11 月 15 日
每写一个字,都要回头看一遍
实测:开不开缓存,差多少
代价:缓存要占内存
跨请求:只认开头一模一样