修改记录
KV 缓存:模型为什么越写不会越慢 上线以来的每一次修改,新的在前。
KV 缓存这篇开头先点题,第 1 页弧线改到上方
增加 60 字,删去 18 字
看改了哪些地方
⋯ 16 段没有变化
step("模型一次只写一个字,写之前要回头看前面所有字。", () => {
say("先说模型怎么写字:它是一个字一个字往外蹦的,每写一个新字之前,都要回头把前面所有的字看一遍,才知道下一个该写什么。")
show(look)
pulse(...toks)
⋯ 18 段没有变化
:::notes
大模型写字,是一个字一个字往外蹦的。今天我们来聊聊,大模型是怎么省算力、省 token 钱的,靠的就是 KV 缓存。
:::
⋯ 203 段没有变化
KV 缓存这篇第 1 页弧线改到上方
删去 1 字
看改了哪些地方
⋯ 7 段没有变化
const toks = words.map((w, i) => box(w, { tone: "faint", w: 80, h: 40, x: 90 + i * 100, y: 150 }))
const next = box("?", { tone: "accent", w: 70, h: 40, x: 710, y: 150 })
const look = arrow(next, toks[0], { bend:
-45, dashed: true, label: "回头看前面所有字" })const kv = words.map((_, i) => box("K V", { tone: "c5", w: 60, h: 28, x: 90 + i * 100, y: 230 }))
const count = text("这一步要算 K、V 的字:6 个", { size: 17, bold: true, color: "accent", x: 400, y: 330 })
⋯ 232 段没有变化
KV 缓存这篇删掉两处重复讲稿
删去 21 字
看改了哪些地方
⋯ 101 段没有变化
step("每个字要存 K、V 两份,每层都有,每个数 4 字节。", () => {
say("
缓存也不是白来的。每存一个字,要存 K 和 V 两份,每层一份。这个模型有三十层,每层三组 K、V,每组六十四个数,每个数四个字节。")show(times[0], ps[1], times[1], ps[2], times[2], ps[3], times[3], ps[4])
})
⋯ 36 段没有变化
step("服务端把请求的 KV 缓存存下来,下一次请求开头一样就直接用。", () => {
say("
缓存不光在一次回答里用。DeepSeek 的接口会把每次请求的 K 和 V 存到硬盘上,下一次请求要是开头完全一样,这一段就直接拿来用,不用再算。")show(...r2)
set(r2[0], { tone: "c2" })
⋯ 99 段没有变化
首次发布