张三的上上级:向量检索查不到,GraphRAG 为什么能 上线以来的每一次修改,新的在前。
张三的上上级:场景开场不再是空白画面
增加 64 字,删去 31 字
⋯ 9 段没有变化
const a1 = arrow(zhang, li, { label: "上级是" })
const a2 = arrow(li, wang, { label: "上级是" })
show(q)
step("问知识库一个问题。", () => {
say("先问知识库一个问题:张三的上上级领导是谁?")
showpulse(q)
})
step("没有一条笔记直接写着答案,它拆在两条里。", () => {
⋯ 278 段没有变化
const wrong = arrow(s1, nX, { dashed: true, label: "认错了" })
const bad = text("后面全错", { size: 18, bold: true, color: "accent", x: 660, y: 210 })
show(calls, q1)
step("第一次:查张三的上级,认出李四。", () => {
say("第一次,查张三的上级,认出李四。")
show(q1, a1, s1, a2, nA, a3, li)
set(calls, { text: "大模型调用:1 轮" })
})
⋯ 46 段没有变化
const e5 = arrow(wu, wang, { label: "上级是" })
const ask = text("问:张三的上上级领导是谁?", { size: 18, bold: true, x: 400, y: 440 })
show(doc1, doc2)
step("建索引时,大模型一条一条地读笔记。", () => {
say("还是这两条笔记。建索引的时候,大模型会一条一条地读。")
showpulse(doc1, doc2)
})
step("从笔记 A 抽出两个实体,一条关系:张三的上级是李四。", () => {
⋯ 175 段没有变化
const rev = arrow(l2, z2, { label: "上级是(抽反了)" })
const lost = text("从张三往上走:没有路", { size: 18, bold: true, color: "accent", x: 400, y: 300 })
show(...blocks)
step("建索引时,每个文本块都要过一遍大模型。", () => {
say("第一,建索引的时候,每个文本块都要交给大模型读一遍。文档一多,又慢又贵。")
show(...blocks, llm, count)
feeds.forEach((f, i) => {
show(f, { dur: 200 })
⋯ 42 段没有变化
const b2 = arrow(q2, g1)
const c2 = arrow(g3, v2)
show(q1, q2)
step("答案写在某一段里:向量检索又快又便宜。", () => {
say("就看答案写在哪。答案就写在某一段话里的,用向量检索就够了,又快又便宜。")
show(q1, b1, n1, c1, v1)
})
step("答案要靠几段之间的关系串起来:先把关系存成图。", () => {
say("答案要靠几段之间的关系串起来的,比如上上级、间接依赖、共同成员,就得在建索引的时候,先把关系存成图。今天就聊到这儿。")
show(q2, b2, g1, ga, g2, gb, g3, c2, v2)
})
```
⋯ 71 段没有变化
张三的上上级:改成视频用的版式,去掉重复讲稿
增加 239 字,删去 207 字
⋯ 86 段没有变化
## 实测:要找的那条排第 7
:::article
14 条笔记的相似度由中文向量模型 bge-small-zh-v1.5 实际算出,实验代码附在文末。
:::
:::scene{title="向量检索交给大模型的是哪几条"}
⋯ 14 段没有变化
}
const r1 = rankOf(s1), r2 = rankOf(s2)
const rowY = (r) => 6480 + r * 2726
const barW = (v) => 170 + (v - 0.25) * 800
const barX = (v) => 76 + barW(v) / 2
⋯ 1 段没有变化
const markX = (v) => 76 + barW(v) + 102
const title = text("问:张三的上上级领导是谁?", { size: 20, bold: true, x: 400, y: 2212 })
const ranks = labels.map((_, r) => text(String(r + 1), { size: 13, color: "soft", x: 56, y: rowY(r) }))
const rows = labels.map((l, i) => box(l, { w: barW(s1[i]), h: 2221, tone: i === 1 ? "accent" : i === 0 ? "c2" : "faint", x: barX(s1[i]), y: rowY(r1[i]) }))
const nums = labels.map((_, i) => text(s1[i].toFixed(3), { size: 12, mono: true, color: "soft", x: numX(s1[i]), y: rowY(r1[i]) }))
const top = frame("交给大模型的前 5 条", { around: rows.filter((_, i) => r1[i] < 5), pad: 6 })
⋯ 4 段没有变化
step("取相似度最高的 5 条,交给大模型。", () => {
say("这分数是十四条笔记跟问题开源的相似度中文向量模型实际算出来的,从高到低排好了。按常见的做法,取前五条交给大模型。")
show(top)
})
⋯ 34 段没有变化
:::notes
我们拿真实的向量模型来数据跑一下。这是一个小公司的知识库,十四条笔记,周报、组织说明、公司制度都有。
:::
⋯ 42 段没有变化
:::notes
为什么会这样?这条笔记其实不难找,难在我们问的是张三,问题里压根没有李四。
为什么会这样?
:::
⋯ 64 段没有变化
## 分两次查能接上,但已经不是一次检索
:::article
微软研究院介绍 GraphRAG 时,把这列为传统 RAG 的第一个短板::cite[答案要靠共同的线索把分散的信息串起来时,传统 RAG 串不起来]{b=tpj6gwxb}。
:::
:::scene{title="像人一样分两次查"}
⋯ 21 段没有变化
step("第一次:查张三的上级,认出李四。", () => {
say("真正能接上的办法,是像人一样分两次查。第一次,查张三的上级,认出李四。")
show(q1, a1, s1, a2, nA, a3, li)
set(calls, { text: "大模型调用:1 轮" })
⋯ 5 段没有变化
})
step("每多一跳多一轮调用;第一跳认错了人,后面全跟着错。", () => {
say("可这已经不是一次检索了。每多一跳,就多一轮大模型调用;第一跳要是认错了人,后面全跟着错。微软研究院介绍 GraphRAG 的时候,就把连点成线列成了传统 RAG 的头号短板。")
dim(a3, li, a4, q2, a5, s2, a6, nB, a7, wang)
hide(a4)
dim(a3, li, q2, a5, s2, a6, nB, a7, wang)
show(wrong, nX, bad)
})
⋯ 2 段没有变化
:::notes
真正能接上的办法,其实就是像人一样分两次查。
:::
## GraphRAG:建索引时就把点连起来
:::article
以微软开源的 GraphRAG 为例,:cite[它让大模型逐块抽出实体和关系,再把名字和类型都相同的实体并成一个]{b=2jazrkhc}。
:::
:::flow
⋯ 79 段没有变化
## 本地搜索:从张三这个点出发
:::article
:cite[本地搜索先找出和问题相关的实体作入口,再取出相连的实体、关系和原文片段]{b=t5mcx8yz},交给大模型。
:::
:::scene{title="本地搜索怎么取材料"}
⋯ 23 段没有变化
step("先找出和问题相关的实体当入口:张三。", () => {
say("查的时候,GraphRAG 用的是本地搜索。先找出跟问题相关的实体当入口,这里就是张三。")
show(q)
highlight(zhang)
⋯ 23 段没有变化
## 全局搜索:回答整体的问题
:::article
:cite[建完图,GraphRAG 会用 Leiden 算法把关系紧密的实体分成社区,再给每个社区写一份报告]{b=jqm84dkn}。:cite[全局搜索先从各份报告里分头提炼要点并打分,再汇总最重要的要点]{b=7k3p1wgh}。
:::
:::scene{title="全局搜索怎么回答整体的问题(示意)"}
⋯ 7 段没有变化
const nodes = groups.map((g) => g.people.map((p, i) => circle(p, { r: 22, tone: g.tone, x: g.x, y: 110 + i * 52 })))
const frames = groups.map((g, k) => frame("社区 " + (k + 1), { around: nodes[k], pad: 12 }))
const reports = groups.map((g) => box("报告", { sub: g.name, tone: g.tone, w: 120, h: 46, x: g.x, y: 300320 }))
const toReport = groups.map((_, k) => arrow(frames[k], reports[k]))
const points = groups.map((g) => box("要点", { sub: "打分", tone: "faint", w: 90, h: 42, x: g.x, y: 380405 }))
const toPoint = groups.map((_, k) => arrow(reports[k], points[k]))
const q = text("问:公司分成哪几个团队,各由谁负责?", { size: 18, bold: true, x: 400, y: 30 })
const ans = box("汇总成回答", { tone: "accent", w: 160, h: 44, x: 400, y: 460490 })
const toAns = groups.map((_, k) => arrow(points[k], ans))
show(...nodes.flat())
⋯ 28 段没有变化
## 图不是白来的
:::article
:cite[默认流程里,每个文本块都要交给大模型抽取一遍]{b=2jazrkhc};:cite[微软也提供 FastGraphRAG,改用 NLP 方法抽取,省下大模型调用]{b=dbyt31ga}。
:::
:::scene{title="GraphRAG 的代价"}
⋯ 69 段没有变化
step("答案写在某一段里:向量检索又快又便宜。", () => {
say("所以选哪个,就看答案写在哪。答案就写在某一段话里的,用向量检索就够了,又快又便宜。")
show(q1, b1, n1, c1, v1)
})
step("答案要靠几段之间的关系串起来:先把关系存成图。", () => {
say("答案要靠几段之间的关系串起来的,比如上上级、间接依赖、共同成员,就得在建索引的时候,先把关系存成图。今天就聊到这儿。")
show(q2, b2, g1, ga, g2, gb, g3, c2, v2)
})
⋯ 5 段没有变化
## 附:代码
::::article
在图上沿着"上级"走几步,可以直接运行,把 `start` 改成"周八"试试:
⋯ 61 段没有变化
```
:::
::::
:::notes
最后附上代码,感兴趣可以自己跑一跑,换几个问法试试。
:::
首次发布