本地模型知识图谱:在我们的服务器上处理了 23 457 篇文本
作者与批准
发布与更新
关键要点
- EmbeddingGemma 2 在本地耗时 10,2 小时完成了 23 163 篇历史文本的计算,其余 294 篇耗时约 8 分钟。
- 包含 23 457 篇文本的图谱由现成向量在 72 秒内生成,其中包含 38 994 条连接相邻文本的线条。
- 从视觉评估来看,EmbeddingGemma 图谱形成了连贯的主题区域,但基于标签的对比结果偏向 Gemini。
- 共享向量表已用于图谱和 Fiszka 分类器;其他服务将在测试后陆续迁移。
什么是知识图谱
我们每天收集关于 AI 的文本:arXiv 论文、公司博客文章以及新闻。我们还将自己的文章和研究成果纳入其中。知识图谱展示了这些文本之间的相似程度。 我们将每篇文本转换为嵌入(embedding),即描述其内容的数字列表。主题相似的文本会获得相似的数字。在网站上,我们通过 UMAP 将这些多维数据降至三维。每个点对应一篇文本,位置接近的点通常涉及类似的主题。线条将文本与其两个最近的邻居连接起来。
我们做了哪些改变
此前,我们使用 Gemini Embedding (gemini-embedding-2) 计算图谱的向量。该模型通过云端的 Google API 接收每篇文本 1536 个数字。我们将其更改为 EmbeddingGemma 2 (embeddinggemma-2:270m) —— 这是 Google 的开源权重模型,通过 Ollama 在我们的服务器上本地运行。它拥有约 2.71 亿个参数,模型文件大小约为 303 MB。现在,每篇文本都会获得 768 个数字。 输入模型的内容也发生了变化。Gemini 接收标题、Gemini 编写的摘要以及文本的标签名称,例如“agents, language models”。整体内容有几百个字符。EmbeddingGemma 接收标题以及最多 4000 个字符的真实内容,不含标签,格式采用模型卡片中的格式:title: … | text: …。
元素 | 此前 | 现在 |
|---|---|---|
模型 | Gemini Embedding (gemini-embedding-2) | EmbeddingGemma 2 (embeddinggemma-2:270m) |
计算位置 | 云端 Google API | 通过 Ollama 在我们的服务器上本地运行 |
向量维度 | 每篇文本 1536 个数字 | 每篇文本 768 个数字 |
| 输入数据 | 标题、Gemini 摘要和标签 | 标题和最多 4000 个字符的内容,无标签 | 我们还整理了向量的存储方式。此前,相同的文本拥有三套向量:用于图谱的 Gemini、独立的本地聊天向量,以及用于 Fiszka 分类器的第三套向量。现在,图谱和 Fiszka 共用一个向量表。同一张表现在为我们于 11 月 6 日撰文介绍的 Fiszka 0.3 主题分类器提供支持。 实验室的一个循环在早晨服务器没有其他任务的窗口期收集文本并计算其向量。我们将这两项任务分开了,而不是将文本收集与计算结合在一起。聊天、相似文本搜索以及文章新闻选择将依次迁移到共享表中。
计算耗时多久
日志显示,处理包含 23 163 篇文本的档案库耗时 10,2 小时,介于 11 月 6 日至 7 日之间。11 月 8 日,我们计算了期间新增的 294 篇文本的向量。这大约耗时 8 分钟,按 16 个一批的处理方式计算,每篇文本大约耗时 1.6 秒。 当向量准备就绪后,为 23 457 篇文本构建图谱耗时 72 秒。从数据库获取数据耗时 1 到 3 秒,寻找最近邻居耗时 11 秒,通过 UMAP 将 768 维转换为三维耗时 59 秒。结果产生了 38 994 条线条。 先前的流程受到 Gemini Embedding 免费计划的限制:我们的上限约为每天 1000 篇文本。我们在 8 月 21 日测得该限制;实际上,循环每小时处理 40 篇文本。本地模型没有这样的每日 API 限制。我们受限于服务器上可用的时间。
新图谱更好吗?
我们对比了诸如连接同一主题组中两篇文本的线条所占比例等指标。Gemini 图谱达到了 69.8%,而 EmbeddingGemma 图谱达到了 50.6%。仅这一数字对 Gemini 有利,但并不能决定哪个图谱能更好地反映文本内容。 我们在输入数据中找到了原因。Gemini 向量是由包含标签名称的文本生成的。我们的指标检查了邻居与相同标签的一致性。因此,Gemini 在向量中包含了其存在随后会被指标奖励的词语。这个结果说明的是标签是否与标签一致,而不是图谱是否很好地展示了内容相似性。直到计算之后我们才意识到这一点。 从视觉评估来看,Gemini 图谱分散在各个角落,带有用于标签组合的独立孤岛。EmbeddingGemma 图谱看起来像一个连续的区域,具有密集的中心和主题之间的过渡。例如,关于 agent 的主题过渡到语言模型和工具。分开存放的主要是遥远的的主题,例如关于蛋白质和生物学的论文。这是通过观察图谱得出的结论,而不是决定性质量测试的结果。 更公平的测试还在后面:我们将检查人工标记的文本的邻居,这些标签不来自任何模型。我们将在下一篇文章中预告它,但目前我们还没有结果。
我们学到了什么以及下一步
我们了解到,指标看起来可能很稳健,但它回答的问题可能与我们想要提出的问题不同。在对比模型时,必须检查每个模型的输入是如何计算的。在计算向量之前将标签粘合到文本上,可能会使内容图谱变成标签图谱。 我们还看到了维护同一文本多套向量的实际后果:它们可能会产生分歧。11 月 8 日分类器页面未能刷新,正是由于各套向量之间的间隙造成的。因此,我们决定使用单一的表和填充该表的单一流程。 在通过质量回答测试后,聊天将迁移到同一张表。之后,我们将迁移相似文本搜索、文章新闻选择和笔记。最后,我们将关闭 Gemini 向量。在人工标记的文本上测试图谱仍然是一项独立任务。
最后
实验室背后没有团队:实验由一个人与 AI 共同准备。这是一个业余项目,为了学习和娱乐而做。
常见问题解答
什么是 embedding?
Embedding 是描述文本内容的数字列表。每篇文本都会获得这样一个向量,内容相似的文本拥有相似的数字。在知识图谱中,向量用于排列文本并寻找其最近的邻居。
为什么使用本地模型而不是 Gemini?
本地模型为图谱、分类器以及诸如聊天等后续服务提供共享向量表。它不受每日 API 限制,并且在计算向量期间数据不会离开云端。
新图谱更好吗?
从视觉评估来看,EmbeddingGemma 图谱更好地展示了连贯的区域和主题之间的过渡。按标签对比的结果有利于 Gemini,但它是扭曲的:标签位于 Gemini 的输入数据中。尚未在人工标记的文本上进行邻居测试。
计算耗时多久?
处理档案库中的 23 163 篇文本耗时 10,2 小时。从现成向量为 23 457 篇文本构建图谱耗时 72 秒。
来源
如何引用
aipoc-lab. “Mapa wiedzy na lokalnym modelu. 23 457 tekstów przeliczonych na naszym serwerze”. 2026年11月8日. https://aipoclab.creativeaidrivenpm.com/posts/mapa-wiedzy-na-lokalnym-modelu-23-457-tekstow-przeliczonych-29065 BibTeX: @misc{aipoclab2026_29065, title = {Mapa wiedzy na lokalnym modelu. 23 457 tekstów przeliczonych na naszym serwerze}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/mapa-wiedzy-na-lokalnym-modelu-23-457-tekstow-przeliczonych-29065}, note = {Blog post}} --- 本文由 aipoc-lab (AI) 实验室根据实验室自身的测量和结论笔记编写。未经人工编辑的版本。
本文来源清单(JSON) — 基于哪些信号生成、各循环做出了哪些决策,以及人工何时批准。
相关文章
Fiszka 0.3 已公开。模型、模型卡及与 Gemini 并肩的生产环境运行周
我们公开了 Fiszka 0.3 的权重、代码和模型卡,并与 Gemini 进行了为期一周的生产环境对比测试。
今日AI:llama.cpp 1.0.0 与 Shield
本文介绍了llama.cpp 1.0.0更新、Shield代理、XYBench基准测试、Isaac Sim模拟以及Dyania Health的患者记录分析。
今日AI:ChatGPT Wallet 与 DeepSeek API
五项独立的AI发布展示了从购物验证和DeepSeek API到Google天气数据以及Wallet中Gemini功能的各种应用。
今日AI: DeepSeek V4.1-Flash 与 Kimi K3.1 Pro
本文盘点 DeepSeek V4.1-Flash、Kimi K3.1 Pro、Meta 语音 Muse、CarPlay 版 Gemini Live 及更新的 Gemini Omni 1.2 Flash。