向量数据库

这是如何工作的？

1. 模型将每个文本转换为一个向量，即一个包含几百到几千个数字的列表。含义相似的文本会获得相似的数字。
2. 向量连同文本和源地址一起进入数据库。
3. 用户的提问通过相同的模型转换为向量。
4. 数据库返回其向量距离最近的文本。这通常通过余弦相似度来衡量：1 表示含义相同，0 表示无关。
5. 在拥有数百万向量时，数据库不会将所有向量相互比较。它使用索引（例如 HNSW）来快速找到“近似最近邻”。

我们的实验室是如何做的？

• 我们没有购买数据库。它只是我们服务器上的一个普通 PostgreSQL，带有 pgvector 扩展，每月成本为 0 PLN。
• 向量由两个模型计算：用于聊天的 Gemini（每个文本 1536 个数字，有每日免费调用限制）和本地 EmbeddingGemma（768 个数字，在我们的硬件上计算）。
• 聊天仅在最近的文本超过 0.764 阈值时才回答。该阈值是通过对 30 个相关问题和 6 个不相关问题进行测量确定的：所有相关问题都在阈值之上，所有不相关问题都在阈值之下，两者的差距为 0.019。
• 最有趣的结果：问题“什么是向量数据库？”的相似度为 0.733–0.756，这与“谁赢得了比赛？”（0.745）相同。阈值运行良好。只是在大约 20 千条数据库文本中，只有 3 个标题讨论了向量。向量数据库找不到其中不存在的答案。 创建这个页面的原因之一就是为了让聊天有地方获取它。

什么时候值得用，什么时候不值得？

• 值得： 公司文档聊天、语义搜索引擎、重复检测、“相似内容”推荐。
• 不值得： 当您寻找精确值（发票号、产品代码）时，常规搜索胜出。同样，对于完全适合模型上下文窗口的少量文档也不适用。

常见陷阱

• 模型更改 = 重新计算一切。 来自两个不同模型的向量是无法比较的。
• 凭空设置阈值。 如果不对真实问题进行测量，聊天要么拒绝所有内容，要么对所有内容都进行回答。
• 片段太长。 长文章的一个向量会模糊含义。我们将其切片到最多约 1,200 个字符。
• 缺少内容看起来像阈值错误。 首先检查数据库中的内容，然后调整阈值。