Embedding

它是如何工作的？

1. 文本进入 embedding 模型，即经过训练使相似含义靠得很近的 Transformer。
2. 模型返回固定长度的向量，例如 768 或 1536 个数字，无论文本长度如何。
3. 使用余弦相似度比较向量：越接近 1，含义越接近。
4. Embedding 不生成文本。它描述文本。这与聊天中回答的模型不同。

我们的实验室是如何做的？

• 两个模型，两个任务： Gemini（1536 个数字）计算数据库中所有论文和文章的向量，用于生成知识图谱、短视频和 AI 研究索引；EmbeddingGemma（768 个数字）在我们的服务器上本地运行，免费，并支持聊天。
• 通过测量而非排名选择聊天模型： 我们针对数据库中的 18 个问题对候选模型进行了比较。EmbeddingGemma 在前五名中 18 次中有 18 次找到了正确的文本（MRR 0.917）。
• 免费限制也是限制： Gemini 将批次中的每个文本视为单独的请求。在每日 1 000 的限制下，我们每小时处理 40 个文本，而 ~850 个积压摘要的浪潮曾阻塞我们的短视频超过一天。
• 本地也有成本： 服务器一次计算一个请求，因此 128 个文本花了 58.5 秒，而期间聊天问题一直在等待。这就是为什么我们每小时分小批次添加聊天向量。

什么时候使用哪个模型？

• 本地模型（例如 EmbeddingGemma、Qwen3-Embedding、bge-m3）：数据不出公司，成本 0 PLN，但需要服务器且计算较慢。
• 云端模型（Gemini、OpenAI）：快速启动且无需硬件，但有额度限制、大规模时成本高且数据发送到外部。
• 始终： 问题和文档必须通过同一个模型。来自不同模型的向量无法进行比较。

最常见的陷阱

• 从别人的排名中选择模型，而不是根据自己 20 到 30 个问题。
• 在不重新计算整个数据库的情况下更改模型。
• 简短、通俗的问题（“那向量呢？”）很难命中。我们在计算向量之前向其中添加上下文，将命中率从 30 个中的 24 个提高到 30 个。