RAG

它是如何工作的？

1. 准备（一次性）： 将文档切割成片段，每个片段转换为向量 (embedding) 并保存在向量数据库中。
2. 提问： 用户的问题通过相同的模型转换为向量。
3. 检索： 数据库返回语义最接近的片段。
4. 回答： 模型获得问题和片段，以及“仅根据这些内容回答”的指令。
5. 来源： 回答指出每个句子来自哪个片段。

我们的实验室是如何做的？

本页角落的聊天是一个基于约 20 千篇 AI 文本的 RAG。每个问题都经过相同的链路：

1. 数据掩码： PESEL、电子邮箱和电话号码在问题进一步发送之前会被转换为 [PESEL]、[EMAIL]、[TELEFON]。
2. 问题向量 由我们服务器上的本地 EmbeddingGemma 计算，成本为 0 PLN。
3. 来自数据库的 12 个最近片段 (PostgreSQL + pgvector)。
4. 主题网关： 如果最佳片段未超过 0.764 的阈值，聊天机器人会直接说明库中没有相关内容。
5. 6 个最佳片段 被发送到回答模型。成本约为 每次回答 0.08 gr。
6. 输出网关 在发送前检查回答：正文中无链接、无代码、无指令泄漏。
7. 来源 作为带有文章地址的脚注 [1]、[2]。

什么时候值得使用，什么时候不值得？

• 值得： 公司网站聊天、员工知识库、经常更改的规章制度、价目表和文档的回答。更改文档 = 重新计算单个片段，无需训练模型。
• 不值得： 当模型需要学习风格或格式时（此时微调更好），或者当所有文档都适合模型的单个查询时。

常见陷阱

• 聊天机器人对所有问题都有问必答。 如果没有相似度阈值，模型会获得较弱的片段并凭空编造其余内容。
• 没有内容看起来像个糟糕的聊天。 对我们而言，“什么是向量数据库？”这个问题无法通过，因为库中只有 3 篇关于向量的标题。本词典的卡片就是为此而创建的。
• 没有来源。 没有脚注的回答无法验证，因此无人信任。
• 问题中的个人数据。 人们会输入电子邮箱和电话号码。在保存任何内容之前对它们进行掩码处理。