AI 幻觉

它从何而来？

• 模型学习的是预测文本，而不是核对事实。当它不知道答案时，就会生成一个仅仅看起来像答案的内容。
• OpenAI 在研究工作 Why language models hallucinate (2025) 中表明，模型测试奖励猜测的程度大于奖励“我不知道”。因此，模型学会了瞎猜。
• 它最常在细节上胡编乱造：日期、数字、人名、论文标题和网址。

我们的实验室是如何做的？

• 数字由代码检查，而不是模型。 在报告中模型负责撰写文本，但每个数字都会通过程序与数据进行比对。超出数据范围的数字意味着文本无法通过。
• 聊天回答必须附带来源，否则回答“我不知道”。 句句都有文章引用。当库中没有内容时，聊天机器人会直接说明。当它使用模型的通用知识进行回答时，会在回答下方加灰线标注。
• 自有经验教训： 我们用来建设实验室的 AI 助手曾“发现”一个并不存在的安全漏洞。该描述被写入文档，随后的会话将其当作事实反复引用，直到三次独立的核查将其推翻。写入文档的虚构内容变成了“知识”。
• 聊天测试 (promptfoo)：带有硬性规则的 52/52 个案例，其中包括“无来源 = 错误”。

我们的数据库展示了什么？

实验室数据库中包含 90 篇关于幻觉的文本：从 OpenAI 的解释、公开的模型幻觉排行榜，到在模型输出答案之前检测其虚构内容的内部研究论文。

如何减少幻觉？

• 为模型提供来源 (RAG) 并要求其引用。
• 允许模型说“我不知道”，甚至鼓励它这样做。
• 用代码检查能够检查的内容：数字、日期、地址。
• 在做出重要决定时，必须由人工批准。在我们的实验室中，每篇发布内容都需要等待点击确认。