模型评估

评估类型

• 公开基准测试： 为所有模型提供相同的任务。适合进行比较，但对你的实际应用场景参考价值有限。
• 自定义测试： 来自你所在领域的问题以及关于什么是好回答的规则。这些测试决定了聊天机器人是否适合你的客户。
• 红队测试： 数百次攻击，以找出应用程序的薄弱环节。
• 与人类评估的一致性： 自动化系统的评估是否与专家的评估结果一致。

我们的实验室是如何做的？

• 带硬性规则的聊天测试（promptfoo）：关于知识、滥用、攻击和对话的问题。规则由代码检查，无需模型作为裁判，因此结果可重复：52/52（27.10.2026）。
• 红队测试： 512次单消息攻击和36次多轮对话，零泄露。
• 基于测量设定的聊天阈值： 30个相关问题和6个无关问题设定了0.764的阈值。
• 通过测量选择向量模型： 18个问题，正确文本在前五名中命中了18次（共18次）。
• 符合人类评估的来源评分： 我们将自动选出当天最重要文本的系统与15次人类评估进行了对比。旧权重的一致性为0.05（实际上是随机的，偏爱学术论文摘要）。修改权重后：0.62。

如何在你自己那里开始？

1. 收集20-30个真实的客户问题，以及5-10个聊天机器人应该拒绝回答的问题。
2. 为每个问题记录规则：必须有来源，必须提到具体信息，不得包含链接。
3. 在每次更改提示词、模型或知识库之前运行测试。
4. 在部署前进行红队测试，而不是在第一次事故发生之后。