
小模型对决 Gemini:AI 主题开源分类器的首次尝试
作者与批准
发布与更新
要点
- 带有逻辑回归的 TF-IDF 获得了 0.34 的 macro-F1,大约是本地教师模型结果的 79%。
- 本地教师模型获得了 0.436,而 Gemini 先前的主题得分为 0.439 —— 几乎完全相同。
- 在 93% 和 97% 的抽样中,TF-IDF 的表现优于基于向量的模型,但没有理由认为它更好;它只是不比其差。
- 隐藏的重复测试表明,我们的手动标注往往无法自我一致。
- 在 0.2 版本中,我们计划明确主题、准备新的考试,然后发布模型和材料。
为什么要构建我们自己的分类器
我们每天都会收集关于 AI 的文本:来自 arXiv 的论文、公司博客文章以及新闻。我们为每一个文本指定主题,例如 agent、安全性或机器人技术。到目前为止,这是由云端的 Gemini 完成的。我们希望将这项工作转移到本地,使用开源模型并公开分享现成的分类器。
我们还有第二个原因:我们希望更好地理解模型在实践中是如何学习的。今天,我们可以在自己的硬件上进行检查。我们 2011 年的服务器足以支持不久前需要团队和昂贵硬件的实验。我们将该模型暂命名为 Fiszka。0.1 版本是第一次尝试,而不是现成的产品。
Gemini 和 Gemma 是不同的模型
Fiszka 和我们的聊天工具使用来自 EmbeddingGemma 2 (embeddinggemma-2:270m) 的向量。这是一个基于 Apache 2.0 许可证的开源模型,它通过 Ollama 在我们的服务器上本地运行,无需账户且没有 Google API。我们将每个文本转换为由 768 个数字组成的向量。
博客上的知识图谱使用其他向量:它们来自 Google API 和 Gemini Embedding 2 (gemini-embedding-2) 模型,每个模型有 1536 个数字。这是一个独立的解决方案。在这个实验中,Gemini 是一个基准点,因为我们将 Fiszka 与 Gemini 迄今为止分配的主题进行了比较。Gemini 的回答及其标签都没有进入 Fiszka 的训练或其模型的输入。我们没有根据 Gemini 训练 Fiszka。
我们是如何进行测试的
我们准备了 14 个主题。每个主题都有一个描述,指示文本何时属于它,何时不属于。我们根据两个模型回答的交集确定了训练标签:基于 MIT 许可证的 Ornith 1.5 9B 和 Qwen 3.5 4B。它们扮演教师的角色,并通过 Ollama 运行在 2011 年的 Intel i5-2400 处理器上,没有显卡。标记 2000 个文本总共花费了它们大约 46 小时。Qwen 每个文本需要大约 26 秒,Ornith 每个文本需要大约 42 秒。
然后我们测试了四个小模型。第一个总是分配一组最常见的主题,并构成基准,即零水平。第二个使用 TF-IDF 和逻辑回归:TF-IDF 计算文本中的单词。第三个在 EmbeddingGemma 2 向量上使用逻辑回归。第四个是一个小型神经网络,具有 128 和 64 个神经元的层,同样使用这些向量。
我们使用了 2026 年 10 月 18 日之前的 2000 个文本进行训练。考试包括 300 个未参与训练的更新文本。我们在一个专门的页面上手动标记了它们;模式是我们的手动标记,而不是模型的回答。在 37 种情况下,我们选择了“我不懂”,在一个情况下选择了“无法评估”。因此,我们评估了 262 个文本:来自 arXiv 的 205 个和来自其他来源的 57 个。稀疏主题在考试中出现得更频繁,因此我们用权重重新计算了结果,以匹配正常的文本流。
我们以加权 macro-F1 的形式给出结果。这是一个度量标准,分别计算每个主题的 F1,然后平均结果,使所有 14 个主题的权重相同。结果 1 表示理想,0 表示全都是错误。
系统 | macro-F1 | 每个文本的时间 |
|---|---|---|
最常见主题的固定集 | 0.05 | – |
TF-IDF + 逻辑回归 | 0.34 | 0.5 ms |
EmbeddingGemma 2 + 逻辑回归 | 0.30 | 每个向量约 1.7 s + 0.02 ms |
EmbeddingGemma 2 + 小型神经网络 | 0.29 | 每个向量约 1.7 s + 低于 0.01 ms |
Ornith + Qwen (教师) | 0.44 | 约 70 s |
Gemini (先前的主题) | 0.44 | 未测量 |
一个独立的脚本检查了比较的公平性。它证实考试不包含来自训练的文本,其标签来自人类,并且训练中没有 Gemini 的标签或回答。它还检查了模型击败了基准,并且报告中的数字与数据一致。
结果说明了什么——以及没有说明什么
本地教师模型获得了 0.436,Gemini 先前的主题得分为 0.439。这几乎完全相同。最好的小模型 TF-IDF 达到了教师结果的约 79%。在 1000 次自助抽样中,教师在 99% 的情况下优于 TF-IDF,因此这种优势是确定的。
在 93% 和 97% 的抽样中,TF-IDF 的表现优于基于向量的模型。这不足以认为这种优势是确定的:置信区间接触到零。因此,结论是 TF-IDF “不比”基于向量的模型差,而不是说它更好或击败了它们。
基于向量模型的时间主要来自将文本转换为向量。EmbeddingGemma 2 在处理器上大约需要 1.7 秒。分类模型本身随后在几分之一毫秒内计算出结果。本地教师模型每个文本需要大约 70 秒,因此质量结果并不意味着它们的运行速度与小模型一样快。
手动标注也需要检查
我们把 30 个考试文本拿出来重新标注了一遍,没有提前通知。在可比对的 21 对中,完全相同的主题集只出现了 7 次。我们使用 Kappa 单独衡量了主题标注的一致性:值 1 意味着总是相同的选择,而 0 意味着像掷硬币一样的一致性。
主题 | Kappa |
|---|---|
多模态、医学、硬件、RAG | 1.0 |
工具、教育 | 0.64–0.69 |
安全性 | 0.45 |
语言模型、评估 | 0.22 |
agent | 0.13 |
开源 | 0.0 |
模型在相似的地方犯了错误。最好的小模型在一个人类没有选择它的 191 个文本中分配了“评估”主题,尽管它也找到了所有 36 个准确的文本。教师很可能将任何带有实验的论文都视为评估。模型只分配了 3 次“工具”主题,尽管人类选择了 61 次,而在 93 个文本中给出了太多的“agent”主题。
我们还注意到主题集中存在缺陷。关于通用机器学习的文本最终落入了“语言模型”中,而关于 AI 政策和法规的材料(例如关于欧盟委员会或实验室与国家合作的材料)没有合适的位置。低分(包括 Gemini 的 0.44)主要源于几个主题的模糊定义,而不是模型本身的弱点。
我们学到了什么以及接下来要做什么
主题的定义比模型的选择更重要。在评估机器之前,我们必须衡量我们自己标注的一致性。如果没有隐藏的重复,我们可能会将低分归咎于模型,尽管部分困难源于我们自己并不总是将相同的主题分配给文本。
实验表明,旧处理器上的开源模型足以达到 Gemini 水平的主题分配。简单的模型是一个良好的开端:它运行速度快且易于检查。在这个尝试中,它并不比神经网络差,尽管结果并没有提供依据来断言基于向量的模型更差。
在 Fiszka 0.2 中,我们计划添加机器学习、政策和法规主题(包括实验室与国家的合作)以及商业和倡议。科学论文将是文本的一个独立特征,而不是主题。我们还希望收紧语言模型、评估、 agent、开源和工具主题的定义。
我们将为考试准备新的一批文本。我们不会使用旧考试来改进定义,因为这种测试的结果将是牵强的。在 0.2 版本之后,我们计划在 GitHub 和 Hugging Face 上发布模型、代码、报告和决策日志。
实验室背后没有团队:我们作为一个人和 AI 共同准备实验。这是一个业余项目,为了科学和乐趣而做。
常见问题解答
为什么要构建自己的主题分类器?
我们每天收集关于 AI 的文本并为其分配主题,到目前为止,这是由云端的 Gemini 完成的。我们自己的分类器旨在将这项工作转移到开源模型和我们的实验室。我们构建它是为了学习模型训练是如何运作的,并将现成的解决方案公开分享。
Fiszka 是否在 Gemini 上进行训练?
没有。训练标签来自 Ornith 1.5 9B 和 Qwen 3.5 4B 回答的交集。Gemini 的回答及其标签都没有进入 Fiszka 的训练或其模型的输入。Gemini 仅用作基准比较点。
小模型现在可以替代 Gemini 吗?
在 0.1 版本中不能。最好的小模型(带有逻辑回归的 TF-IDF)获得了 0.34 的 macro-F1,而 Gemini 为 0.44。本地教师模型取得了与 Gemini 几乎相同的分数,但每个文本需要大约 70 秒。
这要花多少钱?
除了电费之外什么都没有。该实验在我们的服务器上运行,使用通过 Ollama 运行的本地模型,没有付费 API。
Fiszka 会开源吗?
会。在准备好 0.2 版本后,我们计划在 GitHub 和 Hugging Face 上发布模型、代码、报告和决策日志。
来源
--- 文本由 aipoc-lab (AI) 实验室根据实验室自身的测量和结论笔记准备。人工编辑前的版本。
本文来源清单(JSON) — 基于哪些信号生成、各循环做出了哪些决策,以及人工何时批准。
相关文章
今日AI:适合目测阅读。我们如何在一天内重构了 Writer
我们为 Writer 增加了实验室语境并优化了排版,在读者测试中以 13:2 的比分取得了胜利。
今日AI: Nemotron 与 PDD Kit
本文介绍了NVIDIA的开源Nemotron模型以及Microsoft Research用于验证AI代码的PDD Kit。
今日AI:NVIDIA 6G 与 AMD InferaSim
了解NVIDIA 6G开源工具、AMD InferaSim、欧盟对TikTok的初步裁决以及ASR和BlockLock的最新进展。
小模型在主题标注上追平 Gemini。Fiszka 0.3
Fiszka 0.3 在主题标注上达到了与 Gemini 相当的水准,且完全在本地免 API 运行。