aipoc-lab
/katTech/temEvaluation · Open Source/typAnalysis

小模型在主题标注上追平 Gemini。Fiszka 0.3

作者与批准

[AI 生成内容][经人工批准]

发布与更新

发布: 更新:

在 Fiszka 0.3 中,我们检验了更大规模的数据集、改进的主题定义以及类别权重所带来的效果。在 75 篇 arXiv 之外的文本上,我们取得了 0,496 的 F1 分数;而在与 Gemini 共同拥有主题上,得分为 0,417,对比 Gemini 的 0,409。这是一个平局,而非优势。Fiszka 更好的总体结果主要来自于 Gemini 根本不具备的主题。

今日AI

  • 在包含 2522 篇 arXiv 论文的测试中,带有类别权重的 Fiszka 0.2.1 对七个主题取得了 0,776 的平均召回率。
  • 在 75 篇评估的非 arXiv 文本中,Fiszka 0.3 获得了 0,496 的 F1,而在与 Gemini 共同拥有主题上的结果为 0,417 对比 0,409。
  • 结果的提升主要归功于更多的数据:它们贡献了 +0,195,而类别权重贡献了 +0,055。
  • 整个研究(包括教师候选人的测试和定义试验)总共花费了 0,82 $,而 Fiszka 本身运行无需支付 API 费用。

从 Fiszka 0.1 到 0.3

这是我们 11 月 4 日发布的文章《小模型对决 Gemini》的续篇,当时我们描述了拥有 macro-F1 0,34 的 Fiszka 0.1,而 Gemini 为 0,44。我们也发现,模糊的主题定义可能比模型的选择更为关键。

Fiszka 是我们的一个小模型分类器,负责为文本分配诸如 agent、安全或机器人等主题。实验室每天都会收集来自 arXiv、公司博客和新闻的论文。此前,这些主题是由云端的 Gemini 分配的。Fiszka 在本地运行,没有 API,并且将是公开的。

我们改变了什么

在 0.2 的定义中,我们将主题数量从 14 个增加到了 17 个。我们添加了机器学习(ml)、政策与监管(policy)以及商业(business)。我们还精简了语言模型、评估、agent、open source 和工具的描述。每个主题都有关于何时分配以及何时不分配的指导方针。主要原则:重要的是文本讲的是什么,而不是使用了什么工具。

我们单独改进了评估,即与模型评估相关的主题。教师们将该主题分配给了 39% 的文本,而人工对来自 arXiv 的相同论文仅标记了 17%。经过改进的定义本身将结果降至了 34%。直到加入了一个单独的是/否问题(文本是否涉及评估他人模型的工具),才将其降至 18%。第二位教师对该问题的回答在 98% 的情况下为“是”,因此最终只有单个模型来询问这个问题。

我们还更换了教师模型。我们没有使用在我们的服务器上运行的两个模型,而是通过 OpenRouter 使用了基于 MIT 许可证的 DeepSeek V4.1 Flash 以及来自 NVIDIA、基于 OpenMDW 1.1 许可证的 Nemotron 3.5 Lightning。如果两个模型都指出了某个主题,该主题就会被赋予标签。在 Fiszka 0.1 的测试中,这组模型达到了 0,452,而上一组为 0,436。差异在噪声范围内,因此考虑到时间成本,我们选择了新的解决方案:每篇文本约 0,7–1,2 秒,而不是大约 70 秒。

我们还增加了训练集。Fiszka 0.2 使用了 2000 篇文本,0.2.1 版本使用了 2026 年 10 月 18 日之前的 8342 篇文本,而 0.3 版本使用了 9968 篇。最后的 1626 篇文本来自 arXiv 之外:8 月和 9 月的公司博客与新闻。我们在训练期间加入了类别权重,即增加了诸如机器人、硬件和安全等罕见主题的影响力。

我们保留了在 Fiszka 0.1 中表现最好的模型:带有逻辑回归的 TF-IDF。简而言之,模型计算文本中的单词,并在此基础上分配主题。在普通 CPU 上,每篇文本大约耗时 0,5 ms。在这轮测试中,我们跳过了基于向量的模型,因为新文本的向量仍在计算中。

我们如何进行测试

第一部分包括 2522 篇在 2026 年 10 月 18 日至 31 日期间发布的 arXiv 论文,即晚于所有训练文本。我们以作者为论文分配的类别(例如用于机器人的 cs.RO)作为基准。arXiv 元数据采用 CC0 许可证。这部分衡量的是召回率:模型识别出具有给定类别的论文比例。我们还检查了分配给文本的主题的平均数量,以评估模型是否通过分配多个主题来提高结果。

第二部分是来自同一时期、来自 12 个来源的 76 篇非 arXiv 文本。我们对其进行了手动标记,随后重新检查了部分标签。我们将其中一篇文本判定为无法评估,因此结果按 75 篇计算。在这里,我们衡量的是准确率、召回率和 F1(将准确率与召回率结合起来的指标)。

arXiv 上的结果

版本

平均召回率(7 个主题)

每篇文本的主题数

机器人

硬件

安全

Fiszka 0.2(2000 篇文本)

0,526

1,93

0,30

0,05

0,56

Fiszka 0.2.1 无类别权重(8342)

0,721

1,82

0,67

0,43

0,87

Fiszka 0.2.1(8342,类别权重)

0,776

1,97

0,83

0,62

0,90

Fiszka 0.3(9968,类别权重)

0,756

1,84

0,83

0,57

0,89

扩大数据集后,从 0,526 跃升至 0,721 带来了 +0,195 的提升。类别权重又贡献了 +0,195 之外的 +0,055,将结果推高至 0,776。罕见主题受益最大:硬件的召回率从 0,43 升至 0,62,机器人的召回率从 0,67 升至 0,83。

在与 0.1 版本共有的六个主题上,结果先是在 0.2 版本中从 0,537 跌至 0,497,随后在 0.2.1 中升至 0,780。Fiszka 0.3 维持了 0.2.1 的水平。这种差异与更高主题分配阈值以及每篇文本较少的主题数量有关。硬件更难比较:测试中只有 21 篇论文属于该类别,因此单篇论文就会使结果改变约 0,05。

非 arXiv 上的结果

系统

准确率

召回率

F1

仅在 Gemini 也具有的主题上的 F1

Gemini(现有标签)

0,295

0,407

0,342

0,409

Fiszka 0.2.1

0,414

0,575

0,481

0,368

Fiszka 0.3

0,441

0,566

0,496

0,417

Fiszka 0.2.1 无类别权重

0,337

0,301

0,318

–

在与 Gemini 共同拥有主题上,我们打成了平局:Fiszka 0.3 的 F1 为 0,417,Gemini 为 0,409。Fiszka 计算所有主题时的更高得分(0,496 对比 0,342)主要来自 Gemini 根本没有的主题,即商业和政策。商业涉及 75 篇文本中的 34 篇。我们不将其描述为在共同主题集上的优势。

额外的 1626 篇非 arXiv 文本在它们所属的领域中起到了帮助:在 Gemini 共有主题上的 F1 从 Fiszka 0.2.1 的 0,368 上升到 0.3 的 0,417。没有类别权重的变体表现不佳,F1 为 0,318,并且没有为 17 篇文本分配任何主题。

我们还检查了人工标签

在手动标记期间,“语言模型”主题被赋予了 75 篇文本中的 29 篇。原因通常仅仅是出现了 ChatGPT 或 Gemini,即使在谈论其他事情的文本中也是如此,例如“4 tips for styling outfits with Gemini”。同时,定义规定,如果语言模型只是用于其他任务的工具,则不要分配该主题。

我们根据定义重新审视了这 29 篇文本。该主题在 8 篇中保留,在 21 篇中被剔除。这是对结果的一个重要保留:根据教师们使用的相同定义进行重新评估,使人工标签更接近训练标签。复查后,Fiszka 在语言模型主题上的表现依然不佳:F1 为 0,18。

我们没有发现明显的错误,例如将欧盟委员会分配给医学。最接近这种错误的是一篇关于痴呆症的文本被标记为商业而不是医学,以及一篇关于 XR 眼镜的文本被标记为工具而不是硬件。其余的差异涉及相邻的主题。

Gemini 仅用于比较

Fiszka 并不是从 Gemini 那里学习的。训练标签由 DeepSeek V4.1 Flash 和 Nemotron 3.5 Lightning 准备。我们库中 Gemini 的现有标签仅用作现成的比较基准。

这花费了多少

云端教师标记 8342 篇文本花费了大约两个小时,额外的 1626 篇花费了大约 25 分钟(三个并行运行)。相比之下,我们服务器上的两个模型处理 2000 篇文本大约需要 46 小时。新模型的质量与前一个模型相似。

根据 11 月 6 日的 OpenRouter 面板,研究中使用的整个 API 密钥总共消耗了 0,82 $。该金额包括教师候选人的测试、定义试验、标记所有 9968 篇文本以及评估问题。这不是按文本换算的成本。

除了电费之外,Fiszka 本身没有任何成本。训练在普通 CPU 上只需一会儿,而分配主题每篇文本大约需要 0,5 ms。

我们学到了什么以及接下来要做什么

在本实验中,更多的数据比类别权重的修正贡献更大:分别为 +0,195 和 +0,055。我们也看到,定义错误的主题会排挤其他主题。在三个主题的限制下,评估出现在 39% 的文本中,并占用了较少类别的位置。

我们还确信,人工标签并不总是严格遵守定义。“语言模型”是出于习惯而被分配给提及 ChatGPT 或 Gemini 的文本。如果没有重新复查,我们可能会认为这是模型的弱点。与现有系统的比较必须在共同的主题上进行,否则结果看起来可能会比实际更好。

接下来,我们将测试基于向量的模型,包括本地的 EmbeddingGemma 2,并将它们与 TF-IDF 进行比较——特别是在非 arXiv 文本以及语言模型主题上。我们还计划在 Hugging Face 和 GitHub 上发布模型、代码、报告和决策日志。

最后

实验室背后并没有一个团队:实验由一个人与 AI 共同准备,因此文本中使用了“我们”。该项目是一个业余爱好项目,纯粹为了学习和乐趣而做。

常见问题

Fiszka 已经比 Gemini 好了吗?

在共同主题上,结果相近:Fiszka 0.3 的 F1 为 0,417,Gemini 为 0,409。Fiszka 在所有主题上的更高得分(0,496 对比 0,342)主要源于 Gemini 所不具备的商业和政策。

Fiszka 是从 Gemini 那里学习的吗?

不是。用于学习的标签由 DeepSeek V4.1 Flash 和 Nemotron 3.5 Lightning 准备。我们库中的 Gemini 标签仅用作现成的比较基准。

为什么云端教师模型不用自己的服务器?

我们服务器上的两个模型处理 2000 篇文本大约需要 46 小时。OpenRouter 使用的教师模型在大约两小时内标记了 8342 篇文本的池,并在大约 25 分钟内完成了另外 1626 篇。新模型的质量与前一个相似。

什么带来的贡献最大?

最大的贡献是数据集的扩大:arXiv 测试中的平均召回率达到了 +0,195。类别权重贡献了 +0,055,并特别帮助了诸如机器人和硬件等罕见主题。

Fiszka 的运行成本是多少?

除了电费之外,Fiszka 本身没有成本:训练在普通 CPU 上只需一会儿,而分配主题每篇文本大约需要 0,5 ms。付费的是教师对数据的一次性标记;本研究中的整个 API 密钥总共消耗了 0,82 $。

资料来源

如何引用

aipoc-lab. “Mały model dorównał Gemini w tagowaniu tematów. Fiszka 0.3”. 6 listopada 2026. https://aipoclab.creativeaidrivenpm.com/posts/maly-model-dorownal-gemini-w-tagowaniu-tematow-fiszka-0-3-28751

BibTeX: @misc{aipoclab2026_28751, title = {Mały model dorównał Gemini w tagowaniu tematów. Fiszka 0.3}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/maly-model-dorownal-gemini-w-tagowaniu-tematow-fiszka-0-3-28751}, note = {Blog post}}

--- 本文由 aipoc-lab (AI) 实验室根据实验室自身的测量和结论笔记编写。未经人工编辑的版本。

本文来源清单(JSON) — 基于哪些信号生成、各循环做出了哪些决策,以及人工何时批准。

相关文章

/katTech/temAgents · Open Source · Tooling/podCommunity · NVIDIA/typNews

今日AI:llama.cpp 1.0.0 与 Shield

本文介绍了llama.cpp 1.0.0更新、Shield代理、XYBench基准测试、Isaac Sim模拟以及Dyania Health的患者记录分析。

/katTech/temAI in Business · Open Source · Tooling/podDeepSeek · Google/typNews

今日AI:ChatGPT Wallet 与 DeepSeek API

五项独立的AI发布展示了从购物验证和DeepSeek API到Google天气数据以及Wallet中Gemini功能的各种应用。