aipoc-lab
/katTech/temMachine Learning · Open Source/typAnalysis

Fiszka 0.3 已公开。模型、模型卡及与 Gemini 并肩的生产环境运行周

作者与批准

[AI 生成内容][经人工批准]

发布与更新

发布: 更新:

我们发布了 Fiszka 0.3 的权重、模型卡和代码。过去一周,Fiszka 一直在为新的博客文章分配主题,而 Gemini 则在影子模式下对相同的内容进行标记。在双方都标记过的 1298 篇文本中,有 75% 的情况至少有一个共同的主题。我们还在人工标记的文本上测试了该模型,并描述了其结果的局限性。

要点

  • 我们在 Hugging Face 上发布了模型,并在 GitHub 上发布了代码,采用 Apache 2.0 许可证。
  • Fiszka 有 252 194 个参数,发布的权重得出了与生产环境中模型相同的准确结果。
  • 在与 Gemini 的周测试中,1298 篇文本中有 75% 出现了至少一个共同的主题。
  • 在两个人工标记的数据集上,Fiszka 的 F1 分数达到了 0.51 和 0.55。
  • 版本 0.4 没有表现出明显的优势,因此我们保留了 0.3 版本。

Fiszka 0.3 已公开

我们在 Hugging Face 上发布了 Fiszka 的权重和模型卡,并在 GitHub 上发布了代码。模型卡为英文,包含结果和局限性。所有内容均在 Apache 2.0 许可证下提供,该许可证也允许商业使用和修改。训练集(9968 条带标签的文本)以 fiszka-dataset 单独发布,采用 CC BY 4.0 许可证;训练代码在模型仓库中。

权重保存为 safetensors 格式,而不是 pickle。pickle 在加载文件时可能会执行外部代码,因此 Hugging Face 将此格式标记为不安全。计算只需要 fiszka.py 文件和 numpy 库 — 不需要 PyTorch。文本向量由带有 EmbeddingGemma 2 的 Ollama 在本地计算。

在发布之前,我们将发布的文件与在生产环境中运行的模型进行了比较。在 2000 个随机向量上,概率差为 0.00,对于 22 个真实文本,主题匹配度为 22 比 22。

我们不发布用于训练的文本,因为这些是别人的文章,也不发布训练代码。它与实验室的代码库交织在一起,我们将在清理后的第二步中发布它。

这是关于 Fiszka 的第三篇文章:我们之前在 11月4日 介绍了版本 0.1,并在 11月6日 介绍了 0.3。

Fiszka 是如何工作的

我们每天收集有关 AI 的文本:arXiv 论文、公司博客文章和新闻。每篇文本可以从包括代理、安全、机器人或商业在内的 17 个类别的列表中获得 0 到 3 个主题。Fiszka 是我们分配这些主题的神经网络。

我们在实验室服务器上从头开始构建和训练了它。该网络有 252 194 个参数,层大小分别为 256、128 和 64,并且有一个直接通向主题的捷径。现成的外部组件是 EmbeddingGemma 2 模型,它将文本转换为 768 个数字的向量。Fiszka 处理这个向量,而不是原始文本。

从 11 月 7 日起,Fiszka 为实验室中的每一篇新文本分配主题。在 /fiszka 页面上,您可以选择一个文本并在浏览器中逐层查看网络的计算过程。

生产环境中的一周,影子模式下的 Gemini

从 11 月 7 日到 11 月 13 日,Fiszka 在博客上标记文本,而 Gemini 仅将相同的内容接收到对比表中。这种模式称为影子:模型在真实数据上运行,但其结果不会取代生产结果。在没有新文本的日子里,没有什么可比的。

该表包含当前版本 Fiszka(在 EmbeddingGemma 向量上运行)的 1300 篇文本,以及早期版本 0.3(在单词和 TF-IDF 上运行)的第一天的 286 篇文本。以下结果适用于双方标记过的 1298 篇文本。

在 1298 篇文本上的比较

结果

至少一个共同的主题

75% 的文本

完全相同的主题集

22% 的文本

平均主题数:Gemini

每个文本 1.84 个

平均主题数:Fiszka

每个文本 1.90 个

Fiszka 未给出任何主题的文本

13

部分差异是由于 Gemini 在我们的配置中根本没有的主题:机器学习、商业和政治。当我们将比较限制在 861 篇文本(Fiszka 在其中未使用任何这些主题)时,93% 的情况下出现了至少一个共同的主题。

使用类别的方式也不同。Gemini 将“评估”主题分配了 371 次,而 Fiszka 分配了 157 次。在我们的定义中,评估是指主要成果是用于评估他人模型的工具(例如基准或指标)的工作。在对手工标记的 arXiv 论文进行标记时,我们发现大约 17% 的文本属于此类;在周测试中,Gemini 将此类别分配给 29% 的文本,而 Fiszka 为 12%。

“自动化”主题在 Gemini 中出现了 142 次,在 Fiszka 中出现了 29 次。我们给 Gemini 的提示词包含一条规则:当其他都不合适时,选择自动化。实际上,这个类别因此在 Gemini 中变成了其他文本的包容性选择。

与 Gemini 的一致性并不意味着哪一方是对的。人工标记的文本用于这种比较。

相对于人工标记的结果

为了评估,我们使用了 F1 指标。它结合了两件事:模型是否找到了正确的主题,以及它是否没有添加错误的主题。测试文本是人工标记的,Fiszka 在训练期间没有看到它们。

测试集

Fiszka 的 F1

第一个数据集,75 篇文本

0.51

第二个数据集,83 篇来自生产的更新文本

0.55

第二个独立数据集保持了类似的结果水平。在 2522 篇 arXiv 论文中,Fiszka 找到了作者自己分配的类别所产生的 80% 的主题。

Fiszka 从两个开源语言模型的标签中学习:DeepSeek 和 Nemotron。只有当两个模型都同意时,主题才会进入训练数据。在第二个数据集上,这些标签本身的 F1 为 0.51,而 Fiszka 为 0.55。在这个比较中,Fiszka 因此达到了它学习来源的标签质量。限制因素是这些标签的质量,而不是网络的大小。

在我们的测试中,Gemini 3.5 Flash Lite 标签在第一个数据集上的 F1 为 0.34,而 Fiszka 为 0.51。这是我们内部测试我们配置的结果,而不是对 Gemini 的评估:标签是通过我们的提示词和包含 13 个主题(没有商业和政治)的旧列表生成的。因此,部分差异归因于我们根本没有询问 Gemini 的主题。在我们的应用中,Fiszka 表现更好,这个数字仅此而已。Fiszka 没有从 Gemini 的标签中学习;我们仅将它们用于比较。

为什么我们发布 0.3 而不是 0.4

在发布之前,我们检查了版本 0.4。它具有相同的网络,但额外直接从文本中读取了 5000 个单词,并且有 337 211 个参数。在第一个数据集上,其 F1 为 0.486,而 0.3 为 0.510。在第二个数据集上,结果为 0.580,而 0.554。总体而言,这是一场平局。

我们还试图在 160 个手工标记的文本上进一步训练 Fiszka。F1 结果增加了 0.010,在偶然误差范围内。对于包含大约 80 个文本的数据集,0.03 左右的差异是噪声。因此,我们没有看到能够证明更改模型合理性的明显优势,并发布了 0.3。目前,我们已经结束了改进 Fiszka 的工作。当出现外部原因时,例如更多的人工标记文本或更强大的教师,我们会重新开始。

局限性

测试集很小:分别为 75 篇和 83 篇文本。每篇文本由一个人标记,他在几个主题(语言模型、评估、代理和 open source 等)上本身就可能是不一致的。Fiszka 分配“语言模型”主题的频率太低,因为其中一个教师模型很少选择它,并且很少有这样的标签进入训练。

我们在关于 AI 的英文文本上训练了该模型。我们未在其他语言或其他领域对其进行测试。它仅适用于完全相同输入格式的来自 EmbeddingGemma 2 的向量。

最后

该实验室由一个人运营,即 Creative AI Driven PM,没有正式的技术背景。他借助 AI 建立它,并记录什么有效,什么无效。

常见问题

与 Gemini 的一致性是否意味着 Fiszka 是正确的?

不是。在周测试中,我们测量了结果的一致性,它本身并不表明哪一方分配了正确的主题。为了评估 Fiszka,我们将其结果与模型在训练期间未见的人工标记文本进行了比较。

我们是否发布用于训练的文本和训练代码?

我们不发布用于训练的文本,因为这些是别人的文章。我们也没有分享与实验室代码库交织在一起的训练代码。我们计划在清理后的第二步中发布它。

Fiszka 的局限性是什么?

测试集包含 75 篇和 83 篇文本,每篇文本由一个人标记。我们在关于 AI 的英文文本上训练了 Fiszka,并且未在其他语言或领域对其进行测试。它仅适用于具有完全相同输入格式的 EmbeddingGemma 2 向量。

为什么我们发布版本 0.3 而不是 0.4?

0.4 和 0.3 的结果在各个数据集之间有所不同,总的来说是一场平局。在 160 个手工标记的文本上进行的额外训练使 F1 提高了 0.010,在偶然误差范围内。在如此小的数据集下,我们没有明显的理由更改模型。

如何引用

aipoc-lab. “Fiszka 0.3 jest publiczna. Model, karta i tydzień na produkcji obok Gemini”. 2026年11月14日. https://aipoclab.creativeaidrivenpm.com/posts/fiszka-0-3-jest-publiczna-model-karta-i-tydzien-na-produkcji-30442

BibTeX: @misc{aipoclab2026_30442, title = {Fiszka 0.3 jest publiczna. Model, karta i tydzień na produkcji obok Gemini}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/fiszka-0-3-jest-publiczna-model-karta-i-tydzien-na-produkcji-30442}, note = {Blog post}}

--- 本文由 aipoc-lab (AI) 实验室根据实验室自身的测量和结论笔记编写。人工编辑前的版本。

本文来源清单(JSON) — 基于哪些信号生成、各循环做出了哪些决策,以及人工何时批准。

相关文章

/katTech/temAgents · Open Source · Tooling/podCommunity · NVIDIA/typNews

今日AI:llama.cpp 1.0.0 与 Shield

本文介绍了llama.cpp 1.0.0更新、Shield代理、XYBench基准测试、Isaac Sim模拟以及Dyania Health的患者记录分析。

/katTech/temAI in Business · Open Source · Tooling/podDeepSeek · Google/typNews

今日AI:ChatGPT Wallet 与 DeepSeek API

五项独立的AI发布展示了从购物验证和DeepSeek API到Google天气数据以及Wallet中Gemini功能的各种应用。

/katTech/temMultimodal · Open Source · Tooling/podDeepSeek · Google/typNews

今日AI: DeepSeek V4.1-Flash 与 Kimi K3.1 Pro

本文盘点 DeepSeek V4.1-Flash、Kimi K3.1 Pro、Meta 语音 Muse、CarPlay 版 Gemini Live 及更新的 Gemini Omni 1.2 Flash。