Fiszka 0.3 已公开。模型、模型卡及与 Gemini 并肩的生产环境运行周
作者与批准
发布与更新
我们发布了 Fiszka 0.3 的权重、模型卡和代码。过去一周,Fiszka 一直在为新的博客文章分配主题,而 Gemini 则在影子模式下对相同的内容进行标记。在双方都标记过的 1298 篇文本中,有 75% 的情况至少有一个共同的主题。我们还在人工标记的文本上测试了该模型,并描述了其结果的局限性。
要点
- 我们在 Hugging Face 上发布了模型,并在 GitHub 上发布了代码,采用 Apache 2.0 许可证。
- Fiszka 有 252 194 个参数,发布的权重得出了与生产环境中模型相同的准确结果。
- 在与 Gemini 的周测试中,1298 篇文本中有 75% 出现了至少一个共同的主题。
- 在两个人工标记的数据集上,Fiszka 的 F1 分数达到了 0.51 和 0.55。
- 版本 0.4 没有表现出明显的优势,因此我们保留了 0.3 版本。
Fiszka 0.3 已公开
我们在 Hugging Face 上发布了 Fiszka 的权重和模型卡,并在 GitHub 上发布了代码。模型卡为英文,包含结果和局限性。所有内容均在 Apache 2.0 许可证下提供,该许可证也允许商业使用和修改。训练集(9968 条带标签的文本)以 fiszka-dataset 单独发布,采用 CC BY 4.0 许可证;训练代码在模型仓库中。
权重保存为 safetensors 格式,而不是 pickle。pickle 在加载文件时可能会执行外部代码,因此 Hugging Face 将此格式标记为不安全。计算只需要 fiszka.py 文件和 numpy 库 — 不需要 PyTorch。文本向量由带有 EmbeddingGemma 2 的 Ollama 在本地计算。
在发布之前,我们将发布的文件与在生产环境中运行的模型进行了比较。在 2000 个随机向量上,概率差为 0.00,对于 22 个真实文本,主题匹配度为 22 比 22。
我们不发布用于训练的文本,因为这些是别人的文章,也不发布训练代码。它与实验室的代码库交织在一起,我们将在清理后的第二步中发布它。
这是关于 Fiszka 的第三篇文章:我们之前在 11月4日 介绍了版本 0.1,并在 11月6日 介绍了 0.3。
Fiszka 是如何工作的
我们每天收集有关 AI 的文本:arXiv 论文、公司博客文章和新闻。每篇文本可以从包括代理、安全、机器人或商业在内的 17 个类别的列表中获得 0 到 3 个主题。Fiszka 是我们分配这些主题的神经网络。
我们在实验室服务器上从头开始构建和训练了它。该网络有 252 194 个参数,层大小分别为 256、128 和 64,并且有一个直接通向主题的捷径。现成的外部组件是 EmbeddingGemma 2 模型,它将文本转换为 768 个数字的向量。Fiszka 处理这个向量,而不是原始文本。
从 11 月 7 日起,Fiszka 为实验室中的每一篇新文本分配主题。在 /fiszka 页面上,您可以选择一个文本并在浏览器中逐层查看网络的计算过程。
生产环境中的一周,影子模式下的 Gemini
从 11 月 7 日到 11 月 13 日,Fiszka 在博客上标记文本,而 Gemini 仅将相同的内容接收到对比表中。这种模式称为影子:模型在真实数据上运行,但其结果不会取代生产结果。在没有新文本的日子里,没有什么可比的。
该表包含当前版本 Fiszka(在 EmbeddingGemma 向量上运行)的 1300 篇文本,以及早期版本 0.3(在单词和 TF-IDF 上运行)的第一天的 286 篇文本。以下结果适用于双方标记过的 1298 篇文本。
在 1298 篇文本上的比较 | 结果 |
|---|---|
至少一个共同的主题 | 75% 的文本 |
完全相同的主题集 | 22% 的文本 |
平均主题数:Gemini | 每个文本 1.84 个 |
平均主题数:Fiszka | 每个文本 1.90 个 |
Fiszka 未给出任何主题的文本 | 13 |
部分差异是由于 Gemini 在我们的配置中根本没有的主题:机器学习、商业和政治。当我们将比较限制在 861 篇文本(Fiszka 在其中未使用任何这些主题)时,93% 的情况下出现了至少一个共同的主题。
使用类别的方式也不同。Gemini 将“评估”主题分配了 371 次,而 Fiszka 分配了 157 次。在我们的定义中,评估是指主要成果是用于评估他人模型的工具(例如基准或指标)的工作。在对手工标记的 arXiv 论文进行标记时,我们发现大约 17% 的文本属于此类;在周测试中,Gemini 将此类别分配给 29% 的文本,而 Fiszka 为 12%。
“自动化”主题在 Gemini 中出现了 142 次,在 Fiszka 中出现了 29 次。我们给 Gemini 的提示词包含一条规则:当其他都不合适时,选择自动化。实际上,这个类别因此在 Gemini 中变成了其他文本的包容性选择。
与 Gemini 的一致性并不意味着哪一方是对的。人工标记的文本用于这种比较。
相对于人工标记的结果
为了评估,我们使用了 F1 指标。它结合了两件事:模型是否找到了正确的主题,以及它是否没有添加错误的主题。测试文本是人工标记的,Fiszka 在训练期间没有看到它们。
测试集 | Fiszka 的 F1 |
|---|---|
第一个数据集,75 篇文本 | 0.51 |
第二个数据集,83 篇来自生产的更新文本 | 0.55 |
第二个独立数据集保持了类似的结果水平。在 2522 篇 arXiv 论文中,Fiszka 找到了作者自己分配的类别所产生的 80% 的主题。
Fiszka 从两个开源语言模型的标签中学习:DeepSeek 和 Nemotron。只有当两个模型都同意时,主题才会进入训练数据。在第二个数据集上,这些标签本身的 F1 为 0.51,而 Fiszka 为 0.55。在这个比较中,Fiszka 因此达到了它学习来源的标签质量。限制因素是这些标签的质量,而不是网络的大小。
在我们的测试中,Gemini 3.5 Flash Lite 标签在第一个数据集上的 F1 为 0.34,而 Fiszka 为 0.51。这是我们内部测试我们配置的结果,而不是对 Gemini 的评估:标签是通过我们的提示词和包含 13 个主题(没有商业和政治)的旧列表生成的。因此,部分差异归因于我们根本没有询问 Gemini 的主题。在我们的应用中,Fiszka 表现更好,这个数字仅此而已。Fiszka 没有从 Gemini 的标签中学习;我们仅将它们用于比较。
为什么我们发布 0.3 而不是 0.4
在发布之前,我们检查了版本 0.4。它具有相同的网络,但额外直接从文本中读取了 5000 个单词,并且有 337 211 个参数。在第一个数据集上,其 F1 为 0.486,而 0.3 为 0.510。在第二个数据集上,结果为 0.580,而 0.554。总体而言,这是一场平局。
我们还试图在 160 个手工标记的文本上进一步训练 Fiszka。F1 结果增加了 0.010,在偶然误差范围内。对于包含大约 80 个文本的数据集,0.03 左右的差异是噪声。因此,我们没有看到能够证明更改模型合理性的明显优势,并发布了 0.3。目前,我们已经结束了改进 Fiszka 的工作。当出现外部原因时,例如更多的人工标记文本或更强大的教师,我们会重新开始。
局限性
测试集很小:分别为 75 篇和 83 篇文本。每篇文本由一个人标记,他在几个主题(语言模型、评估、代理和 open source 等)上本身就可能是不一致的。Fiszka 分配“语言模型”主题的频率太低,因为其中一个教师模型很少选择它,并且很少有这样的标签进入训练。
我们在关于 AI 的英文文本上训练了该模型。我们未在其他语言或其他领域对其进行测试。它仅适用于完全相同输入格式的来自 EmbeddingGemma 2 的向量。
最后
该实验室由一个人运营,即 Creative AI Driven PM,没有正式的技术背景。他借助 AI 建立它,并记录什么有效,什么无效。
常见问题
与 Gemini 的一致性是否意味着 Fiszka 是正确的?
不是。在周测试中,我们测量了结果的一致性,它本身并不表明哪一方分配了正确的主题。为了评估 Fiszka,我们将其结果与模型在训练期间未见的人工标记文本进行了比较。
我们是否发布用于训练的文本和训练代码?
我们不发布用于训练的文本,因为这些是别人的文章。我们也没有分享与实验室代码库交织在一起的训练代码。我们计划在清理后的第二步中发布它。
Fiszka 的局限性是什么?
测试集包含 75 篇和 83 篇文本,每篇文本由一个人标记。我们在关于 AI 的英文文本上训练了 Fiszka,并且未在其他语言或领域对其进行测试。它仅适用于具有完全相同输入格式的 EmbeddingGemma 2 向量。
为什么我们发布版本 0.3 而不是 0.4?
0.4 和 0.3 的结果在各个数据集之间有所不同,总的来说是一场平局。在 160 个手工标记的文本上进行的额外训练使 F1 提高了 0.010,在偶然误差范围内。在如此小的数据集下,我们没有明显的理由更改模型。
如何引用
aipoc-lab. “Fiszka 0.3 jest publiczna. Model, karta i tydzień na produkcji obok Gemini”. 2026年11月14日. https://aipoclab.creativeaidrivenpm.com/posts/fiszka-0-3-jest-publiczna-model-karta-i-tydzien-na-produkcji-30442
BibTeX: @misc{aipoclab2026_30442, title = {Fiszka 0.3 jest publiczna. Model, karta i tydzień na produkcji obok Gemini}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/fiszka-0-3-jest-publiczna-model-karta-i-tydzien-na-produkcji-30442}, note = {Blog post}}
--- 本文由 aipoc-lab (AI) 实验室根据实验室自身的测量和结论笔记编写。人工编辑前的版本。
本文来源清单(JSON) — 基于哪些信号生成、各循环做出了哪些决策,以及人工何时批准。
相关文章
本地模型知识图谱:在我们的服务器上处理了 23 457 篇文本
我们将文本向量计算从 Gemini 迁移到本地运行的 EmbeddingGemma,在 72 秒内建成了包含 23 457 篇文本的新知识图谱。
今日AI:llama.cpp 1.0.0 与 Shield
本文介绍了llama.cpp 1.0.0更新、Shield代理、XYBench基准测试、Isaac Sim模拟以及Dyania Health的患者记录分析。
今日AI:ChatGPT Wallet 与 DeepSeek API
五项独立的AI发布展示了从购物验证和DeepSeek API到Google天气数据以及Wallet中Gemini功能的各种应用。
今日AI: DeepSeek V4.1-Flash 与 Kimi K3.1 Pro
本文盘点 DeepSeek V4.1-Flash、Kimi K3.1 Pro、Meta 语音 Muse、CarPlay 版 Gemini Live 及更新的 Gemini Omni 1.2 Flash。