aipoc-lab
/katTech/temEvaluation · LLM/typAnalysis

今日AI:适合目测阅读。我们如何在一天内重构了 Writer

作者与批准

[AI 生成内容][经人工批准]

发布与更新

发布: 更新:

要点

  • Writer 现在利用 EmbeddingGemmy 向量在 23 464 篇文本中检索到的语境。
  • 在读者测试中,带语境的版本以 13:2 胜出,但第一次测试并非完全盲测。
  • 在将布局更改为标题、简短开篇和项目符号列表后,文章缩短了约 22%,v4 在第二次测试中以 13:2 胜出。
  • 句子相似度的自动测量没有显示出超出噪声范围的差异。

从摘要到实验室语境

每日“今日AI”综述由 Writer 编写:这是一个获取 2 到 5 条当日新闻并分别描述的循环。它的首要指令是:“只写源头中有的内容”。这可以防止添加未经证实的客观事实,但也有副作用:每个条目实际上都只是对一篇文章的摘要。

截至 11 月 6 日,Google Search Console 显示有 177 个地址处于“已抓取 - 尚未编入索引”状态。其中包括波兰语的“今日AI”条目。我们的假设是,既然 Google 已经有了原始文章,我们的摘要就没有提供足够的新内容。这是出发点,而不是索引问题得到确认的原因。

Writer 获得实验室知识

在实验室数据库中,我们有 23 464 篇带有 EmbeddingGemmy 向量的文本。向量是内容的数字记录,有助于搜索语义相似的文本。我们在知识图谱中使用了相同的本地模型,正如我们在单独的文章中所写的那样。

在编写每个条目之前,Writer 现在最多可以获得来自过去 180 天的 5 篇文本,这些文本是通过 0.60 到 0.92 之间的向量相似度选择的。得分高于 0.92 的文本将被跳过,因为它们通常是通过其他渠道提供的相同新闻。语境还告知是否已经在博客上写过该材料。如果是这样,Writer 会获得我们文章的链接,如果没有,则会获得源链接。它还接收包含 15 张 AI 词典卡片的列表,在解释诸如 embedding 或 RAG 等概念时可以使用这些卡片。

我们改变了工作规则:新闻事实必须来自源头,而提及内容必须来自实验室语境。每个条目现在都有一个“在实验室中”段落,这是一句关于新闻与我们之前收集的内容之间关系的话,并附有日期和链接。

我们还在代码中添加了链接网关。文本中只保留 Writer 在语境中获得的地址。如果它生成虚构或截断的地址,我们会删除链接,但保留其文本。检查事实的模型的第二个实例现在还根据语境验证“在实验室中”段落。

测试前的三个迭代

我们第一次并没有找到好的格式。在 v1 中,我们添加了描述数据库内容的数字。一个示例句子说,来自 policy 类别的材料占收集的 7229 篇文本中的 3 篇,即 0%。我们认为这是噪声并丢弃了此类统计数据。此外,在另一个渠道中找到的相同材料作为“早期”材料进入了文本。

在 v2 中,出现了链接和描述方面的问题:Writer 插入了通往虚无的链接 (#),截断了我们文章的地址,使其以 404 结尾,并且对我们仅收集的文本写了“我们描述了”。因此,我们引入了链接网关和一条规则,即只有在我们有文章存在时才能写“我们描述了”。

直到 v3 才在没有这些错误的情况下通过了第一次测试。Writer 通过 OpenRouter 使用 GPT-6 Luna。我们没有更改模型,也没有“训练”它——我们更改了它在写作前收到的信息。

第一次测试:带语境的版本

我们将旧的 Writer 与使用语境的版本进行了比较。我们使用了 11 月 6 日、7 日和 8 日的相同来源:每天 5 条新闻,即 15 对条目。版本以随机顺序显示,读者选择较好的一个。在读者测试中,带语境的版本以 13:2 胜出。关于 TL;DR 的选择比例为 2:1。

该测试并非完全盲测:“在实验室中”段落暴露了新版本。结果表明,在此比较中,带语境的文本表现更好。它不允许得出关于语言本身的结论,也不允许得出我们已经有了改进索引证据的结论。

测试结束后,我们还听说文本听起来仍然很干瘪,就像总编辑编辑的一样,而且太长了。每日新闻更容易用眼睛扫描,而不是从头到尾阅读。

V4:核心先行,细节随后

因此,在 v4 中,我们应用了渐进式信息披露原则:标题和前两句话旨在传达核心,其余部分适合想要了解细节的人。标题提供整个新闻,最好连同数字一起。开篇最多 45 个字,包含一个加粗的事实。接下来是一个包含 2 到 5 个细节的列表、一句“在实验室中”以及标题“为使用 AI 构建者”下的 1–2 句话。

我们还改变了指令的语调:文本听起来应该像是对业内朋友的讲述。句子应该简短且主动,没有填充词。v4 的三个测试条目的字数分别为 1223、1265 和 1299 个字。v3 的版本分别为 1611、1715 和 1590 个字。因此,新版本缩短了约 22%。

在第二次试验中,我们在相同的 15 个位置上比较了 v3 和 v4。这两个版本都包含“在实验室中”,因此该段落不再泄露读者正在查看哪一个。v4 中的项目符号列表是可见的——正是列表布局构成了被测试的更改。V4 以 13:2 胜出,而在 TL;DR 和短视频句子的比较中,比率为 2:1。

V3 在两种情况下获胜,都涉及高度技术性的主题:AMD 用于配置 LLM 服务工具以及 BlockLock 可重复推理方法。可能对于此类材料,连续文本比列表更好读。我们将在真实条目上对其进行测试。

11 月 8 日的例子中也可以看出差异。旧标题说 ROCm InferaSim 估计 LLM 服务配置。在 v4 中,我们写道:“AMD InferaSim 在 11 次测量后预测了 226 种配置”。开篇指出,11 次测量可以预测 226 种配置的性能。在细节列表中,有信息称 AMD Instinct MI355X 上的测量耗费了 9.1 个 GPU 小时,而 226 种配置的完整测试耗费了 204 个 GPU 小时。“在实验室中”段落提到了我们关于 Hyperloom 的文章,这是一个用于在 AMD GPU 上自动调整推理的多智能体系统。

自动测量未分出胜负

我们试图计算条目的句子“抄袭”了多少来源。对于每个句子,我们寻找与源句子最高向量相似度。EmbeddingGemma 是多语言的,因此您可以用它将波兰语句子与英语源进行比较。

旧的 Writer 平均得分为 0.894,几乎每个句子都超过 0.70。新版本得分为 0.873。差异在噪声范围内。向量测量的是主题的相似性,而不是一个句子是否抄袭了另一个句子。因此,关于相同主题的“在实验室中”句子也可以获得高分。在此比较中,决定胜负的是读者评估,而不是自动数字。

成本与进一步检查

整个测试在测试副本上包含大约 13 次 Writer 运行,没有写入数据库,花费约为 0.20 $。更改前的运行花费了 0.0088 $。更改后的成本将在第一个真实条目时进行测量。

新 Writer 从 11 月 10 日上午开始投入生产运行,今天的“今日AI”综述已经在此版本中准备就绪。如果从数据库中获取语境失败,Writer 不会停止工作:它像以前一样写作,没有“在实验室中”段落。

大约 2 周后,我们将在 Google Search Console 中检查新的“今日AI”条目是否进入了索引。关于声音的下一步可能在于将其建立在实验室负责人的真实陈述之上。AI 词典目前包含 15 张卡片,而 Writer 在测试中主要链接了其中两张。未经卡片解释的概念形成了一系列需要补充的主题。

最后

aipoc-lab 实验室由 Creative AI Driven PM 与 AI 共同运营。这篇文章与整个实验室一样,是在这种合作中创建的。

常见问题解答

我们在 Writer 中改变了什么?

在编写每条消息之前,Writer 现在获得在实验室数据库中检索到的语境:来自过去 180 天的多达 5 个相似文本、有关我们早期文章的信息以及 15 张 AI 词典卡片的列表。关于消息的事实仍然必须来自源头。

读者测试结果如何?

在第一次测试中,带语境的版本以 13:2 胜出,但测试并非完全盲测,因为“在实验室中”段落泄露了新版本。在第二次测试中,v4 以 13:2 击败了 v3。当时两个版本都有“在实验室中”段落,但 v4 中的项目符号列表是可见的。

自动测量是否证实了改进?

没有。旧的 Writer 平均得分为 0.894,新的为 0.873——差异在噪声范围内。向量测量的是主题相似性,而不是源抄袭,因此结果并未决定哪个版本更好地将自己的语境与源头分开。

测试花费了多少,接下来我们要检查什么?

在测试副本上运行大约 13 次 Writer(未写入数据库)花费了大约 0.20 $。大约 2 周后,我们将在 Google Search Console 中检查新的“今日AI”条目是否进入了索引。新版本的成本将在第一个真实条目时进行测量。

如何引用

aipoc-lab. „„AI dziś” do czytania wzrokiem. Jak przebudowaliśmy Writera w jeden dzień”. 9 listopada 2026. https://aipoclab.creativeaidrivenpm.com/posts/ai-dzis-do-czytania-wzrokiem-jak-przebudowalismy-writera-w-j-29080

BibTeX: @misc{aipoclab2026_29080, title = {„AI dziś” do czytania wzrokiem. Jak przebudowaliśmy Writera w jeden dzień}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/ai-dzis-do-czytania-wzrokiem-jak-przebudowalismy-writera-w-j-29080}, note = {Blog post}}

--- 本文由 aipoc-lab (AI) 实验室根据实验室自带测量和结论的笔记编写。人类编辑前版本。

本文来源清单(JSON) — 基于哪些信号生成、各循环做出了哪些决策,以及人工何时批准。

相关文章

/katBusiness/temAutomation · Evaluation · LLM/podAnthropic/typNews

今日AI:Anthropic与RAG-RST框架

本文介绍了Anthropic设立公共利益基金以及RAG-RST框架在优化语言模型话语结构分析方面的最新研究进展。