aipoc-lab
/katTechnik/temEvaluierung · LLM/typAnalyse

KI heute für das visuelle Scannen. Wie wir Writer an einem Tag umgebaut haben

Urheberschaft und Freigabe

[KI-generierter Inhalt][Von einem Menschen freigegeben]

Veröffentlichung und Aktualisierung

Veröffentlicht: Aktualisiert:

Wir haben Writer, unsere Schreibschleife für die tägliche Übersicht „KI heute“, umgebaut. Anstatt sich auf das Zusammenfassen einzelner Quellen zu beschränken, erhält er nun Kontext aus der Textdatenbasis des Labors. In zwei Lesertests gewann die Version mit Kontext mit 13:2, und das kürzere Layout für das visuelle Scannen ebenfalls mit 13:2. Wir haben auch ein automatisches Maß überprüft — es hat nicht entschieden, welche Version besser ist.

Wichtigste Punkte

  • Writer nutzt jetzt Kontext, der unter 23 464 Texten mit EmbeddingGemma-Vektoren gesucht wird.
  • Im Lesertest gewann die Version mit Kontext mit 13:2, aber der erste Test war nicht vollständig blind.
  • Nach der Layout-Umstellung auf Überschrift, einen kurzen Einstieg und Aufzählungslisten waren die Beiträge um etwa 22% kürzer, und v4 gewann den zweiten Test mit 13:2.
  • Das automatische Maß der Satzähnlichkeit zeigte keinen Unterschied außerhalb des Rauschens.

Von Zusammenfassungen zum Laborkontext

Die tägliche Übersicht „KI heute“ wird von Writer erstellt: einer Schleife, die 2 bis 5 Nachrichten des Tages nimmt und jede einzeln beschreibt. Seine übergeordnete Anweisung lautete: „SCHREIBEN SIE NUR DAS, WAS IN DER QUELLE STEHT“. Dies schützte vor dem Hinzufügen unbestätigter Fakten, hatte aber auch einen Nebeneffekt: Jeder Punkt war praktisch die Zusammenfassung eines einzigen Artikels.

Die Google Search Console zeigte 177 Adressen mit dem Status „Geprüft – zurzeit nicht indexiert“ — Stand vom 6. November. Darunter befanden sich auch die polnischen Beiträge zu „KI heute“. Wir gingen von der Hypothese aus, dass unsere Zusammenfassungen nicht genug Neues bieten, da Google die Originalartikel bereits hat. Dies war der Ausgangspunkt, keine bestätigte Ursache für das Indexierungsproblem.

Writer erhält Laborwissen

In der Laborbasis haben wir 23 464 Texte mit EmbeddingGemma-Vektoren. Ein Vektor ist eine numerische Aufzeichnung des Inhalts, die das Suchen nach Texten ähnlicher Bedeutung erleichtert. Dasselbe lokale Modell verwenden wir in der Wissenskarte, über die wir in einem separaten Beitrag geschrieben haben.

Vor dem Schreiben jedes Eintrags erhält Writer nun bis zu 5 Texte aus den letzten 180 dni, ausgewählt anhand einer Vektorähnlichkeit von 0,60 bis 0,92. Texte mit einem Ergebnis über 0,92 werden übersprungen, da es sich meist um dieselbe Nachricht handelt, die in einem anderen Kanal bereitgestellt wurde. Der Kontext informiert auch darüber, ob wir über das jeweilige Material bereits im Blog geschrieben haben. Wenn ja, erhält Writer einen Link zu unserem Beitrag, und wenn nein — einen Link zur Quelle. Er erhält außerdem eine Liste von 15 KI-Wörterbuchkarten, die er beim Erklären von Begriffen wie Embedding oder RAG verwenden kann.

Wir haben die Arbeitsregel geändert: Fakten über die Nachricht sollen aus der Quelle stammen und Bezüge aus dem Laborkontext. Jeder Punkt hat nun den Absatz „Im Labor“, einen Satz über den Zusammenhang der Nachricht mit dem, was wir zuvor gesammelt haben, zusammen mit Datum und Link.

Wir haben auch ein Link-Gateway im Code hinzugefügt. Im Text verbleiben nur Adressen, die Writer im Kontext erhalten hat. Wenn er eine erfundene oder abgeschnittene Adresse generiert, entfernen wir den Link und behalten nur seinen Text. Eine zweite Instanz des Modells, die Fakten überprüft, verifiziert nun auch den Absatz „Im Labor“ basierend auf dem Kontext.

Drei Iterationen vor dem Test

Wir haben das gute Format nicht beim ersten Mal getroffen. In v1 haben wir Zahlen hinzugefügt, die den Inhalt der Basis beschreiben. Ein Beispielsatz besagte, dass Materialien aus der Kategorie Policy 3 von 7 229 gesammelten Texten ausmachten, also 0%. Wir hielten dies für Rauschen und warfen solche Statistiken weg. Zusätzlich landete dasselbe Material, das in einem anderen Kanal gefunden wurde, als „früher“ im Text.

In v2 traten Probleme mit Links und Beschreibungen auf: Writer fügte einen Link (#) ein, der ins Nirgendwo führte, schnitt die Adresse unseres Beitrags so ab, dass sie mit 404 endete, und schrieb „wir haben beschrieben“ über Texte, die wir lediglich gesammelt hatten. Wir haben daher ein Link-Gateway eingeführt und die Regel, dass wir „wir haben beschrieben“ nur dann schreiben dürfen, wenn unser Beitrag existiert.

Erst v3 ging ohne diese Fehler in den ersten Test. Writer nutzt GPT-6 Luna über OpenRouter. Wir haben das Modell weder geändert noch „trainiert“ — wir haben die Informationen geändert, die es vor dem Schreiben erhält.

Erster Test: Die Version mit Kontext

Wir haben den alten Writer mit der Version verglichen, die den Kontext nutzt. Wir haben dieselben Quellen vom 6., 7. und 8. November verwendet: je 5 Nachrichten pro Tag, also 15 Nachrichtenpaare. Die Versionen wurden in zufälliger Reihenfolge gezeigt, und der Leser wählte die bessere aus. Im Lesertest gewann die Version mit Kontext mit 13:2. Die Entscheidungen bezüglich TL;DR verteilten sich auf 2:1.

Dieser Test war nicht vollständig blind: Die neue Version wurde durch den Absatz „Im Labor“ verraten. Das Ergebnis besagt, dass in diesem Vergleich der Text mit dem Laborkontext besser abschnitt. Es lässt keinen Schluss auf die Sprache selbst zu oder darauf, dass wir bereits einen Beweis für eine verbesserte Indexierung haben.

Nach dem Test hörten wir auch, dass die Texte immer noch trocken klingen, wie von einem Chefredakteur redigiert, und zu lang sind. Tägliche Nachrichten lassen sich leichter visuell scannen, als sie von Anfang bis Ende zu lesen.

V4: Zuerst das Wesentliche, dann die Details

Daher haben wir in v4 das Prinzip der schrittweisen Offenlegung von Informationen angewendet: Die Überschrift und die ersten beiden Sätze sollen das Wesentliche vermitteln, und der weitere Teil ist für Personen gedacht, die Details erfahren möchten. Die Überschrift nennt die gesamte Nachricht, am besten zusammen mit einer Zahl. Der Einstieg hat bis zu 45 Wörter und enthält einen fettgedruckten Fakt. Weiter unten erscheint eine Liste von 2 bis 5 Details, ein Satz „Im Labor“ sowie 1–2 Sätze unter der Überschrift „Für Entwickler mit KI“.

Wir haben auch den Ton der Anweisung geändert: Der Text soll wie eine Geschichte für einen Branchenbekannten klingen. Die Sätze sollen kurz und aktiv sein, ohne Füllwörter. Drei Testbeiträge von v4 hatten 1223, 1265 und 1299 Wörter. Die v3-Versionen hatten entsprechend 1611, 1715 und 1590 Wörter. Die neuen waren somit um etwa 22% kürzer.

Im zweiten Versuch haben wir v3 mit v4 an denselben 15 Positionen verglichen. Beide Versionen enthielten „Im Labor“, sodass dieser Absatz nicht mehr verriet, welche davon der Leser betrachtete. Sichtbar war die Aufzählungsliste in v4 — genau dieses Layout war die getestete Änderung. V4 gewann mit 13:2, und beim Vergleich von TL;DR und Reels-Sätzen betrug das Ergebnis 2:1.

V3 gewann in zwei Fällen, die beide stark technische Themen betrafen: AMDs Tool zur Konfiguration des LLM-Samplings und die Methode des wiederholbaren Inferenzierens BlockLock. Möglicherweise liest sich bei solchen Materialien fortlaufender Text besser als eine Liste. Wir werden dies bei echten Beiträgen überprüfen.

Den Unterschied sieht man auch am Beispiel vom 8. November. Die alte Überschrift besagte, dass ROCm InferaSim LLM-Bereitstellungskonfigurationen schätzt. In v4 schrieben wir: „AMD InferaSim prognostiziert 226 Konfigurationen nach 11 Messungen“. Der Einstieg gab an, dass 11 Messungen es ermöglichten, die Leistung von 226 Konfigurationen vorherzusagen. In der Detailiste befand sich die Information, dass Messungen auf dem AMD Instinct MI355X 9,1 GPU-Stunden und vollständige Tests von 226 Konfigurationen 204 GPU-Stunden beanspruchten. Der Absatz „Im Labor“ bezog sich auf unseren Text über Hyperloom, ein System aus vielen Agenten zur automatischen Abstimmung der Inferenz auf AMD-GPUs.

Das automatische Maß hat nicht entschieden

Wir versuchten zu zählen, wie viele Sätze des Beitrags die Quelle „abschreiben“. Für jeden Satz suchten wir nach der höchsten Vektorähnlichkeit zu den Quellensätzen. EmbeddingGemma ist mehrsprachig, sodass man damit einen polnischen Satz mit einer englischen Quelle vergleichen kann.

Der alte Writer erzielte im Durchschnitt 0,894, und praktisch jeder Satz überschritt 0,70. Die neue Version erzielte 0,873. Der Unterschied lag im Bereich des Rauschens. Vektoren messen die Ähnlichkeit des Themas und nicht, ob ein Satz den anderen abschreibt. Daher konnte auch der Satz „Im Labor“ zum selben Thema ein hohes Ergebnis erzielen. In diesem Vergleich entschied die Leserbewertung und keine automatische Zahl.

Kosten und weitere Überprüfungen

Der gesamte Test, der etwa 13 Writer-Läufe auf einer Testkopie ohne Datenbankschreibvorgänge umfasste, kostete etwa 0,20 $. Ein Lauf vor der Änderung kostete 0,0088 $. Die Kosten nach der Änderung werden wir beim ersten echten Beitrag messen.

Der neue Writer ist seit dem Morgen des 10. November in der Produktion, und die heutige Übersicht „KI heute“ ist bereits in dieser Version vorbereitet. Wenn das Abrufen des Kontextes aus der Basis fehlschlägt, stoppt Writer die Arbeit nicht: Er schreibt wie zuvor, ohne den Absatz „Im Labor“.

In etwa 2 Wochen werden wir in der Google Search Console überprüfen, ob die neuen Beiträge zu „KI heute“ in den Index aufgenommen werden. Der nächste Schritt bezüglich der Stimme könnte darin bestehen, sie auf echten Aussagen des Laborleiters zu basieren. Das KI-Wörterbuch enthält vorerst 15 Karten, und Writer verlinkte in Tests hauptsächlich auf zwei. Begriffe, die er ohne Karte erklärte, bildeten eine Warteschlange von Themen zur Ergänzung.

Zum Schluss

Das Labor aipoc-lab wird von Creative AI Driven PM zusammen mit KI betrieben. Dieser Beitrag entstand, genau wie das gesamte Labor, in dieser Zusammenarbeit.

Häufig gestellte Fragen

Was haben wir bei Writer geändert?

Vor dem Schreiben jeder Nachricht erhält Writer nun den in der Laborbasis gesuchten Kontext: bis zu 5 ähnliche Texte aus den letzten 180 dni, Informationen über unsere früheren Beiträge und eine Liste mit 15 KI-Wörterbuchkarten. Fakten über die Nachricht sollen weiterhin aus der Quelle stammen.

Wie sind die Lesertests ausgefallen?

Im ersten Test gewann die Version mit Kontext mit 13:2, aber der Test war nicht vollständig blind, da der Absatz „Im Labor“ die neue Version verriet. Im zweiten gewann v4 gegen v3 mit 13:2. Damals hatten beide Versionen den Absatz „Im Labor“, aber die Aufzählungsliste in v4 war sichtbar.

Hat das automatische Maß die Verbesserung bestätigt?

Nein. Der alte Writer erzielte im Durchschnitt 0,894 und der neue 0,873 — der Unterschied lag im Bereich des Rauschens. Vektoren maßen die Ähnlichkeit des Themas, nicht das Abschreiben der Quelle, weshalb die Ergebnisse nicht entschieden, welche Version den eigenen Kontext besser von der Quelle trennt.

Wie viel hat der Test gekostet und was prüfen wir als Nächstes?

Etwa 13 Writer-Läufe auf einer Testkopie, ohne Schreibvorgänge in die Basis, kosteten etwa 0,20 $. In etwa 2 Wochen werden wir in der Google Search Console überprüfen, ob die neuen Beiträge zu „KI heute“ in den Index gelangen. Die Kosten der neuen Version werden wir beim ersten echten Beitrag messen.

Zitierweise

aipoc-lab. „KI heute für das visuelle Scannen. Wie wir Writer an einem Tag umgebaut haben“. 9. November 2026. https://aipoclab.creativeaidrivenpm.com/posts/ai-dzis-do-czytania-wzrokiem-jak-przebudowalismy-writera-w-j-29080

BibTeX: @misc{aipoclab2026_29080, title = {„AI dziś” do czytania wzrokiem. Jak przebudowaliśmy Writera w jeden dzień}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/ai-dzis-do-czytania-wzrokiem-jak-przebudowalismy-writera-w-j-29080}, note = {Blog post}}

--- Text vorbereitet vom Labor aipoc-lab (KI) basierend auf einer eigenen Labornotiz mit Messungen und Schlussfolgerungen. Version vor menschlicher Redaktion.

Herkunftsmanifest dieses Beitrags (JSON) — aus welchen Signalen er entstand, welche Entscheidungen die Schleifen trafen und wann ein Mensch ihn freigab.

Verwandte Beiträge

/katWirtschaft/temAutomatisierung · Evaluierung · LLM/podAnthropic/typNachrichten

KI heute: Anthropic und das RAG-RST-Framework

Ein aktueller Überblick über den Anthropic Public Benefit Fund sowie das neue RAG-RST-Framework zur Optimierung der Diskursstrukturanalyse.

/katTechnik/temAgenten · Evaluierung · LLM/podGoogle · OpenAI/typNachrichten

KI heute: EmbeddingGemma 2 und Mistral Large 4

Der Tag brachte Premieren neuer Modelle, während die Finanz- und Rechtsbranche fortschrittliche OpenAI-Technologien zur Automatisierung einsetzt.