Modell-Evaluierung

Arten der Evaluierung

• Öffentliche Benchmarks: dieselben Aufgaben für alle Modelle. Gut für Vergleiche, sagen wenig über Ihren konkreten Anwendungsfall aus.
• Eigene Tests: Fragen aus Ihrem Fachgebiet und Regeln dafür, was eine gute Antwort ist. Diese zeigen, ob der Chat für Ihre Kunden geeignet ist.
• Red Teaming: hunderte Angriffe, um Schwachstellen der Anwendung zu finden.
• Übereinstimmung mit menschlichen Bewertungen: bewertet das System genauso, wie es ein Experte tun würde?

Wie macht unser Labor das?

• Chat-Tests mit harten Regeln (promptfoo): Fragen zu Wissen, Missbrauch, Angriffen und Konversation. Regeln werden durch Code geprüft, ohne Modell als Schiedsrichter, daher ist das Ergebnis reproduzierbar: 52/52 (27.10.2026).
• Red Teaming: 512 Einzelnachrichten-Angriffe und 36 mehrstufige Gespräche, null Leaks.
• Chat-Schwellenwert aus Messung: 30 relevante und 6 fremde Fragen legten den Schwellenwert auf 0,764 fest.
• Auswahl von Vektormodellen durch Messung: 18 Fragen, der richtige Text in den Top 5, 18 von 18 Mal.
• Quellenbewertung im Einklang mit Menschen: Ein Automat, der die wichtigsten Texte des Tages auswählt, wurde mit 15 menschlichen Bewertungen verglichen. Alte Gewichtungen ergaben eine Übereinstimmung von 0,05 (praktisch zufällig, bevorzugten Abstracts wissenschaftlicher Arbeiten). Nach Anpassung der Gewichtungen: 0,62.

Wie fängt man bei sich an?

1. Sammeln Sie 20–30 echte Kundenfragen und 5–10 Fragen, die der Chat ablehnen muss.
2. Definieren Sie für jede eine Regel: es muss eine Quelle geben, eine konkrete Information muss genannt werden, es darf keinen Link geben.
3. Führen Sie die Tests vor jeder Änderung des Prompts, des Modells oder der Wissensdatenbank durch.
4. Fügen Sie Red Teaming vor der Implementierung hinzu, nicht erst nach dem ersten Vorfall.