Ewaluacja modeli AI: jak testować chatbota, zanim zobaczą go klienci

Ewaluacja modeli (ang. evals) to systematyczne mierzenie, czy model AI albo zbudowana na nim aplikacja działa tak, jak powinna: zestaw pytań z oczekiwanymi wynikami, reguły oceny i liczba na końcu. Zamiast „wydaje się, że działa” masz „przeszło 52 z 52 testów”.

Rodzaje ewaluacji

Benchmarki publiczne: te same zadania dla wszystkich modeli. Dobre do porównań, słabo mówią o Twoim zastosowaniu.
Testy własne: pytania z Twojej dziedziny i reguły, co jest dobrą odpowiedzią. To one mówią, czy czat nadaje się dla Twoich klientów.
Red team: setki ataków, żeby znaleźć, gdzie aplikacja pęka.
Zgodność z oceną człowieka: czy automat ocenia tak, jak oceniłby ekspert.

Jak to robi nasz lab?

Testy czatu z twardymi regułami (promptfoo): pytania o wiedzę, nadużycia, ataki i rozmowę. Reguły sprawdza kod, bez modelu-sędziego, więc wynik jest powtarzalny: 52/52 (27.10.2026).
Red team: 512 ataków jednowiadomościowych i 36 rozmów wieloturowych, zero wycieków.
Próg czatu z pomiaru: 30 pytań na temat i 6 obcych wyznaczyły próg 0,764.
Wybór modelu wektorów pomiarem: 18 pytań, właściwy tekst w pierwszej piątce 18 razy na 18.
Ocena źródeł zgodna z człowiekiem: automat, który wybiera najważniejsze teksty dnia, porównaliśmy z 15 ocenami człowieka. Stare wagi dawały zgodność 0,05 (praktycznie losowo, faworyzowały abstrakty prac naukowych). Po zmianie wag: 0,62.

Jak zacząć u siebie?

Zbierz 20–30 prawdziwych pytań klientów i 5–10 takich, na które czat ma odmówić.
Dla każdego zapisz regułę: musi być źródło, musi paść konkretna informacja, nie może być linku.
Puszczaj testy przed każdą zmianą promptu, modelu albo bazy wiedzy.
Dołóż red team przed wdrożeniem, nie po pierwszym incydencie.

Powiązane pojęcia

Prompt injection · Halucynacje AI · Sykofancja AI · RAG

Pytania i odpowiedzi

Czym różni się benchmark od ewaluacji?

Benchmark to gotowy, publiczny zestaw testów. Ewaluacja to szerszy proces, w którym benchmark może być jednym z elementów obok testów własnych.

Czy ocenę może robić inny model AI?

Tak (tzw. LLM jako sędzia), ale taki sędzia też się myli. Co da się sprawdzić kodem, sprawdzaj kodem.

Ile testów wystarczy?

Na start 30–50 dobrze dobranych przypadków daje więcej niż 1 000 losowych. Ważniejsze, żeby puszczać je przy każdej zmianie.

Źródła

promptfoo: dokumentacja testów i red teamu aplikacji LLM
Zheng i in.: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv:2306.05685
Pomiary labu: zgodność Reviewera z oceną człowieka (23.09.2026), testy czatu (21–28.10.2026)