Jak czytać benchmarki modeli AI

„Nowy model wyprzedza nasz obecny o kilka punktów w rankingu. Czy to wystarczający powód do migracji?” Zanim padnie odpowiedź, trzeba sprawdzić, skąd te punkty pochodzą. Benchmarki, czyli publiczne zestawy zadań testowych, mają sens jako narzędzie badawcze. Tracą go, gdy wynik z laboratorium trafia na slajd sprzedażowy jako prognoza tego, jak model poradzi sobie z fakturami, umowami albo zgłoszeniami serwisowymi konkretnej firmy.

Za większość rozjazdu między rankingiem a pracą w firmie odpowiadają trzy mechanizmy.

Kontaminacja: model zna odpowiedzi

Benchmarki publikuje się w internecie, a dane treningowe zbiera się z internetu. Im dłużej zestaw testowy krąży publicznie, tym większa szansa, że model widział już zadania albo ich rozwiązania podczas treningu.

W maju 2024 Scale AI przygotowało GSM1k, 1205 nowych zadań z matematyki szkolnej dopasowanych do popularnego zestawu GSM8K pod względem trudności, liczby kroków i długości treści.¹ Najbardziej przeuczone rodziny modeli traciły na świeżych zadaniach do kilkunastu p.p., modele czołowe znacznie mniej. Przeuczony model nadal rozwiązuje nowe zadania, tylko słabiej, niż obiecywał wynik z publicznego zestawu.

Podobnie było z SWE-bench Verified (software engineering benchmark), zestawem 500 zgłoszeń z repozytoriów open source, który przez dwa lata pełnił funkcję nieoficjalnej tablicy wyników dla programowania. W lutym 2026 OpenAI ogłosiło, że przestaje raportować wyniki na tym zestawie, bo narastająca kontaminacja i wady samych testów sprawiły, że różnice na górze tabeli przestały nieść informację. Jako alternatywę wskazano SWE-bench Pro, wydany przez Scale AI we wrześniu 2025, w którym część zadań trzymana jest w puli zamkniętej. Przy premierze najlepsze modele osiągały tam poniżej 25% skuteczności.²

Benchmark mierzy inną umiejętność

MMLU (Massive Multitask Language Understanding), przez lata najczęściej cytowany zestaw ogólnej wiedzy, to pytania wielokrotnego wyboru z 57 dziedzin. W 2024 roku zespół badawczy przejrzał ręcznie próbkę 5700 pytań i opublikował poprawioną wersję pod nazwą MMLU-Redux.³ Oszacował, że ok. 6,5% pozycji zawiera błędy, od złego klucza odpowiedzi po pytania niejednoznaczne. W wirusologii wadliwa okazała się ponad połowa przejrzanych pozycji, a po odfiltrowaniu błędnych pytań kolejność modeli w rankingu potrafiła się zmienić.

• 5700pytań MMLU przejrzanych ręcznie przez zespół MMLU-Redux
• ok. 6,5%pozycji z błędem: zły klucz odpowiedzi albo pytanie niejednoznaczne
• ponad 50%wadliwych pozycji w przejrzanej części z wirusologii

Nawet przy poprawnym kluczu zostaje różnica cięższego kalibru. Zadanie w firmie rzadko ma cztery warianty do wyboru. Częściej jest to dwadzieścia stron skanu słabej jakości, żargon branżowy, wewnętrzne skróty, wymóg wskazania źródła każdej liczby i konsekwencja wyniku widoczna dopiero w księgach. Umiejętność wybrania właściwej odpowiedzi z listy tylko częściowo przekłada się na taką pracę.

Wariancja: ten sam model, różne wyniki

Wynik benchmarku opisuje model razem z jego otoczeniem: promptem systemowym, dostępnymi narzędziami, liczbą prób, sposobem weryfikacji odpowiedzi i limitem tokenów. W zadaniach agentowych ta warstwa odpowiada za dużą część różnicy między publikowanymi wynikami, a bywa opisana jednym zdaniem w przypisie.

Większość pozycji na publicznych tablicach pochodzi od samych dostawców i nigdy nie została niezależnie powtórzona. W kwietniu 2025 badacze z Cohere Labs, AI2 i kilku uczelni opisali w analizie „The Leaderboard Illusion” praktykę testowania wielu prywatnych wariantów modelu przed publikacją i pokazywania tylko najlepszego z nich. Przed premierą Llamy 4 Meta przetestowała w ten sposób 27 wariantów.⁴ Organizatorzy rankingu część zarzutów przyjęli, część zakwestionowali, ale mechanizm selekcji wyników pozostaje problemem, z którym czytelnik rankingu zostaje sam.

Modele zmieniają się też pod stałą nazwą. Aktualizacja wersji albo zmiana domyślnych parametrów potrafi przesunąć zachowanie na zadaniach brzegowych, więc tabela sprzed kwartału opisuje już trochę inny model.

Własny zestaw testowy

Alternatywa jest mniej efektowna i znacznie skuteczniejsza:

Przygotowanie takiego zestawu zajmuje od jednego do trzech dni pracy osoby znającej dziedzinę. Przy 50 przypadkach różnice rzędu kilku p.p. nie mają znaczenia, ale zestaw pewnie odróżnia model, który radzi sobie z dokumentami firmy, od takiego, który sobie nie radzi.

Cztery pytania przed cytatem

Gdy tabela z rankingiem i tak trafia na spotkanie, przechodzi przez krótki filtr:

1. Kto zgłosił wynik i czy powtórzył go ktoś niezależny.
2. Kiedy powstał zestaw zadań i czy mógł już trafić do danych treningowych.
3. Czy zestaw ma pulę zamkniętą, która pozwala wykryć przeuczenie.
4. Jak opisano warunki testu: prompt, narzędzia i liczbę prób.

Ranking wystarczy, żeby zawęzić listę kandydatów z dwudziestu do trzech. Decyzja o tym, który z tej trójki trafi do produkcji, zapada na własnych danych firmy. Przegląd kandydatów i plan własnego zestawu testowego omawiamy w ramach Konsultacji AI.

Najczęstsze pytania