Jak czytać benchmarki modeli AI bez kupowania marketingu

Do rozmów o wyborze modelu AI coraz częściej wchodzi się z wydrukiem rankingu. Ktoś pokazuje tabelę, w której nowy model wyprzedza obecny o kilka p.p., i pyta, czy to wystarczający powód do migracji. Uczciwa odpowiedź wymaga cofnięcia się o krok i sprawdzenia, skąd te p.p. w ogóle pochodzą.

Benchmarki mają sens jako narzędzie badawcze. Kłopot zaczyna się wtedy, gdy wynik z laboratorium trafia na slajd sprzedażowy i zaczyna udawać prognozę tego, jak model poradzi sobie z fakturami, umowami albo zgłoszeniami serwisowymi konkretnej firmy. Za większość rozjazdu między jednym a drugim odpowiadają trzy mechanizmy.

Kontaminacja: model zna klucz

Benchmarki publikuje się w internecie. Dane treningowe zbiera się z internetu. Dalszy ciąg tej historii jest przewidywalny: im dłużej zestaw testowy krąży publicznie, tym większa szansa, że model widział już zadania albo ich rozwiązania podczas treningu.

Skalę zjawiska dobrze pokazało badanie Scale AI z maja 2024. Zespół przygotował GSM1k, 1205 nowych zadań z matematyki szkolnej¹, dopasowanych do popularnego zestawu GSM8K pod względem trudności, liczby kroków i długości treści. Najbardziej przeuczone rodziny modeli traciły na świeżych zadaniach do kilkunastu p.p., modele czołowe znacznie mniej. Wniosek jest umiarkowany: przeuczony model nadal potrafi rozwiązywać nowe zadania, po prostu słabiej, niż obiecywał wynik z publicznego zestawu.

Podobna historia rozegrała się na SWE-bench Verified (software engineering benchmark), zestawie 500 zgłoszeń wziętych żywcem z repozytoriów open source, który przez dwa lata pełnił funkcję nieoficjalnej tablicy wyników dla programowania. W lutym 2026 OpenAI opublikowało wyjaśnienie, dlaczego przestaje raportować wyniki na tym zestawie: narastająca kontaminacja oraz wady samych testów sprawiły, że różnice na górze tabeli przestały nieść informację. Jako sensowniejszą alternatywę wskazano SWE-bench Pro, wydany przez Scale AI we wrześniu 2025, gdzie część zadań trzymana jest w puli zamkniętej właśnie po to, żeby dało się wykryć przeuczenie. Przy premierze najlepsze modele schodziły tam poniżej 25% skuteczności.²

Praktyczny wniosek dla kupującego: data powstania zestawu testowego jest równie ważna, jak wynik. Zestaw z 2021 roku, na którym czołowe modele od dawna ocierają się o sufit skali, mierzy głównie to, jak dobrze materiał został zapamiętany.

Benchmark mierzy inną umiejętność

MMLU (Massive Multitask Language Understanding), przez lata najczęściej cytowany zestaw ogólnej wiedzy, to kilkanaście tysięcy pytań wielokrotnego wyboru z 57 dziedzin. W 2024 roku zespół badawczy przejrzał ręcznie próbkę 5700 pytań i opublikował poprawioną wersję pod nazwą MMLU-Redux.³ Oszacowanie: ok. 6,5% pozycji zawiera błędy, od złego klucza odpowiedzi po pytania niejednoznaczne lub mające kilka poprawnych wariantów. W niektórych działach było dużo gorzej, w wirusologii wadliwa okazała się ponad połowa przejrzanych pozycji. Po odfiltrowaniu błędnych pytań kolejność modeli w rankingu potrafiła się zmienić.

Nawet przy idealnym kluczu odpowiedzi zostaje różnica cięższego kalibru. Firmowe zadanie rzadko ma cztery warianty do wyboru. Zwykle wygląda tak: dwadzieścia stron skanu w jakości z 2013 roku, żargon branżowy, wewnętrzne skróty, wymóg wskazania źródła każdej liczby i konsekwencja wyniku widoczna dopiero w księgach. Zdolność wybrania właściwej odpowiedzi z listy koreluje z taką pracą tylko częściowo.

Pułapka	Jak wygląda	Co zrobić przed zakupem
Kontaminacja zestawu	Wynik rośnie, a praca nie	Sprawdzić datę powstania zestawu
Błędy w kluczu odpowiedzi	Ranking zmienia się po korekcie	Zapytać, na której wersji zestawu liczono
Inna umiejętność niż firmowa	Pytania wielokrotnego wyboru wobec skanu na 20 stron	Zbudować własny zestaw z dokumentów firmy
Zamknięta pula zadań	Brak możliwości wykrycia przeuczenia	Preferować zestawy z częścią niepubliczną

Wariancja: ten sam model, różne wyniki

Trzeci mechanizm bywa najbardziej niedoceniany. Wynik benchmarku opisuje nie tylko model, ale całą obudowę wokół niego: prompt systemowy, dostępne narzędzia, liczbę prób, sposób weryfikacji odpowiedzi, limit tokenów. W zadaniach agentowych ta warstwa odpowiada za bardzo dużą część różnicy między publikowanymi wynikami, a bywa opisana jednym zdaniem w przypisie.

Do tego dochodzi pytanie, kto wynik zgłosił. Większość pozycji na publicznych tablicach pochodzi od samych dostawców i nigdy nie została niezależnie powtórzona. W kwietniu 2025 badacze z Cohere Labs, AI2 oraz kilku uczelni opublikowali analizę „The Leaderboard Illusion”, w której opisali m.in. praktykę testowania wielu prywatnych wariantów modelu przed publikacją i pokazywania tylko najlepszego z nich. Przed premierą Llamy 4 miało to być 27 wariantów. Organizatorzy areny część zarzutów przyjęli, część zakwestionowali, ale sam mechanizm selekcji wyników pozostaje kłopotem, z którym czytelnik rankingu zostaje sam.

Wreszcie modele zmieniają się pod stałą nazwą. Aktualizacja wersji albo zmiana domyślnych parametrów potrafi przesunąć zachowanie na zadaniach brzegowych, a tabela sprzed kwartału opisuje już trochę inny obiekt.

Własny zestaw testowy bije rankingi

Alternatywa jest mniej efektowna i znacznie skuteczniejsza. Budujemy ją tak:

• Skąd przypadki: trzydzieści do sześćdziesięciu z własnej produkcji, w tym te trudne i brzegowe, na których praca zwykle się zacina. Przypadki idealne mierzą przede wszystkim optymizm autora zestawu.
• Kto definiuje wynik: osoba, która tę pracę wykonuje na co dzień, a nie zespół techniczny. Bez tego ocena zamienia się w dyskusję o gustach.
• Kiedy spisujemy kryteria: zanim zobaczymy jakiekolwiek wyniki. Kolejność jest tu kluczowa, bo kryteria dopisywane po fakcie zawsze potwierdzają wybraną wcześniej tezę.
• Ta sama obudowa: identyczny prompt, te same narzędzia, ta sama liczba prób dla każdego kandydata. Inaczej porównujemy konfiguracje, a nie modele.
• Co mierzymy obok jakości: koszt i czas odpowiedzi. Model o dwa punkty lepszy i cztery razy droższy rzadko wygrywa w rachunku rocznym.
• Gdzie żyje zestaw: wyłącznie u nas. Opublikowanie go w repozytorium publicznym rozpoczyna dokładnie ten sam cykl kontaminacji, który psuje benchmarki branżowe.

Przygotowanie takiego zestawu zajmuje zwykle od jednego do trzech dni pracy osoby znającej dziedzinę. Kompromis jest oczywisty: pięćdziesiąt przypadków to mała próba, więc różnice rzędu kilku p.p. na niej również nic nie znaczą. Zestaw pewnie odróżnia natomiast sytuację, w której model radzi sobie z naszymi dokumentami, od tej, w której sobie nie radzi. Dokładnie tej informacji publiczny ranking nie dostarczy.

Cztery pytania przed cytatem

Kiedy tabela i tak trafia na spotkanie, warto przepuścić ją przez krótki filtr. Kto zgłosił wynik i czy powtórzył go ktoś niezależny. Kiedy powstał zestaw zadań i czy mógł już trafić do danych treningowych. Czy istnieje pula zamknięta, pozwalająca wykryć przeuczenie. Jak opisana jest obudowa: prompt, narzędzia, liczba prób.

Ranking wystarczy, żeby zawęzić listę kandydatów z dwudziestu do trzech. Decyzję o tym, który z tej trójki pójdzie na produkcję, opieramy na własnych danych.

Footnotes

1. Scale AI, „A Careful Examination of Large Language Model Performance on Grade School Arithmetic”, maj 2024: https://arxiv.org/abs/2405.00332. ↩

2. Scale AI, SWE-Bench Pro, wrzesień 2025: https://scale.com/blog/swe-bench-pro. ↩

3. Gema i in., „Are We Done with MMLU?”, próbka 5700 pytań, szacowany udział błędów 6,49%: https://arxiv.org/abs/2406.04127. ↩