Dobór modelu AI do zadania

Każda praca z AI zawiera decyzję, która rzadko jest podejmowana świadomie: który model powinien obsłużyć dane zadanie. Większość organizacji podejmuje tę decyzję raz z automatu i później się nad nią nie zastanawia. Ten jeden nienazwany nawyk w dużej mierze odpowiada zarówno za przepłacanie za AI, jak i za zbędne opóźnienia. Rzecz nie dotyczy jednego dostawcy: cennik Anthropic i cennik OpenAI zbudowane są tak samo, w poziomy o różnej mocy i różnej stawce za token.

Czym jest routing modeli

Routing modeli to praktyka dopasowywania każdego zadania do modelu, którego możliwości, koszt i szybkość odpowiadają temu zadaniu, zamiast kierowania każdego zapytania do najbardziej zaawansowanego dostępnego modelu. To prosty pomysł o dużych konsekwencjach, gdy organizacja korzysta z AI w realnej skali: dziesiątki lub setki zapytań dziennie, w wielu zespołach, narzędziach i procesach.

Najczęstszy nawyk polega na utożsamianiu „najlepszego modelu” z „właściwym modelem”. To rzadko to samo. Proszenie modelu klasy Opus o streszczenie statusu projektu albo przeformatowanie tabeli przypomina angażowanie starszego architekta do odpisywania na rutynowe maile: kompetentnie, ale to złe wykorzystanie osądu, czasu i budżetu.

Gdzie zawodzi „zawsze najlepszy model”

Trzy czynniki sprawiają, że domyślne sięganie po model premium jest w praktyce kosztowne.

Koszt

Warto zobaczyć te stawki obok siebie, bo różnica jest mniejsza, niż sugeruje intuicja, i większa, niż widać na pojedynczym rachunku. Między warstwą najtańszą a flagową jest dokładnie 5 razy.¹

Klasa modelu	Wejście za 1 mln tokenów	Wyjście za 1 mln tokenów
Szybka (Claude Haiku 4.5)	1 USD	5 USD
Średnia (Claude Sonnet 5)	2 USD	10 USD
Flagowa (Claude Opus 5)	5 USD	25 USD

W skali pojedynczego użytkownika ta różnica jest niezauważalna. W skali zespołu obsługującego tysiące zapytań miesięcznie urasta do pozycji, którą widać w budżecie, w dużej mierze możliwą do uniknięcia przy zadaniach rutynowych.

Opóźnienie

Większe modele co do zasady odpowiadają wolniej. Tę różnicę łatwo zignorować w pojedynczym oknie czatu, a trudno pominąć w agencie, który wywołuje model dziesiątki razy, aby wykonać jedno zadanie, albo w produkcie skierowanym do klienta, gdzie każda dodatkowa sekunda opóźnienia mierzalnie wpływa na współczynnik dokończenia procesu.

Jakość, która nie ma się gdzie ujawnić

Przy dobrze zdefiniowanych, jednoznacznych zadaniach dodatkowa moc wnioskowania modelu flagowego nie przekłada się na lepszy wynik. Zadanie jej po prostu nie wymaga, więc dodatkowa inteligencja pozostaje niewykorzystana: opłacona, ale niedostarczona.

Brak polityki routingu nie jest wyborem neutralnym. To także polityka, tyle że domyślna i zwykle kosztowna.

Trzy poziomy zadań

Zamiast decydować za każdym razem od nowa, warto kierować się kształtem zadania:

• Zadania rutynowe: wyszukiwanie informacji, edycje pojedynczego pliku, formatowanie, krótkie statusy, generowanie pierwszej wersji z szablonu. Duży wolumen, niska stawka pojedynczego zadania, łatwa weryfikacja. Miejsce dla modeli klasy Haiku, w tym darmowych warstw tam, gdzie są dostępne.
• Zadania robocze: wdrożenia obejmujące wiele plików, ustrukturyzowana analiza, redagowanie istotnych fragmentów dokumentu, wnioskowanie rozłożone na kilka kroków. Tu mieści się większość codziennej pracy i tu solidny model średniego poziomu ogólnego przeznaczenia zarabia na swój koszt.
• Zadania strategiczne: projektowanie systemów, decyzje architektoniczne i nieodwracalne, synteza długiego lub niejednoznacznego kontekstu, wszystko, co niesie ryzyko finansowe, prawne lub wizerunkowe. To niewielki odsetek całego wolumenu i jedyne miejsce, w którym płacenie za wnioskowanie modelu flagowego rzeczywiście się opłaca.

Pytanie, które warto zadać przed każdym zadaniem, brzmi nie „który model wydaje się najbezpieczniejszym wyborem”, tylko „ile kosztuje pomyłka w tym konkretnym przypadku” i czy zadanie wymaga głębokiego wnioskowania, czy tylko kompetentnego wykonania.

Kiedy routing się nie opłaca

Routing ma własny koszt: ktoś musi utrzymywać reguły, obserwować, czy nadal odpowiadają rzeczywistości, i reagować, gdy dostawca wycofa wariant modelu. Ten koszt zwraca się dopiero wtedy, gdy zadania rutynowe stanowią wyraźną większość wolumenu i powtarzają się w rozpoznawalnych kształtach.

Przy kilkudziesięciu zapytaniach dziennie, rozrzuconych po różnych zadaniach, oszczędność na modelu jest mniejsza niż czas poświęcony na utrzymanie reguł. W takiej sytuacji uczciwszą decyzją jest jeden model średniego poziomu jako domyślny i świadome sięganie po flagowy tam, gdzie stawka jest wysoka.

Próg do sprawdzenia przed wdrożeniem routingu jest prosty: ile zapytań z ostatnich trzech miesięcy da się przypisać do powtarzalnych kształtów zadań. Jeśli odpowiedź brzmi „mniej niż połowa”, routing będzie kosztować więcej, niż przyniesie.

Klasa zadania	Przykłady	Klasa modelu	Koszt pomyłki
Rutynowe	Formatowanie, krótkie statusy, pierwsza wersja z szablonu	Szybki i tani, także warstwy darmowe	Niski, weryfikacja natychmiastowa
Robocze	Analiza ustrukturyzowana, redakcja istotnych fragmentów, kilka kroków wnioskowania	Solidny model średniego poziomu	Średni, wychodzi przy przeglądzie
Strategiczne	Decyzje architektoniczne i nieodwracalne, synteza niejednoznacznego kontekstu	Model flagowy	Wysoki: finansowy, prawny, wizerunkowy

Od ręcznego doboru do automatycznych kaskad

Gdy trzy poziomy są już zdefiniowane, decyzja o routingu nie musi zależeć od tego, czy ktoś akurat o niej pamięta. Architektura kaskadowa najpierw próbuje wykonać zadanie na szybkim i tanim modelu, sprawdza wynik prostą regułą albo lekką weryfikacją, po czym eskaluje do mocniejszego modelu wyłącznie te przypadki, które tej weryfikacji nie przejdą. Przy stawkach z tabeli wyżej rachunek jest prosty: każdy przypadek eskalowany kosztuje 5 razy tyle, co obsłużony na miejscu, więc kaskada zarabia dopiero wtedy, gdy tani model domyka wyraźną większość ruchu. To wzorzec wart wbudowania w produkcyjne systemy AI: routing przestaje być nawykiem, o który musi dbać jedna osoba, a staje się właściwością samego systemu, stosowaną konsekwentnie niezależnie od tego, czy zapytanie pochodzi od pracownika, narzędzia wewnętrznego czy agenta działającego po stronie klienta.

Gdzie routing wymaga warstwy nadzoru

W środowisku regulowanym koszt i opóźnienie nie są jedynymi zmiennymi. Niektóre zadania powinny za każdym razem działać na tej samej, zwalidowanej konfiguracji modelu niezależnie od ceny, ponieważ spójność i wyjaśnialność liczą się bardziej niż oszczędność: decyzje dotyczące danych osobowych w rozumieniu RODO, ujawnień finansowych lub bezpieczeństwa, albo takie, które trzeba będzie później uzasadnić przed regulatorem lub audytorem. Dla takich zadań routing przestaje być pytaniem o efektywność, a staje się pytaniem o nadzór. Jego miejsce jest w spisanej polityce, poddawanej regularnemu przeglądowi, z człowiekiem w pętli decyzyjnej wszędzie tam, gdzie decyzję trudno cofnąć.

Jak zbudować własną macierz routingu

Praktyczny punkt startowy rzadko wymaga więcej niż czterech kroków: spisać przez kilka tygodni, jakie zadania AI faktycznie wykonują zespoły; podzielić je według stawki i odwracalności, a nie nowości; przypisać każdej kategorii domyślny poziom modelu i zapisać to w dokumencie; oraz ustalić jawne reguły eskalacji dla wyjątków, zamiast zostawiać wybór osobie, która akurat siedzi przy klawiaturze. Ponieważ możliwości i ceny modeli zmieniają się szybko, macierz warto przeglądać raz na kwartał. Polityka routingu ustalona raz i nigdy niepoddana ponownemu przeglądowi zwykle traci aktualność w ciągu kilku miesięcy.

RS Management projektuje i wdraża takie systemy routingu, od wstępnego spisu zadań po produkcyjną kaskadę, jako część szerszego doradztwa i wdrożeń AI dla kadry zarządzającej oraz organizacji z branż regulowanych. Jeśli organizacja wydaje na AI więcej, niż wymaga tego wykonywana praca, albo przydałaby się druga, bardziej krytyczna opinia o obecnym sposobie doboru modeli, zapraszamy do rozmowy.

Footnotes

1. Anthropic, cennik modeli w przeliczeniu na milion tokenów: https://platform.claude.com/docs/en/about-claude/models/overview. ↩