Jak obniżyć koszt tokenów i okna kontekstu

„Liczba zapytań do AI się nie zmieniła, a rachunek wzrósł dwukrotnie. Skąd ta różnica?” Najczęściej z tego, że każde pytanie z osobna stało się droższe. Modele rozliczają się z tokenów, czyli kawałków tekstu wchodzących do modelu i z niego wychodzących, a większość organizacji nie wie, ile tokenów wysyła przy jednym zapytaniu. Bez tej wiedzy optymalizacja jest zgadywaniem. Dostawcy udostępniają narzędzia do liczenia tokenów przed wysłaniem zapytania, np. Anthropic w swoim API (interfejs programistyczny).

Dlaczego kontekst rośnie sam

Okna kontekstu sięgają dziś 1 mln tokenów¹, ale płaci się za wszystko, co się w nich umieści. Trzy mechanizmy nakładają się na siebie: historia rośnie z każdą turą, instrukcja jedzie przy każdej z nich, a wklejony dokument powiela się razem z historią.

Pamięć podręczna promptu

Jeśli duża część promptu jest za każdym razem identyczna, dostawcy pozwalają zapamiętać ją po swojej stronie. W API Anthropic odczyt z pamięci podręcznej kosztuje 10% ceny zwykłego wejścia.² Utworzenie wpisu kosztuje 1,25 raza cenę wejścia przy pięciominutowym czasie życia albo 2 razy przy godzinnym.³ Przy krótszym wariancie mechanizm wychodzi na zero już przy drugim wywołaniu tego samego początku promptu, przy godzinnym potrzebne są co najmniej trzy. U innych dostawców logika jest podobna, ale czas życia wpisu i dopłata za zapis się różnią.

• 10%ceny zwykłego wejścia za odczyt z pamięci podręcznej
• 1,25×ceny wejścia za zapis przy buforze pięciominutowym
• 2×ceny wejścia za zapis przy buforze godzinnym

Dopasowanie działa na początku promptu, znak po znaku. Jeśli na początku promptu systemowego znajdzie się aktualna data, identyfikator sesji albo imię użytkownika, cała reszta przestaje się zapisywać, bo jedna zmiana unieważnia wszystko, co jest za nią. Zasada projektowa: treść stała idzie na początek, treść zmienna na koniec.

Dwa ograniczenia warto znać zawczasu. Bardzo krótkie prompty w ogóle nie trafiają do pamięci podręcznej, a próg zależy od modelu i mieści się mniej więcej między 512 a 4096 tokenami. Rabat obejmuje wyłącznie wejście, więc każda kalkulacja oszczędności rozciągnięta na tokeny wygenerowane przez model jest zawyżona.

Techniki według nakładu wdrożenia

Streszczanie historii

W dłuższych rozmowach i w agentach, które wykonują po kilkadziesiąt kroków, historia rośnie szybciej niż wartość, jaką niesie. Kilka ostatnich tur zostaje w oryginale, wcześniejsze zamienia się na zwięzłe streszczenie, a surowe wyniki wywołań narzędzi usuwa, gdy przestają być potrzebne. Część dostawców, w tym Anthropic, udostępnia to jako gotową funkcję. Koszt tury przestaje wtedy rosnąć razem z długością rozmowy.

Streszczenie gubi szczegóły, więc trzeba zdecydować, co w danym procesie jest nieutracalne, np. ustalenia z klientem albo numery spraw, i wyłączyć to spod skracania.

Wyszukiwanie zamiast wklejania

Gdy pytania dotyczą stałego zasobu wiedzy, zamiast wklejać całość wyszukuje się fragmenty i podaje modelowi tylko to, co dotyczy pytania. To RAG (retrieval-augmented generation), czyli generowanie wspomagane wyszukiwaniem. Przy kilku dokumentach wklejanie wystarcza. Przy kilkuset dokumentach i regularnym ruchu różnica w koszcie sięga rzędu wielkości, a krótszy, trafniejszy kontekst poprawia też jakość odpowiedzi.

Limity, routing i praca wsadowa

Modele bez wskazówek piszą rozwlekle. Dwa ograniczenia działają natychmiast: twardy limit długości odpowiedzi ustawiony w wywołaniu i instrukcja opisująca oczekiwaną formę wyniku. Klasyfikacja nie potrzebuje akapitu uzasadnienia, wystarczy etykieta.

Zadania rutynowe, np. formatowanie, klasyfikacja i krótkie ekstrakcje, nie wymagają modelu flagowego. Jeśli wynik nie jest potrzebny od razu, zostaje kolejka wsadowa: w API Anthropic przetwarzanie asynchroniczne kosztuje połowę ceny standardowej.² Dla nocnych przeliczeń i masowego przetwarzania dokumentów to najprostsza oszczędność.

Najpierw pomiar

Bez rozbicia kosztu na procesy i prompty widać tylko jedną liczbę na fakturze. Minimalny zestaw wskaźników:

1. Liczba tokenów wejściowych i wyjściowych na wywołanie.
2. Udział odczytów z pamięci podręcznej, raportowany w API Anthropic osobnym polem odpowiedzi.
3. Koszt w rozbiciu na przypadki użycia.

Granice optymalizacji

Agresywne skracanie kontekstu obniża trafność odpowiedzi, więc każdą zmianę sprawdza się na zestawie testowym, a nie na wrażeniu. Treść w pamięci podręcznej jest przechowywana po stronie dostawcy przez czas życia wpisu, co w sektorach regulowanych wymaga uzgodnienia z klasyfikacją informacji i polityką retencji wynikającą z RODO.

Kolejność wdrożenia jest w większości przypadków taka sama: najpierw pomiar, potem pamięć podręczna, potem limity długości i routing, a na końcu przebudowa sposobu podawania wiedzy. Pierwsze dwa kroki są najtańsze i zwykle dają największą część efektu. Pomiar kosztów i konfigurację środowiska z tymi technikami przygotowujemy w ramach Akceleratora AI.

Najczęstsze pytania