Kiedy jeden agent AI przestaje wystarczać

„Nasz agent AI działał świetnie na początku, a teraz odpowiada coraz gorzej. Czy potrzebujemy lepszego modelu?” Zwykle nie. Większość organizacji zaczyna od jednego agenta, od którego oczekuje planowania, wykonania, weryfikacji, zabezpieczeń i dokumentacji, bo takie rozwiązanie łatwo uruchomić i wytłumaczyć zarządowi. Przy niewielkiej skali to działa. Gdy przybywa systemów i decyzji przechodzących przez tego samego agenta, jakość spada.

Rozwiązaniem jest zmiana architektury: zespół wyspecjalizowanych agentów koordynowanych przez orkiestrator, czyli tzw. rój agentów. Tak zbudowany jest m.in. system badawczy Anthropic, w którym agent prowadzący rozdziela pracę między podagentów.¹

Granice agenta do wszystkiego

Agent uniwersalny musi przy każdym zadaniu dzielić uwagę między wszystkie elementy środowiska. Większe okno kontekstu tego nie rozwiązuje: modele sięgają po informację z początku i końca podanego tekstu pewniej niż po tę ze środka, a różnica rośnie wraz z długością.²

Objawy są podobne w większości organizacji. Zadania trwają dłużej, bo agent przy każdym kroku przetwarza cały kontekst, także ten, który do zadania nie należy. Podobne żądania dają różne odpowiedzi, więc zespół przestaje ufać wynikom i zaczyna je sprawdzać ręcznie. Najdroższy objaw widać dopiero przy audycie: kontrole bezpieczeństwa, zgodności z RODO i aktualności dokumentacji odbywają się tylko wtedy, gdy ktoś o nie poprosi, a nie według stałego harmonogramu.

Podział pracy na wyspecjalizowane role

Praca zostaje podzielona na kilka ról o ściśle określonym zakresie, z jasnym wejściem, wyjściem i standardem jakości. Przykładowy podział obejmuje pięć ról: Planista dzieli żądanie na zadania, Recenzent szuka wyłącznie defektów i naruszeń standardów, Audytor ocenia ryzyko, rola porządkowa usuwa martwy kod, a rola dokumentacyjna pilnuje, żeby opis odpowiadał temu, co zostało zbudowane.

Role dobiera się od strony ryzyka, a nie od strony technologii. Pierwszą kandydatką jest czynność, której pominięcie kosztuje najwięcej, np. przegląd bezpieczeństwa albo zgodności. Drugą jest czynność, którą agent uniwersalny wykonuje najmniej starannie, bo zawsze stoi na końcu przebiegu, np. dokumentacja. Rola ma sens wtedy, gdy da się dla niej napisać jedno zdanie opisujące poprawny wynik i sprawdzić je bez czytania całej pracy.

Ta sama logika działa poza zespołami inżynierskimi:

Zasada jest wspólna: zawężać zakres każdej roli, dopóki jej wynik nie stanie się łatwy do sprawdzenia. W obsłudze klienta oznacza to np., że rola odpowiedzialna za przegląd treści wrażliwych nie pisze odpowiedzi, tylko ocenia gotowy szkic według krótkiej listy zakazów i wymogów regulaminu.

Orkiestracja zamiast autonomii

Rój agentów nie oznacza kilku niezależnych botów. Każdy specjalista to zawężony zestaw instrukcji z własnymi ograniczeniami i formatem wyniku, a o tym, co dzieje się dalej i kto się tym zajmie, decyduje orkiestrator. Nic nie działa bez nadzoru tylko dlatego, że nosi nazwę roli. Orkiestrator pilnuje też kolejności: Recenzent nie dostaje zadania, dopóki Planista nie wypełnił wszystkich pól formatu przekazania.

To rozróżnienie ma największe znaczenie w środowiskach regulowanych, gdzie Akt o sztucznej inteligencji wymaga nadzoru człowieka nad systemami wysokiego ryzyka.³ Dobrze zaprojektowany rój przypomina ustrukturyzowany proces, w którym AI wykonuje kolejne kroki, a nie zbiór niezależnych decydentów.

Gdzie umieścić punkty akceptacji człowieka

Pojedynczy agent, który planuje, buduje i wdraża w jednym przebiegu, daje recenzentowi jeden duży, mieszany wynik. Rój wytwarza na każdym etapie węższy i czytelniejszy wynik, więc punkt akceptacji da się postawić dokładnie tam, gdzie decyzja niesie konsekwencje:

• przed wdrożeniem zmiany istotnej dla bezpieczeństwa,
• przed wysłaniem wiadomości do klienta,
• przed ostatecznym zatwierdzeniem klasyfikacji dokumentu.

W punkcie akceptacji człowiek nie powinien dostawać całego przebiegu do przeczytania. Dostaje wynik jednej roli, kryterium, według którego ma go ocenić, i uwagi Recenzenta albo Audytora, jeśli jakieś się pojawiły. Decyzja sprowadza się wtedy do pytania, czy wynik spełnia kryterium, a jej zapis razem z nazwiskiem osoby akceptującej trafia do logu. Taki log jest później pierwszym dokumentem, o który prosi audytor.

Dla zarządów odpowiadających przed radą nadzorczą, regulatorem albo audytem to często ważniejszy argument niż efektywność. Tym samym językiem mówią normy zarządzania AI, z ISO/IEC 42001 na czele: liczy się udokumentowany nadzór i możliwość wyjaśnienia po fakcie, co system zrobił i dlaczego pozwolono mu kontynuować.

Koszt i jakość

Anthropic podaje, że system wieloagentowy zużywa ok. 15 razy więcej tokenów niż zwykła rozmowa z modelem, a na własnym teście badawczym osiągnął 90,2% przewagi nad pojedynczym agentem.¹

• ~15× więcej tokenów niż zwykła rozmowa z modelem
• 90,2% przewagi nad pojedynczym agentem na teście badawczym Anthropic

Przykład rachunku: przegląd umowy, który agent uniwersalny wykonuje w jednym przebiegu, w roju przechodzi przez ekstrakcję klauzul, porównanie z polityką firmy i recenzję ryzyk. Kosztuje kilkukrotnie więcej tokenów, ale każdy etap zostawia ślad, który prawnik może sprawdzić w kilka minut zamiast czytać całą analizę od początku. Rachunek wychodzi na plus tam, gdzie wynik jest wart tej różnicy, i na minus przy zadaniach, które jeden agent domknie za pierwszym razem. Część kosztu przesuwa się też na początek, na projekt ról i logikę orkiestracji. W zamian system łatwiej testować i poprawiać rola po roli, bez przepisywania promptów całego agenta przy każdej zmianie procesu.

Co kosztuje najwięcej przy pierwszym roju

Najdroższe okazuje się ustalenie, co dokładnie jedna rola przekazuje drugiej. Dopóki wynik Planisty jest luźnym opisem, Recenzent dostaje coś, czego nie da się sprawdzić mechanicznie, i korzyść z podziału znika.

1. Format przekazania przed liczbą ról. Na start wystarczą trzy pola: zakres zadania, kryterium akceptacji i miejsce na wynik weryfikacji.
2. Role dokładane stopniowo. Nową rolę dodaje się, gdy format przekazania działa, bo to on zmienia się najtrudniej.
3. Punkt akceptacji przed decyzją nieodwracalną. Rój z pięcioma rolami i jednym punktem akceptacji na samym końcu daje to samo co agent uniwersalny, tylko drożej.

Pytanie dla organizacji, która ma już za sobą pierwszy pilotaż, brzmi: czy obecna architektura udźwignie to, czego firma już od niej oczekuje. Przegląd architektury agentów i projekt ról prowadzimy w ramach pakietu Automatyzacje i agenci AI.

Najczęstsze pytania