Kiedy jeden agent AI przestaje wystarczać

Większość organizacji zaczyna wdrażanie agentów AI od jednego agenta, od którego oczekuje się planowania, tworzenia, weryfikacji, zabezpieczania i dokumentowania, ponieważ takie rozwiązanie jest prostsze do uruchomienia i łatwiejsze do wytłumaczenia zarządowi. Przy niewielkiej skali to działa. Problem pojawia się, gdy zakres rośnie: więcej systemów, więcej plików, więcej decyzji przechodzących przez to samo, wąskie okno kontekstu.

To nie jest problem promptów. To problem architektury, a ten ma sprawdzone rozwiązanie: zamiast oczekiwać, że jeden agent zrobi wszystko, buduje się mały zespół wyspecjalizowanych agentów koordynowanych przez orkiestrator. Wzorzec nie jest niszowy. Tak zbudowany jest system badawczy Anthropic, w którym agent prowadzący rozdziela pracę między podagentów.¹

Granice pojedynczego agenta uniwersalnego

Agent uniwersalny, który utrzymuje pełny kontekst złożonego środowiska, musi przy każdym zadaniu dzielić uwagę pomiędzy wszystkie jego elementy. Im większy zakres, tym większy kontekst do utrzymania, a jakość zwykle spada w przewidywalny sposób. Nie ratuje tego samo powiększanie okna kontekstu: modele sięgają po informację z początku i z końca podanego tekstu pewniej niż po tę ze środka, a różnica rośnie wraz z długością.² Zadania trwają dłużej. Wyniki stają się niespójne między podobnymi żądaniami. Kontrole, które mają największe znaczenie, takie jak bezpieczeństwo, zgodność z RODO i dokumentacja, są wykonywane tylko wtedy, gdy ktoś o nich pamięta, a nie według stałego harmonogramu.

Nie oznacza to, że sam model jest słaby. Oznacza to, że wadliwy jest model operacyjny wokół niego. Ta sama zależność dotyczy zespołów ludzkich: jeden generalista nie zweryfikuje kodu, nie przeprowadzi audytu bezpieczeństwa, nie poprowadzi projektu i nie utrzyma dokumentacji na takim poziomie, jak czworo ludzi zajmujących się tym na pełen etat.

Podział pracy na wyspecjalizowane role

Rozwiązaniem jest podział pracy. Zamiast jednego agenta odpowiedzialnego za wszystko, praca zostaje podzielona na niewielką liczbę ról o ściśle określonym zakresie, każda z jasnym mandatem, zdefiniowanym wejściem i wyjściem oraz własnym standardem jakości.

We własnych pracach wdrożeniowych i badawczych stosujemy ten wzorzec w pięciu rolach. Żądanie trafia najpierw do Planisty, który dzieli je na zadania. Dalej pracuje Recenzent, sprawdzający wyłącznie defekty i naruszenia standardów. Audytor bezpieczeństwa i ryzyka ocenia poziom ekspozycji. Rola porządkowa usuwa martwy kod i pilnuje higieny. Rola dokumentacyjna dba, by materiały pisane odpowiadały temu, co faktycznie zostało zbudowane.

Gdzie wzorzec ma zastosowanie poza inżynierią

Ta sama logika wykracza daleko poza zespoły inżynierskie. Proces przetwarzania dokumentów można podzielić na ekstrakcję, weryfikację względem reguł i obsługę wyjątków. Asystenta obsługującego klientów można podzielić na rozpoznawanie intencji, eskalację i przegląd treści wrażliwych pod względem zgodności, zanim trafią do klienta. Proces finansowy lub zakupowy można podzielić na przygotowanie, sprawdzenie zgodności z polityką i logowanie na potrzeby audytu. W każdym przypadku zasada jest ta sama: zawężać zakres każdej roli, dopóki jej wynik nie stanie się łatwy do sprawdzenia.

Orkiestracja, nie autonomia

Częstym błędnym odczytaniem tego wzorca jest przekonanie, że oznacza on uruchomienie kilku autonomicznych botów działających niezależnie od siebie. Tak nie jest. Każdy specjalista to zawężony zestaw instrukcji, tryb działania z własnymi ograniczeniami i formatem wyniku, w który przełącza się centralny orkiestrator, zależnie od zadania. To orkiestrator decyduje, co dzieje się dalej i który specjalista się tym zajmie. Nic nie działa bez nadzoru tylko dlatego, że nosi etykietę roli.

To rozróżnienie ma największe znaczenie w środowiskach regulowanych, gdzie Akt o sztucznej inteligencji wymaga nadzoru człowieka nad systemami wysokiego ryzyka i samo słowo „autonomiczny” od razu wzbudza czujność.³ Dobrze zaprojektowany rój agentów, po angielsku agent swarm, przypomina ustrukturyzowany proces, w którym AI wykonuje kolejne kroki, a nie zbiór niezależnych decydentów.

Gdzie umieścić punkty akceptacji człowieka

Podział pracy na wyspecjalizowane role niesie ze sobą korzyść dla nadzoru nad procesem, którą łatwo przeoczyć: ułatwia umieszczenie punktów przeglądu przez człowieka. Pojedynczy agent, który planuje, buduje i wdraża w jednym przebiegu, daje recenzentowi jeden duży, mieszany wynik do sprawdzenia. Rój agentów wytwarza na każdym etapie węższy, bardziej czytelny wynik, dzięki czemu punkt akceptacji można umieścić dokładnie tam, gdzie decyzja niesie realne konsekwencje: przed wdrożeniem zmiany istotnej dla bezpieczeństwa, przed wysłaniem wiadomości do klienta, przed ostatecznym zatwierdzeniem klasyfikacji dokumentu.

Dla zarządów odpowiadających przed radą nadzorczą, regulatorem lub funkcją audytu to często ważniejszy argument niż sama efektywność. Tym samym językiem mówią normy zarządzania AI, z ISO/IEC 42001 na czele: liczy się udokumentowany nadzór, a nie zapewnienie, że system jest bezpieczny. Pytanie rzadko brzmi, czy AI potrafi wykonać pracę. Brzmi raczej, czy ktoś jest w stanie po fakcie wyjaśnić, co zrobiła i dlaczego pozwolono jej kontynuować.

Koszt i jakość: co się naprawdę zmienia

Podzielenie jednego agenta na kilku specjalistów kosztuje więcej, niż podpowiada intuicja. Anthropic podaje, że system wieloagentowy zużywa ok. 15 razy więcej tokenów niż zwykła rozmowa z modelem, a jednocześnie zmierzył 90,2% przewagi takiego układu nad pojedynczym agentem na własnym teście badawczym.¹ Rachunek wychodzi więc na plus tam, gdzie wynik jest wart tej różnicy, i na minus przy zadaniach, które jeden agent domknie za pierwszym razem. Reszta kosztu przesuwa się wcześniej: w projektowanie ról, przekazywanie zadań między nimi oraz logikę orkiestracji, która to wszystko spina. Ta wcześniejsza inwestycja daje system łatwiejszy do testowania, łatwiejszy do audytu i łatwiejszy do poprawiania rola po roli, bez konieczności przeuczania czy przeformułowywania promptów całego agenta uniwersalnego za każdym razem, gdy zmienia się fragment procesu.

Argument jakościowy działa według tej samej logiki, co w każdym wyspecjalizowanym zespole. Recenzent, którego jedynym zadaniem jest wyłapywanie defektów, wyłapuje ich więcej niż generalista wykonujący pięć zadań naraz, po prostu dlatego, że jego uwaga nie jest podzielona.

Co kosztuje najwięcej przy pierwszym roju

Najdroższe okazuje się ustalenie, co dokładnie jedna rola przekazuje drugiej. Koszt modelu i orkiestratora jest przy tym drugorzędny. Dopóki wyjście planisty jest luźnym opisem, reviewer dostaje coś, czego nie da się sprawdzić mechanicznie, i cała korzyść z podziału znika: znowu ktoś czyta wszystko i ocenia na oko.

Dlatego pierwszy rój warto budować od formatu przekazania, nie od liczby ról. Trzy rzeczy wystarczą na start: nazwane pole z zakresem zadania, nazwane pole z kryterium akceptacji i miejsce na wynik weryfikacji. Role można dokładać później, format przekazania zmienia się najtrudniej.

Druga pułapka jest organizacyjna. Rój z pięcioma rolami i jednym punktem akceptacji człowieka na końcu daje dokładnie to samo co agent uniwersalny, tylko drożej. Punkt akceptacji ma stać tam, gdzie decyzja jest nieodwracalna, a nie tam, gdzie kończy się przebieg.

Dla liderów prowadzących AI poza etapem pojedynczego pilotażu pytaniem wartym zadania nie jest, czy dodać kolejne AI, lecz czy obecna architektura udźwignie to, o co organizacja już ją prosi. RS Management projektuje i buduje systemy wieloagentowe dla klientów oraz stosuje tę samą dyscyplinę we własnych operacjach. Jeśli warto sprawdzić, czy systemy AI w organizacji wymagają takiej restrukturyzacji, zapraszamy do rozmowy.

Footnotes

1. Anthropic, opis systemu wieloagentowego wraz z pomiarem przewagi nad pojedynczym agentem i zużycia tokenów: https://www.anthropic.com/engineering/multi-agent-research-system. ↩ ↩²

2. Liu i in., pomiar skuteczności modeli w zależności od położenia informacji w kontekście: https://arxiv.org/abs/2307.03172. ↩

3. Rozporządzenie (UE) 2024/1689, art. 14 o nadzorze ze strony człowieka nad systemami wysokiego ryzyka: https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng. ↩