Jak poprawić promptowanie

W zespołach, z którymi pracujemy, różnica między osobą wyciągającą z modelu użyteczne wyniki a osobą sfrustrowaną po trzech próbach rzadko wynika ze znajomości specjalnych sformułowań. Wynika z tego, ile informacji trafia do polecenia i jak są one uporządkowane. Krążące po sieci listy magicznych zwrotów w rodzaju „działaj jak ekspert światowej klasy” zwykle nie zmieniają wyniku, ponieważ nie dodają modelowi żadnej wiedzy o zadaniu. Ma to potwierdzenie w badaniach: na 2 410 pytaniach faktograficznych i 162 rolach wpisanych do polecenia dopisanie samej roli nie poprawiło trafności odpowiedzi wobec wersji bez roli.¹

Poniżej praktyka, którą stosujemy w RS Management na co dzień przy dokumentach, analizach i korespondencji. Nie ma w niej trików, są za to konkretne pary przed i po.

Pięć części dobrego polecenia

• Rola: kim ma być model i dla kogo pisze. Sformułowanie „analityk finansowy przygotowujący materiał dla zarządu” zawęża słownictwo i poziom szczegółu skuteczniej niż jakikolwiek przymiotnik w rodzaju „profesjonalnie”.
• Kontekst: to, co model musi wiedzieć, żeby nie zgadywać. Branża, etap projektu, historia relacji, ograniczenia, wcześniejsze ustalenia. Warto trzymać się informacji faktycznie potrzebnych, bo nadmiar materiału potrafi zaszkodzić: praca badawcza z 2023 roku pokazała, że modele dają się rozpraszać nieistotnymi fragmentami kontekstu i częściej mylą się w zadaniach z dodatkowymi, zbędnymi danymi (Shi i in., „Large Language Models Can Be Easily Distracted by Irrelevant Context”, ICML 2023).
• Zadanie: jedna konkretna czynność wyrażona czasownikiem. „Wypisz ryzyka” oraz „oceń, które ryzyko jest największe” to dwa różne zadania i wychodzą lepiej rozdzielone na dwa kroki.
• Format wyjścia: długość, struktura, ton, język, układ tabeli. Bez tego model wybiera format samodzielnie i zwykle trafia obok potrzeby.
• Przykład: jeden albo dwa wzorce tego, jak wygląda dobra odpowiedź.

Kolejność tych części ma mniejsze znaczenie niż ich kompletność. Kiedy odpowiedź rozczarowuje, zwykle brakuje jednej z nich, najczęściej formatu wyjścia albo kontekstu.

Trzy pary z codziennej pracy

Notatka po spotkaniu

Przed:

Podsumuj te notatki ze spotkania.

Po:

Jesteś asystentem kierownika projektu. Poniżej surowe notatki z 90-minutowego statusu z klientem i dwoma dostawcami. Przygotuj podsumowanie dla dyrektora, który nie był na spotkaniu i ma dwie minuty na lekturę. Format: trzy zdania sedna, następnie lista podjętych decyzji, następnie tabela zadań w układzie zadanie / właściciel / termin. Jeśli właściciel albo termin nie padł wprost, wpisz „nieustalone” zamiast uzupełniać własnym domysłem.

Ostatnie zdanie usuwa najczęstszy defekt takich podsumowań: uprzejme dopisywanie terminów, których nikt nie ustalił.

Odpowiedź na zapowiedź podwyżki

Przed:

Napisz maila do dostawcy, że nie zgadzamy się na podwyżkę.

Po:

Kontekst: trzy lata współpracy z dostawcą usług serwisowych, umowa ramowa z aneksem rocznym, dostawca zapowiedział podwyżkę stawek o 12% od stycznia i uzasadnia ją kosztami pracy. Zależy nam na utrzymaniu współpracy oraz na rozłożeniu podwyżki na dwa etapy. Napisz odpowiedź do 150 słów, ton rzeczowy i spokojny, bez wykrzykników, zakończoną jednym pytaniem o gotowość do rozmowy o harmonogramie. Poniżej dwa nasze wcześniejsze maile do tego dostawcy, trzymaj się tego tonu.

Dwa wklejone maile działają tu mocniej niż jakikolwiek opis stylu. Model dobrze kopiuje wzorzec, słabo odgaduje intencję.

Analiza arkusza sprzedaży

Przed:

Przeanalizuj te dane sprzedażowe.

Po:

Poniżej sprzedaż miesięczna 14 kategorii produktowych za ostatnie 18 miesięcy. Zadanie: wskaż kategorie, w których dynamika rok do roku zmieniła kierunek w ostatnim kwartale. Dla każdej podaj wartość zmiany i miesiąc odwrócenia trendu. Format: tabela z kolumnami kategoria / zmiana rok do roku / miesiąc odwrócenia / krótki komentarz. Nie interpretuj przyczyn. Jeśli dane dla kategorii są niekompletne, wypisz ją osobno pod tabelą.

Zdanie „nie interpretuj przyczyn” ma tu znaczenie praktyczne. Model poproszony o analizę bez granic chętnie dopisze wyjaśnienia, których nie da się wyprowadzić z podanych liczb.

Plan przed wykonaniem

Przy zadaniach dłuższych niż jedna strona warto najpierw poprosić o plan: 5 do 7 punktów mówiących, co znajdzie się w kolejnych sekcjach i skąd wezmą się dane. Poprawienie planu zajmuje 2 minuty, poprawienie gotowego ośmiostronicowego dokumentu zajmuje 30 minut. Plan ujawnia też nieporozumienie na starcie, gdy model zrozumiał zadanie inaczej, niż zostało pomyślane. Ten jeden nawyk zmienia więcej niż wszystkie pozostałe punkty tej listy razem wzięte, zwłaszcza przy dokumentach wymagań, ofertach i analizach.

Iteracja na własnych błędach

Typowy odruch po słabej odpowiedzi to poprawienie jej ręcznie. Bardziej opłaca się potraktować każdy defekt jako brakującą instrukcję i dopisać ją do polecenia. Model wypisał ogólniki zamiast liczb, więc do polecenia trafia zdanie o obowiązkowym podaniu wartości liczbowych. Model napisał trzy strony zamiast jednej, więc pojawia się twardy limit słów. Po kilku rundach powstaje polecenie, które daje przewidywalny wynik za pierwszym razem.

Te sprawdzone bloki warto zapisywać. U nas leżą w jednym pliku tekstowym, podzielone na kategorie: podsumowania, korespondencja, analiza danych, przegląd dokumentów. Kopiowanie gotowego bloku i podmiana kontekstu zajmują mniej niż 1 minutę, a jakość jest powtarzalna niezależnie od dnia i nastroju.

Weryfikacja przed wysyłką

Wynik pracy modelu wymaga sprawdzenia, zanim trafi dalej. Minimalna lista kontrolna obejmuje liczby, daty, nazwiska i cytaty z dokumentów źródłowych. Pomaga poproszenie modelu o wskazanie, z którego fragmentu źródła pochodzi każde twierdzenie, a następnie sprawdzenie dwóch albo trzech losowych pozycji. Jeśli te wyrywkowe kontrole wypadają dobrze przez 4 tygodnie, można je rozrzedzić. Jeśli wypadają źle, problem zwykle leży w poleceniu, które pozwoliło modelowi wykroczyć poza materiał.

Osobna kwestia dotyczy tego, co w ogóle trafia do okna czatu. Dane osobowe w rozumieniu RODO, warunki handlowe i materiały objęte poufnością wymagają narzędzia zaakceptowanego przez organizację oraz świadomości, gdzie te dane są przetwarzane i jak długo przechowywane. Przy danych wrażliwych decyzję warto potwierdzić z osobami odpowiedzialnymi za bezpieczeństwo i zgodność.

Czego lepszy prompt nie naprawi

Struktura polecenia pomaga tylko wtedy, gdy zadanie da się w ogóle wykonać na dostarczonym materiale. Model nie wymyśli danych, których nie dostał. Nie odpowie sensownie na pytanie źle postawione, np. takie, na które sam autor nie umie odpowiedzieć. Nie zastąpi też dostępu do systemów: kiedy potrzebne informacje siedzą w bazie, w systemie kadrowym albo w repozytorium dokumentów, rozwiązaniem staje się integracja z tymi systemami, na przykład przez MCP (Model Context Protocol), standard podłączania modeli do firmowych źródeł danych. Wydłużanie polecenia niczego tu nie zmieni.

Praktyczny punkt startowy jest prosty. Wystarczy wybrać trzy zadania powtarzane co tydzień, spisać dla każdego polecenie z pięcioma częściami, przetestować je przez kilka dni i poprawiać po każdym nieudanym wyniku. Po miesiącu takiej pracy różnica w czasie i w jakości jest widoczna bez żadnych pomiarów.

Footnotes

1. Zheng i in., pomiar wpływu roli wpisanej do polecenia na trafność odpowiedzi: https://arxiv.org/abs/2311.10054. ↩