Jak przeprowadzić prototyp AI do produkcji

„Prototyp działa i demo się podobało. Dlaczego trzy miesiące później nikt z niego nie korzysta?” Przyczyny rzadko są techniczne. Prototyp AI, czyli POC (proof of concept), ma pokazać, że pomysł da się zrealizować, i zwykle to pokazuje. Nie trafia do produkcji, bo przed startem nikt nie spisał, jaki wynik uznaje się za sukces, kto go odbiera i kiedy zapada decyzja.

Wszystkie elementy opisane niżej kosztują niewiele: kilka rozmów, jedną stronę zapisu, jedną próbkę danych i wpisaną w kalendarz datę decyzji.

Karta prototypu na pół strony

Karta powstaje przed pierwszą linijką kodu, a w dniu decyzji wraca na stół. Przykład dla weryfikacji dokumentów:

Definicja sukcesu spisana przed startem

Zapis „sprawdzimy, czy AI poradzi sobie z weryfikacją dokumentów” kończy się dyskusją, czy wynik jest wystarczająco dobry. Takiej dyskusji nie da się wygrać, bo każdy uczestnik ma w głowie inny próg. Zapis z liczbami brzmi tak:

Na 100 sprawach wylosowanych z ostatniego kwartału ekstrakcja kluczowych pól ma być poprawna w ponad 90%, a średni czas weryfikacji ma spaść z 14 minut do poniżej 5.

Na starcie często nie wiadomo, jaki próg jest osiągalny. Wtedy do karty trafia próg wstępny razem z datą jego rewizji. Liczba do poprawienia działa lepiej niż brak liczby.

Dane z produkcji, nie z prezentacji

Prototypy testuje się zwykle na próbce, którą ktoś wcześniej uporządkował: czyste skany, komplet pól, przypadki typowe. Produkcja wygląda inaczej: skan obrócony o 90 stopni, dwa dokumenty w jednym PDF, dopisek odręczny na marginesie, plik w nieaktualnym szablonie.

Właściciel biznesowy z własnym interesem

Sponsor, który „popiera temat”, nie wystarczy. Właściciel to osoba, której wskaźniki zmienią się, jeśli rozwiązanie zadziała, która przydzieli czas swoich ludzi na testy akceptacyjne i ma mandat do zmiany procesu.

Test jest prosty: czyje liczby w raporcie kwartalnym, np. w SAP albo w Power BI, będą wyglądać inaczej. Jeśli odpowiedź nie pada w ciągu kilku sekund, prototyp nie ma adresata. Dział IT zbuduje rozwiązanie i je utrzyma, ale nie odbierze wyniku biznesowego za kogoś, kto tego wyniku nie potrzebuje.

Bezpieczeństwo od pierwszego dnia

Trzy pytania padają na starcie prototypu, a nie przy przekazaniu na produkcję:

1. Gdzie trafiają dane i na jakiej umowie z dostawcą modelu.
2. Kto ma dostęp do logów, promptów i wyników.
3. Kto utrzyma rozwiązanie za 18 miesięcy i z jakiego budżetu.

Półgodzinna rozmowa z bezpieczeństwem i działem prawnym w pierwszym tygodniu kosztuje mniej niż odkrycie w ósmym tygodniu, że wybrany dostawca nie przejdzie oceny ryzyka. W organizacjach objętych regulacjami dochodzi klasyfikacja systemu, ocena skutków dla ochrony danych i dokumentacja, która ma przetrwać audyt. Konkretne obowiązki należy potwierdzić z właściwym doradcą.

Utrzymanie bywa pomijane jeszcze częściej. Wersje modeli się zmieniają, jakość promptów spada przy zmianie danych wejściowych, integracje przestają działać. Wdrożenie potrzebuje stałej rocznej pozycji budżetowej, a nie jednorazowego kosztu.

Data decyzji i trzy możliwe wyniki

Data decyzji zapada razem z zakresem prototypu. Sprawdza się okno od 6 do 8 tygodni.

Sześć kroków w kolejności

1. Karta prototypu wypełniona w całości, zanim powstanie pierwsza linijka kodu.
2. Próbka danych z produkcji wylosowana i udostępniona w środowisku firmy, równolegle potwierdzenie podstawy przetwarzania.
3. Rozmowa z bezpieczeństwem i działem prawnym w pierwszym tygodniu.
4. Budowa i pomiar na uzgodnionej próbce, tym samym sposobem, który zapisano w karcie.
5. Dzień decyzji: jeden z trzech wyników, z notatką niezależnie od wyniku.
6. Przy wdrożeniu: właściciel, budżet utrzymania i data pierwszego przeglądu.

Jeżeli sukces prototypu nie zmieni żadnej liczby, na której komuś zależy, wynik techniczny pozostanie ciekawostką. Wybór procesu, kartę prototypu i jego budowę prowadzimy w ramach pakietu Automatyzacje i agenci AI.

Najczęstsze pytania