Ile kosztuje asystent AI po wyjściu z pilotażu

Pilotaż asystenta AI kończy się zwykle rachunkiem, który nikogo nie niepokoi. Kilka tygodni pracy na wybranych przypadkach, wąska grupa użytkowników, jedno albo dwa źródła wiedzy. Ten rachunek opisuje jednak inny system niż ten, który ma obsłużyć docelowy ruch.

Pytanie przed decyzją o wdrożeniu brzmi więc inaczej niż „ile kosztuje miesiąc”. Brzmi: ile kosztuje obsługa jednej sprawy i jak ta kwota zachowa się, gdy do systemu trafi cały ruch, a nie jego wybrany fragment. Poniżej opisujemy składniki tego kosztu i sposób jego policzenia. Konkretnych stawek nie podajemy, bo cenniki modeli zmieniają się kilka razy w roku, a struktura rachunku pozostaje ta sama.

Z czego składa się rachunek

Koszt asystenta rozkłada się na cztery pozycje. Firmy liczą zwykle pierwszą, a o tym, czy system zostanie w firmie, rozstrzygają dwie ostatnie.

• Model - opłata za przetworzone dane wejściowe i wygenerowaną odpowiedź. Zależy od długości pytania, liczby dołączonych fragmentów dokumentów oraz długości samej odpowiedzi.
• Infrastruktura - indeks dokumentów, hosting integracji, kolejki, rejestr zdarzeń i środowisko testowe. Ta pozycja jest w dużej części stała i rośnie skokowo, a nie proporcjonalnie do liczby pytań.
• Nadzór - czas osoby, która sprawdza odpowiedzi, zamyka wyjątki i zgłasza błędy. Na starcie zwykle największa pozycja i najczęściej pomijana w budżecie, bo płacisz ją godzinami pracy zespołu, a nie fakturą od dostawcy.
• Utrzymanie - aktualizacja źródeł, poprawki reguł, reakcja na zmiany w systemach, z którymi asystent się łączy, oraz na zmiany po stronie samego modelu.

Ten podział ma praktyczny skutek. Infrastruktura i utrzymanie rozkładają się na wszystkie sprawy, więc w przeliczeniu na jedną tanieją przy większym ruchu. Model i nadzór rosną razem z liczbą spraw. Dopóki trzymasz je w jednej pozycji budżetu, nie wiesz, czy większy ruch poprawi rachunek, czy go pogorszy.

Ruch testowy nie prognozuje ruchu produkcyjnego

Pilotaż prawie zawsze pracuje na łatwiejszej części rozkładu. Trafiają do niego przypadki opisane, kompletne i wybrane przez osobę, która zna system. Produkcja dostaje wszystko, co przyjdzie.

Cztery różnice, które przesuwają rachunek najmocniej:

• Użytkownicy pilotażu wiedzą, jak zadać pytanie. Reszta firmy pyta nieprecyzyjnie, więc jedna sprawa zajmuje kilka wymian zamiast jednej.
• W pilotażu podłączasz jedno albo dwa źródła. Na produkcji dochodzą kolejne, a każde wydłuża kontekst przekazywany do modelu.
• Testy prowadzisz w godzinach pracy zespołu wdrożeniowego. Ruch produkcyjny ma szczyty, które wymuszają zapas w infrastrukturze.
• Sprawy nietypowe pojawiają się dopiero przy większej liczbie zgłoszeń. W pilotażu ich nie widać, a to one uruchamiają najdroższą ścieżkę.

Koszt jednostkowy z pilotażu warto więc traktować jako dolną granicę, nie jako prognozę. Sensowna prognoza wymaga okresu, w którym do systemu trafia ruch nieprzefiltrowany przez nikogo.

Długość kontekstu waży więcej niż liczba pytań

Przy asystencie pracującym na dokumentach opłata nie zależy głównie od tego, ile razy ktoś zapytał. Zależy od tego, ile treści system musiał przeczytać, żeby odpowiedzieć.

Na długość kontekstu wpływają trzy rzeczy: liczba fragmentów pobranych ze źródeł, historia rozmowy dołączana do kolejnych pytań oraz instrukcja systemowa, która przy rozbudowanych regułach potrafi urosnąć do rozmiaru osobnego dokumentu. Dodanie drugiego źródła wiedzy nie podnosi kosztu wyłącznie przy pytaniach, które go dotyczą. Zmienia koszt każdego pytania, bo system musi najpierw rozstrzygnąć, które źródło jest właściwe.

Stąd praktyczny wniosek: mierz średnią długość kontekstu na jedną sprawę, a nie samą liczbę spraw. To ta liczba tłumaczy, dlaczego rachunek rośnie szybciej niż ruch.

Sprawa, której system nie zamknął

Każda sprawa przechodzi jedną z dwóch ścieżek. Zamknięta automatycznie kosztuje tyle, ile zużycie modelu plus udział w kosztach stałych. Przekazana człowiekowi kosztuje to samo, a do tego czas osoby, która musi przeczytać historię, odtworzyć kontekst i odpowiedzieć. Druga ścieżka bywa droższa niż obsługa tej samej sprawy bez asystenta, bo dochodzi do niej praca systemu, która niczego nie rozstrzygnęła.

Osobno liczy się odpowiedź błędna, która przeszła dalej. Jej koszt to korekta, kontakt z klientem, czasem powtórzenie pracy. Nie widać go na fakturze od dostawcy modelu, ale obciąża ten sam proces. Dlatego udział błędów należy do rachunku kosztów, a nie tylko do raportu jakości.

Koszt jednej sprawy to nie cena zapytania do modelu. To średnia ważona dwóch ścieżek: sprawy zamkniętej automatycznie i sprawy, którą ktoś musiał przejąć. Dopóki nie znasz udziału drugiej ścieżki, nie znasz kosztu.

Zasada, którą stosujemy przy szacowaniu kosztu utrzymania

Jak policzyć koszt obsługi jednej sprawy

Rachunek da się złożyć z danych, które masz albo możesz zebrać w jednym cyklu rozliczeniowym.

1. Zdefiniuj sprawę. Jedno zapytanie klienta, jeden odczytany dokument, jeden raport. Jednostka musi być identyczna po obu stronach porównania.
2. Zmierz zużycie modelu na sprawę zamkniętą automatycznie. Weź średnią z pełnego okresu, nie z najlepszych przypadków.
3. Dodaj koszty stałe podzielone przez liczbę spraw w miesiącu: infrastrukturę, licencje i środowisko testowe.
4. Wyceń nadzór. Minuty poświęcone na sprawdzenie i poprawki pomnóż przez koszt godziny osoby, która to robi.
5. Policz ścieżkę wyjątku osobno: zużycie modelu plus pełny czas obsługi ręcznej.
6. Złóż średnią ważoną udziałem obu ścieżek. Ten udział zmienia się w czasie, więc licz go co miesiąc, dopóki się nie ustabilizuje.

Wynik porównaj z kosztem obsługi tej samej sprawy dzisiaj, policzonym w ten sam sposób i razem z czasem pracy zespołu. Bez tego drugiego rachunku pierwszy nie odpowiada na żadne pytanie.

Kiedy liczyć próg opłacalności

Nie w pierwszym tygodniu. Sensowny moment przychodzi wtedy, gdy asystent przepracował pełny cykl na ruchu, którego nikt nie wybierał: z brakującymi danymi, nietypowymi pytaniami i szczytem obciążenia. Wcześniejsze wyliczenie opisuje próbkę, nie proces.

Wtedy warto sprawdzić dwie granice:

• Próg wolumenu - liczba spraw, przy której koszty stałe rozkładają się na tyle szeroko, że koszt jednostkowy schodzi poniżej kosztu obsługi ręcznej. Proces o małej liczbie spraw może go nigdy nie osiągnąć. To nie jest powód, żeby rezygnować, tylko żeby rozłożyć tę samą infrastrukturę na kilka procesów.
• Próg jakości - udział spraw zamykanych bez udziału człowieka, przy którym oszczędność czasu przewyższa koszt nadzoru. Poniżej tego udziału system dokłada zespołowi pracy, zamiast ją zdejmować.

Oba progi przelicza się po każdej istotnej zmianie: nowym źródle wiedzy, zmianie modelu, nowej integracji albo wyraźnym wzroście ruchu. To jest też moment, w którym widać, czy warto przenieść część zadań na tańszy model, a trudniejsze zostawić droższemu.

Co zrobić przed decyzją

Zbierz trzy liczby, zanim przedłużysz pilotaż albo podpiszesz umowę na wdrożenie: ile spraw danego typu firma obsługuje w miesiącu, ile czasu zajmuje dziś jedna sprawa i jaki udział spraw asystent zamyka bez poprawki. Dwie pierwsze masz w swoich systemach albo w harmonogramie zespołu. Trzecią zmierzysz tylko wtedy, gdy pilotaż pracuje na ruchu, którego nikt wcześniej nie przefiltrował. Gdy te trzy liczby są znane, decyzja o wdrożeniu przestaje być kwestią oceny i staje się porównaniem dwóch kosztów jednostkowych.