Przejście największych dostawców z modelu licencjonowania per użytkownik na rozliczenia oparte na zużyciu sprawiło, że koszty stały się znacznie mniej przewidywalne. Zespoły inżynierskie mają ograniczony wgląd w sposób naliczania opłat za tokeny, co utrudnia prognozowanie budżetu i kontrolę wydatków.
Czy istnieje związek między zużyciem tokenów a produktywnością?
Zespoły programistyczne stoją przed rosnącym problemem eskalacji kosztów. Nitish Tyagi, starszy główny analityk w Gartnerze
Rachunki za korzystanie z agentów AI potrafią skakać z poziomu $20–$100 do $2 000–$5 000 na programistę miesięcznie. W skrajnych przypadkach mogą sięgać grubo ponad 10 tys. dolarów. Dostawcy nie oferują jeszcze wbudowanych funkcji optymalizujących koszty, a praktyka „tokenmaxxingu” — celowego zwiększania liczby tokenów w przekonaniu o wzroście wydajności — nie przekłada się bezpośrednio na lepsze rezultaty.
Jak ograniczyć koszty i optymalizować zużycie tokenów?
Gartner i eksperci rekomendują strategie ograniczające zużycie tokenów bez obniżania jakości wyników:
- inżynieria kontekstu (context engineering) — poprawa jakości danych wejściowych do modeli,
- routing modeli (model routing) — kierowanie prostych, powtarzalnych zadań do mniejszych, tańszych modeli,
- selektywny dobór modeli — wykorzystywanie modeli klasy frontier wyłącznie do zadań złożonych, wymagających najwyższej jakości odpowiedzi.
Wszystkie te działania poprawiają jakość wyników, a tym samym zwiększają produktywność nawet jeśli samo zwiększanie liczby tokenów tego nie zapewnia.
Brak narzędzi do optymalizacji kosztów po stronie dostawców oraz strategii ograniczania zużycia u użytkowników, rozwój oprogramowania z użyciem AI może stać się znacznie droższy. Gartner przewiduje, że do 2028 r. koszty związane z programowaniem przez AI mogą przekroczyć przeciętne wynagrodzenie programisty w niektórych regionach. Tyagi podkreśla jednak różnice geograficzne, np. między USA a Indiami.
Artykuł powstał na podstawie materiałów opublikowanych przez theregister.com.
