Stop met het tellen van tokens, begin met het tellen van resultaten

Wanneer een ontwikkelaar een AI-agent een programmeertaak geeft, gaat de agent verder dan alleen een enkel antwoord geven. Het proces omvat plannen, code genereren, tests uitvoeren en het herhalen van deze stappen om fouten te corrigeren. Dit betekent dat voor een enkele taak het tokenverbruik 10 tot 50 keer hoger kan zijn dan bij een eenvoudige chatprompt.

De effectiviteit van de agent neemt toe naarmate deze meer taken uitvoert, wat leidt tot een toename van het aantal oproepen dat nodig is om de taak succesvol te voltooien. Dit roept de vraag op of het huidige systeem van token-telling nog wel adequaat is voor de complexe taken die moderne AI-agenten uitvoeren.

Bron: MIT Technology Review