AI-infrastructuur: bedrijven investeren sneller dan ze kosten kunnen meten

Uit recent onderzoek blijkt dat bedrijven hun uitgaven aan AI-infrastructuur versnellen, terwijl ze moeite hebben om de kosten effectief te meten. Van de 107 onderzochte ondernemingen blijkt dat de meeste hun AI draaien op bekende hyperscalers en API's van modelproviders. Echter, de volgende investeringen zijn gericht op gespecialiseerde rekencapaciteit die momenteel nauwelijks wordt gebruikt. Veel bedrijven zijn van plan om binnen een jaar van provider te wisselen of nieuwe toe te voegen, vaak al binnen een kwartaal.

De beslissingen over aankopen zijn vooral gebaseerd op integratie en de totale eigendomskosten, in plaats van alleen de prijs per token. Dit is een positieve ontwikkeling, aangezien veel bedrijven nog geen duidelijk inzicht hebben in hun unit economics. Veel GPU's draaien op minder dan de helft van hun capaciteit en minder dan de helft van de bedrijven houdt nauwkeurig bij wat hun rekencapaciteit daadwerkelijk kost. Dit leidt tot een 'compute gap', waarbij snelle investeringen de noodzakelijke transparantie om deze kosten te beheersen overtreffen.

Bron: VentureBeat