Versteckte KI-Kosten Fehlgeschlagenes Amazon-Projekt versenkte 1,8 Millionen US-Dollar in KI-generierten Code

Anbieter zum Thema

MicroConsult Academy GmbH

RTI Real-Time Innovations

In internen Meetings habe Amazon massive Kostenüberschreitungen durch KI-gestützte Entwicklungsprojekte eingeräumt, berichtet die Financial Times. Mangelnder Überblick über Coding-Agenten, Tokenpreise und fehlende Limits für Entwickler ließen die Kosten für ein letztlich gescheitertes Projekt auf 1,8 Millionen US-Dollar aufblähen – mehr als 860 Prozent des ursprünglichen Budgets. Dabei handelte es sich nicht einmal um einen Einzelfall.

Fehler beim Einsatz generativer KI haben bei Amazon zu erheblichen und teilweise monatelang unbemerkten Kostenüberschreitungen geführt. Nach einem Bericht der Financial Times sprachen leitende Entwickler intern von „katastrophal teuren“ Folgen, wenn bislang konventionell programmierte Aufgaben auf KI-Modelle und automatisierte Agenten verlagert wurden. Amazon arbeite deshalb derzeit an automatischen Schutzmechanismen, die Ausgaben begrenzen und auffällige Nutzungsmuster schneller erkennen sollen.

Im teuersten bekannt gewordenen Fall sollten interne Entwickler, gestützt durch Anthropics KI-Modell Claude Sonnet, Autorendaten mit Produktangeboten auf der Amazon-Plattform abgleichen. Das gescheiterte Projekt verursachte Kosten von 1,8 Millionen US-Dollar und überschritt sein Budget damit um 860 Prozent. Entdeckt wurde die Abweichung erst nach fünf Monaten. Bei einem Finanzprüfungssystem entstanden zusätzlich rund 541.000 Dollar, bei einem KI-Projekt zur Optimierung der Logistik weitere 134.000 Dollar.

Kleine Programmierfehler werden zu teuren Dauerschleifen

Das Problem liegt nicht allein im Preis einzelner Modellaufrufe. KI-Agenten können selbstständig weitere Anfragen auslösen, Daten erneut verarbeiten, fehlgeschlagene Schritte wiederholen oder umfangreiche Kontexte an ein Modell senden. Ein Fehler, der in klassischer Software lediglich einige zusätzliche CPU-Zyklen oder einen fehlerhaften Datenbankaufruf verursacht hätte, kann dadurch Tausende kostenpflichtige Modellinteraktionen anstoßen. Dabei offerieren die wenigsten LLM-Anbieter Abo-Modelle für die Nutzung ihrer Modelle; die Abrechnung erfolgt generell über die Anzahl aufgewendeter und generierter Tokens. Ohne Laufzeitgrenzen, Abbruchbedingungen und Ausgabenlimits wächst auf diese Weise die Rechnung weiter, obwohl das System kein brauchbares Ergebnis liefert.

Für Entwicklungsteams reicht es deshalb nicht aus, KI-Funktionen nur fachlich und technisch zu testen. Auch ihr Kostenverhalten muss Bestandteil von Architektur, Qualitätssicherung und Betrieb werden. Sinnvolle Maßnahmen sind Budgets pro Anwendung, Nutzer und Agent, Obergrenzen für Modellaufrufe, automatische Abschaltungen sowie Warnungen bei ungewöhnlichen Tokenraten. Ebenso wichtig sind Dashboards, die Ausgaben nicht erst auf Monatsbasis, sondern möglichst in Echtzeit einzelnen Diensten, Funktionen und Entwicklungsgruppen zuordnen. Während ein globales Unternehmen wie Microsoft oder Amazon solche explodierenden Zusatzkosten bei der KI-gestützten Entwicklung verkraften kann, könnten vergleichbar aus dem Ruder Laufende Entwicklungsprojekte für kleine oder mittelständische Unternehmen ruinöse Folgen haben.

FinOps wird Teil der Softwarearchitektur

Die Vorfälle zeigen, dass der Einsatz von KI die Zuständigkeiten zwischen Entwicklung, Betrieb und Finanzcontrolling verändert. Teams müssen bereits bei der Modellauswahl entscheiden, ob eine Aufgabe tatsächlich ein leistungsstarkes Spitzenmodell benötigt oder mit einem günstigeren Modell, einem Open-Weight-System oder klassischem Programmcode zuverlässiger lösbar ist. Auch Caching, kleinere Kontextfenster und die Vorverarbeitung von Daten können die Kosten deutlich senken.

Amazon hatte zuvor eine interne Rangliste eingestellt, die Beschäftigte nach der Nutzung seiner Entwicklungsplattform Kiro bewertete. Sie soll zu sogenanntem „Tokenmaxxing“ geführt haben, bei dem ein hoher Tokenverbrauch indirekt als Zeichen intensiver KI-Nutzung galt: Entwickler haben unnötig häufig Elemente mit Hilfe ihrer agentischen KI-Tools neu generieren oder gegenprüfen lassen, um so die Zahl der von ihnen generierten Tokens künstlich aufzublähen und so produktiver zu wirken. Für Unternehmen ist das eine Warnung vor falsch gesetzten Anreizen: Die Menge erzeugten Codes oder verbrauchter Tokens sagt wenig über Qualität, Wartbarkeit, Sicherheit oder tatsächlich ausgelieferte Funktionen aus.

Besonders schwer kalkulierbar sind die versteckten Kosten einer Per-Token-Abrechnung. Bei KI-gestützter Codeentwicklung entstehen Tokens nicht nur für sichtbare Antworten, sondern auch für Systemanweisungen, eingelesene Repository-Dateien, wiederholte Korrekturschleifen, Tests, Tool-Aufrufe und die Kommunikation mehrerer Agenten. Wachsende Codebasen vergrößern zudem den Kontext jeder Anfrage. Ein zunächst günstiger Assistent kann dadurch mit zunehmender Nutzung, langen Sitzungen und automatisierten Workflows unbemerkt zu einem erheblichen Betriebskostenfaktor werden. (sg)

(ID:50917314)