Wie Cloudflare die Kosten für KI-Reviews durch Prompt-Caching um 68 % senkte

Ingenieure bei Cloudflare haben die durchschnittlichen Kosten ihrer KI-gestützten Code-Reviews erfolgreich um 68 Prozent gesenkt, was einen Rückgang von 2,46 USD auf nur noch 0,77 USD pro Review bedeutet. Diese Optimierungsmaßnahme, die zwischen Mitte September und Anfang Oktober 2026 durchgeführt wurde, verkürzte auch die mediane Review-Zeit von über vier Minuten auf unter zwei Minuten, ohne dass die Erkennungsqualität darunter litt.

Was passiert ist

Anfang des Jahres stiegen die Kosten für Cloudflares KI-Code-Reviewer trotz stabiler Architektur erheblich an. Im April kostete ein durchschnittliches Review 1,19 USD, bis Ende August hatte sich dieser Wert mehr als verdoppelt und lag bei etwa 2,46 USD. Das Team identifizierte zwei Haupttreiber für diesen Anstieg: die wachsende Komplexität der von Ingenieuren eingereichten Code-Änderungen, die mehr Arbeit in die teureren Voll-Review-Stufen verlagerte, sowie ein strategischer Wechsel zu Anthropic-Modellen, die zwar eine bessere Leistung boten, aber auch höhere Preise hatten. Insbesondere der Umstieg auf Claude Opus 4.7 für interne Standardprüfungen erhöhte die Kosten für diese spezifische Komponente von 0,25 USD auf 0,88 USD pro Review.

Mitte September startete das Team eine aggressive Optimierungsinitiative. Sie analysierten die Token-Nutzungsmuster und entdeckten, dass zwar hohe Cache-Trefferquoten vorlagen, aber die schiere Menge der verarbeiteten Tokens die Rechnungen in die Höhe trieb. Bis Anfang Oktober, nach der Implementierung einer Reihe von strukturellen und modellseitigen Änderungen, fielen die durchschnittlichen Kosten auf 0,77 USD. Dies entsprach einer Reduzierung um 68 Prozent im Vergleich zu den Wochen mit den höchsten Ausgaben. Gleichzeitig sank die mediane Review-Dauer von 4 Minuten und 9 Sekunden auf 1 Minute und 32 Sekunden, was die Entwicklererfahrung neben der finanziellen Effizienz deutlich verbesserte.

Wie es funktioniert

Der zentrale technische Durchbruch bestand darin, die Nutzung des Prompt-Cachings von Anthropic neu zu überdenken. Prompt-Caching ermöglicht es großen Sprachmodellen, berechnete Präfixe einer Konversation zu speichern, um eine günstigere Wiederverwendung bei nachfolgenden Anfragen zu ermöglichen. Cloudflare stellte jedoch fest, dass ihre ursprüngliche Implementierung keine geteilten Caching-Daten über verschiedene Repositories hinweg ermöglichte. Der System-Prompt enthielt repository-spezifische Details wie Arbeitsverzeichnisse und Daten vor dem Cache-Breakpoint, was bedeutete, dass jede neue Sitzung mit einem Cache-Miss begann. Durch die Aufteilung des System-Prompts und das Platzieren eines Cache-Markers nach den statischen Agent-Anweisungen stellten sie sicher, dass das gemeinsame Präfix von 11k bis 21k Tokens über alle Jobs hinweg wiederverwendet werden konnte, wodurch häufige Schreibvorgänge in günstige Lesevorgänge umgewandelt wurden.

Weitere Effizienzgewinne ergaben sich aus der Reduzierung der Anzahl der LLM-Aufrufe pro Sitzung. Zuvor versuchten Sub-Reviewer, Tools zu verwenden, auf die sie keinen Zugriff hatten, was zu verschwendeten Aufrufen und Fehlerbehebungsschleifen führte. Das Team entfernte diese unzugänglichen Tools und parallelisierte das Lesen von Dateien, sodass Reviewer Kontextinformationen in einem einzigen Schritt aufnehmen konnten, anstatt in mehreren sequenziellen Schritten. Sie implementierten auch Logik, um unnötige Reviewer während erneuter Reviews zu überspringen, und brachen Jobs ab, die im Hintergrund weiterliefen, nachdem sie als abgeschlossen markiert worden waren. Diese Änderungen reduzierten kollektiv die durchschnittliche Anzahl der LLM-Aufrufe und die Gesamtanzahl der Tokens pro Review.

Wichtige Details

• Die durchschnittlichen Review-Kosten sanken von 2,46 USD auf 0,77 USD, eine Reduzierung um 68 Prozent.
• Die mediane Review-Zeit verbesserte sich von 4m 09s auf 1m 32s.
• Die Cache-Trefferquoten für das gemeinsame Präfix stiegen nach der Umstrukturierung des System-Prompts erheblich an.
• Der Wechsel von Sonnet 5 zu Sonnet 5.5 reduzierte die Kosten für einige Reviewer-Typen aufgrund geringerer Token-Nutzung um fast die Hälfte.
• Code-Änderungen machten 0,65 USD der Einsparungen aus, während Anpassungen bei Modellen und Aufwand 1,06 USD ausmachten.
• Die Review-Zeit im 99. Perzentil ist nun schneller als 75 Prozent der Reviews im April.

Warum das wichtig ist

Für Engineering-Teams, die mit großen Sprachmodellen arbeiten, verdeutlicht diese Fallstudie, dass architektonische Stabilität keine Kostensstabilität garantiert. Wenn Modelle leistungsfähiger werden, neigen Nutzer dazu, komplexere Eingaben einzureichen, was unbeabsichtigt den Token-Verbrauch erhöhen kann. Cloudflares Erfahrung zeigt, dass hohe Cache-Trefferquoten nicht ausreichen, wenn die gecachten Daten nicht für maximale Wiederverwendung strukturiert sind. Entwickler müssen die Prompt-Struktur aktiv managen, um sicherzustellen, dass statische, geteilte Inhalte von dynamischen, variablen Inhalten isoliert werden, um das Caching effektiv zu nutzen.

Zudem deutet die Verschiebung der Kostentreiber von Infrastruktur hin zu Modellauswahl und Aufwandslevel darauf hin, dass laufende Feinabstimmungen erforderlich sind. Die bloße Auswahl eines leistungsstarken Modells ist keine Entscheidung, die man einmal trifft und dann vergisst. Teams müssen kontinuierlich bewerten, ob Einstellungen mit höherem Aufwand einen proportionalen Mehrwert bei den Ergebnissen liefern. Cloudflare stellte fest, dass für einige Aufgaben mittlerer Aufwand ausreichend war, während für andere hoher Aufwand den marginalen Kostenanstieg wert war. Dieser granulare Ansatz bei der Konfiguration verhindert die Überbereitstellung von Rechenressourcen für Aufgaben, die kein tiefes Reasoning erfordern.

Was Sie tun können

• Prüfen Sie Ihre Prompt-Struktur, um sicherzustellen, dass statische Präfixe von dynamischen Variablen getrennt sind, um die Cache-Nutzung zu verbessern.
• Überwachen Sie die Anzahl der LLM-Aufrufe pro Sitzung und identifizieren Sie verschwendete Schritte, die durch Tool-Fehler oder unnötige Zusammenfassungen verursacht werden.
• Testen Sie neuere Modellversionen gegen aktuelle Baselines, da Effizienzverbesserungen manchmal höhere Preise pro Token kompensieren können.
• Implementieren Sie parallele Verarbeitung für die Kontextabrufung, um sequenzielle Latenzzeiten und Aufrufanzahlen zu reduzieren.
• Überprüfen Sie die Aufwands-Einstellungen für verschiedene Task-Tiers, um sicherzustellen, dass Sie nicht übermäßig viel Rechenleistung für einfache Checks einsetzen.
• Stellen Sie sicher, dass abgebrochene Jobs auf Skript-Ebene tatsächlich beendet werden, um Ressourcenverschwendung im Hintergrund zu verhindern.