Airbnb nutzt Kosten pro Aufgabe zur Verwaltung von Coding-Agenten auf Amazon Bedrock
Airbnb bewertet Modelle für Coding-Agenten anhand der Metrik „Kosten pro Aufgabe“ und CloudWatch-Signale, um Standardwerte festzulegen und die Produktionsleistung auf Amazon Bedrock zu überwachen.
Automatisch aus dem englischen Original übersetzt.
Airbnb hat seine Strategie für den Betrieb interner Coding-Agenten im großen Maßstab detailliert beschrieben. Dabei liegt der Fokus auf einer Metrik namens „Kosten pro Aufgabe“, die als Leitlinie für die Modellauswahl dient. Das Engineering-Team führt diese Agenten über ein internes Tool namens AirChat aus, das mit Amazon Bedrock für Inferenzen großer Sprachmodelle verbunden ist. Durch die Kombination von Vorab-Evaluierungen und Echtzeit-Monitoring in der Produktion steuert das Unternehmen Latenz, Kapazität und Ausgaben, wenn neue Modelle veröffentlicht werden.
Was passiert ist
Tausende Ingenieure und verwandte Fachkräfte bei Airbnb nutzen AirChat jede Woche zur Unterstützung bei Softwareentwicklungsaufgaben. Diese interne Plattform ermöglicht es Benutzern, Coding-Agenten entweder auf ihren persönlichen Cloud-Entwicklungsmaschinen, bekannt als AirDev-Workspaces, oder über AirChat Remote auszuführen, wobei Aufgaben in separaten Cloud-Umgebungen ausgeführt werden. Alle Modell-Anfragen dieser Agenten laufen durch ein zentrales Gateway für große Sprachmodelle, das den Traffic an Amazon Bedrock weiterleitet. Dieses Setup stellt sicher, dass Prompts, Code und Modellantworten innerhalb der AWS-Infrastruktur bleiben und deren Zugriffskontrollen sowie Überwachungsfunktionen nutzen.
Die Landschaft der verfügbaren Foundation Models ändert sich schnell. In einem kürzlich vergangenen Zeitraum von fünf Wochen wurden acht neue Modelle auf Amazon Bedrock veröffentlicht. Bis Mitte Oktober gingen etwa zwei Drittel der Anfragen, die Ingenieure über Coding-Agenten sendeten, an diese neu veröffentlichten Modelle. Jede neue Modellveröffentlichung bringt Variabilität bei der Anzahl der Ausgabe-Tokens, den Kosten, der Latenz und den Kapazitätsgrenzen mit sich. Benchmark-Diagramme, die von Modellanbietern bereitgestellt werden, spiegeln oft nicht wider, wie ein Modell bei spezifischen internen Engineering-Workflows abschneidet. Um diese Lücke zu schließen, betreibt Airbnb parallele Systeme: eines zur Evaluierung von Modellen vor dem Rollout und ein weiteres zur Beobachtung des Verhaltens in der Produktion.
Bevor ein neues Modell als Standard bereitgestellt wird, führt das Team Evaluierungen auf einem festen Satz repräsentativer Aufgaben durch. Diese Evals messen sowohl den Qualitäts-Score als auch die Kosten pro Aufgabe für jedes Modell und jede Stufe des Reasoning-Aufwands. Nach dem Rollout verfolgen Observability-Tools die tatsächlichen Nutzungsmuster. Wenn die Produktionsdaten von den Evaluierungsergebnissen abweichen, untersuchen Ingenieure die Diskrepanz, um die Ursachen zu verstehen. Dieser kontinuierliche Feedback-Loop ermöglicht es dem Team, Modell-Standardeinstellungen und Obergrenzen für den Aufwand basierend auf der realen Leistung anzupassen, anstatt sich auf statische Benchmarks zu verlassen.
Wie es funktioniert
Der Kern der Strategie von Airbnb ist die Metrik „Kosten pro Aufgabe“. Ein Coding-Agent benötigt typischerweise mehrere Anfragen, um eine einzelne Aufgabe abzuschließen, und das Modell liest den angesammelten Kontext bei jeder Anfrage erneut. Daher ist die Preisgestaltung für einzelne Anfragen unzureichend. Stattdessen berechnet das Team die gesamten Listenpreis-Kosten aller Tokens, die zur Fertigstellung einer Aufgabe verwendet werden. Amazon Bedrock meldet vier Arten von Tokens für jede Anfrage: uncached input (nicht gecachte Eingabe), cache reads (Cache-Lesevorgänge), cache writes (Cache-Schreibvorgänge) und output (Ausgabe). Jeder Typ hat einen anderen Preis. Cache-Lesevorgänge sind günstiger als nicht gecachte Eingaben, während Cache-Schreibvorgänge je nach Modell teurer sein können. Eine niedrigere Cache-Hit-Rate kann die Kosten pro Anfrage erheblich erhöhen, daher ist die Verfolgung dieser Komponenten entscheidend.
Zur Evaluierung von Modellen nutzt Airbnb ein Framework namens Harbor, ein Open-Source-Tool für die Durchführung von Agent-Evaluierungen in Sandboxes. Jede Evaluierungsaufgabe ist als Ordner definiert, der die Anweisung, die Umgebungskonfiguration, Tests und einen Grader enthält. Der Grader ist ein Programm oder Modell, das die Arbeit des Agenten gegen eine Referenzlösung bewertet. Beispielsweise könnte eine Machine-Learning-Aufgabe einen Agenten bitten, zwei Kandidatenmodelle zu vergleichen und zu entscheiden, ob ein neues ausgerollt werden soll. Der Grader berechnet die richtige Antwort aus eingefrorenen Daten neu und vergibt nur dann eine Belohnung, wenn alle Prüfungen bestanden werden. Dieser Ansatz stellt sicher, dass Evaluierungen konsistent und reproduzierbar sind.
Die Observability in der Produktion basiert auf Amazon CloudWatch-Metriken im Namespace AWS/Bedrock. Ingenieure überwachen die Latenz mithilfe von InvocationLatency und TimeToFirstToken, was die Wartezeit vor Beginn der Generierung misst. Sie verfolgen auch Drosselungen via InvocationThrottles und den Quota-Verbrauch unter Verwendung von EstimatedTPMQuotaUsage. Diese letzte Metrik umfasst Cache-Schreib-Tokens und Output-Burndown-Multiplikatoren, sodass Teams proaktive Alarme setzen können, bevor Rate Limits erreicht werden. Das Kosten-Monitoring umfasst die Verfolgung von InputTokenCount, CacheReadInputTokenCount, CacheWriteInputTokenCount und OutputTokenCount. Durch den Vergleich dieser Produktionssignale mit den Evaluierungs-Scores kann das Team bestimmen, wann Modell-Standardeinstellungen geändert oder Aufwands-Obergrenzen angepasst werden sollten.
Wichtige Details
- Definition der Kosten pro Aufgabe: Die gesamten Listenpreis-Kosten aller Tokens, die ein Agent zur Fertigstellung einer Aufgabe verwendet, einschließlich uncached input, cache reads, cache writes und output.
- Evaluierungsgeschwindigkeit: Neue Modelle können innerhalb weniger Stunden über alle Task-Suites hinweg evaluiert werden, mit vollständigen Ergebnissen am nächsten Morgen, was schnelle Deployment-Entscheidungen ermöglicht.
- Auswirkung des Reasoning-Aufwands: Eine Erhöhung des Reasoning-Aufwands kann die Scores verbessern, erhöht aber die Kosten erheblich; bei einem Modell stiegen die Kosten pro Aufgabe um das 2,5-fache, wenn man von niedrigem auf hohen Aufwand wechselte.
- Produktionsmetriken: Wichtige CloudWatch-Metriken umfassen
TimeToFirstToken,OutputTokenCountund abgeleitete Output-Tokens pro Sekunde (OTPS), berechnet alsOutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000. - Task-Struktur: Evaluierungsaufgaben enthalten Anweisungen, Umgebungsdefinitionen, Grader und Referenzlösungen, um eine konsistente Bewertung über verschiedene Modelle und Aufwandsstufen hinweg sicherzustellen.
- Quota-Management:
EstimatedTPMQuotaUsagehilft dabei, den Token-Verbrauch über alle Inferenz-APIs hinweg zu verfolgen, sodass Teams Quota-Erhöhungen beantragen können, bevor Rate Limiting eintritt.
Warum das wichtig ist
Für Teams, die Software mit KI entwickeln, kann das alleinige Vertrauen auf öffentliche Benchmarks zu unerwarteten Kosten und Leistungsproblemen führen. Öffentliche Diagramme berücksichtigen nicht die spezifischen Merkmale von Workflows, wie Kontextlänge, Caching-Verhalten oder die Komplexität interner Codebasen. Durch die Einführung der Metrik „Kosten pro Aufgabe“ können Organisationen fundiertere Entscheidungen darüber treffen, welche Modelle für bestimmte Arten von Arbeiten verwendet werden sollen. Dieser Ansatz verschiebt den Fokus von reinen Token-Preisen hin zur tatsächlichen wirtschaftlichen Effizienz bei der Bewältigung von Engineering-Aufgaben. Er hebt zudem die Bedeutung von Caching-Strategien hervor, da Cache-Miss-Raten die Gesamtausgaben drastisch beeinflussen können.
Darüber hinaus schafft die Integration von Evaluierung und Observability ein robustes operatives Framework. Da neue Modelle häufig veröffentlicht werden, ermöglicht ein standardisierter Prozess für Testen und Monitoring den Teams, Verbesserungen schnell zu übernehmen und Risiken zu mindern. Das Festlegen von Aufwands-Obergrenzen basierend auf Evaluierungsdaten verhindert explodierende Kosten durch übermäßig verbose oder ineffiziente Reasoning-Prozesse. Diese Disziplin stellt sicher, dass KI-Tools nachhaltige und wertvolle Assets für Engineering-Teams bleiben, anstatt zu unkontrollierten Ausgaben zu werden. Die Fähigkeit, Metriken wie OTPS aus grundlegenden CloudWatch-Daten abzuleiten, befähigt Teams zudem, Latenzprobleme zu diagnostizieren, ohne auf Vendor-Support warten zu müssen.
Was Sie tun können
- Definieren Sie einen Satz repräsentativer Engineering-Aufgaben mit klaren Anweisungen, Umgebungskonfigurationen und automatisierten Gradern, um eine Baseline für die Modell-Evaluierung zu etablieren.
- Implementieren Sie ein Gateway oder einen Proxy vor Ihrem LLM-Anbieter, um Modell-, Client-, Team- und Benutzerdaten für jede Anfrage aufzuzeichnen, was aggregierte Kosten- und Kapazitätsplanung ermöglicht.
- Aktivieren Sie das Logging von Modell-Inferenzen in allen relevanten AWS-Regionen und schränken Sie den Zugriff auf Logs ein, um sensible Prompt- und Response-Daten zu schützen.
- Nutzen Sie CloudWatch-Metriken, um
TimeToFirstTokenundOutputTokenCountzu überwachen, und leiten Sie Output-Tokens pro Sekunde ab, um Latenzprobleme in der Produktion zu diagnostizieren. - Berechnen Sie die Kosten pro Aufgabe, indem Sie die Kosten aller Token-Typen (uncached input, cache reads, cache writes, output) für jede abgeschlossene Agent-Aufgabe summieren.
- Setzen Sie proaktive Alarme unter Verwendung von
EstimatedTPMQuotaUsage, um den Token-Verbrauch zu verfolgen und Quota-Erhöhungen zu beantragen, bevor Rate Limits erreicht werden.



