Construir con IA

Airbnb utiliza el costo por tarea para gestionar agentes de codificación en Amazon Bedrock

Airbnb evalúa los modelos de agentes de codificación utilizando métricas de costo por tarea y señales de CloudWatch para establecer valores predeterminados y monitorear el rendimiento en producción en Amazon Bedrock.

Un panel de control mostrando métricas de costo y tokens sobre archivos de código.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Airbnb ha detallado su estrategia para operar agentes de codificación internos a gran escala, centrándose en una métrica llamada costo por tarea para guiar la selección de modelos. El equipo de ingeniería ejecuta estos agentes a través de una herramienta interna llamada AirChat, que se conecta con Amazon Bedrock para la inferencia de modelos de lenguaje grandes (LLM). Al combinar evaluaciones previas al despliegue con el monitoreo de producción en tiempo real, la empresa gestiona la latencia, la capacidad y el gasto a medida que se lanzan nuevos modelos.

Qué sucedió

Miles de ingenieros y personal relacionado con la ingeniería en Airbnb utilizan AirChat cada semana para asistir en tareas de desarrollo de software. Esta plataforma interna permite a los usuarios ejecutar agentes de codificación ya sea en sus máquinas personales de desarrollo en la nube, conocidas como espacios de trabajo AirDev, o mediante AirChat Remote, que ejecuta tareas en entornos de nube separados. Todas las solicitudes de modelo provenientes de estos agentes pasan a través de una puerta de enlace central de LLM que dirige el tráfico hacia Amazon Bedrock. Esta configuración garantiza que los prompts, el código y las respuestas del modelo permanezcan dentro de la infraestructura de AWS, aprovechando sus controles de acceso y capacidades de monitoreo.

El panorama de los modelos fundacionales disponibles cambia rápidamente. En un período reciente de cinco semanas, ocho nuevos modelos fueron lanzados en Amazon Bedrock. A mediados de octubre, aproximadamente dos tercios de las solicitudes enviadas por los ingenieros a través de agentes de codificación estaban dirigidas a estos modelos recién liberados. Cada lanzamiento de nuevo modelo introduce variabilidad en los conteos de tokens de salida, costos, latencia y límites de capacidad. Los gráficos de referencia proporcionados por los editores de modelos a menudo no reflejan cómo rinde un modelo en flujos de trabajo específicos de ingeniería interna. Para abordar esta brecha, Airbnb ejecuta sistemas paralelos: uno para evaluar modelos antes del despliegue y otro para observar el comportamiento en producción.

Antes de implementar un nuevo modelo como predeterminado, el equipo realiza evaluaciones sobre un conjunto fijo de tareas representativas. Estas evaluaciones miden tanto la puntuación de calidad como el costo por tarea para cada nivel de esfuerzo de razonamiento del modelo. Después del despliegue, las herramientas de observabilidad rastrean los patrones de uso reales. Si los datos de producción divergen de los resultados de la evaluación, los ingenieros investigan la discrepancia para entender la causa. Este bucle de retroalimentación continuo permite al equipo ajustar los modelos predeterminados y los techos de esfuerzo basándose en el rendimiento del mundo real en lugar de en referencias estáticas.

Cómo funciona

El núcleo de la estrategia de Airbnb es la métrica de costo por tarea. Un agente de codificación generalmente requiere múltiples solicitudes para completar una sola tarea, y el modelo vuelve a leer el contexto acumulado con cada solicitud. Por lo tanto, calcular el precio de las solicitudes individuales es insuficiente. En su lugar, el equipo calcula el costo total de lista de todos los tokens utilizados para finalizar una tarea. Amazon Bedrock informa cuatro tipos de tokens para cada solicitud: entrada sin caché, lecturas de caché, escrituras de caché y salida. Cada tipo tiene un punto de precio diferente. Las lecturas de caché son más baratas que la entrada sin caché, mientras que las escrituras de caché pueden ser más caras dependiendo del modelo. Una tasa de aciertos de caché más baja puede aumentar significativamente el costo por solicitud, por lo que rastrear estos componentes es esencial.

Para evaluar los modelos, Airbnb utiliza un framework llamado Harbor, una herramienta de código abierto para ejecutar evaluaciones de agentes en sandboxes. Cada tarea de evaluación se define como una carpeta que contiene la instrucción, la configuración del entorno, las pruebas y un calificador (grader). El calificador es un programa o modelo que puntúa el trabajo del agente contra una solución de referencia. Por ejemplo, una tarea de aprendizaje automático podría pedirle a un agente que compare dos modelos candidatos y decida si desplegar uno nuevo. El calificador recalcula la respuesta correcta desde datos congelados y otorga una recompensa solo si todas las comprobaciones pasan. Este enfoque asegura que las evaluaciones sean consistentes y reproducibles.

La observabilidad en producción depende de las métricas de Amazon CloudWatch dentro del espacio de nombres AWS/Bedrock. Los ingenieros monitorean la latencia usando InvocationLatency y TimeToFirstToken, que mide la espera antes de que comience la generación. También rastrean el limitación de velocidad (throttling) mediante InvocationThrottles y el consumo de cuota usando EstimatedTPMQuotaUsage. Esta última métrica incluye tokens de escritura de caché y multiplicadores de agotamiento de salida, permitiendo a los equipos configurar alarmas proactivas antes de alcanzar los límites de tasa. El monitoreo de costos implica rastrear InputTokenCount, CacheReadInputTokenCount, CacheWriteInputTokenCount y OutputTokenCount. Al comparar estas señales de producción con las puntuaciones de evaluación, el equipo puede determinar cuándo cambiar los modelos predeterminados o ajustar los techos de esfuerzo.

Detalles clave

  • Definición de costo por tarea: El costo total de lista de todos los tokens que un agente usa para completar una tarea, incluyendo entrada sin caché, lecturas de caché, escrituras de caché y salida.
  • Velocidad de evaluación: Los nuevos modelos pueden evaluarse en todas las suites de tareas en cuestión de horas, con resultados completos disponibles para la mañana siguiente, lo que permite decisiones rápidas de despliegue.
  • Impacto del esfuerzo de razonamiento: Aumentar el esfuerzo de razonamiento puede mejorar las puntuaciones pero eleva significativamente los costos; para un modelo, pasar de bajo a alto esfuerzo aumentó el costo por tarea 2,5 veces.
  • Métricas de producción: Las métricas clave de CloudWatch incluyen TimeToFirstToken, OutputTokenCount y los tokens de salida por segundo (OTPS) derivados, calculados como OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000.
  • Estructura de la tarea: Las tareas de evaluación incluyen instrucciones, definiciones de entorno, calificadores y soluciones de referencia, asegurando una puntuación consistente entre diferentes modelos y niveles de esfuerzo.
  • Gestión de cuotas: EstimatedTPMQuotaUsage ayuda a rastrear el consumo de tokens en todas las APIs de inferencia, permitiendo a los equipos solicitar aumentos de cuota antes de que ocurra la limitación de tasa.

Por qué importa

Para los equipos que construyen software con IA, depender únicamente de referencias públicas puede llevar a costos inesperados y problemas de rendimiento. Los gráficos públicos no tienen en cuenta características específicas del flujo de trabajo, como la longitud del contexto, el comportamiento de caché o la complejidad de las bases de código internas. Al adoptar una métrica de costo por tarea, las organizaciones pueden tomar decisiones más informadas sobre qué modelos usar para tipos específicos de trabajo. Este enfoque desplaza el foco de los precios brutos por token a la eficiencia económica real de completar tareas de ingeniería. También destaca la importancia de las estrategias de caché, ya que las tasas de fallos de caché pueden afectar drásticamente el gasto general.

Además, la integración de evaluación y observabilidad crea un marco operativo robusto. Dado que los nuevos modelos se lanzan con frecuencia, tener un proceso estandarizado para probar y monitorear permite a los equipos adoptar mejoras rápidamente mientras mitigan riesgos. Establecer techos de esfuerzo basados en datos de evaluación evita costos descontrolados causados por procesos de razonamiento demasiado verbosos o ineficientes. Esta disciplina asegura que las herramientas de IA sigan siendo activos sostenibles y valiosos para los equipos de ingeniería, en lugar de convertirse en gastos no gestionados. La capacidad de derivar métricas como OTPS de datos básicos de CloudWatch también empodera a los equipos para diagnosticar problemas de latencia sin esperar el soporte del proveedor.

Qué puedes hacer

  • Define un conjunto de tareas de ingeniería representativas con instrucciones claras, configuraciones de entorno y calificadores automatizados para establecer una línea base para la evaluación de modelos.
  • Implementa una puerta de enlace o proxy frente a tu proveedor de LLM para registrar datos de modelo, cliente, equipo y usuario para cada solicitud, habilitando la planificación agregada de costos y capacidad.
  • Activa el registro de invocaciones de modelos en todas las regiones relevantes de AWS y restringe el acceso a los registros para proteger datos sensibles de prompts y respuestas.
  • Usa métricas de CloudWatch para monitorear TimeToFirstToken y OutputTokenCount, y deriva los tokens de salida por segundo para diagnosticar problemas de latencia en producción.
  • Calcula el costo por tarea sumando los costos de todos los tipos de tokens (entrada sin caché, lecturas de caché, escrituras de caché, salida) para cada tarea de agente completada.
  • Configura alarmas proactivas usando EstimatedTPMQuotaUsage para rastrear el consumo de tokens y solicitar aumentos de cuota antes de alcanzar los límites de tasa.
  • #amazon bedrock
  • #ai agents
  • #cost optimization
  • #llm ops
  • #airbnb

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo
$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos