Cómo el equipo de Claude Code escala los bucles de verificación de IA
El equipo de Claude Code comparte cómo utilizan pruebas end-to-end, de propiedad y diferenciales para verificar código generado por agentes a gran escala.
Traducido automáticamente del original en inglés.
El equipo de Claude Code en Anthropic ahora hace que Claude escriba y revise aproximadamente el noventa por ciento de su base de código. En una publicación de blog de noviembre de 2026, el equipo detalló cómo utilizan bucles de verificación estructurados para mantener la calidad mientras escalan el uso de agentes. Este enfoque les permite ejecutar decenas o cientos de agentes en paralelo automatizando el proceso de recopilación de evidencia que normalmente requiere supervisión humana.
Qué sucedió
A esta escala, la revisión manual se convierte en un cuello de botella. El equipo descubrió que, sin verificación automatizada, los ingenieros solo podían gestionar uno o dos agentes a la vez porque cada salida requería inspección personal. Al dotar a los agentes con la capacidad de verificar su propio trabajo contra rúbricas específicas, desbloquearon un paralelismo masivo. Las pruebas internas mostraron que usar un evaluador separado para comprobar la generación de archivos estructurados mejoraba el éxito de las tareas hasta diez puntos, siendo las ganancias más significativas en los problemas más difíciles.
La idea central es que las tareas de verificación, que antes eran costosas para los humanos, ahora son baratas para los agentes. Los agentes pueden generar rápidamente pruebas, benchmarks y especificaciones. Una vez creados, estos artefactos funcionan como software estándar, permitiendo ejecuciones frecuentes sin consumir tokens adicionales. El equipo cierra el ciclo utilizando los resultados de las pruebas para actualizar las reglas del agente, como añadir restricciones explícitas a los archivos de configuración cuando un agente falla repetidamente en una comprobación específica.
Cómo funciona
El equipo prioriza tres tipos específicos de pruebas para garantizar la robustez. Primero, prefieren las pruebas end-to-end (E2E) sobre las pruebas unitarias porque las E2E describen flujos reales de usuario y son difíciles de engañar. Mientras que las pruebas unitarias podrían pasar incluso si una función está rota, las E2E proporcionan criterios definitivos de "terminado" y evidencia concreta de fallo, como capturas de pantalla. Los agentes usan herramientas como CDP o simuladores para interactuar con el sistema en ejecución, guiados por mapas de funcionalidades que listan rutas y resultados esperados.
Segundo, utilizan pruebas de propiedad para detectar casos límite que humanos y agentes suelen pasar por alto. En lugar de probar entradas específicas, las pruebas de propiedad definen invariantes que siempre deben cumplirse, como la consistencia de codificación de ida y vuelta o saldos de cuenta no negativos. Bibliotecas como fast-check o Hypothesis generan miles de entradas aleatorias para intentar romper estas reglas, proporcionando una comprobación imparcial del código generado por el agente. Tercero, para migraciones a gran escala, emplean pruebas diferenciales. Estas comparan la salida de los sistemas antiguo y nuevo usando las mismas entradas, marcando cualquier desviación como un posible bug.
Detalles clave
- Los bucles de verificación permiten a los equipos escalar de gestionar uno o dos agentes a decenas o cientos en paralelo.
- Se prefieren las pruebas end-to-end porque validan flujos reales de usuario y proporcionan evidencia concreta de fallos.
- Las pruebas de propiedad usan generación de entradas aleatorias para encontrar casos límite que los agentes propensos al sesgo podrían pasar por alto.
- Las pruebas diferenciales comparan las salidas de los sistemas antiguo y nuevo para detectar regresiones durante las migraciones.
- Los agentes intentan arreglar comprobaciones fallidas durante tres rondas antes de escalar el problema a un revisor humano.
- Las reglas de verificación se almacenan en ramas que los agentes no pueden modificar, impidiendo que alteren sus propios criterios de evaluación.
Por qué importa
Para líderes de ingeniería y desarrolladores que construyen con agentes de IA, este cambio transforma la descripción principal del trabajo de leer cada diff a definir qué significa "terminado". Al invertir en capas de verificación sólidas, los equipos pueden delegar tareas más complejas a los agentes sin sacrificar la calidad. La clave está en tratar la verificación como un sistema que necesita mantenimiento, ajuste y protección frente a los mismos agentes que evalúa.
Este enfoque también reduce la carga cognitiva sobre los revisores humanos. En lugar de cazar bugs, los revisores se centran en la arquitectura de alto nivel y en manejar casos límite que la automatización pasa por alto. El método del equipo de usar "modo observación" para nuevas puertas de control les permite ajustar la sensibilidad sin bloquear el desarrollo, asegurando que los falsos positivos no interrumpan el flujo de trabajo. Este equilibrio entre automatización y supervisión humana es crítico para un desarrollo asistido por IA sostenible.
Qué puedes hacer
- Crea una habilidad
verifyen tu repositorio que defina cómo iniciar y probar tu aplicación end-to-end. - Prioriza escribir pruebas E2E que cubran viajes críticos de usuario en lugar de depender únicamente de pruebas unitarias.
- Implementa pruebas de propiedad para la lógica central para detectar casos límite usando generación de entradas aleatorias.
- Almacena reglas de verificación y pautas de revisión en archivos como
REVIEW.mden ramas protegidas. - Configura los agentes para ejecutar pruebas locales y linters antes de abrir pull requests para ahorrar recursos de CI.
- Revisa regularmente los cambios revertidos y las pruebas fallidas para actualizar tus reglas de verificación y prevenir recurrencias.



