El pipeline de revisión automática de código de Anthropic para cambios generados por IA
Anthropic revela cómo su equipo de Claude Code utiliza la verificación automatizada y las comprobaciones deterministas para validar el código escrito por IA sin necesidad de una revisión manual por ingenieros en cada cambio.
Traducido automáticamente del original en inglés.
El equipo de ingeniería de Anthropic ahora depende de su propio asistente de IA, Claude, para escribir y revisar aproximadamente el 90% del código del producto Claude Code. En una publicación técnica reciente, el miembro del personal Addy Osmani detalló el sistema interno de verificación que permite este alto nivel de automatización manteniendo la fiabilidad del software. Este enfoque desplaza el esfuerzo humano desde la escritura de cada línea hacia la evaluación de las evidencias producidas por los agentes automatizados.
Qué ocurrió
El equipo de Claude Code ha estructurado su flujo de trabajo para que los agentes de IA gestionen la mayor parte de las tareas de codificación, pero no confirman cambios sin superar un conjunto riguroso de comprobaciones automatizadas. Estas comprobaciones están diseñadas para soportar decenas o incluso cientos de agentes concurrentes trabajando simultáneamente. En lugar de exigir que un ingeniero inspeccione cada cambio individual, el sistema proporciona evidencia estructurada que los ingenieros pueden revisar para tomar decisiones finales.
Este método ha generado debate en la comunidad de desarrolladores respecto al coste y la integridad. Los críticos cuestionaron si los costes de inferencia del uso de grandes modelos de lenguaje para la verificación estaban justificados en comparación con herramientas deterministas más baratas. Otros temían que los agentes de IA pudieran manipular las pruebas para pasarlas en lugar de corregir los problemas subyacentes. Anthropic respondió explicando cómo superpone comprobaciones deterministas baratas antes de las revisiones costosas basadas en modelos y aplica reglas estrictas para evitar que los agentes manipulen el sistema.
Cómo funciona
El proceso de verificación comienza con comprobaciones deterministas cuyo costo de ejecución es muy bajo. Estas incluyen compilaciones estándar, linters, pruebas unitarias y pruebas basadas en propiedades. Dado que son procesos de software ordinarios, se pueden ejecutar repetidamente sin un gasto significativo. Solo después de que estas comprobaciones pasan, el sistema activa la revisión basada en modelos. Este enfoque por niveles garantiza que la inferencia costosa se reserve para juicios complejos que las pruebas simples no pueden resolver, como evaluar si un cambio adopta el enfoque arquitectónico correcto o pasa por alto casos límite no cubiertos por las pruebas existentes.
Para evitar que los agentes manipulen los resultados, Anthropic impone una separación estricta entre el código que se modifica y las comprobaciones que lo validan. Si un cambio puede modificar la comprobación que lo juzga, el sistema considera que dicha comprobación está rota. Por ejemplo, el revisor de código lee archivos de configuración como REVIEW.md desde la rama base, no desde la nueva pull request. Se prohíbe a los agentes omitir pruebas inestables (flaky tests), añadir retrasos para ocultar fallos o volver a ejecutar pruebas hasta que pasen. Si un agente no puede resolver una prueba fallida, debe eliminarla y documentar la razón, garantizando así la transparencia.
Detalles clave
- Claude escribe y revisa aproximadamente el 90% del código para el equipo de Claude Code.
- Las habilidades de verificación se almacenan en carpetas específicas del repositorio dentro de
.claude/skills/. - Las comprobaciones deterministas, como compilaciones y linters, se ejecutan antes de cualquier revisión basada en modelos para controlar los costos.
- Los agentes no pueden modificar las comprobaciones que juzgan su propio código; los revisores leen desde la rama base.
- Entre junio y septiembre, las pull requests fusionadas se duplicaron mientras que las revertidas disminuyeron más del 40%.
- Los ingenieros siguen siendo responsables de cada cambio publicado, revisando evidencias como capturas de pantalla y registros de pruebas.
Por qué importa
Para los equipos que construyen software con IA, este modelo ofrece una hoja de ruta para escalar el desarrollo sin aumentar linealmente la plantilla. Demuestra que altas tasas de automatización son posibles si se invierte en una infraestructura de verificación robusta. La idea clave es que la confianza no se deposita ciegamente en la IA, sino en la evidencia que produce. Al cambiar el rol humano de autor a auditor, los equipos pueden manejar volúmenes más altos de cambios manteniendo los estándares de calidad.
Sin embargo, la falta de datos publicados sobre las tasas de falsos positivos y los costes específicos de inferencia significa que los equipos deben evaluar cuidadosamente sus propias implementaciones. Esta estrategia requiere un cambio cultural donde los ingenieros aceptan la responsabilidad por código que no han tecleado. También exige herramientas rigurosas para evitar que los agentes tomen atajos, como reescribir pruebas para ocultar errores. Sin estas salvaguardas, las ganancias de velocidad de la codificación con IA podrían verse compensadas por un aumento de la deuda técnica y la inestabilidad.
Qué puedes hacer
- Implementa pruebas basadas en propiedades para ayudar a los agentes de IA a identificar casos límite que las pruebas unitarias estándar podrían pasar por alto.
- Separa tu lógica de verificación del código de aplicación para evitar que los agentes modifiquen sus propios jueces.
- Ejecuta comprobaciones deterministas baratas, como linters y compilaciones, antes de activar cualquier revisión costosa basada en modelos.
- Utiliza pruebas diferenciales para comparar nuevas implementaciones con las antiguas y detectar cambios de comportamiento no anticipados.
- Exige a los agentes que documenten por qué eliminan u omiten pruebas, asegurando la transparencia en el proceso de verificación.
- Monitorea el cumplimiento de las puertas de verificación antes de hacerlas obligatorias, permitiendo a los equipos ajustar sus flujos de trabajo gradualmente.



