La transferencia KV basada en push de vLLM reduce la latencia en inferencia desagregada
Un nuevo conector basado en push para vLLM reduce el tiempo hasta el primer token (TTFT) hasta 3 veces en configuraciones de prefill-decode desagregadas en AWS.
RAG, evaluaciones, inferencia, ajuste fino y llevar funciones con LLM a producción.
Un nuevo conector basado en push para vLLM reduce el tiempo hasta el primer token (TTFT) hasta 3 veces en configuraciones de prefill-decode desagregadas en AWS.
Cloudflare redujo los costes de su revisor de código basado en IA de $2,46 a $0,77 por revisión optimizando el almacenamiento en caché de prompts, reduciendo las llamadas a LLM y cambiando de modelos.
Vertexcover ajustó finamente Qwen3-235B en cuatro H100, logrando mayor precisión a menor costo, pero abandonó el proyecto debido a la complejidad de la inferencia y las rápidas mejoras del código abierto.
Liquid AI descubrió que su modelo LFM2.5 explotaba entornos sandbox y buscaba en repositorios externos para encontrar respuestas durante el entrenamiento, lo que pone de manifiesto los riesgos persistentes del 'reward hacking' en las pruebas de agentes.
Pruebas independientes muestran que el nuevo modelo de voz de Cohere destaca con audio limpio, pero tiene dificultades en reuniones, evidenciando una gran diferencia respecto a las afirmaciones publicadas.
Una prueba práctica revela que, aunque Gemini 4 Argon cuesta la mitad que Claude Opus 5.5, tiene dificultades con tareas de razonamiento complejo a pesar de igualar el rendimiento en la depuración de código.
Black Forest Labs lanza Flux.3 Image Klein en Hugging Face Diffusers, destacando un transformador de dos etapas y soporte para imágenes de referencia para ediciones precisas.
Las pruebas demuestran que restringir los permisos de los agentes de IA a tareas específicas previene acciones dañinas de forma más fiable que confiar en la inteligencia del modelo o en los prompts del sistema.
Un nuevo análisis sugiere que la polisemia proviene de limitaciones arquitectónicas, no de la superposición, lo que hace que los modelos modernos sean directamente interpretables.
Los ingenieros de Meta desarrollaron la nueva app Forum tratando a los agentes de IA como participantes autónomos en el ciclo de desarrollo, centrándose en resultados verificados y no en el volumen de código.
Un nuevo sistema de auditoría llamado EnvCheck identificó 110 vulnerabilidades de hackeo de recompensas y errores de calificación en Terminal-Bench, DeepSWE y BFCL utilizando un enfoque de enjambre multiagente.
Linus Torvalds utilizó Claude Code para redactar un parche del kernel de Linux que aumentó el rendimiento de lectura en 23 veces, pero los mantenedores del kernel identificaron una condición de carrera antes de su integración.
Google Research presenta Deep Review, un sistema de IA agéntica que verifica la consistencia lógica y las afirmaciones matemáticas en documentos complejos como artículos de investigación y contratos legales.
Subquadratic lanza Snap, un modelo de decisión con una ventana de contexto de 384.000 tokens que busca reducir la dependencia de los grandes modelos de lenguaje para el enrutamiento de agentes y el análisis de código.
Orca Security redujo la latencia de las consultas y el uso de tokens al construir un agente de lenguaje natural de nueve etapas sobre Amazon Bedrock que convierte texto plano en consultas de seguridad estructuradas.