Ejecutar LLMs de un billón de parámetros en clústeres de Mac Studio con MLX
Investigadores de Apple demuestran cómo ejecutar el modelo abierto Muse Spark de 816B en cuatro Mac Studios utilizando MLX y RDMA sobre Thunderbolt.
Resultados para “llm inference”
Cobertura diaria de IA, herramientas para desarrolladores e infraestructura. Cada artículo explica qué ocurrió y por qué es importante, con un enlace a la fuente original.
Decodificación especulativa: cómo adivinar tokens acelera la inferencia de LLM
La decodificación especulativa permite que los grandes modelos de lenguaje verifiquen múltiples predicciones de tokens en una sola pasada hacia adelante, reduciendo la latencia limitada por memoria sin cambiar la distribución de salida.
Kubernetes presenta una extensión de la Gateway API para el enrutamiento de inferencia de LLM
El proyecto Kubernetes lanzó la Gateway API Inference Extension para estandarizar el enrutamiento de cargas de trabajo de IA generativa, reduciendo la latencia y mejorando la utilización de las GPU.
