Exécution de LLM à mille milliards de paramètres sur des clusters Mac Studio avec MLX
Des chercheurs d'Apple démontrent comment exécuter le modèle ouvert Muse Spark Open (816B) sur quatre Mac Studios en utilisant MLX et RDMA via Thunderbolt.
Résultats pour « llm inference »
Couverture quotidienne de l’IA, des outils pour développeurs et de l’infrastructure. Chaque article explique ce qui s’est passé et pourquoi c’est important, avec un lien vers la source originale.
Décodage spéculatif : comment la prédiction de jetons accélère l'inférence des LLM
Le décodage spéculatif permet aux grands modèles de langage de vérifier plusieurs prédictions de jetons en une seule passe avant, réduisant la latence liée à la mémoire sans modifier la distribution des sorties.
Kubernetes introduit une extension de l'API Gateway pour le routage de l'inférence LLM
Le projet Kubernetes a publié l'extension d'inférence de l'API Gateway afin de standardiser le routage des charges de travail d'IA générative, réduisant ainsi la latence et améliorant l'utilisation des GPU.
