Trillionen-Parameter-LLMs auf Mac-Studio-Clustern mit MLX ausführen
Apple-Forscher demonstrieren, wie das 816B Muse Spark Open Modell über vier Mac Studios hinweg unter Verwendung von MLX und RDMA über Thunderbolt ausgeführt wird.
Ergebnisse für „llm inference“
Tägliche Berichterstattung zu KI, Entwicklertools und Infrastruktur. Jeder Artikel erklärt, was passiert ist und warum es wichtig ist, inklusive Link zur Originalquelle.
Spekulative Dekodierung: Wie das Raten von Tokens die LLM-Inferenz beschleunigt
Spekulative Dekodierung ermöglicht es großen Sprachmodellen, mehrere Token-Vorhersagen in einem einzigen Forward-Pass zu überprüfen. Dies reduziert die speicherlimitierte Latenz, ohne die Ausgabeverteilung zu verändern.
Kubernetes stellt Gateway-API-Erweiterung für das Routing von LLM-Inferenz vor
Das Kubernetes-Projekt hat die Gateway API Inference Extension veröffentlicht, um das Routing für generative KI-Workloads zu standardisieren, die Latenz zu reduzieren und die GPU-Auslastung zu verbessern.
