Blog

Ergebnisse für „llama.cpp“

Tägliche Berichterstattung zu KI, Entwicklertools und Infrastruktur. Jeder Artikel erklärt, was passiert ist und warum es wichtig ist, inklusive Link zur Originalquelle.

Offene & lokale KI

llama.cpp experimentiert mit Laufzeit-Erweiterung von MoE-Experten ohne Nachtraining

Ein Community-Zweig von llama.cpp ermöglicht es nun, dass Sparse-Mixture-of-Experts-Modelle zur Inferenzzeit mehr Experten aktivieren und dabei Geschwindigkeit gegen potenzielle Qualitätssteigerungen tauschen.

16. Okt. 2026 4 Min. Lesezeit über OpenAI Hub

Offene & lokale KI

Magnitude: Eine Open-Source-Inferenz-Engine, die sich selbst auf Ihre Hardware abstimmt

Magnitude kompiliert und optimiert Kernel direkt auf dem Gerät, um offene Modelle bis zu 2x schneller als llama.cpp auf Apple Silicon, NVIDIA, AMD und CPU-Systemen auszuführen.

1. Okt. 2026 3 Min. Lesezeit über GitHub