Ein praktischer Leitfaden zum Self-Hosting von LLM-Inferenz für Plattform-Teams

Da Organisationen ihre Abhängigkeit von Drittanbieter-APIs reduzieren und sensible Daten schützen möchten, werden Plattform-Teams zunehmend damit beauftragt, große Sprachmodelle intern zu betreiben. Ein neuer technischer Leitfaden von Modelplane skizziert die wesentlichen Praktiken des Inferenz-Engineering und zeigt detailliert auf, wie GPUs verwaltet, der Speicher optimiert und die Leistung in Produktionsumgebungen (Stand Oktober 2026) gemessen wird.

Was ist passiert

Der Aufstieg hochwertiger offener Modelle hat das Self-Hosting für viele Unternehmen zu einer tragfähigen Alternative zu gehosteten APIs gemacht. Mit über zwei Millionen verfügbaren Modellen auf Hugging Face und konkurrenzfähigen Leistungen von Veröffentlichungen wie DeepSeek R1 können Unternehmen nun ihre eigene Infrastruktur betreiben, um Latenz, Verfügbarkeit und Datensouveränität zu kontrollieren. Dieser Wandel verwandelt Plattform-Teams in Inferenz-Teams, die den gesamten Lebenszyklus des Modell-Servings verwalten müssen, anstatt nur externe Endpunkte zu nutzen.

Self-Hosting wird wirtschaftlich attraktiv, wenn die API-Ausgaben erheblich steigen oder wenn spezifische Anforderungen an Zuverlässigkeit und Daten-Governance das Angebot der Anbieter übersteigen. Bei hohen Volumina kann der interne Betrieb von Modellen die Kosten im Vergleich zu kommerziellen APIs um etwa 80 Prozent senken. Der Haupttreiber dieser Kostensenkung ist nicht bessere Hardware, sondern effizientere Serving-Strategien, da der Preis für feste KI-Fähigkeiten dank Softwareverbesserungen jährlich um etwa das Zehnfache sinkt.

Der Leitfaden betont, dass Inferenz-Engineering im Wesentlichen Site Reliability Engineering (SRE) auf eine neue Workload angewendet bedeutet. Fähigkeiten in den Bereichen Scheduling, Kapazitätsplanung und Observability lassen sich direkt übertragen, auch wenn sich die Metriken ändern. Beispielsweise muss Autoscaling auf Queue-Tiefe und die Nutzung des Key-Value-Caches reagieren, nicht auf die CPU-Last, und Rollouts beinhalten komplexe Matrizen aus Modellversionen, Hardwaretypen und Engine-Builds. Die Rolle ist noch im Entstehen begriffen, ohne etablierte Jobbezeichnung, aber die Nachfrage wächst, da immer mehr Unternehmen interne KI-Infrastrukturen einführen.

Wie es funktioniert

Eine Inferenz-Engine fungiert als zustandsbehafteter Server, der Modellgewichte in den GPU-Speicher lädt und den Sitzungsstatus verwaltet – ähnlich einer Datenbank mit einem spezialisierten Beschleuniger. Der Stack besteht aus vier Schichten: Kernels, die Arithmetik durchführen, die Engine, die die Arbeit plant, eine Control Plane, die Deployments verwaltet, und ein Gateway, das den Traffic routet. Engines wie vLLM oder SGLang erledigen die schwere Arbeit, indem sie statische Gewichte in reaktive APIs umwandeln und dabei die kritische Ressource GPU-Speicher verwalten.

Das Speichermanagement ist die zentrale Herausforderung bei der Inferenz. Modellgewichte sind fix und müssen vollständig im GPU-Speicher resident sein, während der Key-Value-(KV)-Cache dynamisch mit jeder Konversation wächst. Der KV-Cache speichert Attention-Keys und -Values für jedes Token im Flug, sodass das Modell die Neuberechnung der Historie vermeiden kann. Seine Größe hängt von der Kontextlänge und der Anzahl gleichzeitiger Nutzer ab und wird oft zum limitierenden Faktor dafür, wie viele Anfragen eine einzelne GPU bewältigen kann. Zum Beispiel erfordert ein Modell mit 70 Milliarden Parametern in halber Präzision erheblichen Speicher allein für die Gewichte, was wenig Platz für den Cache lässt.

Die Anfrageverarbeitung erfolgt in zwei unterschiedlichen Phasen mit verschiedenen Engpässen. Die Prefill-Phase liest die gesamte Eingabe parallel, um das erste Token zu generieren, und ist durch die Rechenleistung begrenzt. Die Decode-Phase generiert nachfolgende Tokens einzeln und ist durch die Speicherbandbreite begrenzt, da sie Gewichte und den wachsenden KV-Cache liest. Optimierungen müssen den richtigen Engpass adressieren; Techniken, die das Prefill beschleunigen, verbessern möglicherweise nicht die Decode-Geschwindigkeit. Metriken wie Time to First Token und Tokens pro Sekunde helfen Ingenieuren, die Phase zu identifizieren, die für ihre spezifische Workload getuned werden muss.

Wichtige Details

• Speicherberechnungen sind entscheidend: Ein Modell mit 8 Milliarden Parametern benötigt bei 2 Bytes pro Parameter etwa 16 GB GPU-Speicher allein für die Gewichte, wobei der Rest für den KV-Cache und den Runtime-Overhead bleibt.
• Zwei-Phasen-Verarbeitung: Prefill ist compute-bound und bestimmt die Zeit bis zum ersten Token, während Decode memory-bound ist und die Streaming-Geschwindigkeit bestimmt.
• Kostenkalkulation: Die Kosten pro Million Tokens ergeben sich aus dem stündlichen GPU-Preis dividiert durch den Durchsatz, was einen direkten Vergleich mit Preisen gehosteter APIs ermöglicht.
• Agent-Workloads unterscheiden sich: Coding-Agenten senden lange, repetitive Prompts, deren Mediangröße 59.000 Tokens erreicht, wodurch Prefix-Caching hochwirksam wird.
• Vorteile der Quantisierung: Das Speichern von Gewichten in weniger Bits gibt Speicher für den KV-Cache frei, was mehr gleichzeitige Nutzer erlaubt, ohne die Modellarchitektur zu ändern.
• Scaling-Signale: Autoscaling sollte basierend auf Queue-Tiefe und KV-Cache-Nutzung ausgelöst werden, nicht nur auf Prozentsätzen der CPU- oder GPU-Auslastung.

Warum das wichtig ist

Für Software-Entwickler ermöglicht das Verständnis des Inferenz-Engineerings eine größere Kontrolle über Produktleistung und Kostenstruktur. Die Abhängigkeit von externen APIs führt zu Latenzvariabilität und Datenschutzrisiken, die für Unternehmensanwendungen möglicherweise inakzeptabel sind. Durch die Beherrschung des Inferenz-Stacks können Teams ihre Infrastruktur an spezifische Workload-Muster anpassen, z. B. durch Optimierung für Low-Latency-interaktiven Chat oder High-Throughput-Batch-Verarbeitung.

Der Wandel wirkt sich auch auf Einstellung und Teamstruktur aus. Da Inferenz-Rollen häufiger werden, müssen Plattform-Ingenieure ihre Skillsets um GPU-Speichermanagement und modell-spezifische Observability erweitern. Die Erkenntnis, dass die meisten Optimierungsgewinne aus Software-Effizienz resultieren und nicht aus Hardware-Upgrades, ermöglicht es Führungskräften, in die richtigen Tools und Schulungen zu investieren. Dieses Wissen befähigt Teams, robuste KI-Funktionen zu entwickeln, die mit steigender Nutzernachfrage vorhersehbar skalieren.

Was Sie tun können

• Aktuelle API-Ausgaben prüfen: Berechnen Sie Ihre Kosten pro Million Tokens und vergleichen Sie diese mit geschätzten Self-Hosting-Kosten unter Verwendung aktueller GPU-Preise.
• Mit kleinen Modellen beginnen: Stellen Sie ein kleineres offenes Modell bereit, um die operativen Grundlagen wie Weight-Loading, KV-Cache-Management und Monitoring zu erlernen.
• Wichtige Metriken überwachen: Verfolgen Sie Time to First Token, Inter-Token-Latenz und Goodput, um die User Experience und Systemeffizienz zu verstehen.
• Prefix-Caching aktivieren: Wenn Ihre Anwendung wiederholte Prompts oder Agent-Workflows umfasst, stellen Sie sicher, dass Ihre Engine Prefix-Caching nutzt, um redundante Berechnungen zu reduzieren.
• Memory-Overhead einplanen: Lassen Sie ausreichend GPU-Speicher für Runtime-Overhead und Fragmentierung, nicht nur für die rohen Modellgewichte und den geschätzten Cache.
• SLOs klar definieren: Establish Service Level Objectives für Latenz und Verfügbarkeit, basierend darauf, ob Ihre Workload interaktiv oder batch-orientiert ist.