Warum LLMs auch bei Temperatur Null nicht deterministisch sind

Im September 2025 haben Forscher von Thinking Machines nachgewiesen, dass große Sprachmodelle (LLMs) selbst bei maximaler Determinismus-Konfiguration keine identischen Ausgaben erzeugen. Indem sie denselben Prompt eintausend Mal mit einer Temperatur von Null sendeten, erhielten sie achtzig verschiedene Vervollständigungen. Diese Erkenntnis unterstreicht eine kritische architektonische Herausforderung für Entwickler, die produktive KI-Systeme bauen: Generative Modelle sind inhärent probabilistisch, nicht deterministisch.

Was passiert ist

Das Experiment konzentrierte sich auf einen einfachen Prompt, der Informationen über Richard Feynman anforderte. Das Team verwendete ein offenes Modell mit der Temperatureinstellung Null, einem Parameter, der theoretisch so designed ist, dass er immer das wahrscheinlichste nächste Token auswählt. Trotz dieser Einschränkung divergierten die Ausgaben nach den ersten 102 Tokens. Während 992 Antworten angaben, dass Feynman in Queens, New York, geboren wurde, nannten acht Antworten New York City. Diese Variation trat auf, obwohl Eingaben und Seeds identisch waren, was beweist, dass Standard-Konfigurationsparameter keine Wiederholbarkeit garantieren.

Dieses Verhalten beschränkt sich nicht auf akademische Benchmarks. In Produktionsumgebungen stoßen Entwickler häufig auf Situationen, in denen eine Demo perfekt funktioniert, derselbe Input aber während Kundenpräsentationen oder im Live-Betrieb zu unterschiedlichen Ergebnissen führt. Das Problem wird kritisch, wenn KI-Agenten Entscheidungen treffen, die Geld, Zugriffsrechte oder Compliance betreffen. Im Gegensatz zur traditionellen Software, bei der ein Bug jedes Mal denselben Fehler erzeugt, kann ein LLM in einem Durchlauf eine korrekte Antwort geben und im nächsten eine falsche, was Debugging und Auditing erheblich erschwert.

Die Ursache liegt darin, wie Inferenzserver arbeiten. Anbieter gruppieren Anfragen in Batches, um die GPU-Auslastung zu optimieren. Untersuchungen zeigen, dass gängige GPU-Kernels nicht batch-invariant sind, was bedeutet, dass sich mathematische Ergebnisse leicht verschieben können, je nachdem, wie viele Anfragen gleichzeitig bearbeitet werden. Wenn zwei potenzielle Tokens nahezu identische Wahrscheinlichkeiten aufweisen, führen diese winzigen numerischen Unterschiede dazu, dass das Modell andere Pfade wählt, was zu divergenter Textgenerierung führt. Darüber hinaus können anbieterseitige Updates der Serving-Stacks oder Modellversionen das Verhalten ohne Ankündigung ändern und die Reproduzierbarkeit weiter beeinträchtigen.

Wie es funktioniert

Deterministische Systeme, wie Regel-Engines oder trainierte Klassifikatoren mit eingefrorenen Gewichten, funktionieren als reine Funktionen. Sie bilden spezifische Eingaben auf spezifische Ausgaben ab, ohne aus einer Verteilung zu sampeln. Wenn man sie zweimal mit denselben Daten ausführt, erhält man exakt dasselbe Ergebnis, Byte für Byte. Dies ermöglicht Unit-Tests, Versionsvergleiche und klare Audit-Trails. Im Gegensatz dazu geben LLMs keine direkten Antworten zurück. Sie berechnen eine Wahrscheinlichkeitsverteilung für jedes mögliche nächste Token und sampeln dann aus dieser Verteilung.

Selbst wenn die Temperatur auf Null gesetzt ist, ist der Sampling-Prozess anfällig für externe Faktoren. Der Seed-Parameter, den viele Anbieter anbieten, wird als „best-effort“ beschrieben. Er kann Änderungen im zugrunde liegenden Hardware-Zustand, in Batch-Größen oder stille Modell-Updates nicht berücksichtigen. Darüber hinaus verlassen sich Agenten oft auf externe Tools wie Suchmaschinen oder Datenbanken. Da sich diese Quellen im Laufe der Zeit ändern, driftet der dem Modell bereitgestellte Kontext, sodass keine zwei Durchläufe wirklich identisch sind. Wie in einer Studie aus dem Jahr 2024 festgestellt wurde, kann die Genauigkeit bei Benchmark-Aufgaben zwischen Durchläufen unter deterministischen Einstellungen um bis zu fünfzehn Prozent variieren, wobei die Abweichungen in Extremfällen siebzig Prozent erreichen.

Wichtige Details

• Thinking Machines beobachteten 80 verschiedene Vervollständigungen aus 1.000 identischen Prompts bei Temperatur Null.
• Divergenz tritt typischerweise auf, wenn Kandidaten-Tokens nahezu gleiche Wahrscheinlichkeiten haben, beeinflusst durch serverseitiges Batching.
• Batch-invariante Kernels können Determinismus erzwingen, erhöhen aber möglicherweise die Inferenz-Latenz von 26 auf 55 Sekunden.
• Modell-Aliasse des Anbieters können auf aktualisierte Versionen verweisen, was zu stillen Verhaltensänderungen in der Produktion führt.
• Traditionelle ML-Klassifikatoren bieten vollständig wiederholbare Ausgaben zwischen Releases, im Gegensatz zu generativen Modellen.
• Nicht-Determinismus konzentriert sich auf Grenzfälle, in denen das Modell tatsächlich unsicher ist.

Warum das wichtig ist

Für Software-Ingenieure und technische Gründer führt die Behandlung von LLMs als deterministische Komponenten zu fragilen Architekturen. Wenn ein KI-System Finanztransaktionen, Benutzerberechtigungen oder regulatorische Compliance steuert, ist Variabilität ein Risiko. Eine Kundenbeschwerde bezüglich einer abgelehnten Rückerstattung kann nicht durch erneutes Ausführen des Prompts gelöst werden, da das Modell möglicherweise eine andere Begründung oder ein anderes Ergebnis liefert. Diese fehlende Reproduzierbarkeit erschwert Regressionstests und macht es schwierig, Entscheidungen gegenüber Prüfern oder Rechtsteams zu erklären.

Das Verständnis der Unterscheidung zwischen deterministischer und probabilistischer KI ermöglicht es Teams, Aufgaben angemessen zuzuweisen. Generative Modelle eignen sich hervorragend zur Interpretation unstrukturierter Daten und zum Entwerfen von Texten, sollten aber nicht allein für endgültige Entscheidungen verantwortlich sein. Indem Entwickler erkennen, dass Nicht-Determinismus ein Merkmal der Technologie ist und kein Bug, können sie Systeme entwerfen, die geschäftskritische Logik in deterministischen Schichten isolieren. Dieser Ansatz stellt sicher, dass das Produkt testbar, erklärbar und zuverlässig bleibt, auch wenn das zugrunde liegende Sprachmodell unberechenbar reagiert.

Was Sie tun können

• Implementieren Sie harte Regeln im Code für Limits, Berechtigungen und Arithmetik, anstatt sich auf Prompt-Anweisungen zu verlassen.
• Verwenden Sie kalibrierte Klassifikatoren für hochvolumige Entscheidungen, bei denen historische gelabelte Daten vorliegen.
• Beschränken Sie LLM-Ausgaben auf strenge JSON-Schemas mit enumerierten Werten, um Variationen zu reduzieren.
• Definieren Sie explizite Bewertungsskalen in Prompts mit konkreten Beispielen, um die Urteile des Modells zu verankern.
• Führen Sie kritische Abfragen mehrfach aus und nutzen Sie Voting oder Averaging, um Konfidenzniveaus abzuschätzen.
• Protokollieren Sie alle Eingaben, Modellversionen und Ausgaben, um Audits zu ermöglichen, ohne Antworten neu generieren zu müssen.