FlashProve ermöglicht kryptografische Verifizierung von LLM-Inferenz-Ausgaben

Forscher von Anthropic und akademische Kooperationspartner haben FlashProve veröffentlicht, einen Open-Source-Prototypen, der Zero-Knowledge-Beweise zur Überprüfung der Ausgaben großer Sprachmodelle (LLMs) nutzt. Das im November 2026 vorgestellte System ermöglicht es Nutzern zu bestätigen, dass eine Antwort durch einen spezifischen Satz von Modellgewichten generiert wurde, ohne diese Gewichte offenzulegen oder erhebliche Rechenressourcen für die Verifizierung zu erfordern.

Was ist passiert

Das Team, darunter Forscher von Anthropic, EPFL, MIT und Succinct, stellte FlashProve vor, um den wachsenden Vertrauensproblemen bei der KI-Bereitstellung zu begegnen. Da Modelle zunehmend integraler Bestandteil der digitalen Infrastruktur werden, stehen Nutzer vor der Herausforderung, zu überprüfen, ob das sie bedienende Modell tatsächlich das angeforderte ist. Routing-Dienste könnten günstigere Modelle substituieren, oder Angreifer könnten Token-Ströme manipulieren. FlashProve bietet eine kryptografische Lösung, bei der der Anbieter neben der Antwort einen Beweis erzeugt, den der Nutzer schnell verifizieren kann.

Diese Veröffentlichung markiert Fortschritte in Richtung des öffentlichen Ziels von Anthropic, bis zum 30. September 2026 einen Prototypen für nachweisbare Inferenz zu schaffen. Während das Unternehmen dieses Ziel zuvor durch ein anderes Projekt mit vertrauenswürdigen Servern erreicht hatte, bietet FlashProve einen rein softwarebasierten Ansatz, der auf Zero-Knowledge-Succinct-Arguments-of-Knowledge (zkSNARKs) basiert. Das Team hat ausführbaren Code, technische Berichte und formale Verifizierungsartefakte unter der Apache 2.0 Lizenz veröffentlicht, um Verbesserungen durch die Community zu fördern.

Das System demonstriert praktische Leistungsfähigkeit für große Modelle. Für Llama 4 Maverick, ein Mixture-of-Experts-Modell mit 400 Milliarden Parametern und 4-Bit-Quantisierung, generiert eine einzelne H100-GPU Beweise mit einer Geschwindigkeit von etwa 110 Tokens pro Sekunde. Die resultierende Beweisgröße beträgt etwa 19 MB für eine Anfrage mit 1.024 Tokens. Obwohl dieser Prozess 70- bis 95-mal länger dauert als die Standard-Inferenz mit vLLM, stellt er eine erhebliche Beschleunigung gegenüber früheren Open-Source-Systemen dar, die um Größenordnungen langsamer waren.

Wie es funktioniert

FlashProve basiert auf zkSNARKs, einem kryptografischen Werkzeug, das es einem Beweisführer (Prover) ermöglicht, einen Verifizierer davon zu überzeugen, dass eine Berechnung korrekt ausgeführt wurde, ohne Eingabedaten über das Ergebnis hinaus preiszugeben. In diesem Kontext ist die „Berechnung“ der Vorwärtsdurchlauf des neuronalen Netzes. Das System arbeitet in zwei Phasen. In einer Offline-Phase veröffentlicht der Modellanbieter eine Verpflichtung (Commitment), die als eindeutiger Fingerabdruck für die spezifischen Modellgewichte fungiert. Diese Verpflichtung fixiert die exakten Gewichte, während sie diese verborgen hält.

In der Online-Phase führt der Anbieter, wenn ein Nutzer einen Prompt sendet, das Modell aus und generiert eine Beweisdatei. Diese Datei bescheinigt, dass das verpflichtete Modell die spezifischen Ausgabe-Tokens für den gegebenen Input erzeugt hat. Der Nutzer, der als Verifizierer agiert, prüft diesen Beweis anhand der Verpflichtung, des Prompts und der Antwort. Da der Beweis knapp (succinct) ist, ist die Verifizierung exponentiell schneller als ein erneuter Durchlauf des Modells und kann auf einer Standard-CPU in Sekunden durchgeführt werden. Entscheidend ist, dass die Zero-Knowledge-Eigenschaft sicherstellt, dass der Beweis nichts über die proprietären Modellgewichte verrät.

Um die Zuverlässigkeit der kryptografischen Aussagen zu gewährleisten, nutzte das Team Lean, eine Sprache für formale Verifizierung. Sie stellten auf höchster Ebene auditierbare Aussagen in Lean für die Sicherheitsgarantien bereit, zusammen mit einem interaktiven Visualizer für die Theoreme. Dieser Ansatz begegnet der Komplexität automatisierter Optimierungen, indem er mathematisch rigorose Zusicherungen dafür liefert, dass sich das Protokoll wie spezifiziert verhält.

Wichtige Details

• FlashProve erzielt Beweisgenerierungsgeschwindigkeiten von ~110 Tokens/Sekunde für Llama 4 Maverick (400 Mrd. Parameter) auf einer einzelnen H100-GPU.
• Beweisgrößen betragen ungefähr 19 MB pro 1.024-Token-Anfrage, was eine effiziente Übertragung und Speicherung ermöglicht.
• Das System verwendet 4-Bit-quantierte Gewichte und Ganzzahlarithmetik während der Prefill-Phase, um die Leistung zu optimieren.
• Die Verifizierung erfordert nur die Verpflichtung, den Prompt und die Antwort, sodass Nutzer die Gültigkeit prüfen können, ohne Zugriff auf die Modellgewichte zu haben.
• Sämtlicher Code, Lean-Beweise und Dokumentation werden unter der Apache 2.0 Lizenz veröffentlicht, um externe Audits und Verbesserungen zu erleichtern.
• Die Lösung ist rein softwarebasiert und verlässt sich auf rechnerische Härte statt auf vertrauenswürdige Ausführungsumgebungen oder spezielle Hardware.

Warum es wichtig ist

Für Software-Ingenieure und technische Führungskräfte führt FlashProve eine neue Ebene der Integrität in KI-Anwendungen ein. Es löst das Problem der Modellsubstitution, bei dem ein Routing-Dienst eines Drittanbieters ein Premium-Modell durch ein günstigeres ersetzen könnte. Indem jeder Antwort ein kryptografischer Beweis beigefügt wird, können Anbieter verifizierbare Garantien an Kunden liefern. Dies ist besonders relevant für interne Sicherheitsteams, die sicherstellen müssen, dass in Produktionsumgebungen nur genehmigte, sichere Modelle laufen, um zu verhindern, dass rogue Agents oder kompromittierte Server bösartige Ausgaben liefern.

Die Technologie hat auch Auswirkungen auf regulatorische Compliance und KI-Geschwindigkeitsregelungen (AI Pacing). Regulierungsbehörden könnten von Anbietern verlangen, Beweise vorzulegen, die zeigen, dass Hardware für die Inferenz auf genehmigten Modellen und nicht für nicht autorisiertes Training genutzt wird. Dies ermöglicht Aufsicht, ohne proprietäre Gewichte offenzulegen oder zu verlangen, dass Behörden massive Rechenressourcen besitzen. Darüber hinaus können Entwickler diese Beweise nutzen, um Sorgfaltspflicht nachzuweisen, beispielsweise indem sie belegen, dass ein bestimmtes Frontier-Modell Code auf Schwachstellen gescannt hat, was Sicherheitsansprüchen Glaubwürdigkeit verleiht.

Was Sie tun können

• Prüfen Sie den Open-Source-Code von FlashProve und den technischen Bericht, um die Implementierungsdetails von zkSNARKs für LLMs zu verstehen.
• Experimentieren Sie mit dem bereitgestellten C++ Fast-Verifier und dem Lean-basierten, formal korrekten Verifier, um die Beweisvalidierung auf Ihrer eigenen Infrastruktur zu testen.
• Bewerten Sie die Abwägungen zwischen dem Overhead der Beweisgenerierung (70–95-fache Inferenzzeit) und den Sicherheitsvorteilen für Ihren spezifischen Anwendungsfall.
• Erwägen Sie, wie nachweisbare Inferenz in Ihren aktuellen AI-Routing- oder Monitoring-Stack integriert werden kann, um Modellsubstitution zu verhindern.
• Erkunden Sie die Lean-Formalisierungsartefakte, um die mathematischen Grundlagen der vom System bereitgestellten Sicherheitsgarantien zu audieren.
• Beobachten Sie weitere Entwicklungen im Bereich Zero-Knowledge-Machine-Learning, da die Community auf dieser Apache 2.0 lizenzierten Grundlage aufbaut.