Mit KI entwickeln

Warum KI-generierte Lean-Beweise mehr als nur einen Kompilierungs-Check erfordern

Eine neue Analyse zeigt, dass KI-generierte formale Beweise in Lean über die bloße Kompilierung hinausgehende strenge Verifikationsschritte benötigen, um sicherzustellen, dass sie tatsächlich den beabsichtigten mathematischen Aussagen entsprechen.

Eine Lupe, die Code auf Fehler überprüft
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Jüngste Behauptungen, dass künstliche Intelligenz große mathematische Probleme mit dem Beweisassistenten Lean gelöst hat, bedürfen einer sorgfältigen Prüfung. Eine detaillierte Untersuchung des kürzlich von OpenAI veröffentlichten Theorem-Archivs und ähnlicher Ausgaben von DeepMind zeigt, dass Code, der sich kompilieren lässt, nicht ausreicht, um Korrektheit zu garantieren. Ingenieure und Mathematiker müssen spezifische Validierungstests durchführen, um die Lücke zwischen informellen Behauptungen in wissenschaftlichen Arbeiten und formalem Code zu schließen.

Was passiert ist

Letzten Monat veröffentlichte OpenAI eine Sammlung von 722 mathematischen Papers, von denen etwa 45 Prozent mit Lean-Code versehen waren. Seit der Veröffentlichung wurden drei der Papers ohne formalen Code aufgrund von Vorzeichenfehlern zurückgezogen, was Fragen zur Zuverlässigkeit des gesamten Batches aufwirft. Während einige Beobachter argumentieren, dass Leans striktes Typensystem die Wahrheit garantiert, weisen andere darauf hin, dass KI-Modelle Schlupflöcher nutzen können oder dass die Formalisierung möglicherweise nicht der ursprünglichen Absicht entspricht. Die Realität liegt in einem differenzierten Mittelfeld, in dem Verifikation möglich ist, aber bewusste Anstrengung erfordert.

Das Kernproblem besteht darin, dass viele dieser KI-generierten Repositories noch keiner systematischen Testung unterzogen wurden. Im OpenAI-Archiv beispielsweise formulieren etwa 38 der 290 Theoreme mit Lean-Code das im entsprechenden PDF behauptete Hauptergebnis nicht einmal, geschweige denn beweisen es. In einem Fall wurde ein Paper, das vorgab, Lechs Multiplizitäts-Vermutung zu lösen, nur als Minor-Korollar formalisiert. Diese Diskrepanz verdeutlicht, dass „Lean-Code vorhanden“ nicht synonym mit „verifizierter Beweis des Titel-Theorems“ ist.

Ähnliche Probleme treten bei Arbeiten anderer Organisationen auf. DeepMinds Formalisierung der Hodge-Vermutung stützt sich auf über 10.000 Zeilen benutzerdefinierten Code, da Standardbibliotheken die notwendigen Definitionen nicht enthalten. Axioms Behauptung bezüglich der Klassifikation endlicher einfacher Gruppen hängt von einer massiven, KI-generierten Bibliothek namens Tau Ceti ab, die über 250.000 Zeilen Code umfasst. Ohne menschliche Experten, die diese grundlegenden Definitionen verifizieren, bleibt die Korrektheit der Aussage selbst unsicher, unabhängig davon, ob der Beweis kompiliert.

Wie es funktioniert

Um einem KI-generierten Lean-Beweis zu vertrauen, muss man vier kritische Fragen beantworten. Erstens: Entspricht die Lean-Aussage der informellen Aussage im Paper? Lean unterscheidet streng zwischen der Aussage eines Theorems und seinem Beweis. Eine Aussage kann syntaktisch korrekt, aber mathematisch falsch sein, wie zum Beispiel die Definition des Großen Fermatschen Satzes über natürlichen Zahlen einschließlich Null, was die Aussage trivialerweise falsch macht. Die Überprüfung dieser Übereinstimmung erfordert oft das Lesen von Tausenden Zeilen Abhängigkeitscode, insbesondere wenn Standardbibliotheken wie Mathlib nicht ausreichen.

Zweitens: Kompiliert der Code? KI-generierter Code kann ressourcenintensiv oder potenziell bösartig sein. Anthropics Formalisierung des Großen Fermatschen Satzes erforderte 96 Kerne und 500 Gigabyte RAM zum Kompilieren, während OpenAIs Lösung der Navier-Stokes-Gleichungen auf einem Laptop läuft. Entwickler sollten KI-generierten Code immer in einer Sandbox ausführen, bevor sie ihn starten, um potenzielle Systemschäden zu verhindern. Die Kompilierung bestätigt die syntaktische Gültigkeit, aber nicht die semantische Wahrheit.

Drittens: Beweist der Code das Theorem wie ausgesagt? Die Beweisdateien importieren möglicherweise Millionen Zeilen nicht vertrauenswürdigen Codes, der Begriffe subtil neu definieren oder Axiome hinzufügen könnte. Um zu überprüfen, ob der Beweis in den nicht vertrauenswürdigen Dateien mit der Aussage in den vertrauenswürdigen Dateien übereinstimmt, verwenden Entwickler ein Tool namens lake comparator. Dieses Tool stellt sicher, dass das bewiesene Theorem identisch mit dem ausgesagten Theorem ist und dass während des Beweisprozesses keine zusätzlichen Axiome eingeführt wurden.

Viertens: Nutzt der Code einen Bug im Lean-Kernel aus? Obwohl selten, können Soundness-Bugs existieren. Zur Milderung dieses Risikos kann man lake comparator --paranoid verwenden, das den Beweis gegen mehrere unabhängige Kernel prüft, einschließlich formal verifizierter. Wenn ein Beweis über verschiedene Kernel hinweg besteht, ist es höchst unwahrscheinlich, dass er sich auf einen spezifischen Implementierungsbug stützt.

Wichtige Details

  • Das jüngste Archiv von OpenAI umfasste 722 Papers, wobei 45 % zugehörigen Lean-Code hatten.
  • Etwa 38 der 290 Lean-assoziierten Theoreme formalisieren nicht das Hauptergebnis des Papers.
  • Die Verifikation der Aussage komplexer Theoreme kann die Überprüfung von über 10.000 Zeilen benutzerdefinierten Definitionscode erfordern.
  • Das Tool lake comparator prüft, ob das bewiesene Theorem mit dem ausgesagten Theorem ohne versteckte Axiome übereinstimmt.
  • Die Verwendung von lake comparator --paranoid validiert Beweise gegen mehrere unabhängige Kernel, um Software-Bugs auszuschließen.
  • Selbst wenn der Lean-Code korrekt ist, kann das begleitende PDF weiterhin Fehler enthalten oder vom formalen Beweis abweichen.

Warum es wichtig ist

Für Software-Ingenieure und technische Leiter, die mit KI arbeiten, unterstreicht diese Analyse die Bedeutung von Verifikations-Pipelines. Es reicht nicht aus, KI-Ausgaben zu akzeptieren, nur weil sie fehlerfrei laufen. In sicherheitskritischen Domänen führt die Annahme von Korrektheit basierend allein auf der Kompilierung zu erheblichen Risiken. Der Unterschied zwischen einer kompilierbaren Aussage und einem gültigen Beweis ist subtil, aber entscheidend und erfordert Tools und Prozesse, die über die grundlegende Ausführung hinausgehen.

Diese Situation hebt auch die aktuellen Grenzen der automatisierten Formalisierung hervor. Während KI enorme Mengen an Code generieren kann, bleibt die semantische Übereinstimmung zwischen informeller menschlicher Sprache und formaler Logik ein Engpass. Teams, die diese Technologien einführen, müssen in robuste Test-Frameworks investieren, wie Kernel-Vergleich und sandboxed Compilation, um sicherzustellen, dass ihre KI-Assistenten nicht nur plausibel aussehende, aber grundsätzlich fehlerhafte Artefakte erzeugen.

Was Sie tun können

  • Führen Sie KI-generierten Lean-Code immer in einer Sandbox aus, bevor Sie ihn kompilieren, um Ihre lokale Umgebung vor potenziell bösartigem oder unvorhersehbarem Verhalten zu schützen.
  • Verwenden Sie lake comparator, um zu überprüfen, ob das in nicht vertrauenswürdigen Dateien bewiesene Theorem exakt mit der Aussage in den vertrauenswürdigen Dateien übereinstimmt.
  • Führen Sie lake comparator --paranoid aus, um Beweise gegen mehrere unabhängige Kernel zu prüfen und das Risiko unerkannter Software-Bugs zu reduzieren.
  • Inspektionieren Sie manuell die Aussage des Titel-Theorems im Lean-Code, um sicherzustellen, dass sie mit der informellen Behauptung im zugehörigen Paper übereinstimmt.
  • Seien Sie skeptisch gegenüber Behauptungen, bei denen die Basis des Lean-Codes deutlich größer ist als Standardbibliotheken, da dies auf unverifizierte benutzerdefinierte Definitionen hindeuten kann.
  • Erkennen Sie an, dass ein korrekter Lean-Beweis nicht automatisch das begleitende PDF validiert, welches weiterhin logische Fehler oder Abweichungen enthalten kann.
  • #lean
  • #ai verification
  • #formal methods
  • #mathematics
  • #software engineering

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel