Mit KI entwickeln

DeepSeek schrieb 70.000 Zeilen Code, Opus überprüfte ihn: eine Kosten-Nutzen-Analyse

Ein Entwickler nutzte DeepSeek Flash 4.1 zur Erstellung einer komplexen Fotobibliothek-App und Claude Opus 5.5 zur Überprüfung. Dabei stellte er fest, dass das Premiummodell nur geringe Vorteile für hohe Kosten bot.

Illustration, die mechanische Code-Strukturen mit KI-Review-Prozessen vergleicht
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Im November 2026 veröffentlichte ein Softwareingenieur einen detaillierten Bericht über die Entwicklung einer selbst gehosteten Foto-Management-Anwendung, bei der ausschließlich Open-Weight-Large-Language-Modelle (LLMs) zur Codegenerierung eingesetzt wurden. Nach Abschluss des Projekts mit DeepSeek Flash 4.1 unterzog der Entwickler den Codebase einer strengen Auditierung durch Anthropic’s Claude Opus 5.5, um zu prüfen, ob Frontier-Modelle ihre höheren Preise rechtfertigen. Das Experiment ergab, dass das Premiummodell zwar subtile Randfälle identifizierte, jedoch keine kritischen Fehler in der Kernarchitektur aufdeckte. Dies deutet auf abnehmende Grenznutzen bei gut spezifizierten agentischen Workflows hin.

Was geschah

Der Entwickler verbrachte elf Wochen damit, einen Ersatz für Apple Photos zu bauen, was zu 71.161 Zeilen Code in 360 Dateien führte. Der Tech-Stack umfasste ein Rust-Backend mit Axum, ein SvelteKit-Frontend und SQLite zur Metadaten-Speicherung. Die Anwendung unterstützt Offline-KI-Klassifizierung, RAW-Entwicklung, Video-Transcoding sowie komplexe Bearbeitungsfunktionen wie HDR-Merge und Objektivkorrektur. Während dieses Prozesses schrieb der menschliche Autor keinen einzigen Implementierungscode. Stattdessen konzentrierte er sich darauf, strenge architektonische Invarianten zu definieren, Prosa-Spezifikationen zu verfassen und Richtliniendokumente wie AGENTS.md und SPEC.md zu pflegen. Diese Dokumente erzwangen Regeln wie ausschließlich parametrisierte SQL-Abfragen, Local-First-Design und keine magischen Abfragezeitpunkte.

Sobald die Anwendung stabil war und auf den Geräten des Entwicklers lief, leitete er eine Review-Phase mit Claude Opus 5.5 ein. Dies diente dazu, die Leistung des Frontier-Modells mit der von DeepSeek Flash 4.1 zu vergleichen, das den gesamten Codebase für etwa 30 US-Dollar über drei Monate hinweg generiert hatte. Die Opus-Überprüfung war durch Sitzungslimits von fünf Stunden eingeschränkt, sodass die Arbeit auf mehrere Tage verteilt werden musste. Das Ziel war nicht die Behebung fehlerhaften Codes, sondern die Feststellung, ob das teurere Modell Probleme finden konnte, die das günstigere Modell während zwei Monaten täglicher Nutzung übersehen hatte.

Wie es funktioniert

Der Review-Prozess basierte auf einem strukturierten Framework anstelle von offenen Prompts. Der Entwickler erstellte eine „Skill“, die das LLM anwies, den Code entlang von 29 spezifischen Achsen zu bewerten, gruppiert in fünf Kategorien: Korrektheit und Invarianten, Sicherheit und Grenzen, Nebenläufigkeit, grenzüberschreitende Konsistenz und Codequalität. Jede Achse hatte einen engen Fokus, beispielsweise die Integrität von GPS-Geotags oder die Sicherheit von WebDAV-Ablageordnern. Dem Prüfer wurde Zugriff auf das gesamte Repository gewährt, wobei SPEC.md und AGENTS.md als Ground Truth für das erwartete Verhalten dienten.

Der Vertrag für jeden Review-Durchlauf verlangte konkrete Befunde mit Datei- und Zeilenreferenzen, gekoppelt an spezifische Verletzungen von Invarianten. Stilistische Kleinigkeiten und Spekulationen waren explizit ausgeschlossen. Die Befunde wurden nach Schweregrad bewertet, und der Prozess wurde vor der Anwendung von Korrekturen für eine menschliche Triage angehalten. Wenn Opus Probleme identifizierte, generierte es auch Regressionstests und implementierte Korrekturen in isolierten Commits. Diese Methode stellte sicher, dass das Modell als strenger Auditor fungierte und nicht als lockerer Pair-Programmierer, indem es gezwungen wurde, Behauptungen gegen die tatsächliche Code-Struktur zu validieren.

Wichtige Details

  • Codevolumen: Das Projekt besteht aus 71.161 Zeilen Code, davon sind 58.319 Zeilen eigentliche Code-Logik, vollständig geschrieben von DeepSeek Flash 4.1.
  • Review-Ergebnisse: Claude Opus 5.5 fand 72 Probleme: 0 kritische, 8 schwere und 64 leichte. Keines der schweren Probleme betraf Datenverlust oder Sicherheitsverletzungen in ausgelieferten Flows.
  • Kostenvergleich: DeepSeek Flash 4.1 kostete über 11 Wochen hinweg etwa 30 US-Dollar via OpenCode Go Subscription, während Claude Opus 5.5 für einen Monat 17 US-Dollar kostete, aber unter strengem Session-Throttling litt.
  • Art der Bugs: Die schwerwiegenden Befunde waren subtile Randfälle, wie Interaktionen zwischen Crop- und Tilt-Funktionen oder veraltete Dokumentation nach Refactorings. Kernpipelines wie Import und Videoverarbeitung wiesen keine Befunde auf.
  • Modelleinschätzung: Opus bewertete den von DeepSeek generierten Code als Senior-Level, lobte die strikte Schichtung und das Failure-Path-Engineering, kritisierte jedoch die Tendenz, spezifische Fälle zu beheben, ohne Änderungen an allen Aufrufstellen zu propagieren.
  • Rolle des Menschen: Der Hauptbeitrag des Entwicklers bestand darin, die Vision zu definieren, die Regeln zu schreiben und die Befunde zu triagieren. Das Schreiben des Codes wurde vollständig an das Modell delegiert.

Warum es wichtig ist

Für technische Gründer und Engineering-Leads stellt diese Fallstudie die Annahme infrage, dass Frontier-Modelle für hochwertige Softwareproduktion notwendig sind. Die Tatsache, dass ein Open-Weight-Modell eine robuste, komplexe Anwendung ohne kritische Architekturfehler produzierte, legt nahe, dass klare Spezifikationen und strenge Invarianten wertvoller sind als reine Modellintelligenz. Der „Premium“-Aufpreis für Opus kaufte keine Korrektheit im Kernsystem; er kaufte einen tieferen Scan statistischer Varianzen und Randfälle, die sich in der Produktion noch nicht manifestiert hatten. Dies impliziert, dass für viele interne Tools oder klar abgegrenzte Produkte günstigere Modelle ein besseres Preis-Leistungs-Verhältnis bieten könnten.

Allerdings hebt die Überprüfung auch eine persistente Schwäche aktueller agentischer Coding-Workflows hervor: die Schwierigkeit, Konsistenz über Grenzen hinweg aufrechtzuerhalten. Opus merkte an, dass der Code oft eine spezifische Instanz eines Fehlers behob, ohne verwandte Handler, Dokumentation oder gespiegelte Konstanten zu aktualisieren. Dieses „Sweep“-Problem bleibt ein erhebliches Risiko bei der Delegation der Codegenerierung an LLMs. Es unterstreicht, dass Modelle zwar exzellente individuelle Module schreiben können, aber mit der ganzheitlichen Auswirkung von Änderungen über einen großen Codebase hinweg kämpfen. Menschliche Aufsicht bleibt essenziell, um globale Invarianten durchzusetzen und sicherzustellen, dass Refactorings keinen toten Code oder veraltete Verträge hinterlassen.

Was Sie tun können

  • Definieren Sie strenge architektonische Invarianten in dedizierten Markdown-Dateien wie AGENTS.md, bevor Sie mit einem KI-unterstützten Coding-Projekt beginnen.
  • Verwenden Sie Open-Weight- oder günstigerere Modelle für die initiale Codegenerierung und Iteration, um die Ausgaben während des Großteils der Entwicklung zu minimieren.
  • Implementieren Sie ein strukturiertes Review-Framework mit engen, spezifischen Achsen, anstatt nach allgemeinen Codeverbesserungen zu fragen.
  • Verlangen Sie von LLM-Prüfern, dass sie spezifische Dateizeilen und Verletzungen von Invarianten zitieren, und lehnen Sie vage Stilvorschläge oder spekulative Optimierungen ab.
  • Triagieren Sie alle automatisierten Befunde manuell, um zwischen kritischen Architekturrisiken und leichten Randfällen zu unterscheiden.
  • Konzentrieren Sie Ihre persönliche Anstrengung auf das Schreiben präziser Spezifikationen und die Pflege des Regelwerks, da dies der Hebel ist, der die Codequalität bestimmt.
  • #llm
  • #code-review
  • #deepseek
  • #claude
  • #agentic-workflows

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel