Offene & lokale KI

Edge0-145B bringt KI mit 145 Milliarden Parametern auf lokale Laptops

Das neue Open-Source-Modell Edge0-145B läuft auf persönlicher Hardware mit einem Spitzen-Speicherbedarf von 29 GB und ermöglicht komplexe Coding- und Reasoning-Aufgaben ohne Cloud-Abhängigkeiten.

Ein Laptop mit einem holografischen neuronalen Netzwerk und Speicherchips, die lokale KI-Verarbeitung repräsentieren.
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Die Veröffentlichung von Edge0-145B markiert einen bedeutenden Wandel in den Fähigkeiten lokaler künstlicher Intelligenz, indem ein Modell mit 145 Milliarden Parametern auf persönlichen Laptops lauffähig gemacht wird. Die am 12. November 2026 veröffentlichte Open-Source-Initiative umfasst die Modellgewichte, ein einheitliches Inferenz-Framework sowie Deployment-Tools, die darauf ausgelegt sind, den traditionellen Kompromiss zwischen Modellgröße und On-Device-Leistung zu eliminieren. Diese Entwicklung ermöglicht es Entwicklern, komplexe Coding-, Reasoning- und agentenbasierte Workflows lokal auszuführen, ohne dass eine kontinuierliche Cloud-Verbindung oder teure API-Gebühren erforderlich sind.

Was passiert ist

Jahrelang erforderte das Ausführen großer Sprachmodelle auf persönlicher Hardware entweder Kompromisse bei der Modellfähigkeit oder bei den Systemressourcen. Kleinere Modelle hatten oft Schwierigkeiten mit komplexen logischen Aufgaben, während größere Modelle aufgrund enormer Speicher- und Bandbreitenanforderungen serverfähige Infrastruktur verlangten. Die Veröffentlichung von Edge0-145B stellt diesen Status quo infrage, indem sie demonstriert, dass ein Modell mit 145 Milliarden Parametern effektiv auf einem kompatiblen Laptop, wie beispielsweise einem MacBook Pro, laufen kann, mit einer gemeldeten maximalen Speichernutzung von nur 29 GB. Dies wird begleitet von der Veröffentlichung von Edge0-120B, das eine weitere Leistungsstufe für lokale Deployments bietet.

Das Projekt adressiert vier primäre Einschränkungen, die On-Device-KI historisch begrenzt haben. Erstens löst es die Hardware-Barriere, indem große Modelle ohne Server betrieben werden können. Zweitens stellt es sicher, dass diese lokalen Modelle keine Einbußen bei der Fähigkeit hinnehmen müssen und liefert Coding- und Reasoning-Ergebnisse, die mit Frontier-Cloud-Modellen konkurrieren. Drittens unterstützt es agentic Workflows, bei denen der Assistent plant, Code schreibt, Fehler debuggt und Ergebnisse für Projekte wie 3D-Szenen oder PCB-Designs visuell überprüft. Schließlich beseitigt es die Abhängigkeit von Cloud-Anbietern, sodass Daten auf dem Gerät verbleiben und Kernfunktionen offline verfügbar sind.

Diese Veröffentlichung stellt Entwicklern den vollständigen Stack zur Verfügung, einschließlich Modellgewichten und Inferenz-Frameworks, was ihnen ermöglicht, Ergebnisse zu reproduzieren, die Modelle feinabzustimmen (Fine-Tuning) oder direkt in ihre Produkte zu integrieren. Die begleitende Edge0 App bietet eine Möglichkeit, diese Fähigkeiten sofort zu testen. Durch die Open-Source-Bereitstellung dieser Tools zielen die Ersteller darauf ab, die Adoption von leistungsstarker lokaler KI über verschiedene Hardware-Konfigurationen hinweg zu beschleunigen.

Wie es funktioniert

Die Fähigkeit, ein Modell mit 145 Milliarden Parametern auf Consumer-Hardware auszuführen, basiert auf einem Co-Design der Modellarchitektur und der Inferenz-Engine. Die Architektur nutzt einen Sparse-Expert-Ansatz, bei dem große Matrizen über Gruppen von Experten geteilt werden. Konkret teilen jede Gruppe von 64 Experten zwei große Matrizen, behalten aber kleine einzigartige Parameter für individuelle Unterschiede bei. Obwohl die Gesamtanzahl der Parameter 145 Milliarden beträgt, nehmen nur etwa 10 Milliarden Parameter an der Berechnung während eines einzelnen Inferenzschritts teil. Dieses Design reduziert erheblich die Menge an Gewichtsdaten, die während des Betriebs gespeichert und bewegt werden müssen.

Das Training wurde von Anfang an unter Berücksichtigung lokaler Ausführungseinschränkungen durchgeführt, anstatt das On-Device-Deployment als nachträglichen Schritt mit Post-Training-Kompression zu behandeln. Die Inferenz-Engine optimiert die Leistung weiter durch Pipelining des Speicherzugriffs über drei Ebenen: GPU-Speicher, Systemspeicher und SSD-Speicher. Häufig genutzte „Hot Experts“ bleiben im GPU-Speicher, während eine Bibliothek von etwa 40 GB an Experten im Systemspeicher resides, bereit zum Laden bei Bedarf. Vokabeldaten, insgesamt rund 48 GB, werden on-demand von der SSD gelesen. Diese Überlappung von Lesen und Berechnung vermeidet serielle Wartezeiten, die typischerweise die Inferenz großer Modelle verlangsamen.

Scheduling spielt eine kritische Rolle, indem sowohl die CPU als auch die GPU parallel genutzt werden. Die GPU übernimmt Berechnungen für gecachte Experten, während die CPU die restliche Arbeitslast verwaltet. Das System nutzt zudem Speculative Decoding, wobei mehrere Kandidaten-Tokens gleichzeitig verifiziert werden. Diese Technik verteilt die Kosten für das Lesen der Gewichte auf mehr Ausgabe-Tokens und trägt zur gemeldeten Decode-Geschwindigkeit von über 80 Tokens pro Sekunde bei. Diese kombinierten Strategien ermöglichen es dem Modell, lange Kontexte von 128K bis 256K Tokens ohne signifikante Geschwindigkeitsdegradation aufrechtzuerhalten.

Wichtige Details

  • Modellgröße: Edge0-145B enthält 145 Milliarden Parameter; Edge0-120B wurde ebenfalls als Teil der Suite veröffentlicht.
  • Speichernutzung: Das Modell erfordert einen maximalen Speicherbedarf von 29 GB auf kompatiblen Laptops, eine erhebliche Reduktion im Vergleich zu traditionellen Erwartungen für Modelle dieser Größenordnung.
  • Leistungsgeschwindigkeit: Es erreicht über 1.100 Tokens pro Sekunde für Prompt-Prefill und hält eine Decode-Geschwindigkeit von mehr als 80 Tokens pro Sekunde aufrecht.
  • Stromverbrauch: Der typische Stromverbrauch liegt bei ungefähr 120 W, was einen dauerhaften Betrieb ohne Throttling in den getesteten Setups ermöglicht.
  • Benchmark-Scores: Das Modell erzielt 64,6 Punkte auf DeepSWE 1.1 für Coding, 90,4 Punkte auf GPQA-Diamond für Reasoning und 80,6 Punkte auf IFBench für Instruction Following.
  • Kontextfenster: Unterstützt Long-Context-Aufgaben mit einem Fenster von 128K bis 256K Tokens und behält konsistente Geschwindigkeit über erweiterte Interaktionen hinweg bei.

Warum es wichtig ist

Für Software-Ingenieure und technische Gründer beseitigt diese Veröffentlichung mehrere Barrieren beim Aufbau von Privacy-First- und Offline-fähigen KI-Anwendungen. Die Fähigkeit, ein Modell mit Frontier-Level-Reasoning-Fähigkeiten auf einem Laptop auszuführen, bedeutet, dass sensible Daten, wie proprietäre Codebasen oder interne Dokumente, niemals die lokale Umgebung verlassen müssen. Dies eliminiert die rechtlichen und sicherheitsrelevanten Komplexitäten, die mit dem Senden von Daten an Drittanbieter-Cloud-Provider verbunden sind. Darüber hinaus macht das Fehlen wiederkehrender API-Gebühren den wirtschaftlichen Einsatz von KI-Agenten möglich, die umfangreiche Hintergrundtasks ausführen, wie Debugging oder das Generieren komplexer visueller Assets, ohne sich um Token-Kosten sorgen zu müssen.

Die Leistungsmetriken deuten darauf hin, dass lokale KI nicht mehr auf einfache Chatbots oder grundlegende Zusammenfassungsaufgaben beschränkt ist. Mit wettbewerbsfähigen Scores in Coding- und Reasoning-Benchmarks können Entwickler sich auf Edge0-145B für substantial Engineering-Assistance verlassen. Die Fähigkeit des Modells, Code lokal zu planen, auszuführen und zu verifizieren, eröffnet neue Möglichkeiten für integrierte Entwicklungsumgebungen und autonome Coding-Agenten. Dieser Wandel befähigt Teams, robustere, selbstständige Tools zu bauen, die nicht von Netzwerkstabilität oder externer Serviceverfügbarkeit abhängen.

Was Sie tun können

  • Laden Sie die Modellgewichte von Edge0-145B und Edge0-120B aus dem offiziellen Open-Source-Repository herunter.
  • Installieren Sie das einheitliche Inferenz-Framework, um die Leistung des Modells auf Ihrer spezifischen Hardware-Konfiguration zu testen.
  • Bewerten Sie die Coding-Fähigkeiten des Modells, indem Sie es gegen Ihre bestehende Codebasis für Debugging- oder Refactoring-Aufgaben laufen lassen.
  • Experimentieren Sie mit den Agentic-Funktionen, indem Sie lokale Workflows einrichten, die Planung und visuelle Verifikation für Projekte wie Game Development oder Hardware-Design beinhalten.
  • Fine-Tunen Sie das Modell auf Ihren proprietären Datensätzen, um spezialisierte Assistenten zu erstellen, die vollständig On-Premise bleiben.
  • Integrieren Sie die Deployment-Tools in Ihre Produkt-Pipeline, um Nutzern ein leistungsstarkes, offline KI-Erlebnis zu bieten.
  • #local ai
  • #edge computing
  • #open source
  • #llm
  • #inference optimization

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel