BotPsy bringt agentische KI mit unter einer Milliarde Parametern auf Edge-Geräte
Tether AI Research veröffentlicht BotPsy, ein Open-Weight-Modell mit 0,8 Milliarden Parametern, das für die Tool-Nutzung auf dem Gerät und den Datenschutz optimiert ist.
Automatisch aus dem englischen Original übersetzt.
Tether AI Research hat BotPsy vorgestellt, ein neues Sprachmodell mit 0,8 Milliarden Parametern, das speziell für agentische Workflows auf dem Endgerät entwickelt wurde. Das im November 2026 veröffentlichte Open-Weight-Modell zielt darauf ab, leistungsfähige persönliche Assistentenfunktionen bereitzustellen, während Nutzerdaten lokal bleiben und die Abhängigkeit von Cloud-Infrastrukturen reduziert wird.
Was passiert ist
Große Sprachmodelle (LLMs) aus der Frontier-Cloud bieten enorme Leistungsfähigkeit, sind jedoch mit erheblichen Betriebskosten und Datenschutzrisiken verbunden. Anbieter können Zugangsbedingungen ändern, APIs einstellen oder Modelle ohne Ankündigung modifizieren, was Sicherheitslücken für Entwickler schafft, die davon abhängige Produkte erstellen. Darüber hinaus erfordert nicht jede Aufgabe die volle Leistung eines massiven Modells, was zu ineffizienter Ressourcennutzung bei einfachen, routinemäßigen Arbeitslasten führt.
Um diese Herausforderungen anzugehen, entwickelte Tether AI Research BotPsy, einen kleinen spezialisierten Agenten, der auf Qwen3.5-0.8B basiert. Das Modell ist für Function Calling und Tool-Nutzung optimiert, sodass es Aufgaben wie Websuche, Kalenderverwaltung, Dateiverarbeitung und Gerätekontrolle direkt auf der Hardware des Nutzers ausführen kann. Durch den Fokus auf Aufgaben mit geringer bis mittlerer Schwierigkeit bietet BotPsy hohe Effizienz und zuverlässige Befolgung von Anweisungen ohne die Latenz oder Kosten der Cloud-basierten Inferenz.
Die Veröffentlichung umfasst offene Gewichte unter der Apache-2.0-Lizenz, was sie für Forschungs- und Bildungszwecke zugänglich macht. Sie ist in mehreren Präzisionen verfügbar, einschließlich bf16, Q8 und Q4, und wird als Hugging-Face-safetensors- und GGUF-Dateien verteilt, die mit llama.cpp und dem QVAC SDK kompatibel sind.
Wie es funktioniert
BotPsy nutzt eine kompakte Architektur, um State-of-the-Art-Leistung in seiner Größenklasse zu erzielen. Trotz nur 0,8 Milliarden Parametern übertrifft es größere Modelle wie Qwen3.5-2B-Think bei fünf von sechs wichtigen agentischen Benchmarks. Diese Effizienz wird durch spezialisiertes Training erreicht, das die Fähigkeiten zur Tool-Nutzung verbessert, während das allgemeine Wissen erhalten bleibt.
Das Modell zeichnet sich dadurch aus, dass es weiß, wann gehandelt werden muss und wann man zurückhaltend sein sollte. In Halluzinationstests lehnt es korrekt die Nutzung von Tools ab, wenn keine geeignete Option vorhanden ist, und erzielt einen Score von 86,1 im BFCL v4. Es bewältigt auch Multi-Turn-Konversationen effektiv, behält den Kontext bei und folgt strengen Richtlinien in komplexen Szenarien wie Kundenservice-Interaktionen. Dies reduziert die Wahrscheinlichkeit von repetitiven Reasoning-Schleifen, die vom Basismodell mit 22,9 % auf nur 1,4 % in BotPsy gesunken sind.
Die Bereitstellung für Edge-Umgebungen ist vereinfacht. Die Verfügbarkeit quantisierter GGUF-Formate ermöglicht es Entwicklern, das Modell auf Geräten mit begrenztem Speicher und Rechenleistung auszuführen. Diese lokale Ausführung stellt sicher, dass sensible Daten wie E-Mails oder Finanzunterlagen das Gerät des Nutzers nie verlassen, was wichtige Datenschutzbedenken im Zusammenhang mit cloud-basierten Assistenten adressiert.
Wichtige Details
- BotPsy ist ein Modell mit 0,8 Milliarden Parametern, basierend auf Qwen3.5-0.8B, optimiert für agentische Aufgaben auf dem Endgerät.
- Es übertrifft alle getesteten Modelle mit bis zu 1,2 Milliarden Parametern in sechs Benchmarks für Tool-Nutzung und agentische Aufgaben.
- Das Modell reduziert Reasoning-Tokens bei komplexen Aufgaben um etwa das Dreifache im Vergleich zum Basismodell.
- Sicherheitsverbesserungen umfassen eine Rate unsicherer Antworten von 21 % im Red-Teaming, niedriger als bei jedem vergleichbaren Modell.
- Verfügbar in den Präzisionen bf16, Q8 und Q4 als safetensors- und GGUF-Dateien für einfache Integration.
- Lizenziert unter Apache 2.0 für Forschungs- und Bildungszwecke, mit klaren Einschränkungen für risikoreiche Anwendungen.
Warum es wichtig ist
Für Software-Ingenieure und technische Gründer repräsentiert BotPsy einen Wandel hin zu dezentralen, datenschutzorientierten KI-Anwendungen. Durch die Ermöglichung leistungsfähiger Agenten, die lokal laufen, können Entwickler Produkte erstellen, die nicht von der Verfügbarkeit externer APIs abhängen oder variable Cloud-Kosten verursachen. Diese Stabilität ist entscheidend für Anwendungen, die konsistente Leistung und Datensouveränität erfordern, wie z. B. persönliche Finanzmanager oder Enterprise-Dokumentenverarbeiter.
Die Effizienzgewinne führen auch zu besseren Benutzererlebnissen. Geringere Latenz und reduzierter Token-Verbrauch bedeuten schnellere Antwortzeiten auf Mobilgeräten und Laptops. Entwickler können intelligente Funktionen integrieren, ohne sich Sorgen um Akkuverbrauch oder übermäßige Wärmeentwicklung machen zu müssen, häufige Probleme bei größeren Modellen, die auf Edge-Hardware laufen. Dies eröffnet neue Möglichkeiten für Always-on-Assistenten, die die Privatsphäre des Nutzers respektieren und gleichzeitig einen greifbaren Nutzen liefern.
Was Sie tun können
- Laden Sie die BotPsy-Modellgewichte von Hugging Face im safetensors- oder GGUF-Format herunter.
- Testen Sie das Modell mit llama.cpp oder dem QVAC SDK, um die Leistung auf Ihrer Zielhardware zu bewerten.
- Benchmarken Sie BotPsy gegen Ihre aktuellen On-Device-Lösungen anhand der Metriken BFCL v4 oder ACEBench.
- Erkunden Sie die Integration in bestehende Apps für Aufgaben wie Kalenderplanung oder lokale Dateisuche.
- Überprüfen Sie die Einschränkungen für den vorgesehenen Gebrauch, um eine angemessene Anwendung in Domänen mit geringer bis mittlerer Schwierigkeit sicherzustellen.
- Tragen Sie zur Open-Source-Community bei, indem Sie Feedback teilen oder Fine-Tuning-Ergebnisse für spezifische Workflows veröffentlichen.



