Block veröffentlicht Dessa, ein lokales Full-Duplex-Sprachmodell, das auf Sprache trainiert wurde

Jack Dorseys Block hat Dessa veröffentlicht, ein neues Sprachmodell, das von seinem Forschungslabor entwickelt wurde. Es arbeitet lokal und repliziert menschliche Nuancen der Stimme wie Lachen, Pausen und Weinen. Das Modell wurde im Oktober 2026 vorgestellt und stellt einen bedeutenden Schritt in der konversationellen KI dar, indem es die traditionelle textbasierte Pipeline eliminiert und Full-Duplex-Kommunikation auf Hardware für Endverbraucher ermöglicht.

Was passiert ist

Block stellte Dessa als Full-Duplex-Sprachmodell vor, was bedeutet, dass es gleichzeitig zuhören und sprechen kann, ähnlich wie OpenAIs GPT-Live, das Anfang des Jahres veröffentlicht wurde. Im Gegensatz zu vielen bestehenden Systemen, die Sprachmodelle mit großen Sprachmodellen (LLMs) zur Wissensabrufung koppeln, gibt Block an, dass Dessas Wissen vollständig aus den Konversationsdaten stammt, auf denen es trainiert wurde. Das Unternehmen trainierte das Modell ausschließlich auf menschlicher Sprache unter Verwendung eines einzelnen NVIDIA-GPU-Racks.

Die Veröffentlichung hebt eine Kritik an aktuellen Architekturen für Voice-KI hervor. Block argumentiert, dass die Umwandlung von Sprache in Text kritische emotionale Informationen verwirft, was zu unnatürlichen und potenziell gefährlichen Interaktionen führt. In einem Blogbeitrag erklärte das Unternehmen, dass die Interaktion mit aktueller Voice-KI "einfach miserabel" sein kann, da sie nicht erfasst, wie sich ein Nutzer fühlt. Durch das direkte Training auf Sprache behauptet Block, dass Dessa Emotionen nativ einbettet, anstatt sich auf externe Voice-Tags zu verlassen, um Gefühle zu simulieren – eine Methode, die von Wettbewerbern wie ElevenLabs v4 oder Fish Audio Drama 3 verwendet wird.

Um die Fähigkeiten zu demonstrieren, teilten Block-Forscher Beispiele, in denen der Agent unterschiedliche Kadenzen und Emotionen zeigte. In einem Fall klang der Bot beim Thema Arbeitsmüdigkeit tatsächlich erschöpft. In einem anderen wirkte er emotional und kurz vor den Tränen, während er über Trost sprach. Ein drittes Beispiel zeigte ein Teammitglied, das ein Ratespiel mit dem Assistenten spielte, welcher schnell und genau antwortete. Trotz dieser Demonstrationen gibt es noch keinen öffentlichen Zugang zu Dessa. Block hat Sicherheitsforscher dazu aufgerufen, das Modell zu testen, wahrscheinlich um Risiken wie die Täuschung von Nutzern durch Voice-Agents zu identifizieren.

Wie es funktioniert

Dessa arbeitet als Speech-to-Speech-Modell und umgeht den Zwischenschritt der Textgenerierung, der bei den meisten Voice-Assistenten üblich ist. Traditionelle Systeme transkribieren Audio in Text, verarbeiten ihn durch ein Sprachmodell und synthetisieren dann Sprache aus dem resultierenden Text. Dieser Prozess entfernt oft Prosodie, Tonfall und nonverbale Hinweise. Dessa verarbeitet Audioeingaben direkt in Audioausgaben und bewahrt dabei die akustischen Merkmale, die Emotionen und Absichten vermitteln.

Das Modell ist dafür ausgelegt, lokal auf Consumer-Hardware zu laufen, wie etwa einem MacBook M4 Max oder besser. Diese lokale Ausführung reduziert die Latenz und senkt die Kosten im Vergleich zu Cloud-basierten Alternativen. Indem die Verarbeitung auf dem Gerät bleibt, zielt Block darauf ab, reaktionsfähigere und privatere Interaktionen für geschäftliche und private Anwendungen zu ermöglichen. Das Unternehmen beschreibt diese Entwicklung als einen "GPT-3-Moment für Sprache", was darauf hindeutet, dass sie hochwertige Voice-KI demokratisieren könnte, ähnlich wie frühere Sprachmodelle die Textgenerierung zugänglich gemacht haben.

Wichtige Details

• Modellname: Dessa, entwickelt vom Forschungslabor von Block.
• Architektur: Full-Duplex-Speech-to-Speech-Modell, das vollständig auf menschlicher Sprache trainiert wurde.
• Hardware-Anforderungen: Läuft lokal auf Consumer-GPUs, einschließlich MacBook M4 Max oder besser; trainiert auf einem einzelnen NVIDIA-GPU-Rack.
• Emotionale Bandbreite: Fähig, Lachen, Pausen, Weinen und Müdigkeit auszudrücken, ohne explizite Voice-Tags.
• Verfügbarkeit: Nicht öffentlich verfügbar; Block lädt derzeit Sicherheitsforscher ein, das Modell zu testen.
• Wissensbasis: Abgeleitet aus Konversationsdaten statt gekoppelt mit einem separaten großen Sprachmodell.

Warum es wichtig ist

Für Ingenieure, die konversationelle Agents entwickeln, signalisiert Dessa einen möglichen Wandel weg von textzentrierten Pipelines. Wenn Emotionen und Nuancen direkt in das Sprachmodell eingebettet werden können, benötigen Entwickler möglicherweise keine komplexen Orchestrierungsschichten mehr, um Tonfall und Tempo zu steuern. Diese Vereinfachung könnte die Latenz reduzieren und die Natürlichkeit der Interaktionen verbessern, was für Kundenservice, Gesundheitswesen und Companion-Apps entscheidend ist, wo Empathie im Vordergrund steht.

Die Fähigkeit, ein so leistungsfähiges Modell auf Consumer-Hardware auszuführen, verändert auch die Landschaft der Bereitstellung. Lokale Ausführung bedeutet niedrigere Betriebskosten und verbesserte Privatsphäre, da Daten das Gerät nicht verlassen müssen. Für Unternehmen wie Square, die bereits Voice-KI für Bestellungen nutzen, könnte der Besitz eines proprietären, effizienten Modells einen Wettbewerbsvorteil bei der Schaffung nahtloser, kostengünstiger Voice-Erlebnisse für kleine Unternehmen bieten.

Allerdings unterstreichen der fehlende öffentliche Zugang und der Fokus auf Sicherheitstests die damit verbundenen Risiken. Hyperrealistische Sprachmodelle können für Betrug oder Social Engineering missbraucht werden. Indem Block Sicherheitsforscher einlädt, das System vor einer breiteren Veröffentlichung zu untersuchen, erkennt das Unternehmen die Dual-Use-Natur dieser Technologie an. Entwickler sollten sich auf strengere Prüfungen im Hinblick auf Voice-Authentifizierung und Nutzereinwilligung vorbereiten, wenn diese Tools verbreiteter werden.

Was Sie tun können

• Verfolgen Sie die Ankündigungen von Block nach möglichen API-Releases oder Entwickler-Vorschauen von Dessa.
• Bewerten Sie Ihren aktuellen Voice-Stack, um zu prüfen, ob das Entfernen von Text-Zwischenschritten die Latenz oder die emotionale Treue verbessern könnte.
• Überprüfen Sie Sicherheitsrichtlinien für Voice-KI, um sich auf potenzielle Missbrauchsszenarien wie Deepfake-Audio vorzubereiten.
• Testen Sie lokale Inferenz-Fähigkeiten auf Hardware wie dem MacBook M4 Max, um die Ressourcenbeschränkungen für On-Device-Modelle zu verstehen.
• Engagieren Sie sich in Communities für Sicherheitsforschung, um über Best Practices beim Testen und Bereitstellen realistischer Voice-Agents auf dem Laufenden zu bleiben.
• Erwägen Sie, wie Full-Duplex-Interaktion die Benutzererfahrung in Ihrer spezifischen Anwendungsdomäne, wie Gaming oder Support, verbessern könnte.