Block dévoile Dessa, un modèle vocal full-duplex local entraîné sur la parole

Jack Dorsey’s Block a dévoilé Dessa, un nouveau modèle vocal développé par son laboratoire de recherche qui fonctionne en local et reproduit les nuances vocales humaines telles que le rire, les pauses et les pleurs. Lancé en octobre 2026, ce modèle représente une avancée significative dans l'IA conversationnelle en éliminant le pipeline traditionnel basé sur le texte et en permettant une communication full-duplex sur du matériel grand public.

Ce qui s'est passé

Block a présenté Dessa comme un modèle vocal full-duplex, ce qui signifie qu'il peut écouter et parler simultanément, à l'image de GPT-Live d'OpenAI publié plus tôt cette année. Contrairement à de nombreux systèmes existants qui associent des modèles vocaux à de grands modèles de langage pour la récupération de connaissances, Block affirme que les connaissances de Dessa proviennent entièrement des données conversationnelles sur lesquelles il a été entraîné. L'entreprise a entraîné le modèle exclusivement sur de la parole humaine en utilisant un seul rack de GPU NVIDIA.

Cette sortie met en lumière une critique des architectures actuelles de l'IA vocale. Block soutient que la conversion de la voix en texte entraîne la perte d'informations émotionnelles cruciales, conduisant à des interactions peu naturelles et potentiellement dangereuses. Dans un billet de blog, l'entreprise a déclaré que l'interaction avec les IA vocales actuelles "peut être franchement pénible" car elle ne parvient pas à saisir ce que ressent l'utilisateur. En s'entraînant directement sur la parole, Block prétend que Dessa intègre nativement l'émotion plutôt que de compter sur des balises vocales externes pour simuler les sentiments, une méthode utilisée par des concurrents comme ElevenLabs v4 ou Fish Audio Drama 3.

Pour démontrer ses capacités, les chercheurs de Block ont partagé des exemples où l'agent affichait des cadences et des émotions variées. Dans un cas, le bot semblait véritablement fatigué lorsqu'il discutait de la fatigue au travail. Dans un autre, il paraissait ému et au bord des larmes tout en parlant de réconfort. Un troisième exemple montrait un membre de l'équipe jouant à un jeu de devinettes avec l'assistant, qui répondait rapidement et avec précision. Malgré ces démonstrations, il n'y a pas encore d'accès public à Dessa. Block a lancé un appel aux chercheurs en sécurité pour tester le modèle, probablement afin d'identifier des risques tels que les agents vocaux trompant les utilisateurs.

Comment cela fonctionne

Dessa fonctionne comme un modèle de parole-à-parole, contournant l'étape intermédiaire de génération de texte courante dans la plupart des assistants vocaux. Les systèmes traditionnels transcrivent l'audio en texte, le traitent via un modèle de langage, puis synthétisent la parole à partir du texte résultant. Ce processus supprime souvent la prosodie, le ton et les indices non verbaux. Dessa traite l'entrée audio directement en sortie audio, préservant les caractéristiques acoustiques qui conveyent l'émotion et l'intention.

Le modèle est conçu pour fonctionner localement sur du matériel grand public, tel qu'un MacBook M4 Max ou mieux. Cette exécution locale réduit la latence et diminue les coûts par rapport aux alternatives basées sur le cloud. En gardant le traitement sur l'appareil, Block vise à permettre des interactions plus réactives et privées pour les applications professionnelles et grand public. L'entreprise décrit ce développement comme un "moment GPT-3 pour la parole", suggérant qu'il pourrait démocratiser l'IA vocale de haute qualité, tout comme les premiers modèles de langage ont ouvert la génération de texte.

Détails clés

• Nom du modèle : Dessa, développé par le laboratoire de recherche de Block.
• Architecture : Modèle de parole-à-parole full-duplex entraîné entièrement sur la parole humaine.
• Exigences matérielles : Fonctionne localement sur des GPU grand public, y compris le MacBook M4 Max ou mieux ; entraîné sur un seul rack de GPU NVIDIA.
• Gamme émotionnelle : Capable d'exprimer des rires, des pauses, des pleurs et de la fatigue sans balises vocales explicites.
• Disponibilité : Non disponible publiquement ; Block invite actuellement les chercheurs en sécurité à tester le modèle.
• Base de connaissances : Dérivée des données conversationnelles plutôt que couplée à un grand modèle de langage séparé.

Pourquoi c'est important

Pour les ingénieurs développant des agents conversationnels, Dessa signale un potentiel éloignement des pipelines centrés sur le texte. Si l'émotion et la nuance peuvent être intégrées directement dans le modèle vocal, les développeurs n'auront peut-être plus besoin de couches d'orchestration complexes pour gérer le ton et le rythme. Cette simplification pourrait réduire la latence et améliorer le naturel des interactions, ce qui est crucial pour le service client, la santé et les applications de compagnonnage où l'empathie est essentielle.

La capacité d'exécuter un modèle aussi performant sur du matériel grand public change également le paysage de déploiement. L'exécution locale signifie des coûts opérationnels inférieurs et une confidentialité renforcée, car les données n'ont pas besoin de quitter l'appareil. Pour des entreprises comme Square, qui utilise déjà l'IA vocale pour les commandes, posséder un modèle propriétaire efficace pourrait offrir un avantage concurrentiel dans la création d'expériences vocales fluides et peu coûteuses pour les petites entreprises.

Cependant, l'absence d'accès public et l'accent mis sur les tests de sécurité soulignent les risques impliqués. Des modèles vocaux hyper-réalistes peuvent être utilisés pour la fraude ou l'ingénierie sociale. En invitant les chercheurs en sécurité à sonder le système avant une sortie plus large, Block reconnaît la nature à double usage de cette technologie. Les développeurs doivent se préparer à un examen plus strict concernant l'authentification vocale et le consentement des utilisateurs à mesure que ces outils deviennent plus répandus.

Ce que vous pouvez faire

• Surveillez les annonces de Block pour d'éventuelles sorties d'API ou préversions développeur de Dessa.
• Évaluez votre pile vocale actuelle pour voir si la suppression des intermédiaires textuels pourrait améliorer la latence ou la fidélité émotionnelle.
• Examinez les directives de sécurité pour l'IA vocale afin de vous préparer aux scénarios potentiels d'utilisation abusive comme l'audio deepfake.
• Testez les capacités d'inférence locale sur du matériel comme le MacBook M4 Max pour comprendre les contraintes de ressources pour les modèles sur appareil.
• Engagez-vous avec les communautés de recherche en sécurité pour rester informé des meilleures pratiques pour tester et déployer des agents vocaux réalistes.
• Envisagez comment l'interaction full-duplex pourrait améliorer l'expérience utilisateur dans votre domaine d'application spécifique, comme le jeu vidéo ou le support technique.