IA ouverte et locale

BotPsy apporte l'IA agentique de moins d'un milliard de paramètres aux appareils edge

Tether AI Research publie BotPsy, un modèle open-weight de 0,8 milliard de paramètres optimisé pour l'utilisation d'outils sur appareil et le respect de la vie privée.

Un smartphone affichant un réseau neuronal sur une puce, symbolisant l'IA sur appareil.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Tether AI Research a présenté BotPsy, un nouveau modèle de langage de 0,8 milliard de paramètres conçu spécifiquement pour les flux de travail agentiques sur appareil. Publié en novembre 2026, ce modèle à poids ouverts vise à offrir des fonctionnalités d'assistant personnel performantes tout en gardant les données utilisateur locales et en réduisant la dépendance à l'infrastructure cloud.

Ce qui s'est passé

Les grands modèles de langage (LLM) frontier du cloud offrent une capacité immense mais entraînent des coûts opérationnels significatifs et des risques pour la confidentialité. Les fournisseurs peuvent modifier les conditions d'accès, déprécier les API ou changer les modèles sans préavis, créant des vulnérabilités pour les développeurs construisant des produits dépendants. De plus, toutes les tâches ne nécessitent pas la pleine puissance d'un modèle massif, ce qui entraîne une utilisation inefficace des ressources pour des charges de travail simples et routinières.

Pour répondre à ces défis, Tether AI Research a développé BotPsy, un petit agent spécialisé construit sur Qwen3.5-0.8B. Le modèle est optimisé pour l'appel de fonctions et l'utilisation d'outils, lui permettant d'effectuer des tâches telles que la recherche web, la gestion du calendrier, le traitement de fichiers et le contrôle de l'appareil directement sur le matériel de l'utilisateur. En se concentrant sur les tâches de difficulté faible à moyenne, BotPsy offre une haute efficacité et une fiabilité dans le suivi des instructions sans la latence ou le coût de l'inférence basée sur le cloud.

La publication inclut des poids ouverts sous la licence Apache 2.0, la rendant accessible à des fins de recherche et éducatives. Elle est disponible en plusieurs précisions, notamment bf16, Q8 et Q4, et distribuée sous forme de fichiers safetensors Hugging Face et GGUF compatibles avec llama.cpp et le SDK QVAC.

Comment cela fonctionne

BotPsy exploite une architecture compacte pour atteindre des performances de pointe dans sa catégorie de taille. Malgré ses seuls 0,8 milliard de paramètres, il surpasse des modèles plus grands comme Qwen3.5-2B-Think sur cinq des six principaux benchmarks agentiques. Cette efficacité est obtenue grâce à un entraînement spécialisé qui améliore les capacités d'utilisation d'outils tout en préservant les connaissances générales.

Le modèle excelle à savoir quand agir et quand s'abstenir. Dans les tests d'hallucination, il refuse correctement d'utiliser des outils lorsqu'aucune option appropriée n'existe, obtenant un score de 86,1 sur BFCL v4. Il gère également efficacement les conversations multi-tours, maintenant le contexte et suivant des politiques strictes dans des scénarios complexes tels que les interactions avec le service client. Cela réduit la probabilité de boucles de raisonnement répétitives, qui sont passées de 22,9 % dans le modèle de base à seulement 1,4 % dans BotPsy.

Le déploiement est simplifié pour les environnements edge. La disponibilité des formats GGUF quantifiés permet aux développeurs d'exécuter le modèle sur des appareils dotés d'une mémoire et d'une puissance de calcul limitées. Cette exécution locale garantit que les données sensibles, telles que les e-mails ou les dossiers financiers, ne quittent jamais l'appareil de l'utilisateur, répondant aux principales préoccupations de confidentialité associées aux assistants basés sur le cloud.

Détails clés

  • BotPsy est un modèle de 0,8 milliard de paramètres construit sur Qwen3.5-0.8B, optimisé pour les tâches agentiques sur appareil.
  • Il surpasse tous les modèles testés ayant jusqu'à 1,2 milliard de paramètres sur six benchmarks d'utilisation d'outils et agentiques.
  • Le modèle réduit les jetons de raisonnement d'environ 3x par rapport à son modèle de base sur les tâches complexes.
  • Les améliorations de sécurité incluent un taux de réponse non sûre de 21 % lors du red-teaming, inférieur à celui de tout modèle comparable.
  • Disponible en précisions bf16, Q8 et Q4 sous forme de fichiers safetensors et GGUF pour une intégration facile.
  • Sous licence Apache 2.0 pour usage de recherche et éducatif, avec des limitations claires pour les applications critiques.

Pourquoi c'est important

Pour les ingénieurs logiciels et les fondateurs techniques, BotPsy représente un tournant vers des applications IA décentralisées et respectueuses de la vie privée. En permettant à des agents performants de fonctionner localement, les développeurs peuvent créer des produits qui ne dépendent pas de la disponibilité des API externes ni n'encourent de coûts cloud variables. Cette stabilité est cruciale pour les applications nécessitant des performances constantes et une souveraineté des données, telles que les gestionnaires de finances personnelles ou les traitants de documents d'entreprise.

Les gains d'efficacité se traduisent également par de meilleures expériences utilisateur. Une latence réduite et une consommation moindre de jetons signifient des temps de réponse plus rapides sur les appareils mobiles et les ordinateurs portables. Les développeurs peuvent intégrer des fonctionnalités intelligentes sans se soucier de la vidange de la batterie ou de la génération excessive de chaleur, problèmes courants avec les modèles plus grands fonctionnant sur du matériel edge. Cela ouvre de nouvelles possibilités pour des assistants toujours actifs qui respectent la vie privée de l'utilisateur tout en offrant une utilité tangible.

Ce que vous pouvez faire

  • Téléchargez les poids du modèle BotPsy depuis Hugging Face au format safetensors ou GGUF.
  • Testez le modèle en utilisant llama.cpp ou le SDK QVAC pour évaluer les performances sur votre matériel cible.
  • Comparez BotPsy à vos solutions actuelles sur appareil à l'aide des métriques BFCL v4 ou ACEBench.
  • Explorez l'intégration dans des applications existantes pour des tâches telles que la planification de calendrier ou la recherche de fichiers locaux.
  • Examinez les limitations d'usage prévues pour garantir une application appropriée dans des domaines de difficulté faible à moyenne.
  • Contribuez à la communauté open-source en partageant des retours ou des résultats de fine-tuning pour des workflows spécifiques.
  • #ai
  • #edge computing
  • #open source
  • #llm
  • #privacy

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles