IA ouverte et locale

L'entraînement d'adaptateurs RL au sein des harnais d'agents améliore la précision et réduit les coûts en tokens

Hugging Face montre comment l'entraînement d'adaptateurs LoRA via l'apprentissage par renforcement directement dans les harnais d'agents améliore les performances de Qwen3.8-27B sur les tâches de codage tout en réduisant de moitié l'utilisation de tokens.

Un cube de réseau neuronal connecté à trois systèmes mécaniques d'engrenages différents.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Hugging Face a publié un guide technique démontrant comment entraîner des adaptateurs personnalisés pour l'apprentissage par renforcement destinés aux modèles ouverts, intégrés à des harnais d'agents spécifiques. Publiée en novembre 2026, cette étude se concentre sur l'optimisation du modèle Qwen3.8-27B pour les tâches d'ingénierie logicielle en utilisant trois harnais populaires : Pi, OpenCode et Hermes Agent.

Ce qui s'est passé

Les grands modèles de langage généralistes ne sont pas entièrement optimisés pour chaque framework d'agent spécifique ou distribution de tâches. Lorsque les développeurs associent un modèle de base à un harnais particulier, ils laissent souvent passer des gains de performance et d'efficacité. Hugging Face a répondu à ce problème en combinant l'apprentissage par renforcement sur une distribution de tâches personnalisée avec des harnais d'agents spécifiques, créant ainsi des adaptateurs sur mesure qui extraient davantage de capacités du modèle pour ces combinaisons exactes.

L'équipe a entraîné un adaptateur Low-Rank Adaptation (LoRA) pour Qwen3.8-27B par harnais. Ils ont utilisé l'apprentissage par renforcement à l'intérieur même du harnais, garantissant que le modèle apprenne à partir des tokens exacts produits lors des interactions réelles avec l'agent. Les résultats ont montré des améliorations significatives. Par exemple, le score de Qwen3.8-27B sur Terminal-Bench 2.1 avec le harnais Pi est passé de 39 % à 55 % pass@1. Plus important encore, l'utilisation moyenne de tokens par tâche a chuté de 2,9K à 1,5K. Ce gain d'efficacité provient d'une réduction du raisonnement du modèle, d'un nombre moindre d'appels d'outils et d'une meilleure performance dès la première tentative.

Pour rendre cela reproductible, Hugging Face a partagé une recette entièrement réutilisable. Tous les jeux de données, configurations d'entraînement et déploiements d'agents (rollouts) ont été exécutés sur le Hub en utilisant Jobs, AsyncGRPOTrainer de TRL, OpenEnv et Harbor. Les artefacts finaux, y compris les adaptateurs et les fichiers GGUF, sont disponibles dans une collection publique, permettant aux ingénieurs d'appliquer la même méthode à leurs propres tâches et harnais.

Comment cela fonctionne

L'innovation centrale réside dans l'entraînement du modèle à l'intérieur du harnais d'agent plutôt que via une réimplémentation de la boucle agentique. La plupart des frameworks d'apprentissage par renforcement exigent que les agents soient écrits selon leur propre interface, ce qui peut introduire des divergences entre l'entraînement et le déploiement. Dans cette approche, le harnais fonctionne exactement tel qu'il est livré. Un proxy se situe entre le harnais et le serveur vLLM, enregistrant les tokens exacts produits par le modèle. L'entraîneur apprend ensuite à partir de ces interactions réelles, garantissant que l'adaptateur optimise les comportements spécifiques et les formats de sortie de ce harnais.

La qualité des données a été assurée par un pipeline rigoureux. L'équipe a combiné des tâches issues de SWE-smith, SWE-Gym et Tasksmith, en les filtrant à l'aide de openenv validate. Cet outil vérifiait la correction sémantique, s'assurant que les solutions de référence obtenaient des récompenses maximales et que l'inaction était moins bien notée. Ils ont également effectué un contrôle de difficulté, ne conservant que les tâches que le modèle de base résolvait parfois, mais pas toujours. Cet ensemble « qualifié » fournit le signal d'apprentissage nécessaire pour l'optimisation de politique relative par groupe (Group Relative Policy Optimization - GRPO), car les tâches toujours faciles ou toujours difficiles n'offrent aucun gradient pour l'amélioration.

L'entraînement a utilisé AsyncGRPOTrainer de TRL, qui n'attend pas que tous les rollouts soient terminés avant de passer à l'étape d'optimisation suivante. Cette approche asynchrone a maximisé l'utilisation du matériel sur les GPU NVIDIA B200. La fonction de récompense finale combinait la vérification de la correction avec un petit bonus d'efficacité des outils, encourageant le modèle à résoudre les problèmes en moins d'étapes. La sécurité a été maintenue grâce au plugin safeagents, qui bloquait les mauvais comportements pendant l'entraînement, les appels bloqués diminuant régulièrement à mesure que le modèle s'améliorait.

Détails clés

  • Modèle et harnais : L'étude s'est concentrée sur Qwen3.8-27B adapté pour Pi 1.5.2, OpenCode 2.2.7 et Hermes Agent v0.22.6.
  • Gains de performance : L'adaptateur du harnais Pi a amélioré les scores de Terminal-Bench 2.1 de 39 % à 55 % pass@1.
  • Améliorations de l'efficacité : L'utilisation moyenne de tokens par tâche a diminué de 2,9K à 1,5K, grâce à une réduction des étapes de raisonnement et des appels d'outils.
  • Méthode d'entraînement : L'apprentissage par renforcement a été réalisé à l'intérieur du harnais en utilisant AsyncGRPOTrainer de TRL et OpenEnv, avec un proxy capturant les sorties de tokens réelles.
  • Pipeline de données : 871 tâches ont été sélectionnées parmi SWE-smith, SWE-Gym et Tasksmith, filtrées pour leur validité et leur difficulté qualifiée afin d'assurer un entraînement GRPO efficace.
  • Super-adaptateur : Trois adaptateurs LoRA distincts ont été fusionnés en un seul super-adaptateur de rang 96, maintenant une haute précision sur les trois harnais grâce à une faible similarité cosinus entre les mises à jour des poids.

Pourquoi c'est important

Pour les ingénieurs développant des agents IA, cette approche offre une voie vers des coûts opérationnels considérablement plus bas et une fiabilité accrue. En réduisant l'utilisation de tokens de près de moitié, les organisations peuvent déployer des modèles plus performants comme Qwen3.8-27B sans factures d'inférence prohibitives. L'amélioration des taux de réussite dès la première tentative réduit également la latence, conduisant à des expériences utilisateur plus fluides dans les assistants de codage et les agents autonomes. Cela est particulièrement pertinent pour les équipes utilisant des modèles ouverts qui doivent rivaliser avec l'efficacité des alternatives propriétaires et fermées.

La méthodologie démystifie également le processus d'alignement des modèles ouverts avec des environnements d'outillage spécifiques. En fournissant une recette réutilisable et en ouvrant le code source des artefacts, Hugging Face abaisse la barrière à l'entrée pour l'optimisation personnalisée des modèles. Les développeurs n'ont plus besoin de compter uniquement sur le fine-tuning généraliste ; ils peuvent désormais adapter les modèles à leur stack spécifique, qu'il s'agisse d'analyse de données, de construction de code ou de workflows complexes d'ingénierie logicielle. Ce virage vers l'optimisation spécifique au harnais pourrait devenir une pratique standard pour les agents IA de production.

Ce que vous pouvez faire

  • Explorez la collection Hugging Face contenant les adaptateurs entraînés, les fichiers GGUF et les tâches RL pour comprendre la structure des artefacts.
  • Utilisez les images Docker fournies avec les harnais préinstallés (Pi, OpenCode, Hermes) pour reproduire l'environnement d'entraînement localement ou sur le Hub.
  • Appliquez l'outil openenv validate à vos propres tâches personnalisées pour filtrer la correction sémantique et la difficulté appropriée avant l'entraînement.
  • Implémentez AsyncGRPOTrainer de TRL dans votre workflow pour permettre le traitement asynchrone des rollouts, améliorant ainsi l'efficacité de l'entraînement sur des configurations multi-GPU.
  • Envisagez de fusionner plusieurs adaptateurs LoRA spécifiques au harnais si vous prenez en charge plusieurs frameworks d'agents, en tirant parti de la faible interférence entre les mises à jour orthogonales des poids.
  • Intégrez le plugin safeagents avec vos règles regex et motifs personnalisés pour empêcher les mauvais comportements du modèle pendant la phase d'apprentissage par renforcement.
  • #reinforcement learning
  • #agent harnesses
  • #llm optimization
  • #hugging face
  • #qwen
  • #lora

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles