Tessera-27B-B-CJK-RL utilise une réflexion compressée pour des agents de codage efficaces

ZelligeAI a publié Tessera-27B-B-CJK-RL, un modèle d'agent de codage open-weight spécialisé construit sur l'architecture Qwen3.8-27B. Publiée le 6 novembre 2026, cette version bêta introduit un mécanisme de raisonnement interne unique qui compresse les processus de pensée en utilisant un mélange d'anglais, de caractères chinois et de symboles. Le modèle vise à maintenir des performances élevées dans les tâches de mathématiques compétitives et de codage tout en réduisant considérablement le nombre de tokens générés par tour d'agent.

Ce qui s'est passé

Le nouveau modèle est une évolution du Tessera-27B-B-CJK précédemment publié. Il subit huit mises à jour supplémentaires d'apprentissage par renforcement spécifiquement axées sur les problèmes de mathématiques et de code. Ce processus d'entraînement aboutit à un modèle qui résout davantage de problèmes de mathématiques inédits de type compétition que son prédécesseur. Crucialement, il conserve la plupart des gains d'efficacité associés à la ligne originale Tessera, conçue pour penser moins par tour que les modèles de base standard.

La publication comprend plusieurs options de dépôt pour les développeurs. L'offre principale est un ensemble de poids bf16 fusionnés totalisant 55,6 Go. Pour ceux qui préfèrent les approches de réglage fin efficace en paramètres (PEFT), un adaptateur PEFT de 1,09 Go est disponible. L'équipe fournit également des formats GGUF avec cinq quantifications répliques de disposition Unsloth et un point de contrôle NVFP4, bien que ces derniers formats n'aient pas été entièrement évalués. Tous les fichiers sont sous licence Apache-2.0, correspondant au modèle de base.

Comment cela fonctionne

L'innovation centrale réside dans le monologue interne du modèle, ou phase « think ». Au lieu de générer des étapes de raisonnement en anglais verbeux, Tessera-27B-B-CJK-RL utilise un abrégé compressé mélangeant des caractères chinois, des mots anglais et des symboles. Cette méthode permet au modèle de transmettre des états logiques complexes avec beaucoup moins de tokens. Par exemple, un tour d'agent typique peut utiliser seulement 45 tokens pour décrire les résultats de la suite de tests et le statut de linting, tandis que le modèle de base nécessitait 158 tokens pour le même état. Malgré cette compression, les réponses finales et les appels d'outils restent en anglais clair et en code, garantissant l'utilisabilité pour les développeurs.

L'entraînement a consisté à partir de l'adaptateur LoRA Tessera-27B-B-CJK et à appliquer huit tours d'apprentissage par renforcement sur la plateforme Tinker. Chaque mise à jour échantillonnait six rollouts pour des problèmes spécifiques de mathématiques et de code, optimisant pour la correction et la propreté tout en pénalisant la longueur excessive par rapport au modèle de base. L'avantage de chaque rollout était distribué sur ses tokens de réflexion, empêchant les longues séquences d'influencer de manière disproportionnée les mises à jour du gradient. Les paires LoRA finales ont été fusionnées dans les poids bf16 du modèle de base, avec une vérification montrant une déviation minimale par rapport aux performances de l'adaptateur non fusionné.

Détails clés

• Le modèle atteint 108 solutions correctes sur 126 tentatives sur les problèmes AIME et HMMT de février 2026, une amélioration par rapport aux 97 de la version précédente.
• La réflexion par tour d'agent est environ 0,67x celle du modèle de base, maintenant des gains d'efficacité significatifs.
• La publication inclut des poids bf16 fusionnés (55,6 Go), un adaptateur LoRA (1,09 Go) et des variantes GGUF et NVFP4 non testées.
• L'entraînement a utilisé huit mises à jour RL avec un taux d'apprentissage de 2e-5, notant les rollouts sur la base de la correction et de l'efficacité de la longueur.
• Les paramètres d'inférence recommandés incluent reasoning_effort="xhigh", température 1.0, top-p 0.95 et top-k 20.
• Le modèle est construit sur Qwen/Qwen3.8-27B et utilise le tokenizer et le gabarit de chat standards.

Pourquoi c'est important

Pour les ingénieurs construisant des agents de codage autonomes, l'efficacité des tokens impacte directement la latence et le coût. En compressant le raisonnement interne dans un abrégé multilingue dense, Tessera-27B-B-CJK-RL réduit la charge computationnelle par étape de décision sans sacrifier la qualité de sortie. Cela permet aux agents d'opérer dans des fenêtres de contexte plus serrées, comme la limite de 64K tokens testée, où le nouveau modèle échouait significativement moins souvent dû à la troncature comparé à son prédécesseur. Ce gain d'efficacité est crucial pour la mise à l'échelle des workflows d'agents nécessitant une utilisation intensive d'outils aller-retour et de vérification.

De plus, la performance améliorée sur les benchmarks de mathématiques compétitifs suggère de meilleures capacités de raisonnement général. Bien que le modèle soit spécialisé pour le codage, la capacité à résoudre des problèmes mathématiques complexes corrèle souvent avec une déduction logique plus forte dans les tâches d'ingénierie logicielle. Les développeurs peuvent tirer parti de ce raisonnement amélioré pour le débogage, la conception d'algorithmes et la planification d'architectures système complexes, à condition qu'ils configurent correctement les paramètres d'inférence pour déclencher le mode de réflexion compressée.

Ce que vous pouvez faire

• Déployez les poids bf16 fusionnés en utilisant vLLM 0.31 ou transformers 5.17 pour l'inférence locale.
• Configurez les gabarits de chat avec reasoning_effort="xhigh" pour activer le processus de réflexion optimisé.
• Utilisez la température 1.0, top-p 0.95 et top-k 20 pour correspondre aux conditions d'évaluation.
• Supprimez les tokens passés « think » de l'historique lors des conversations multi-tours pour économiser l'espace de contexte.
• Testez l'adaptateur LoRA si vous préférez un chargement efficace en paramètres plutôt que la fusion des poids.
• Évitez de compter sur les points de contrôle GGUF ou NVFP4 non testés pour les environnements de production tant qu'une validation supplémentaire n'est pas effectuée.