Un harnais de hill-climbing automatisé optimise vLLM et SGLang sur un seul A100
Un nouveau harnais Kubernetes open source automatise l'optimisation par ascension coordonnée pour les moteurs d'inférence LLM, réalisant 432 essais pour optimiser les configurations de vLLM et SGLang.
Traduit automatiquement depuis l'original anglais.
Johnson Shi a publié le 22 novembre 2026 un harnais Kubernetes automatisé conçu pour optimiser les moteurs d'inférence des grands modèles de langage (LLM) via une méthode de hill climbing à ascension coordonnée. L'outil cible vLLM et SGLang, exécutant une étude de benchmark exhaustive de 432 essais sur un unique GPU NVIDIA A100 80 Go afin d'identifier les configurations de service optimales.
Ce qui s'est passé
Le dépôt, intitulé a100-inference-hillclimb, fournit une méthode structurée pour optimiser les performances d'inférence sans essai-erreur manuel. Il exécute des essais isolés au sein de pods Kubernetes, garantissant que chaque modification de configuration est testée dans des conditions matérielles constantes. Le système associe le conteneur serveur d'inférence à un sidecar de benchmark, permettant une mesure précise de la latence, du débit et de l'utilisation des ressources.
L'approche de Shi met l'accent sur la reproductibilité et la réduction du bruit. En affectant chaque essai à un nœud GPU dédié, ou « voie », le harnais élimine les interférences provenant d'autres processus. Le système dimensionne automatiquement la mémoire partagée, capture les journaux du serveur et échantillonne les métriques GPU telles que la puissance, la fréquence d'horloge et l'utilisation via nvidia-smi. Toutes les métriques structurées des essais sont enregistrées dans une base de données SQLite, créant un registre permanent de chaque expérience effectuée.
Le projet inclut un rapport complet de 337 essais de benchmark spécifiquement pour le modèle Nanbeige4.3-33B. Cet ensemble de données détaille quelles modifications de configuration ont amélioré les performances et lesquelles ont causé des régressions. Les ingénieurs peuvent accéder directement à ces résultats via le fichier RESULTS.md fourni ou en interrogeant la base de données results/ledger.sqlite, offrant ainsi une vue transparente sur le processus d'optimisation.
Comment cela fonctionne
Le mécanisme central repose sur des plans de charge de travail versionnés et des pilotes sidecar spécialisés. Le harnais définit plusieurs types de tests, notamment des benchmarks de décodage mono-utilisateur et des recherches de capacité poissonniennes. Lors des recherches de capacité, le système utilise une échelle de taux géométrique suivie d'une dichotomie pour trouver le taux maximal d'arrivée des requêtes où au moins 90 % des demandes respectent des objectifs stricts de niveau de service (SLO). Ces objectifs exigent que le temps jusqu'au premier jeton (TTFT) reste inférieur à deux secondes et que le temps par jeton de sortie (TPOT) soit inférieur à 100 millisecondes.
Pour garantir la fiabilité, le harnais emploie une ascension coordonnée calibrée sur le bruit. Lorsqu'un nouveau challenger de configuration tente de battre la meilleure configuration actuelle, ou titulaire, il doit dépasser le score du titulaire avec une marge statistiquement significative. Cette marge est définie comme le maximum entre trois écarts-types ou une valeur plancher fixe, calculée à partir de runs répétés du titulaire sur le même nœud. Si le challenger réussit, il doit confirmer sa victoire lors d'un run de confirmation frais avant d'être accepté comme nouveau titulaire.
Des portes qualité sont intégrées directement dans la boucle de test pour empêcher que les gains de performance ne compromettent la précision du modèle. Le système évalue les configurations en utilisant 200 problèmes de mathématiques GSM8K, des tâches de récupération de passkey en contexte long enfouies à diverses longueurs de contexte, et des vérifications de log-vraisemblance négative forcées par l'enseignant contre des jetons de référence BF16. Cela garantit que toute amélioration de vitesse ne se fait pas au détriment de la capacité de raisonnement ou de la rétention du contexte.
Détails clés
- Le harnais prend en charge 22 paramètres vLLM et 21 paramètres SGLang à travers plusieurs couches, gérés via un système canonique de hachage de configuration.
- Les sessions agentiques multi-tours simulent 48 utilisateurs concurrents avec six tours chacun, évaluant les performances sur la base du TTFT p90 sur un total de 288 tours.
- Les recherches de capacité en régime permanent durent de 420 à 540 secondes, ignorant les données de la période initiale de montée en charge pour assurer des mesures stables.
- L'isolation pod-par-essai ajuste automatiquement la taille de
/dev/shm, commençant avec une base de 32 GiB plus toute région de déchargement KV CPU configurée. - L'ensemble complet des données des 432 essais est stocké dans
results/ledger.sqlite, permettant aux utilisateurs de régénérer des graphiques et d'effectuer des analyses personnalisées. - Les scripts de déploiement incluent des hooks pre-commit pour empêcher la fuite d'identifiants spécifiques à l'environnement tels que les contextes kube ou les registres de conteneurs.
Pourquoi c'est important
Pour les équipes d'ingénierie gérant des services LLM en production, l'optimisation manuelle est souvent un goulot d'étranglement. Les ingénieurs ajustent généralement des paramètres tels que la taille du lot, les niveaux de quantification et l'allocation mémoire en se basant sur leur intuition ou sur des tests A/B limités. Ce harnais remplace le tâtonnement par un algorithme de recherche systématique qui explore efficacement l'espace de configuration. En automatisant la progression vers de meilleures performances, les équipes peuvent atteindre un débit plus élevé et une latence plus faible sans consacrer des semaines à l'expérimentation manuelle.
L'accent mis sur la signification statistique et la calibration du bruit répond à un point de douleur courant dans l'ingénierie des performances systèmes : la variabilité. Les fluctuations matérielles et les processus en arrière-plan peuvent fausser les résultats des benchmarks, conduisant à des faux positifs. En exigeant que les challengers battent le titulaire de trois écarts-types et en confirmant les résultats sur le même nœud, le harnais garantit que les améliorations signalées sont réelles et reproductibles. Cette rigueur est cruciale lors du déploiement de modèles à grande échelle, où les petites inefficacités se cumulent en coûts significatifs.
De plus, l'inclusion de portes qualité comble le fossé entre l'ingénierie systèmes et l'apprentissage automatique. Souvent, les optimisations qui améliorent la vitesse peuvent dégrader la qualité de la sortie du modèle. En intégrant des vérifications de précision comme GSM8K et la récupération de passkey directement dans la boucle d'optimisation des performances, l'outil garantit que l'efficacité opérationnelle ne compromet pas l'expérience utilisateur. Cette approche holistique permet aux responsables techniques d'équilibrer coût, vitesse et qualité avec une plus grande confiance.
Ce que vous pouvez faire
- Exécutez les tests de simulateur hors ligne inclus dans le dépôt pour comprendre la logique de hill climbing sans avoir besoin d'un cluster GPU.
- Inspectez la base de données
results/ledger.sqlitepour analyser l'ensemble de données des 432 essais et identifier les configurations performantes pour vos propres modèles. - Déployez le harnais sur votre cluster GPU Kubernetes en configurant le fichier
.envavec vos noms de nœuds spécifiques et les détails de votre registre de conteneurs. - Utilisez les commandes CLI fournies pour exécuter des essais individuels ou des campagnes par lots, vous permettant de tester des hypothèses spécifiques sur les interactions des paramètres.
- Consultez le journal
docs/decisions.mdpour comprendre la rationale d'ingénierie derrière la conception du harnais et adapter ses principes à votre infrastructure. - Générez des rapports visuels à partir de vos propres données de campagne en utilisant le script
tools/post_charts.pypour suivre les tendances de performance dans le temps.



