Exa senkt Einbettungskosten um 47 % mit benutzerdefinierten Kernels auf AWS Neuron
Exa optimierte seine Pipeline zur Web-Index-Einbettung auf den AWS-Chips Inferentia2 und Trainium2 und erreichte durch benutzerdefinierte NKI-Kernels und agentische Workflows eine Kostensenkung von 47 %.
Automatisch aus dem englischen Original übersetzt.
Exa, ein Unternehmen, das einen semantischen Web-Index entwickelt, hat kürzlich detailliert beschrieben, wie es den Durchsatz seiner Infrastruktur für Dokumenten-Einbettungen um nahezu 50 Prozent verbessert hat. Durch die Optimierung der maschinellen Lernmodelle für die Ausführung auf AWS-Neuron-Hardware, speziell den Chips Inferentia2 und Trainium2, konnte das Team die Stückkosten für die Verarbeitung von Milliarden von Dokumenten erheblich senken.
Die Optimierungsarbeit wurde durch einen agentischen Entwicklungsworkflow vorangetrieben, der das Testen, Profiling und die Kernel-Generierung automatisierte. Dieser Ansatz ermöglichte es Ingenieuren, Engpässe bei der Speichernutzung und der Recheneffizienz systematisch zu beseitigen, was zu einer flexibleren und kosteneffizienteren Inferenz-Pipeline für die großskalige semantische Suche führte.
Was passiert ist
Exa betreibt einen der wenigen echten Web-Indizes, der Wissen aus öffentlichen, privaten und synthetischen Quellen aggregiert, um die semantische Suche zu ermöglichen. Das Herzstück dieses Systems ist eine unternehmenseigene Vektor-Datenbank, die erfordert, dass jedes hochwertige Webdokument in einen Vektorraum eingebettet wird, bevor es bereitgestellt werden kann. Bei der Größenordnung von Zehner- oder Hundertmilliarden von Dokumenten sind die Kosten pro Einbettung ein kritischer Wirtschaftsfaktor. Jede Verbesserung der Effizienz führt zu erheblichen kumulierten Einsparungen.
Der Anstoß zur Optimierung kam, als Exa beschloss, auf ein überlegenes Dokumentmodell zu migrieren. Dies erforderte die erneute Einbettung von 30 Milliarden hochpriorisierter Dokumente aus dem bestehenden Korpus. Diese Backfill-Operation verdoppelte vorübergehend die Last für die Einbettungen, da das System den Live-Index aufrechterhalten musste, während gleichzeitig der neue Index aufgebaut wurde. Dieser Nachfrageanstieg bot einen klaren Auslöser, um die Hardware-Auswahl und die Optimierungsstrategien neu zu bewerten.
Das Team wählte für diese Arbeitslast die AWS-Chips Inferentia2 und Trainium2. Diese Beschleuniger sind jeweils für Inferenz und Training konzipiert, teilen sich jedoch dieselbe NeuronCore-Architektur. Exa führt seine Arbeitslast auf einem einzelnen NeuronCore pro Container aus und packt Kubernetes-Pods auf größere Instanzen, um sicherzustellen, dass keine Kerne leer laufen. Diese Strategie gewährleistet Container-Homogenität über die gesamte Flotte hinweg und ermöglicht es, denselben Optimierungsprozess über Datenparallelität auf beiden Hardware-Typen zu skalieren.
Wie es funktioniert
Die Reise der Optimierung begann mit einer Basisimplementierung unter Verwendung von FP16-Präzision und standardmäßiger Datenparallelität. Von dort aus wandte das Team eine Reihe gezielter Verbesserungen unter Nutzung des Neuron SDK an. Zunächst optimierten sie die Gewichtslayouts, um unnötige Datentransponierungen zu eliminieren und die Modellgewichte an die Hardware-Scheduling anzupassen. Sie aktivierten zudem Autocast, was dem Compiler erlaubt, Matrixmultiplikationen auf eine niedrigere Präzision herabzusetzen. Diese Änderung bewahrte den dynamischen Bereich, während sie ein strenges Korrektheitskriterium von 0,999 Kosinus-Ähnlichkeit im Vergleich zum Referenzmodell erfüllte.
Ein wesentlicher Engpass trat beim Speicherzugriff auf. Profiling-Tools zeigten häufige Spills und Reloads vom High-Bandwidth Memory (HBM), die die Tensor Engine blockierten. Um dies zu beheben, schrieben die Ingenieure einen benutzerdefinierten, gewichtsstatischen, fusionierten SwiGLU-MLP-Kernel unter Verwendung der Neuron Kernel Interface (NKI). Dieser benutzerdefinierte Kernel eliminierte HBM-Stalls, indem er Daten während der Berechnung in schnelleren Speicherorten behielt. Das Team nutzte die höherstufige NKI-Sprache für die meisten Operationen und wechselte nur für spezifische Tensor-Aufgaben in die niedrigerstufige Befehlssatzarchitektur, was den Code wartbar hielt.
Der finale Leistungsgewinn resultierte aus der Reduzierung der Gleitkommaoperationen (FLOPS). Das Team bemerkte, dass der Durchsatz abfiel, wenn beide Kerne auf einem Chip aktiv waren, was auf Kontention hindeutete. Sie schrieben den Attention-Kernel so um, dass er exakt den Formen ihres Modells entsprach, entfernten Padding-Verschwendung und fassten mehrere Operationen in einzelne Matrixmultiplikationen zusammen. Diese Anpassung reduzierte die Operationen in der inneren Schleife und die HBM-Roundtrips und lieferte den endgültigen Geschwindigkeitszuwachs.
Wichtige Details
- Exa erzielte eine Leistungs- und Kostenverbesserung von 47 % pro Million eingebetteter Dokumente im Vergleich zur ursprünglichen Baseline.
- Die Optimierung zielte auf die AWS-Hardware Inferentia2 und Trainium2 ab, ausgeführt auf einzelnen NeuronCores innerhalb von Kubernetes-Pods.
- Ein benutzerdefinierter fusionierter SwiGLU-MLP-Kernel wurde unter Verwendung der Neuron Kernel Interface (NKI) geschrieben, um Stalls im High-Bandwidth Memory zu eliminieren.
- Das Team setzte ein Korrektheitskriterium von 0,999 Kosinus-Ähnlichkeit durch, um sicherzustellen, dass die Genauigkeit trotz Herabsetzung der Präzision hoch blieb.
- Ein agentischer Workflow unter Verwendung von Flyte automatisierte die Kompilierung, die Korrektheitsprüfung und das Benchmarking jedes Optimierungsschritts.
- Attention-Kernels wurden umgeschrieben, um spezifischen Modellformen zu entsprechen, wodurch FLOPS reduziert wurden, die für Padding und generische Handhabung aufgewendet wurden.
Warum es wichtig ist
Für Engineering-Teams, die großskalige KI-Anwendungen entwickeln, unterstreicht diese Fallstudie die Bedeutung hardware-spezifischer Optimierung. Generische Kernels und Standard-Compilereinstellungen lassen oft erhebliche Leistungspotenziale ungenutzt. Indem Exa über naive Implementierungen hinausging und benutzerdefinierte Kernels für spezifische Modellarchitekturen schrieb, konnte der Durchsatz nahezu verdoppelt werden. Dieses Maß an Feinabstimmung ist entscheidend, wenn man mit Milliarden von Dokumenten arbeitet, wo kleine Einsparungen pro Einheit zu massiven operativen Kostensenkungen führen.
Der Einsatz eines agentischen Workflows zeigt auch einen Wandel darin, wie komplexe Systeme optimiert werden. Anstatt manuell durch Versuch und Irrtum vorzugehen, nutzte Exa autonome Agenten, um die Korrektheit zu verifizieren, die Leistung zu profilieren und Code zu generieren. Diese Methode ermöglicht es Teams, schneller zu iterieren und Optimierungshypothesen zu erkunden, die für menschliche Ingenieure zu mühsam oder komplex wären, um sie manuell zu testen. Sie stellt sicher, dass Optimierungen rigoros gegen Genauigkeitsstandards validiert werden, bevor sie deployed werden.
Darüber hinaus ermöglicht die Optimierung für flexible Compute-Pools wie die AWS-Neuron-Hardware Organisationen, Vendor-Lock-in und regionale Engpässe zu vermeiden. Indem sie ihre Arbeitslast effizient auf mehreren Instanztypen und Regionen gestalten, kann Exa Compute basierend auf Echtzeitpreis und Verfügbarkeit planen. Diese Flexibilität ist entscheidend für die Aufrechterhaltung von Service-Leveln und die Kontrolle der Kosten in einem volatilen Cloud-Markt.
Was Sie tun können
- Profilieren Sie Ihre Inferenz-Workloads, um Speicherengpässe wie HBM-Spills zu identifizieren, bevor Sie mit der Kernel-Optimierung beginnen.
- Evaluieren Sie die Neuron Kernel Interface (NKI) für das Schreiben benutzerdefinierter fusionierter Kernels, wenn Standardbibliotheken Ihre Leistungsanforderungen nicht erfüllen.
- Implementieren Sie strenge Korrektheitskriterien, wie Schwellenwerte für die Kosinus-Ähnlichkeit, um sicher mit Datentypen geringerer Präzision zu experimentieren.
- Erwägen Sie den Einsatz agentischer Workflows, um das Testen und Benchmarking von Modelloptimierungen zu automatisieren und den manuellen Aufwand zu reduzieren.
- Passen Sie Gewichtslayouts an das Hardware-Scheduling an, um unnötige Datentransponierungen während der Modellausführung zu eliminieren.
- Passen Sie Attention-Kernels an Ihre spezifischen Modellformen an, um Padding-Verschwendung zu entfernen und FLOPS zu reduzieren.



