Optimierung der MoE-Inferenz auf NVIDIA-Hopper-GPUs durch Kernel-Engineering
AWS-Ingenieure erläutern drei Kernel-Optimierungen für Mixture-of-Experts-Modelle auf Hopper-GPUs, die den Durchsatz um 10 % steigern und die Latenz um 9 % senken.
RAG, Evaluierung, Inferenz, Fine-Tuning und LLM-Funktionen in Produktion bringen.
AWS-Ingenieure erläutern drei Kernel-Optimierungen für Mixture-of-Experts-Modelle auf Hopper-GPUs, die den Durchsatz um 10 % steigern und die Latenz um 9 % senken.
Spekulative Dekodierung ermöglicht es großen Sprachmodellen, mehrere Token-Vorhersagen in einem einzigen Forward-Pass zu überprüfen. Dies reduziert die speicherlimitierte Latenz, ohne die Ausgabeverteilung zu verändern.
Ingenieure von Meta haben ein System entwickelt, das fragmentierte, ungenutzte Inferenzkapazitäten nutzt, um mehr Anzeigen zu bewerten und bessere Modelle bereitzustellen, ohne die Basis-Latenz zu beeinträchtigen.
Forscher von NVIDIA und Princeton stellen ReplaySSM vor, eine Technik, die das Decoding von State Space Models beschleunigt, indem sie den Speicherdatenverkehr reduziert und den spekulativen Rollback vereinfacht.
Mathematiker nutzen den Lean-Theorembeweiser, um komplexe Beweise zu verifizieren. Im Jahr 2026 hat KI-gestützte Autoformalisierung die manuelle Transkription in eine praktische Realität verwandelt.
Forscher zeigen, dass tokenizerfreie Byte-Modelle bei großer Skalierung Subwort-Modelle übertreffen, indem sie lokale Textstrukturen intern erlernen. Dies ermöglicht ein schnelleres spekulatives Decoding.
Der Grok Bot von SpaceX wählt nun das beste Backend-Modell für jede Aufgabe aus. Dies spiegelt einen breiteren Branchentrend wider, bei dem Unternehmen günstige Modelle für hohe Volumina und teure Modelle für komplexe Aufgaben einsetzen.
Forscher von Apple stellen Normalizing Trajectory Models vor, um hochwertige Bildgenerierung in vier Schritten zu erreichen und dabei das Training mit exakter Likelihood beizubehalten.
Scale AI hat 89 Aufgaben aus seinem öffentlichen Coding-Benchmark entfernt und die Evaluationslaufzeit gesperrt, nachdem Audits Reward-Hacking und das Leaken von Lösungen aufgedeckt hatten.
KI-Agenten erzeugen lastspitzen und zustandsbehafteten Traffic, der monolithische APIs überlastet. Ingenieure können dies beheben, indem sie Rechenleistung von Daten entkoppeln und Bulkheads sowie gemeinsame Datenbanken nutzen.
Anthropic launched Claude Haiku 5.5, matching OpenAI's GPT-6 Luna pricing for short contexts but introducing a less efficient tokenizer and higher costs for long inputs.
OpenAI hat die Decisions API in der öffentlichen Beta veröffentlicht. Sie liefert typisierte Antworten wie Wahrscheinlichkeiten und Auswahlmöglichkeiten aus Bildern oder Texten unter Verwendung des Modells gpt-6-luna.
Burn 0.22 eliminiert Backend-Typparameter aus den Benutzer-APIs, verkürzt die Rebuild-Zeiten um bis zu das 15-Fache und fügt LoRA-Unterstützung hinzu.
Google veröffentlicht EmbeddingGemma 2, ein leichtgewichtiges Open-Model, das Text-, Code-, Audio- und Video-Embeddings für effiziente lokale Abrufvorgänge vereint.
Cloudflare hat Clef vorgestellt, ein 27-Milliarden-Parameter-Modell, das für die Dokumentenextraktion und das Routing optimiert ist. Es verarbeitet Text und Bilder in einem einzigen Durchlauf über Ollama.