ReplaySSM beschleunigt das Decoding von Hybridmodellen durch Caching der Eingaben statt des Zustands
Forscher von NVIDIA und Princeton stellen ReplaySSM vor, eine Technik, die das Decoding von State Space Models beschleunigt, indem sie den Speicherdatenverkehr reduziert und den spekulativen Rollback vereinfacht.
