Dust: Un método de preentrenamiento de transformers de orden cero que rivaliza con la retropropagación
Investigadores presentan Dust, un algoritmo de optimización de orden cero que perturba las activaciones en lugar de los pesos para entrenar transformers sin retropropagación, mostrando un rendimiento competitivo a gran escala.
