Dust : une méthode de préentraînement des transformateurs d'ordre zéro qui rivalise avec la rétropropagation
Des chercheurs présentent Dust, un algorithme d'optimisation d'ordre zéro qui perturbe les activations plutôt que les poids pour entraîner des transformateurs sans rétropropagation, démontrant des performances compétitives à grande échelle.




