Dust: Phương pháp tiền huấn luyện transformer bậc không cạnh tranh với backprop
Các nhà nghiên cứu giới thiệu Dust, một thuật toán tối ưu hóa bậc không (zeroth-order) thay vì làm nhiễu trọng số thì lại làm nhiễu các kích hoạt (activations) để huấn luyện transformer mà không cần lan truyền ngược (backpropagation), cho thấy hiệu suất cạnh t




