Mup

In Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer zeigen wir, dass optimale Hyperparameter stabil werden, wenn wir das Modell in maximaler Update-Parametrisierung (μP) parametrisieren. Dies kann verwendet werden, um extrem große neuronale Netzwerke wie große vortrainierte Transformer abzustimmen, wie wir es in unserer Arbeit getan haben. Allgemeiner reduziert μP die Fragilität und Unsicherheit beim Übergang von der Erkundung zur Skalierung, was in der Literatur zum Deep Learning nicht oft explizit angesprochen wird.