FairScale

FairScale est une bibliothèque d'extension PyTorch pour un entraînement haute performance et à grande échelle. Cette bibliothèque étend les capacités de base de PyTorch tout en ajoutant de nouvelles techniques de mise à l'échelle SOTA (State Of The Art). FairScale met à disposition les dernières techniques d'entraînement distribué sous forme de modules composables et d'APIs (Interface de Programmation d'Applications) faciles à utiliser. Ces APIs sont une partie fondamentale de la boîte à outils d'un chercheur lorsqu'il tente de mettre à l'échelle des modèles avec des ressources limitées.