FairScale

FairScale es una biblioteca de extensión de PyTorch para entrenamiento de alto rendimiento y gran escala. Esta biblioteca amplía las capacidades básicas de PyTorch mientras agrega nuevas técnicas de escalado SOTA (State Of The Art). FairScale pone a disposición las últimas técnicas de entrenamiento distribuido en forma de módulos componibles y APIs (Interfaz de Programación de Aplicaciones) fáciles de usar. Estas APIs son una parte fundamental de la caja de herramientas de un investigador mientras intenta escalar modelos con recursos limitados.