Megatron-Energon

Megatron-Energon sert de chargeur de données multimodal conçu pour faciliter l'entraînement de grands modèles en chargeant et en mélangeant efficacement des ensembles de données divers. Il prend en charge le traitement distribué sur plusieurs nœuds, garantissant la reproductibilité et la reprise des sessions d'entraînement. Le package comprend des classes liées aux ensembles de données et un utilitaire en ligne de commande pour le prétraitement des données, ce qui le rend adapté aux utilisateurs travaillant sur des projets d'apprentissage automatique à grande échelle.