Curator

Scalable data pre processing and curation toolkit for LLMs

Data Quality ManagementOpen Source Data PlatformsOpen Source

About

NeMo Curator ayuda a ingenieros de ML y equipos de datos a construir pipelines repetibles aceleradas por GPU que cargan, filtran, deduplican y transforman grandes conjuntos de datos de texto, imagen, video y audio para el entrenamiento de IA. Ejecuta la misma pipeline en un portátil o en un clúster Ray multinodo.

Open Source Health

Not enough history
Stars
1,764
Forks
323
License
Apache-2.0
Last commit
1 months ago
Python

Resources & Links

Related Categories

¿Usas Curator?

Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.

Añadir a mi stack

Vendor

NVIDIA-NeMo

Open-source projects on GitHub: Speech, Guardrails and Switchyard

View vendor profile

More by NVIDIA-NeMo