Curator
Scalable data pre processing and curation toolkit for LLMs
Data Quality ManagementOpen Source Data PlatformsOpen Source
About
NeMo Curator aide les ingénieurs ML et les équipes de données à créer des pipelines reproductibles accélérés par GPU qui chargent, filtrent, dédupliquent et transforment de grands ensembles de données textuelles, d'images, de vidéos et d'audio pour l'entraînement de l'IA. Exécute le même pipeline sur un ordinateur portable ou sur un cluster Ray multi-nœuds.
Open Source Health
- Stars
- 1,764
- Forks
- 323
- License
- Apache-2.0
- Last commit
- 1 months ago
Python
Alternatives à Curator
Speechby NVIDIA-NeMoUn cadre d'IA générative évolutif conçu pour les chercheurs et développeurs travaillant sur les modèles de langage large, multimodal et l'IA vocale (Reconnaissance Automatique de la Parole et Synthèse Vocale).
Switchyardby NVIDIA-NeMoSwitchyard permet aux applications LLM de diriger le trafic entre les modèles et les fournisseurs tout en préservant la compatibilité native de l'API OpenAI et Anthropic - ce qui permet une sélection flexible des modèles, des benchmarks et une optimisation des coûts/performance.
DataDesignerby NVIDIA-NeMo🎨 NeMo Data Designer : Génère des données synthétiques de haute qualité à partir de zéro ou de données de départ.
session.jsby IainSession.js - Obtiens des informations sur la session utilisateur- Matrixby FacebookresearchMatrix (Multi-Agent daTa geneRation Infra et eXperimentation framework) est un moteur polyvalent pour la génération de données conversationnelles multi-agents.
Resources & Links
Related Categories
Tu utilises Curator ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
NVIDIA-NeMo
Open-source projects on GitHub: Speech, Guardrails and Switchyard