DataTrove
HuggingFace library to process and filter large amounts of webdata
Data Pipeline OrchestrationData OrchestrationOpen Source
About
DataTrove est une bibliothèque pour traiter, filtrer et dédupliquer des données textuelles à très grande échelle. Elle fournit un ensemble de blocs de traitement préconstruits couramment utilisés avec un cadre pour ajouter facilement des fonctionnalités personnalisées.
Open Source Health
- Stars
- 3,331
- Forks
- 300
- License
- Apache-2.0
- Last commit
- 2 months ago
Python
Alternatives à DataTrove
Hyperswitchby JuspayPlateforme de paiements open source et composable | Conforme PCI | Options SaaS et auto-hébergement | Permet la connectivité avec plusieurs fournisseurs de paiements, de paiements, de fraude, de coffre-fort et de tokenisation | Améliore l'autorisation avec un routage intelligent et la récupération de revenus | Réduit le traitement des paiements…
Cstarby SpotifyOutil d'orchestration de clusters Apache Cassandra pour la ligne de commande
Argo Workflowsby ArgoprojMoteur de flux de travail pour Kubernetes
Composeby DockerDéfinissez et exécutez des applications multi-conteneurs avec Docker.
Shardingsphereby ApacheRenforcer l'intelligence des données avec SQL distribué pour le sharding, la scalabilité et la sécurité sur toutes les bases de données.
Resources & Links
Related Categories
Tu utilises DataTrove ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Hugging Face
Publisher of Speech To Speech, Diffusers and Optimum
