DataTrove
HuggingFace library to process and filter large amounts of webdata
Data Pipeline OrchestrationData OrchestrationOpen Source
About
DataTrove es una biblioteca para procesar, filtrar y eliminar duplicados de datos textuales a gran escala. Proporciona un conjunto de bloques de procesamiento preconstruidos comúnmente utilizados con un marco para agregar fácilmente funcionalidad personalizada.
Open Source Health
- Stars
- 3,331
- Forks
- 300
- License
- Apache-2.0
- Last commit
- 2 months ago
Python
Alternativas a DataTrove
Hyperswitchby JuspayPlataforma de pagos de código abierto y componible | Cumple con PCI | Opciones SaaS y autoalojadas | Permite conectividad a múltiples proveedores de pagos, pagos, fraude, bóveda y tokenización | Mejora la autorización con enrutamiento inteligente y recuperación de ingresos | Reduce el procesamiento de pagos...
Cstarby SpotifyHerramienta de orquestación de clústeres de Apache Cassandra para la línea de comandos
Argo Workflowsby ArgoprojMotor de flujo de trabajo para Kubernetes
Composeby DockerDefine y ejecuta aplicaciones de múltiples contenedores con Docker
Shardingsphereby ApachePotenciando la inteligencia de datos con SQL distribuido para sharding, escalabilidad y seguridad en todas las bases de datos.
Resources & Links
Related Categories
¿Usas DataTrove?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
Hugging Face
Publisher of Speech To Speech, Diffusers and Optimum
