Spark On AWS Lambda

Spark runtime on AWS Lambda

Serverless ComputingOpen Source Infrastructure & CloudOpen Source

About

El marco Apache Spark on AWS Lambda (SoAL) es una instalación independiente de Spark que se ejecuta en AWS Lambda. Spark está empaquetado en un contenedor Docker, y AWS Lambda se utiliza para ejecutar la imagen de Spark. La imagen de Spark incluye un script de PySpark. Al procesar archivos más pequeños de menos de 500 MB por carga útil, algunos servicios basados en clúster incurren en costos de inicio de JVM. Esta estrategia basada en contenedores reduce los costos generales asociados con el inicio de numerosos nodos mientras se procesan los datos en un solo nodo. Utiliza el marco SoAL para canalizaciones basadas en eventos con archivos más pequeños si buscas una opción menos costosa, según los clientes.

Open Source Health

Not enough history
Stars
113
Forks
39
License
MIT-0
Last commit
1 years ago
Python

Related Categories

¿Usas Spark On AWS Lambda?

Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.

Añadir a mi stack

Vendor

Aws Samples

Publisher of IAM Identity Center Team, Serverless Patterns and Siem On Amazon Opensearch Service

View vendor profile

More by Aws Samples