Spark On AWS Lambda
Spark runtime on AWS Lambda
Über
Das Apache Spark on AWS Lambda (SoAL) Framework ist eine eigenständige Installation von Spark, die auf AWS Lambda läuft. Spark ist in einem Docker-Container verpackt, und AWS Lambda wird verwendet, um das Spark-Image auszuführen. Das Spark-Image zieht ein PySpark-Skript ein. Bei der Verarbeitung kleinerer Dateien mit einer Größe von unter 500 MB pro Payload entstehen bei einigen clusterbasierten Diensten Kosten für den JVM-Start. Diese containerbasierte Strategie senkt die Gemeinkosten, die mit dem Hochfahren zahlreicher Knoten verbunden sind, während die Daten auf einem einzelnen Knoten verarbeitet werden. Verwende das SoAL-Framework für ereignisbasierte Pipelines mit kleineren Dateien, wenn du eine kostengünstigere Option suchst, so die Kunden.
Open Source Health
- Stars
- 113
- Forks
- 39
- License
- MIT-0
- Last commit
- 1 years ago
Alternativen zu Spark On AWS Lambda
Stlitevon Yuichiro Tachibana (Tsuchiya)Streamlit-Lite; In-browser Streamlit 🎈🚀- Ecommerce Netlifyvon Sarah Drasner🛍 Eine JAMstack Ecommerce-Seite, die mit Nuxt und Netlify Functions erstellt wurde.
Serverlessvon ServerlessServerless Framework – Entwickeln Sie mühelos Anwendungen, die automatisch skalieren, keine Kosten im Leerlauf verursachen und minimalen Wartungsaufwand erfordern, unter Verwendung von AWS Lambda und anderen verwalteten Cloud-Diensten.- Serverless-for-Iranvon patternihaDirekter und unmediierter Zugang zum freien Internet.
Github Readme Statsvon Anurag Hazra:zap: Dynamisch generierte Statistiken für Ihre GitHub-Readmes
Ressourcen & Links
Verwandte Kategorien
Nutzt du Spark On AWS Lambda?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
Aws Samples
Publisher of IAM Identity Center Team, Serverless Patterns and Siem On Amazon Opensearch Service
