MarketplaceCloud SecurityDf ML Anomaly Detection

Df ML Anomaly Detection

Streaming Anomaly Detection Solution by using Pub/Sub, Dataflow, BQML & Cloud DLP

Cloud SecurityOpen Source SecurityOpen Source

About

Questa sezione del repository contiene un'implementazione di riferimento di una soluzione di rilevamento delle anomalie di rete basata su ML utilizzando Pub/Sub, Dataflow, BQML e Cloud DLP. Utilizza un modello di clustering K-Means integrato e facile da usare come parte di BQML per addestrare e normalizzare i dati di log di Netflow. Una parte chiave dell'implementazione utilizza Dataflow per l'estrazione delle caratteristiche e la rilevazione in tempo reale degli outlier, che è stata testata per elaborare oltre 20 TB di dati (250.000 messaggi al secondo). Infine, utilizza anche Cloud DLP per tokenizzare il numero IMSI (identità dell'abbonato mobile internazionale) mentre la pipeline Dataflow in streaming acquisisce milioni di log di Netflow da Pub/Sub.

Open Source Health

Not enough history
Stars
191
Forks
49
License
Apache-2.0
Last commit
9 months ago
Java

Related Categories

Usi Df ML Anomaly Detection?

Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.

Aggiungi al mio stack

Vendor

Google Cloud Platform

Open-source projects on GitHub: Kubectl AI, KHI and Cloud SQL Proxy

View vendor profile

More by Google Cloud Platform