Df ML Anomaly Detection

Esta sección del repositorio contiene una implementación de referencia de una solución de detección de anomalías en red basada en ML utilizando Pub/Sub, Dataflow, BQML y Cloud DLP. Utiliza un modelo de clustering K-Means integrado y fácil de usar como parte de BQML para entrenar y normalizar los datos de registro de Netflow. Una parte clave de la implementación utiliza Dataflow para la extracción de características y la detección de valores atípicos en tiempo real, que ha sido probada para procesar más de 20 TB de datos (250,000 mensajes/segundo). Finalmente, también utiliza Cloud DLP para tokenizar el número IMSI (identidad de suscriptor móvil internacional) mientras la tubería de Dataflow en streaming ingiere millones de registros de Netflow de Pub/Sub.