Df ML Anomaly Detection

Cette section du dépôt contient une implémentation de référence d'une solution de détection d'anomalies réseau basée sur ML utilisant Pub/Sub, Dataflow, BQML et Cloud DLP. Elle utilise un modèle de clustering K-Means intégré et facile à utiliser dans BQML pour entraîner et normaliser les données de journal Netflow. Une partie clé de l'implémentation utilise Dataflow pour l'extraction de caractéristiques et la détection d'anomalies en temps réel, qui a été testée pour traiter plus de 20 To de données (250 000 messages/seconde). Enfin, elle utilise également Cloud DLP pour tokeniser le numéro IMSI (identité de l'abonné mobile international) pendant que le pipeline Dataflow en streaming ingère des millions de journaux Netflow de Pub/Sub.