Wael Hilati

Le projet consiste à migrer une application existante qui s’appelle OSCAR en utilisant spark

comme moteur de traitement de données et power bi comme outil de visualisation. La

majorité des données donnent des informations sur le réseau électrique d’enedis comme

la localisation des composants de réseau ou les coupures et leurs raisons.

Principales Tâches :

• Transformations des specs métiers en des jobs scala Spark d’agrégation et d’enrichissements de données (Mapping, transformation et des jointures).

• Dimensionner le service kafka (nombre de vCPU, RAM…)

• Assurer la sécurité du cluster à travers des rôles IAM

• Monitorer le cluster Kafka en utilisant cloudwatch et les métriques associées comme (Global Topic Count, Offline Partition Count, Messages In Per Sec, Bytes In/S….)

• Développer un producteur Kafka pour envoyer une partie des données sur le cloud

• Développer un consommateur Kafka pour récupérer les données et les sauvegarder dans des buckets s3

• Exposition des tables Hive externes et internes sur les données traitées.

• Code review et optimisation des jobs développés.

• Définition d’architecture et mise en place d’une plateforme de virtualisation de données

• Migration des données entre le cluster interne CDP et la nouvelle plateforme partagée entre les banques centrales européennes

Principales Tâches :

• Etude du marché sur les différentes technologies de virtualisation

• Participation à la conception de l’architecture finale

• Implémenter la solution de la virtualisation Denodo

• Migrer les données entre le cluster et les buckets S3

• Migrer les jobs Spark sur Glue AWS

• Développer des Lambdas et Steps functions pour l’enchainement du pipeline

• Implémentation des queues pour l’échange des évènements avec AWS EventBridge

• Implémentation de l’infrastructure à travers un projet Terraform

Environnement Technique : AWS Lambda, Step function, EventBridge, Cloud9, Terraform, Scala 2.14, Python 3.8, Spark 2.4, Hadoop, Hive, REST, MYSQL, Github, GitLab, Docker, Ansible, JIRA, SonarQube , Artifactory.

1) Ingestion et traitement de données massives du groupe.

2) Conception et développement des jobs Spark pour l’enrichissement et l’agrégation des données qui représentent les contrats du groupe.

3) Calcul des KPI fonctionnels pour aider la direction de faire ces décisions envers leurs dossiers clients.