Nour Jaouadi

Projet 1: Restitution des données bancaires (crédits, tiers ...) demandées par le groupe SG pour du Reporting et des applications transverses en respectant les nouvelles réglementations bancaires imposées par la BCE (Banque centrale européenne)

- Développement de nouvelles règles de gestion: Compréhension du besoin métier, développement des solutions, tests fonctionnels sur les données, optimisation des jobs, réalisation des MEP

- Suivi de la production mensuelle: Suivi des lancement des jobs, requêtage et vérification des données produites, automatisation des checks sur la donnée, gestion et résolution des anomalies de la production

Projet 2: Migration d'un projet basé sur des bases de données internes vers le DataLake. Cela permet de produire des extractions en se basant sur un historique plus important et complet depuis le DataLake. Ces extractions représentent les opérations en impayés du périmètre des créances titrisées

- Collaboration avec l'équipe fonctionnelle pour comprendre le besoin et veiller à ce que la solution de migration répond à la demande

- Développement du projet from scratch sur Scala/Spark afin de se ressourcer du DataLake - Création des jobs sur Control-M pour une production mensuelle

- Comparaison avec le projet actuel en production (sur SQL) afin de valider la nouvelle solution et mise en production

Spark, Scala, SQL, Hive, Hadoop, Control-M, Jenkins, Git, JIRA

Accélération du process d'industrialisation de nettoyage des données afin de garantir une bonne qualité de données à destination des Data Scientists pour la modélisation des projets, dans un contexte international

- Construction des cleaners afin de nettoyer et harmoniser la donnée

- Participation au process d'industrialisation des cleaners des différents pays sur Azure Data Factory: Optimisation des traitements avec PySpark, ajout des sanity checks sur la donnée d'Input et Output

- Développement d'un package sur python contenant des fonctions de transformation des données afin d'accélérer le développement et l'industrialisation des cleaners des différents pays: Pipeline CI/CD sur Azure, tests unitaires, documentation MkDocs

- Développement d'un package sur python pour construire des requêtes SQL exécutables sur Snowflake. Cet outil permet d'automatiser les demandes de l'équipe, rendre ces dernières paramétrables mais également faciliter le développement avec une meilleure lisibilité des notebooks

Python, SQL, Pyspark, Snowflake, Databricks, Azure DevOps, MkDocs

Migration du moteur de génération d'alertes contre le financement du terrorisme (FT), déjà en production sur SAS, vers un environnement Big Data (en collaboration avec la sécurité financière)

- Suivi, amélioration et maintien de la production du moteur FT sur SAS en attendant la migration

- Migration du moteur FT vers un environnement Hadoop DataLake: Conception de la nouvelle solution, développement PySpark, ordonnancement des jobs via Airflow, recette comparative

- Développement du moteur FT pour les personnes morales (Associations, PME...)

Python, Spark, Hive, Apache Ambari, Apache Airflow, Hadoop, SQL, Bitbucket, SAS, Git