Arthur Lekane Tatsagoum

Missions Développement des traitements Spark pour alimenter une couche Business Vault, notamment pour le calcul d'indicateurs tels que l'exposition financière sur les tranches de crédit et d'investissement. Optimisation des traitements Spark afin d'améliorer significativement la performance et la robustesse des pipelines.

Environnement technique : Spark, Python, SQL, Hadoop (Cloudera)

CGI, en mission chez Allianz France Depuis juin 2023 (1 an) Conception et développement d'une chaine de transformation des données sur Azure, selon le modèle data vault 2.0 Missions :

• Parsing des données CSV et écriture des fichiers Delta dans des storages accounts.

• Création des entités Raw Vault et Business Vault dans le Delta Lake à l'aide de DBT (Data built tool) et de Trino

• Déploiement des containers sur AKS (Azure Kubernetes Services)

• Design et réalisation d'un composant Kubernetes permettant l'export automatique vers des serveurs externes de type SFTP

• Mise en place des tests de données avec DBT Environnement technique : ADLS Gen2, AKS (Azure Kubernetes Services), DBT (Data Build Tool), Pyarrow, delta-rs, Trino, ArgoCD, Github actions

KLANIK KORNER en mission chez AMADEUS Villeneuve-Loubet Dejuin 2022 à juin 2023 (1 an) Création et qualification d'une pipeline de calcul des Datamarts avec Databricks et Snowflake Missions :

• Collecte des fichiers Avro sur Azure, calcul des Datamarts avec Databricks et alimentation de Snowflake

• Enrichissement des Datamarts à l'aides des données de référentiel situées sur Azure et optimisation Snowflake

• Optimisation des jobs spark pour l'amélioration des temps de traitement (tuning des paramètres de configuration, dimensionnement du cluster, amélioration du code)

• Mise en place des scripts en Scala et SQL pour validation automatique de la qualité des données Environnement technique : Snowflake, Spark, Scala, SQL, Databricks, Azure, Bitbucket, jenkins, Jira