- MSO-SoftData engineer & data architectDIGITAL & ITMarch 2024 - Today (7 months)Paris, FranceMission :Mise en place d’une solution BI et DataLake dans AWS ( bucket S3) dans le cadre de l’amélioration desperformances de la société MSO-SOFT sur la gestion locative.Mission :• Mise en place de l’image postgres dans docker et les volumes• Ingestion de données depuis différentes sources vers S3 : Postgres• Automatisation des extractions des données dépuis le crm vers le répertoire de travail avec python• Chargement des fichiers jsons et csv dans le Datalake sur le bucket S3 - AWS• Transformation et le chargement des données avec DBT-core avec les différents layers• Définition et mise en place des pratiques, des standards, des guidelines de l’ETL, des patterns dedéveloppementet de l’initialisation du catalogue de composants réutilisables sur étagère• Définition de la stratégie de logging• Création des tests et les documentations sur dbt-core• Création des scripts d’historisation SCD en utilisant dijan dans dbt• Implémentation d’un pipeline CICD via GitLab• Mise en place du tableau de bord• Mise en place du modèle multidimensionnel sur le schéma étoile• POC de faisabilité et de performance entre Tableau et power BI sur la base target.Environnement technique :Docker, Image Postgres, Power BI, Api Currency, JIRA, DBT-Core (ELT), Visual-code, Postgresql,AWS S3, CRM GIPS, Python, Bash, GIT, AWS S3, GitLab CICD, Glue AWS (ETL), Draw.io, Jira
- ThalesData engineerDEFENSE & MILITARYSeptember 2022 - February 2024 (1 year and 5 months)Vélizy-Villacoublay, FranceMission :Mise en place, l’évolution et la maintenance d’une solution BI et DataLake de la Squad Sales andMarketing pour toutes les Entitys. Le Build de la solution ETL from scratch pour le groupe Thales à L’international• Mise en place de l’alimentation via Talend le modèle étoile du DWH SMA sur la MS SQL Serveur• Ingestion de données depuis différentes sources vers GCP : Storage/BigQuery• Définition et mise en place des pratiques, des standards, des guidelines de l’ETL, des patterns dedéveloppement et de l’initialisation du catalogue de composants réutilisables sur étagère• Développement des use-cases à l’aide de Python (PySpark)• Définition de la stratégie de logging• Code Review des Builds de tous les data Engineers avant le déploiement• Implémentation d’un pipeline CICD via GitLab• Support au déploiement de la solution Talend et Gestion des utilisateurs• Validation des pipelines de la CI/CD• Étude de l’existant et gap analysis de migration vers Talend• Réalisation d’une migration legacy database d’Azure SQLDB vers AWS RDS• Conception des connecteurs/jobs• Mise en place des jobs Template sur les APIs (Get, Post, Delete et la Pagination des données surles Apis)• Réalisation du Poc et la présentation du SAP Hana• Mise en place de quelques KPI sur tableau• Mise en place du poc sur dbt et snowflake avec tableau en respectant le principe ELT qui s’appuie sur lacapacité de la base• Création des requêtes sql avancées et les procédures stockéesEnvironnement technique :Talend Data Management, Talend for BIG DATA, SQL SERVER, GCP, SAP BW, Code quality, Azure ADLSGEN2, Api Dynamics, JIRA, API MANAGER, GCP(BigQuery), Python, PySpark , Data Factory, Bash, AWSS3,GitLab CICDAccor Novembre 2
- ACCORData engineerHOSPITALITYNovember 2021 - September 2022 (10 months)Issy-les-Moulineaux, FranceMission :Création d’un Data Warehouse sur Snowflake et la migration des données vers snowflake pour la team SalesBI de toutes les entités du groupe Accor.• Organisation d’ateliers concernant la création du modèle étoile• Cadrage /Conception /Développement des flux• Code review et organise de pair programming entre les data Eng• Mise en place des flux d’alimentions avec Terraform sur Snowflake• Transformation des données avec DBT Core sur les différents Layer• Migration des jobs Talend OnPrimes 7.3 vers Talend Cloud 8 for Big Data• Faire les demandes de mise ne Production après la recette des QAs• Build et Run des pipelines d’alimentation sur terraform• Mise en place des plans d’exécutions sur la TACAGATE IT8, rue de la Terrasse, 75017 Paris www.agate-it.fr• Extraction des données du data lake via terraform dans RAW data sur snowflake• Collecte des données et intégration• Transformation et chargement des données dans Snowflake avec DBT• Calcul datamart et agrégats / extractions (Streams, Tasks et Procédures stockées Snowflake)• Mise en place du Tableau de Bord métierEnvironnement technique:Python (Pyspark), Talend for Big Data, Talend Cloud, DBT Core, Snowflake, Dbt, AWS/Glue, Azure, Oracle,Sybase IQ, Terraform, MS-SQL, Shell, Java, GitLab, Bucket S3, Streams, Tasks, Agile, Teams
- Master Système d'information et DécisionnelParis Sorbonne Patheon2015