Description

Senior & Lead Data Engineer Expert AWS et Databricks (6 ans d'expérience)

Expert en ingénierie de données, j'accompagne les entreprises dans l'industrialisation de leurs plateformes AWS et le déploiement de pipelines Spark à haute performance. Mon approche repose sur une maîtrise approfondie de l’écosystème Databricks et l'automatisation complète via Terraform (IaC) et des chaînes CI/CD robustes.

Plateforme Data : Architecture Databricks (Lakehouse), Delta Lake, Unity Catalog, Spark SQL, PySpark.

Écosystème Cloud AWS : Maîtrise des services AWS critiques : AWS S3, AWS Glue (ETL), AWS Lambda, AWS Redshift, AWS Kinesis (Streaming), AWS IAM, AWS Athena, AWS Step Functions.

Traitement de données : Optimisation de clusters Spark, gestion de la mémoire sur Spark, traitement distribué avec PySpark.

Orchestration : Mise en œuvre de workflows complexes avec Airflow et AWS Step Functions.

Infrastructure as Code et CI/CD (DataOps) : Automatisation totale des environnements AWS via Terraform et scripts CloudFormation.

Automatisation CI/CD : Mise en place de pipelines CI/CD (GitLab CI, GitHub Actions, Jenkins) pour le déploiement continu de code Spark et d'infrastructure AWS.

Conteneurisation : Utilisation de Docker et Kubernetes pour l'isolation des traitements Spark.

Réalisations Lead et Senior :

Lead Data Engineer (Caisse des Dépôts) : Pilotage technique de l'industrialisation sur AWS. Déploiement de 20+ livrables via CI/CD. Mise en place de standards Spark et Python pour garantir la fiabilité des pipelines AWS en environnement bancaire.

Senior Data Engineer (GRDF) : Développement de pipelines Spark sur AWS (Kinesis, Glue, S3)

Data Engineer (Decathlon) : Optimisation de jobs Spark sur la plateforme Databricks

Data Quality : Automatisation des contrôles de données au sein des pipelines Spark.

Leadership : Cadrage technique sur les architectures AWS, choix des services AWS adaptés et mentoring sur les bonnes pratiques CI/CD et Terraform (IaC)

Industry field of expertise

Languages

French
Native or bilingual
English
Fluent

Workplace preferences

Can work on-site

Paris (up to 20km)

Caisse des dépôts
Lead Data Enginneer
BANKING AND INSURANCE
January 2024 - January 2026 (2 years)
Paris, France
Pilotage et industrialisation des solutions data pour les périmètres monétique, investissement bancaire et reporting réglementaire (Commission européenne)

• Cadrage fonctionnel et rôle de référent technique data (Workshops, POCs, Coordination équipes métier et techniques)
• Conception et mise en œuvre d’architectures Lakehouse pour des usages analytiques et réglementaires
• Développement et industrialisation de pipelines Big Data end-to-end (Spark, Python, SQL), avec automatisation des flux
• Mise en place de processus CI/CD, Quality Gates et bonnes pratiques de Python craftsmanship
• Gestion du RUN (MCO), résolution d’incidents, fiabilisation et amélioration continue des chaînes de traitement
• Mise en oeuvre de la data privacy : anonymisation, catalogage des données sensibles et gouvernance associée

Environnement technique :
Spark, Python, SQL, Data Lake, Data Vault, Data Marts, Hive, HDFS, Ranger, Atlas, Jenkins, CloudBees, Bitbucket, SonarQube, Control-M, SQL Server, Power BI, Tableau, Dataiku, Alteryx
Spark Python CI/CD Azure Databricks Cloudera
GRDF
Data engineer
ENERGY AND UTILITIES
September 2022 - December 2023 (1 year and 3 months)
Paris, France
Projet Gazpar – Projet Gazpar – Valorisation et sécurisation de la chaîne de traitement des données IoT issues de 11 millions de compteurs communicants.

● Conception et développement de pipelines d’ingestion massive pour l’historisation des trames IoT (protocole Wize 169 MHz) vers un Data Lake AWS
● Mise en œuvre d'une architecture Compute isolée et scalable utilisant AWS EKS (Fargate) et Lambda pour le parsing et l'agrégation en temps réel des index de consommation
● Construction de datasets fiables sur S3 pour les besoins de BI et de Data Science
● Orchestration des pipelines avec Airflow et automatisation complète de l’infrastructure via Terraform (IaC) dans des workflows CI/CD.
● Optimisation des performances et gestion des volumes importants
● Utilisation ponctuelle de CloudWatch et la stack ELK pour le monitoring et l’observabilité de la chaîne IoT

Environnement technique:
Python, SQL, PySpark, Spark, IOT Wize (169 MHz), AWS (S3, EKS Fargate, Lambda, KMS, VPC PrivateLink, IAM), Terraform, Airflow, Jenkins, GitLab, ELK, CloudWatch, Redis, Dataiku
Python Amazon Web Services Spark Gitlab CI/CD Terraform
Decathlon SE
Data engineer
SPORTS
August 2021 - August 2022 (1 year and 1 month)
Lille, France
Industrialisation et exploitation d’une plateforme Data AWS dédiée à l’analyse des transactions de vente et d’achat à l’échelle mondiale.

Travaux réalisés :
Analyse des besoins métiers (ventes, achats, performance économique)
Centralisation des données transactionnelles au sein d’un Data Lake S3
Migration et optimisation de traitements Talend vers des pipelines Spark
Développement de pipelines Spark/Databricks pour le traitement massifs
Mise en place de pipelines automatisés (Lambda, Airflow) et standardisation des traitements
Optimisation des performances et gestion de la volumétrie
Automatisation des contrôles et des traitements data via AWS Lambda
Accès ad-hoc aux données du Data Lake via Amazon Athena
Exposition des données via Athena/Redshift pour l’analytics et la BI
Documentation technique et fonctionnelle des pipelines et modèles de données

Environnement technique :
Python, PySpark, SQL, AWS (S3, Lambda, Athena, Redshift), DataBricks, Kafka, Cassandra, CI/CD, Airflow, Jenkins, Git,Github, Jira, Confluence
Python Spark AWS SQL Databricks