Description

Senior & Lead Data Engineer Expert AWS et Databricks (6 ans d'expérience)

Expert en ingénierie de données, j'accompagne les entreprises dans l'industrialisation de leurs plateformes AWS et le déploiement de pipelines Spark à haute performance. Mon approche repose sur une maîtrise approfondie de l’écosystème Databricks et l'automatisation complète via Terraform (IaC) et des chaînes CI/CD robustes.

Plateforme Data : Architecture Databricks (Lakehouse), Delta Lake, Unity Catalog, Spark SQL, PySpark.

Écosystème Cloud AWS : Maîtrise des services AWS critiques : AWS S3, AWS Glue (ETL), AWS Lambda, AWS Redshift, AWS Kinesis (Streaming), AWS IAM, AWS Athena, AWS Step Functions.

Traitement de données : Optimisation de clusters Spark, gestion de la mémoire sur Spark, traitement distribué avec PySpark.

Orchestration : Mise en œuvre de workflows complexes avec Airflow et AWS Step Functions.

Infrastructure as Code et CI/CD (DataOps) : Automatisation totale des environnements AWS via Terraform et scripts CloudFormation.

Automatisation CI/CD : Mise en place de pipelines CI/CD (GitLab CI, GitHub Actions, Jenkins) pour le déploiement continu de code Spark et d'infrastructure AWS.

Conteneurisation : Utilisation de Docker et Kubernetes pour l'isolation des traitements Spark.

Réalisations Lead et Senior :

Lead Data Engineer (Caisse des Dépôts) : Pilotage technique de l'industrialisation sur AWS. Déploiement de 20+ livrables via CI/CD. Mise en place de standards Spark et Python pour garantir la fiabilité des pipelines AWS en environnement bancaire.

Senior Data Engineer (GRDF) : Développement de pipelines Spark sur AWS (Kinesis, Glue, S3)

Data Engineer (Decathlon) : Optimisation de jobs Spark sur la plateforme Databricks

Data Quality : Automatisation des contrôles de données au sein des pipelines Spark.

Leadership : Cadrage technique sur les architectures AWS, choix des services AWS adaptés et mentoring sur les bonnes pratiques CI/CD et Terraform (IaC)

Industry field of expertise

Languages

French
Native or bilingual
English
Fluent

Workplace preferences

Can work on-site

Paris (up to 20km)

Societe generale
Data Platform Engineer
DIGITAL AND IT
May 2026 - Today (3 months)
Paris, France
Senior / Lead Data Engineer focused on building reliable and production-grade data platforms at scale.

I design and implement distributed data processing pipelines with a strong emphasis on data quality, governance and long-term maintainability.
My goal is to transform raw data into trusted, traceable and business-ready datasets used for analytics, BI and regulatory purposes.
I also contribute to the design and industrialization of cloud-native data platforms, with a strong focus on infrastructure as code, automation and secure multi-cloud environments (Azure / AWS, Databricks).

I have worked on critical platforms requiring:
scalable processing, monitoring and observability, data reliability and traceability, and automated deployment and continuous delivery
as well as platform engineering challenges such as infrastructure provisioning, secure networking, and CI/CD for data platforms.

Areas of expertise :
Data Engineering: ingestion, transformation, historization and data exposure
Cloud & Data Platforms: Azure & AWS, Lakehouse architectures (Delta Lake), Databricks platforms
Infrastructure as Code: Terraform, automated provisioning of cloud resources and Databricks environments
Python & PySpark: distributed pipelines and performance optimization
CI/CD & Engineering practices: testing, quality gates, deployment automation and multi-environment workflows
Data Governance: data quality, lineage, privacy, cataloging and Unity Catalog implementation
Analytical modeling: Lakehouse and Data Vault approaches
Data Platform Ops: monitoring, RUN, cost optimization (FinOps), and platform reliability

Main stack :
Python • PySpark • SQL • AWS • Azure • Databricks • Spark • Terraform • CI/CD • Airflow • Delta Lake • Unity Catalog.
Azure Databricks Infrastructure as Code (Terraform) Amazon Web Services CI/CD Databricks
Caisse des dépôts
Lead Data Enginneer
BANKING AND INSURANCE
January 2024 - January 2026 (2 years)
Paris, France
Pilotage et industrialisation des solutions data pour les périmètres monétique, investissement bancaire et reporting réglementaire (Commission européenne)

• Cadrage fonctionnel et rôle de référent technique data (Workshops, POCs, Coordination équipes métier et techniques)
• Conception et mise en œuvre d’architectures Lakehouse pour des usages analytiques et réglementaires
• Développement et industrialisation de pipelines Big Data end-to-end (Spark, Python, SQL), avec automatisation des flux
• Mise en place de processus CI/CD, Quality Gates et bonnes pratiques de Python craftsmanship
• Gestion du RUN (MCO), résolution d’incidents, fiabilisation et amélioration continue des chaînes de traitement
• Mise en oeuvre de la data privacy : anonymisation, catalogage des données sensibles et gouvernance associée

Environnement technique :
Spark, Python, SQL, Data Lake, Data Vault, Data Marts, Hive, HDFS, Ranger, Atlas, Jenkins, CloudBees, Bitbucket, SonarQube, Control-M, SQL Server, Power BI, Tableau, Dataiku, Alteryx
Spark Python CI/CD Azure Databricks Cloudera
GRDF
Data engineer
ENERGY AND UTILITIES
September 2022 - December 2023 (1 year and 3 months)
Paris, France
Projet Gazpar – Projet Gazpar – Valorisation et sécurisation de la chaîne de traitement des données IoT issues de 11 millions de compteurs communicants.

● Conception et développement de pipelines d’ingestion massive pour l’historisation des trames IoT (protocole Wize 169 MHz) vers un Data Lake AWS
● Mise en œuvre d'une architecture Compute isolée et scalable utilisant AWS EKS (Fargate) et Lambda pour le parsing et l'agrégation en temps réel des index de consommation
● Construction de datasets fiables sur S3 pour les besoins de BI et de Data Science
● Orchestration des pipelines avec Airflow et automatisation complète de l’infrastructure via Terraform (IaC) dans des workflows CI/CD.
● Optimisation des performances et gestion des volumes importants
● Utilisation ponctuelle de CloudWatch et la stack ELK pour le monitoring et l’observabilité de la chaîne IoT

Environnement technique:
Python, SQL, PySpark, Spark, IOT Wize (169 MHz), AWS (S3, EKS Fargate, Lambda, KMS, VPC PrivateLink, IAM), Terraform, Airflow, Jenkins, GitLab, ELK, CloudWatch, Redis, Dataiku
Python Amazon Web Services Spark Gitlab CI/CD Terraform