Description

Vous cherchez un expert data pour concevoir, optimiser et industrialiser vos architectures cloud avec des technologies modernes comme Databricks, Apache Spark, Snowflake et AWS afin de valoriser vos données et accélérer vos projets analytiques ?

En tant que Senior Data Engineer, je vous accompagne de la conception à la mise en production :

Architecture de plateformes data cloud basées sur AWS, GCP et Azure

Mise en place de pipelines de données performants avec Databricks et Apache Spark

Adoption de pratiques DataOps pour automatiser et fiabiliser vos workflows

Optimisation des coûts et des performances de vos environnements Cloud, Databricks et Snowflake

Je suis Data Engineer senior avec plus de 10 ans d’expérience dans le traitement de données à grande échelle et l’industrialisation de solutions cloud. J’ai mené des projets data intégrant AWS, Databricks, Apache Spark, Snowflake et des approches DataOps, au service de la performance métier et de la gouvernance des données.

Industry field of expertise

Languages

French
Native or bilingual
English
Conversational

Workplace preferences

Can work on-site

Paris (up to 50km), Paris (up to 100km)

CNP Assurances
Senior Data Engineer Databricks | AWS | Apache Spark | Snowflake | DataOps
BANKING AND INSURANCE
August 2024 - Today (1 year and 10 months)
Paris, France
Contexte : Dans le cadre de la transformation digitale de mes clients, j’ai conçu et déployé
des solutions avancées de data engineering et d’automatisation cloud pour moderniser et
industrialiser la gestion des données métier.
— Conception et implémentation de composants réutilisables pour une plateforme Data
Mesh scalable sur AWS (IAM, S3, Lambda, Glue), Databricks (Unity Catalog, Delta Sha-
ring, Workflows), et Terraform pour l’automatisation du provisionnement des domaines
de données.
— Mise en place d’une architecture serverless (AWS Lambda, Step Functions, EventBridge)
orchestrant les flux de données business et facilitant leur intégration dans Snowflake.
— Optimisation des pipelines Snowflake : Implémentation et gestion des flux de données
pour assurer une ingestion efficace et scalable.
— Développement de workflows ELT sur Snowflake, optimisation des flux pour réduire les
coûts et améliorer la performance des requêtes analytiques.
— Création de frameworks d’orchestration d’ingestion, d’onboarding, et de CI/CD (GitLab
CI, Azure DevOps), accélérant la vitesse de déploiement et l’autonomie des équipes
produit.
— Industrialisation des déploiements cloud via des scripts AWS CloudFormation et Terra-
form, réduisant le temps de provisioning de 70 pourcent
— Développement de pipelines en Apache Spark Structured Streaming (Databricks, Delta
Lake) avec gestion avancée de l’erreur et optimisation des performances.
— Construction de tableaux de bord d’observabilité sous Datadog pour le suivi des workloads
et de la santé du plateau de production.
— Conseil et accompagnement des équipes data pour l’adoption de la plateforme ainsi que
la conception de modèles (Star Schema, Data Vault), rédaction de la documentation
d’architecture et estimations de coûts d’infrastructure.
$

AWS Lambda, Step Functions, Databricks, Terraform, Gitlab CI, AWS, Snowflake, Infor-
matica, CloudFormation, Azure DevOps, CI/CD, architecture serverless, optimisation des
pipelines de données.
Terraform CloudFormation Spark Databricks Snowflake
SNCF Connect
Senior Data Engineer Databricks | AWS | Kafka | FinOps | DataOps
TRANSPORTATION
August 2021 - August 2024 (3 years)
France, France
• Dirigé la migration de systèmes de données vers AWS, optimisant les pipelines de traitement pour un volume quotidien de 6 To.

• Mis en place des stratégies avancées de réduction des coûts, diminuant les dépenses cloud de 30% tout en améliorant les performances.

• Développé des fonctions AWS Lambda optimisées pour l'automatisation des processus de gestion des données.

• Automatisé le déploiement de stacks complexes via Terraform et CloudFormation, réduisant le temps de provisionnement de 50%.

• Géré des opérations (RUN) et des astreintes, assurant une disponibilité continue et la conformité aux normes de sécurité.

Environnement technique : AWS (Glue, Lambda, Step Functions, Kinesis, EMR, Redshift, S3, Terraform, CloudFormation, IAM, CloudTrail, Config, MSK), Python, Kafka, Ansible, Git, Jenkins, Docker, PyCharm.
Lambda CloudFormation Python Terraform Amazon Web Services
Dalkia
Data Engineer AWS | Spark | Snowflake | Python
TRANSPORTATION
March 2020 - Today (6 years and 3 months)
Courbevoie, France
•Conçu un Data Lake AWS robuste pour l'intégration et l'analyse des données en temps réel, augmentant l'efficacité des analyses de 40%.

• Utilisé AWS Glue et Amazon EMR pour développer des workflows ETL complexes, réduisant le temps de traitement de 60%.

• Migré les bases de données on-premises vers AWS RDS et Redshift, améliorant la performance des requêtes et la gestion des données.

• Travaillé avec les équipes DevOps pour améliorer la résilience et la sécurité de l'infrastructure AWS.

Environnement technique : AWS (Glue, EMR, Redshift, RDS, S3, Lambda), Spark, Python, Docker, Git, Jenkins, Terraform.

Amazon Web Services Lambda Spark S3 Python