Description

Data Engineer polyvalent | AWS • Python • Airflow • PySpark

Expérience variée en startup et grand groupe, avec une forte capacité d'adaptation aux enjeux métiers et aux équipes.

Actuellement en certification Databricks, DBT et Snowflake. Je recherche des missions intégrant ces technologies modernes.

Passionné par l'apprentissage continu des nouvelles solutions data et les architectures bien structurées.

Contactez-moi pour échanger sur vos projets !

Languages

English
Native or bilingual
French
Native or bilingual

Workplace preferences

Can work on-site

Paris (up to 50km), Lille (up to 50km), Strasbourg (up to 40km), Bordeaux (up to 40km), Marseille (up to 40km)

Groupe M6
Data Engineer
ENTERTAINMENT AND LEISURE
July 2023 - Today (2 years and 11 months)
Neuilly-sur-Seine, France
Conception et développement de pipelines de données scalables avec Python, Spark et AWS (EMR, S3, Glue, Athena, Lambda) pour traiter les données de l'application mobile M6+ et alimenter les tableaux de bord Looker. - Collaboration avec les équipes de plateforme de données, ingénieurs et data scientists pour construire une infrastructure fiable supportant plusieurs sources.
Développement et maintenance d'un SDK interne pour ECS, Lambda, Glue et EMRServerless, améliorant l'efficacité de l'équipe. Surveillance quotidienne des pipelines de production pour garantir qualité et fiabilité des données. Optimisation des jobs par refactoring du code, réduisant temps de traitement et consommation de ressources.
Application des pratiques Agile avec Jira pour la planification des sprints, estimation des tickets et communication avec les parties prenantes. Qualité du code maintenue par revues entre pairs et processus de merge requests. Création d'une architecture de données maintenable avec accent sur la stabilité des pipelines.
Tech Stack : Python (pandas, boto3, awswrangler), Databricks, Iceberg, Delta, Spark, Snowflake, Terraform, AWS (S3, EMRServerless, EMR, DynamoDB, Trino, Athena, Glue, Lambda, ECS, MWAA), DBT, Snowflake, Apache Airflow, EKS, GitLab
Python EMR AWS Glue AWS Apache Spark
Printisk
Fondateur
E-COMMERCE
May 2020 - November 2023 (3 years and 5 months)
Paris, France
Développement de Printisk, une application web et mobile connectant les utilisateurs aux points d'impression à proximité. Construction de l'infrastructure backend complète avec AWS API Gateway, Lambda et ECS pour gérer le routage des documents depuis les uploads utilisateurs jusqu'aux logiciels d'impression.
Direction du développement technique full stack, implémentation de l'interface web avec React, Redux et TypeScript, et de l'application mobile avec Flutter. Intégration de Stripe pour les paiements et déploiement de l'infrastructure avec Terraform et pipelines CI/CD.
Management d'une équipe de cinq personnes, incluant deux co-fondateurs, deux développeurs et un business developer. Coordination du développement des fonctionnalités, décisions techniques et roadmap produit tout en maintenant une implication directe dans l'architecture backend et la conception des API.
Tech Stack : React, Redux, TypeScript, Flutter, Python 3.8, JavaScript, AWS (API Gateway, Lambda, S3, CloudFront, DynamoDB), Stripe, Amplify, Terraform, CI/CD
AWS DynamoDB React Next.js Python
bpifrance
Data engineer
BANKING AND INSURANCE
July 2021 - July 2022 (1 year and 1 month)
Maisons-Alfort, France
Travail dans un environnement SAFe pour collecter et exposer des données de multiples fournisseurs via des bases Athena et APIs. Direction de la migration d'une base de données critique d'évaluation de crédit de Java vers Python, transitionnant de DB2 SQL vers MongoDB Atlas. Cette base évaluait l'éligibilité des entreprises aux prêts bancaires.
Mise en place de l'infrastructure Airflow pour améliorer la fiabilité et le contrôle des pipelines. Gestion des workflows d'ingestion de S3 vers MongoDB Atlas, traitement des données avec des jobs Glue Spark. Développement de pipelines Jenkins pour les déploiements multi-environnements du développement à la production.
Surveillance de la performance des pipelines via des dashboards Datadog pour suivre les métriques et identifier les problèmes. Maintien de la qualité du code via l'intégration SonarQube et suivi des pratiques SAFe pour la planification des sprints.
Tech Stack: Python, Spark, Airflow, Jenkins, AWS (Glue, S3, Athena), SonarQube, MongoDB (Atlas, DocumentDB), SQL, Datadog, GitLab
Apache Airflow Apache Kafka AWS Python AWS Glue