Description

Data Engineer avec 3 ans d’expérience sur des environnements Big Data, spécialisé dans l’ingestion, le traitement et le stockage des données.

Expertise sur Databricks, Spark (PySpark), SQL, avec des restitutions analytiques via Power BI.

Languages

French
Native or bilingual
English
Conversational

Workplace preferences

Remote only

Primarily works remotely

Thales Services Numériques missionné par Total Energies
Data Engineer Databricks
ENERGY AND UTILITIES
December 2024 - Today (1 year and 7 months)
Paris, France
Contexte
Conception et mise en œuvre de pipelines de données pour assurer l'extraction, la transformation et le chargement (ETL) des données
Réalisations
Collecte des données sur Azure Data Lake
Lecture des données , anonymisations des données sensibles puis stockage dans la couche Bronze
Transformation des données dans Azure Databricks puis stockage dans la couche Silver
Modélisation des tables de dimension et de fait puis stockage dans la couche Gold
Lancement planifié quotidien du job de pipeline
Visualisation des données stockées dans la couche Gold
Résultats

Environnement technique: Python, Spark, Azure Databricks, Azure Data Lake, Git, Power Bi
Databricks Microsoft Power BI Apache Spark Microsoft Azure
Thales Services Numériques missionné par URSSAF
Data Engineer
PUBLIC SECTOR
September 2022 - October 2023 (1 year and 1 month)
Vélizy-Villacoublay, France
Réalisations:
Collecte et transformation des données DSN (Déclarations Sociale Nominative) nécessaires aux
organismes de protection sociale pour recouvrer les cotisations ou prélèvements pour servir des droits
des salariés résultant des versements.
Transformation de la donnée à destination des organismes de protection sociale : organiser et structurer les données avec Pyspark
Collaboration avec les testeurs et les Business Analysts pour valider les résultats des dévppements.

Environnement technique: Python, Spark, Git .
PySpark Méthode agile
BOURSORAMA SA
Data Engineer
BANKING AND INSURANCE
September 2020 - September 2021 (1 year)
Boulogne-Billancourt, France
Contexte:
Ma mission était surtout de travailler sur l'aspect Data Quality sein de
Boursorama.
Réalisations:
Mise en place de pipeline pour l'ingestion, la transformation et du stockage.
Développement d'outils pour vérifier la qualité des données
dans le datalake (détection de changement de schéma , data profiling)

Développement d'outil chargé de faire le profilage des données.
Outils: Spark, Zeppelin, Vs Code , Git.
Méthode agile Apache Spark Scala SQL