Description

Data Engineer avec une solide maîtrise de SQL, Python et Git, je conçois et optimise des pipelines de données robustes, scalables et orientés métier.

J’interviens sur l’ensemble de la chaîne de transformation de la donnée, avec une expertise particulière sur l’utilisation de dbt (data build tool) pour structurer, tester et documenter des modèles de données fiables et maintenables.

Languages

English
Native or bilingual
French
Native or bilingual
Arabic
Native or bilingual

Workplace preferences

Remote only

Primarily works remotely

CGI ICDC- Taxonomie européenne
Consultante Data Engineer
July 2024 - Today (2 years)
Paris, France
Mise en place des pipelines Pyspark qui permettent: *L'ingestion et le prétraitement des données à partir des fichiers Excel, et stockage dans la database brute *Traitement des données:nettoyage, transformation, jointures, calculs. *La production des tables et BV qui répondent aux besoins métiers.
Industrialisation du code en python.
MEP du code et maintenance opérationnelle et évolutive.
Animation et participation à des ateliers de conception technique.
Migration de spark2 vers spark3.
Analyse des besoins des clients pour définir des solutions adaptées aux enjeux métiers.
Environnement Technique: Cloudera, Python, spark, hive, atlassian, Git, Jenkins
Python PySpark Data Cleaning and Preprocessing SQL Méthode agile
EDF / DNPT DPNT:
Consultante Data Engineer
January 2023 - June 2024 (1 year and 5 months)
Paris, France
Développement de flux Spark/Scala.
Migration de Oozie vers Airflow
Réalisation du chantier de migration des données de Hadoop vers
Oracle.
Développement des tables et des vues (HQL).
DEVOTEAM Malakoff Humanis
Cosultante Data Engineer
June 2022 - December 2022 (6 months)
• • Ingestion des données
• • Amélioration des jobs Talend
• • Mise en place des applications d'extraction de données
• • Définition des flux de données Environnement Technique: SQL,Talend(OS)