Description

Fort de plusieurs années d'expérience en ingénierie des données, j'ai eu l'opportunité de travailler pour de grands clients tels que La Poste et la Société Générale, sur des projets Big Data exigeants. Mon expertise se concentre sur la gestion de grandes volumétries de données et la mise en place de traitements complexes pour répondre à des besoins métiers critiques.

Je maîtrise un large éventail de technologies et de langages de programmation, notamment Spark, Scala, Databricks, Hadoop, Kafka, SQL, Cloudera, et Kubernetes. Mon approche est orientée vers la performance et l'optimisation, avec une solide expérience en environnement de production.

Passionné par les défis liés à la data, je suis prêt à vous accompagner dans la réalisation de vos projets, de l'architecture à la mise en œuvre de solutions innovantes.

Languages

French
Native or bilingual
English
Fluent
Arabic
Native or bilingual

Workplace preferences

Can work on-site

Paris (up to 50km)

laposte
Senior Data engineer
June 2021 - Today (5 years)
Issy-les-Moulineaux, France
Contexte : Dans le cadre du projet Data Lake de la branche numérique de La Poste, notre équipe est chargée de la conception & la mise en place des jobs et des workflows génériques et réutilisables pour les équipes métier, ainsi que d'intégrer de nouvelles sources de données chaudes (Streaming) et froides (Batch).
Tâches réalisées :
Développement d'outils d'ingestion : Concevoir et implémenter des outils pour l'ingestion de données en différents formats (CSV, JSON, Avro, etc.).
Consolidation des données : Développer un outil pour la consolidation efficace des données. Privacy des données : Mis en place un outil pour l'anonymisation et le cryptage des données sensibles afin d'assurer la confidentialité.
Migration des composants : Migrer les composants critiques tels que Spark et Kafka vers la future plateforme CDP (Cloudera Data Platform).
Optimisation : Tunning et optimiser des jobs et workflows pour une performance accrue. Encadrement : Encadrer et former les membres de l’équipe pour garantir une bonne utilisation des outils et des processus mis en place.
Suivi de production : Assurer le suivi et la maintenance des solutions en production.
Environnement technique : Ecosystème (Openshift et CDP), Scala, AKKA, Python, Spark, Hive, Confluent Kafka, Airflow, Docker, Jenkins, Ansible
Société Générale
Data engineer
November 2018 - May 2021 (2 years and 7 months)
Paris, France
Contexte : Le projet visait à consolider les données des personnes morales (PM) et des personnes physiques (PP) et à créer une interface web offrant une vision 360° des tiers.
Tâches réalisées :
Consolidation des données : Développement d’un outil pour consolider les données des personnes physiques et morales provenant de différentes sources.
Moteur de vues métiers : Mis en place un moteur pour générer des vues spécifiques répondant aux besoins métiers.
Outil de rapprochement : Développement d’un outil pour le rapprochement et la validation des flux de données.
Stockage des données : Persistance des données consolidées dans MongoDB et les données de recherche dans ElasticSearch pour une gestion rapide et évolutive.
Développement des pipelines d’ingestion : Création des pipelines d'ingestion (batch et stream) à partir de différentes sources de données avec Oozie/
Connecteurs Spark : Développement des connecteurs d’ingestion pour traiter les formats CSV, XML et JSON.
Maintenance et support : Maintenance et support des différentes pipelines incluant la gestion des incidents de production.
Indicateurs de performance : Définir des KPIs pour mesurer la performance des pipelines d’ingestion.
Environnement technique: Hadoop (Hortonworks, Cloudera), Spark/Scala, Hive, Kafka, ElasticSearch, MongoDB, AngularJS, Node.js, REST API, Docker, Jenkins, Amazon S3, Ansible
Carrefour
Consultant Symfony
August 2018 - October 2018 (3 months)
Massy, France
Contexte : Développement et amélioration d’un serveur de paiement pour Carrefour, basé sur la solution existante de Rue du Commerce. L’objectif était de créer une plateforme réutilisable pour le groupe Carrefour, tout en ajoutant des fonctionnalités spécifiques pour améliorer l’expérience utilisateur et commerciale.
Tâches réalisées :
Étude du serveur de paiement : Analyse approfondie du serveur de paiement existant chez Rue du Commerce pour comprendre son fonctionnement et ses spécificités.
Factorisation du code : Refactoriser le code pour rendre la solution réutilisable et adaptable pour Carrefour.
Ajout de nouvelles fonctionnalités :
- Intégration de l’option d’achat avec des points de fidélité pour certains produits.
- Développement d’une option permettant aux agents commerciaux de passer des commandes de manière simplifiée.
Documentation de l’API : Rédiger une documentation détaillée de l’API en utilisant Swagger pour faciliter son utilisation et sa maintenance.
Correction des bugs : Résoudre les anomalies identifiées pour garantir la stabilité et les performances de la plateforme.
Environnement technique : PHP 7, Docker, Docker-Compose, MongoDB, Composer, PhpUnit, REST API, JSON, Swagger.