Description

Tech Lead Big Data / Data Engineer depuis 7 ans .

Actuellement à la recherche d'une nouvelle opportunités sur des technologies Scala/Spark/Kafka... J'ai également des compétences sur du cloud (AWS, GCP)

J'ai principalement travaillé durant ces 7 années sur la conception et la maintenance des applications pour le traitement de données en temps réel et l'architecture réactive d'une part et sur des traitements en batch avec des ETL d'autre part.

Languages

Arabic
Native or bilingual
English
Fluent
French
Native or bilingual

Workplace preferences

Can work on-site

Paris (up to 50km)

Société générale
Lead Data Engineer / Business Analyst
BANKING AND INSURANCE
January 2024 - Today (2 years and 5 months)
Nanterre, France
Mes responsabilités :
• - Garant des bonnes pratiques, revue de code, documentations
• - Référent technique et fonctionnel
• - Automatisation des déploiements Spark, SQL (CI/CD)
• - Amélioration continue liée au BUILD et au RUN (support N1/N2/N3)
• - Partager les bonnes pratiques de Scala/Spark à d'autres équipes
• - Migration de Spark 2 vers Spark 3
• - Automatisation des job Spark avec Oozie
• - Exposition des données via des vus Hive
• - Optimisation des requêtes SQL pour améliorer les performances du traitement des données
• - Mise en place d'une solution de data quality pour garantir la fiabilité des données utilisées dans les analyses
SQL Scala Spark Oozie Hive
PMU
Lead Data Engineer
ENTERTAINMENT AND LEISURE
January 2022 - January 2024 (2 years)
Paris, France
Mes responsabilités :
• - Ingestion des données brutes avec AWS Glue.
• - Conception technique
• - Monitoring des métriques et de l'activité des jobs spark via Kibana.
• - Conversion des formats selon les besoins métier (renommage, enrichissement,harmonisation).
• - Rédaction de requêtes Athena pour l'exploitation et le contrôle des données
• - Anonymisation de données
AWS Glue AWS S3 AWS EC2 Spark Scala
La Poste colissimo
Data Engineer
January 2019 - January 2022 (3 years)
Mes responsabilités :
• - Garant des bonnes pratiques, revue de code, documentations
• - Référent technique et fonctionnel
• - Optimisations des traitements Spark Streaming / Akka Stream
• - Automatisation des déploiements (CI/CD)
• - Participation à l'intégration des nouveaux produits dans le SI en collaboration avec l'architecte technique.
• - Contribution à l'élaboration et à la validation du planning projet.
• - Responsabilité du respect des standards de qualité sur les produits livrés.
• - Participation à la définition d'une architecture de suivi et de planification du transport.
• - Conception et développement d'un moteur de calcul de TVA avec Spark, Kafka et PostgreSQL.
• - Développement d'API d'administration pour les bases Cassandra et PostgreSQL avec Play Framework.
• - Amélioration de la qualité des données en évitant la perte et la fusion de colis via la refonte d'une API Akka.
• - Développement d'un outil d'extraction et de visualisation des logs d'API dans Kibana grâce à ElasticSearch.
• - Participation à la refactorisation des applications Scala en appliquant les meilleures pratiques du langage.
• - Création d'images Docker pour mettre en place une architecture virtuelle dédiée aux tests.

Contexte technique: Scrum, Spark Streaming, Kafka, Cassandra, Postgres, Play API, Linux, Git, Méthodes agiles, SQL, Elasticsearch, Kibana, Kubernetes, Docker, Jenkins VTOM, Leadership technique.
Docker Scala Elasticsearch Apache Kafka PostgreSQL