Description

👋 Bienvenue sur mon profil Malt ! 🚀

Je suis Senior Data Engineer / Tech Lead (8+ ans), expert Databricks, Spark, Kafka, Airflow et CI/CD (GitLab/Jenkins). J’aide les équipes à livrer des pipelines fiables, observables et économiques, du batch au streaming, on-prem ou cloud (Azure/AWS). Domaines : banque/assurance, risque, fraude, réglementaire, KPI.

🧑‍💻 Data Engineering & DevOps

• Conception & build de pipelines ETL/ELT end-to-end (Delta/SQL/APIs)

• Streaming & event-driven avec Kafka (Connect/Streams/Schema Registry)

• Optimisation perfs & coûts (partitions, cache, AQE, Z-Order)

• Qualité des données, tests TDD, observabilité (métriques, SLA/SLO)

• Orchestration Airflow, CI/CD, packaging Docker

• Déploiements Kubernetes, gestion des secrets

• Maintenance évolutive/corrective & debug de jobs critiques

💻 Software Engineering

• Backends Python/Scala/Java (FastAPI/REST/Spring Boot)

• Intégration bases & modèles (Delta Lake, Hive, Elasticsearch, Postgres)

• Exposition de la donnée : APIs, SQL, dashboards & KPIs

🎯 Réalisations clés

• 🏦 Crédit Agricole Assurance : x30 de perfs sur Spark (heures → minutes) + migration Spark 3.5 & Airflow, automatisations via IHM.

• 🏦 Société Générale : migration fraude marché on-prem → Azure/Databricks, temps d’exécution ÷30.

• 🏦 Natixis : moteur risques (VaR/CVaR) optimisé, TDD 95 %, jobs 8 min → 1 min.

🧰 Stack

Apache Spark 2/3, Databricks (Delta/Unity Catalog), Kafka, Airflow, Hadoop/Hive/HBase, Snowflake, DBT, Python, Scala/Java, SQL, GitLab/Jenkins/Sonar, Docker/Kubernetes, Azure & AWS, Cloudera/MapR.

📈 Mon exigence : des solutions robustes, scalables, testées et observables, avec des quick wins dès la 1ʳᵉ semaine.

Besoin d’un expert Data Engineering/DevOps/CI ?

Écrivez-moi avec use case, volumétrie, stack : je reviens avec un plan d’attaque concret.

Je réponds vite (souvent < 1 h).

Agences/ESN : conditions spécifiques, me consulter.

Languages

English
Fluent
German
Basic
Spanish
Basic
Arabic
Native or bilingual
French
Native or bilingual

Workplace preferences

Can work on-site

Paris (up to 50km), Paris (up to 100km)

Crédit Agricole Assurances
Tech Lead - Senior Data Engineer
BANKING AND INSURANCE
January 2023 - Today (3 years and 5 months)
Paris, France
Contexte : Refonte, migration et évolution de plusieurs déclarations réglementaires mensuelles et annuelles (FICOVIE, IER, EAI CDC,
EAI, FATCA) dans un environnement Big Data critique et réglementé.

Actions :
Encadrement et mentoring d’une équipe de Data Engineers sur Spark/Hadoop.
Mise en place de standards de développement (Git, TDD, CI/CD, SonarQube).
Pilotage de la migration de la plateforme Data : orchestration Oozie → Airflow, migration Spark 2.4 → Spark 3.5, java 8 → java 17, gestion des contraintes de compatibilité et performance.
Participation active aux ateliers de spécifications techniques et fonctionnelles, ainsi qu’aux comités de suivi de migration.
Développement d’une IHM métier pour automatiser les processus déclaratifs de bout en bout.
Release management.

Résultats :
Réduction du temps de traitement Spark de plusieurs heures à quelques minutes (x30 en performance).
Succès de la migration vers Spark 3.5 et Airflow, avec sécurisation des jobs critiques et minimisation des risques de régression.
Accélération de la montée en compétence des équipes (formations Spark 3.x, Airflow, CI/CD).
Amélioration de la qualité logicielle et de la fiabilité des pipelines grâ ce à la mise en place des bonnes pratiques CI/CD et TDD.
Automatisation des déclaratifs réglementaires via l’IHM → réduction des tâches manuelles et fiabilisation des processus métiers.

Technologies : Spark 2.4 & 3.5, Hadoop, Hive, HBase, Kafka, Python, Airflow, Java 8, Scala 2.12, MAPR, Spring Boot, Angular, PostgreSQL, SQL, Kubernetes, JFrog, Jenkins, SonarQube, GitLab, Github Copilot (GPT, Claude, Gemini), IntelliJ, Windows.
Apache Spark Java Scala Airflow Kubernetes
Société Générale
Senior Data Engineer
BANKING AND INSURANCE
August 2021 - December 2022 (1 year and 4 months)
Fontenay-sous-Bois, France
Contexte : Développement d’une plateforme de contrô le de marché et détection de fraude sur des volumétries massives, dans un contexte de migration vers le Cloud.

Actions :
Pilotage de la migration de l’écosystème On-Premise → Cloud Azure (HDInsight, Azure Storage).
Migration Spark 2.x → Spark 3.x, avec optimisation des performances (AQE, DPP, jointures adaptatives).
Encadrement et mentoring de l’équipe Data Engineering (Paris, Londres, Bangalore).
Mise en place des bonnes pratiques de développement (Git, TDD, CI/CD, SonarQube)
Collaboration étroite avec les équipes métiers et support pour sécuriser les mises en production.
Release management.

Résultats :
Réduction du temps de traitement Spark de plusieurs heures à quelques minutes (x30 en performance).
Accélération des analyses de fraude grâ ce à des pipelines optimisés et scalables dans Azure.
Adoption réussie de Spark 3.x et Cloud Azure → amélioration de la robustesse et de la flexibilité de la plateforme.
Amélioration significative de la stabilité et des coû ts opérationnels des calculs de risque.
Amélioration de la qualité logicielle et de la fiabilité des pipelines grâ ce à la mise en place des bonnes pratiques CI/CD et TDD.

Technologies : Microsoft Azure (HDInsight, Azure Storage Explorer, Databricks), Java 8, Scala 2.11, Apache Spark 2 et 3, Kerberos, Spring Boot, REST API, HDP 2.6, Hive, Hadoop, Windows, IntelliJ.
Data Engineer Spark Scala Java Cloudera Data Platform
BPCE SA
Data Engineer
BANKING AND INSURANCE
February 2019 - June 2021 (2 years and 4 months)
Paris, France
Sujet : Logiciel de calcul des indicateurs de risk et P&L (Profit & Loss).

Assurer la maintenance et l’évolution des composants existants.
Implémenter les process de calcul pour HVAR, Sensi x Shocks, Stress Tests.
Implentation de la méthodologie TDD dans l’équipe (de 0% à 95% de courverture du code par TU).
Optimisation des algorithmes et code Spark pour plus d’efficacité en temps et utilisation mémoire(de 8mins à 1mins dans les process de calcul).
Analyse, conception et développement des solutions et des nouvelles fonctionnalités.
Participation à l’élaboration de spécifications technique et fonctionnelle.
Participation aux réunions de chiffrage des livrables.
Assurer les mises en production .
Coordination avec les équipes de support et infrastructure .

Technologies : Windows, IntelliJ, Scala 2.11, Apache Spark 2, Apache Kafka, Kerberos, Spring Boot, Java 8, REST API, HDP 2.6, HBase, Hive, Hadoop.
Data Engineer Spark Scala Event-driven architecture Cloudera Data Platform (CDP)

Check out Chafiq's experience

Former user and 5 other people have recommended Chafiq

Agatha Frydrych

Backend Java Software Engineer

4.7

(3)

Baptiste Duhen

Fullstack developer

4.6

(4)

Amed Hamou

Senior Lead Developer

(2)

Audrey Champion

Web developer

4.3

(3)

Signup to reveal

Master MIAGE - Big Data pour la Finance
Université Paris-Dauphine
2017
- Big Data & Data Engineering - Machine Learning & Data Analytics
Diplôme d'ingénieur - Génie Logiciel (Option Big Data)
ENSEIRB-MATMECA
2017
- Développement Logiciel - Architecture des Système d'information - Développement Web - Bonnes pratiques et méthode Agile - Big Data

Big Data Analysis with Scala and Spark
École polytechnique fédérale de Lausanne (EPFL)
2017
https://www.coursera.org/account/accomplishments/verify/C78AT8HQV4YD
Scala Big Data Data Engineer Spark
Apache Kafka Series - Core & Internals
Udemy - Stephane Maarek
2019
https://www.udemy.com/certificate/UC-C4YC2LTJ/
Apache Kafka

Chafiq's certifications are only visible to Malt Community members

Data Engineer

Chafiq M.

🥇 Data engineer: Spark, Databricks, Lakehouse, AI

About Chafiq

Experience

Recommendations

These freelancer profiles also match your criteria

Education

Certifications

Skill set

Categories