About Omar
Senior Data Engineer, expert en Databricks, Spark et Delta Lake, passionné par l’automatisation des pipelines et le développement assisté par IA (GitHub Copilot, Claude). Certifié Databricks, je crée des solutions fiables et rapides pour améliorer la qualité des données et produire des insights exploitables.
French
Native or bilingual
English
Fluent
Can work on-site
Paris (up to 50km)
Experience
- AXASenior Data Engineer & AI-driven Development SpecialistOctober 2024 - Today (1 year and 8 months)Paris, FranceÉquipe : 1 Data Lead, 3 Data Engineers, 2 Business AnalystsProjet : Suivi et contrôle qualité KYC• Accélération du développement et automatisation des pipelines via IA (Claude, GitHub Copilot)• Construction d’une Golden Source centralisée et automatisation des contrôles qualité• Travail avec les métiers pour définir les spécifications• Création des tests unitaires et documentation• Développement et optimisation des pipelines Databricks et Spark• Optimisation des jobs Spark• Maintien des pipelines en production et suivi de performance• Visualisation de la qualité des données via Power BI• Collaboration avec les équipes métiers pour remédiation et reportingProjet : Reporting Distribution Finance• Industrialisation des BV respectant le framework Carbon• Travail avec les métiers pour définir les spécifications• Création des tests unitaires et documentation• Développement et optimisation des pipelines Databricks et Spark• Optimisation des jobs Spark• Maintien des pipelines en production et suivi de performance• Automatisation du développement et refactoring avec GitHub Copilot• Génération de documentation automatique• Génération de spécifications pour les applications existantes via Copilot• Automatisation de la revue de code et de la mise en production en respectant le framework CarbonEnvironnement technique: Azure Databricks, Unity Catalog, ADLS Gen2, Python, PySpark, Delta Lake, SQL, Git, Power BI, Claude AI, GitHub Copilot
- Société GénéraleData engineerBANKING AND INSURANCENovember 2022 - September 2024 (1 year and 10 months)Paris, FranceÉquipe : Tech Lead, 4 Data Engineers, 3 Business Analysts, 1 Product Owner, 1 Scrum MasterProjet : Transformation de la chaîne de calcul RWA• Migration complète des pipelines Teradata vers Databricks Lakehouse• Conception, optimisation et partitionnement de pipelines Spark pour données financières• Mise en place de Unity Catalog pour gouvernance, sécurité et classification des données• Travail avec les métiers pour définir les spécifications• Création des tests unitaires et documentation• Optimisation des jobs Spark• Contrôle qualité des données et réduction des rejets dans le moteur de calculEnvironnement technique: Databricks, Spark, Delta Lake, AWS (S3, Lambda, Step Functions, Glue), Python, Scala, SQL, Jenkins, Git
- COLASData EngineerOctober 2020 - November 2022 (2 years and 1 month)Vélizy-Villacoublay, FranceÉquipe : 1 Data Lead, 2 Data Engineers, 2 Business AnalystsProjet : Plateforme de collecte et analyse des données métiers• Conception d’une architecture Lakehouse sur Databricks• Développement de pipelines Bronze/Silver/Gold avec gestion CDC• Mise en place de tests unitaires avec ScalaTest et automatisation partielle des flux• Travail avec les métiers pour définir les spécifications• Création des tests unitaires et documentation• Optimisation des jobs Spark• Collaboration avec équipes métiers pour intégration et reportingEnvironnement technique: Azure Data Factory, Azure Databricks, Unity Catalog, Spark, Scala, SQL, Delta Lake, Azure DevOps, Git
Recommendations
Be the first to recommend Omar
Help this freelancer shine by sharing your experience working together.
These freelancer profiles also match your criteria
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Education
- Master 2: Traitement d'information et analyse de données (TRIED)l'Université Paris Saclay2020Master 2: Traitement d'information et analyse de données (TRIED)
- Ecole Mohammadia d'Ingénieurs2019