About Ousama
French
Native or bilingual
English
Fluent
Experience
- Direct AssuranceLead Data EngineerBANKING AND INSURANCEApril 2021 - Today (5 years and 2 months)Suresnes, FranceContexte : Projet de migration de la plateforme data (BI) vers une nouvelle plateforme cloud (Axa Shine), qui s’appuie sur les différents services délivrés par Microsoft azure et qui permet aux entités AXA de construire, d’utiliser et de partager une large gamme d’applications pour l’analyse des données.Réalisations :
- Gestion de projet avec l’encadrement d’une équipe de 8 Data engineers et suivi du projet de la réaliasation jusqu’à la livraison.
- Analyse de l’existant (reverse engineering) pour concevoir une architecture adaptée à la nouvelle pla- teforme en prenant en compte les différentes contraintes fonctionnelles et techniques.
- Lancement de POC, benchmark et étude de faisabilité technologique.
- Développement d’un framework et d’un socle technique pour l’ingestion et la transformation des données en Scala/Spark, avec l’intégration de tests unitaires afin d’assurer la fiabilité et la maintenabilité du code.
- Orchestration des flux de données avec Azure Data Factory et stockage des données au format Delta Lake.
- Optimisation du code et des pipelines de données afin de réduire le temps de traitement lors de la récupération et du chargement de l’historique des données (plus de 15 ans d’historique), garantissant ainsi une mise à disposition plus rapide des données.
- Migration des cubes multidimensionnels vers des modèles tabulaires avec Azure analysis services.
- Création de rapports de monitoring des pipelines de données sur Power BI, en exploitant les logs de Databricks stockés dans Azure Log Analytics.
- Production de la documentation nécessaire à la bonne communication autour des usages délivrés.
- Accompagnement de l’équipe de test sur la définition des stratégies de test.
Environnement technique : Databricks, Spark, Scala, Sbt, Delta lake, Python, Azure Data Factory, Azure DevOps, Azure analysis services, Power BI, Log analytics, KQL. - ScamarkData Engineer SnowflakeAGRICULTUREJanuary 2021 - March 2021 (2 months)94200 Ivry-sur-Seine, FranceContexte : Projet move to cloud et modernisation de la plateforme analytique sur Snowflake.Réalisations :
- Définition et mise en œuvre de l’architecture solution et technique.
- Mise en place des pipelines CI/CD.
- Urbanisation du stockage sur Snowflake.
- Mise en œuvre du framework d’ingestion/traitement des données brutes.
- Réplication des données brutes via Qlik Replicate.
- Design et développement du pipeline de chargement et de transformation de données via des procédures stockées.
- Développement du script PowerShell déclenchant le pipeline d’intégration de données via l’orchestrateur Scamark.
- Formation et support aux Data Engineers sur Snowflake.
Environnement technique : SnowFlake, Qlik Replicate, Azure DevOps, Script Shell. - BelieveData EngineerCULTUREJanuary 2020 - December 2020 (11 months)Saint-Ouen, France
- Mission accomplie :
— Définition, mise en œuvre et exploitation de plateformes Big Data.— Administration et monitoring de plateformes Big Data.— Définition et partage des roadmaps autour des grands chantiers liés à la donnée.— Collaboration et apport de support à l’ensemble des équipes Tech dans leurs travaux.- Mise en place d’une nouvelle architecture Data qui permet de récupérer, centraliser, et exploiter les données streams des stores (spotify, apple music …) :
— Rédaction d’un DAT (Document d’architecture technique) avec une proposition de l’architecture cible.— Design et développement du pipeline d’ingestion et de transformation de données via des no- tebooks Databricks (Scala) et stockage de données dans un ADLS Gen2 en format Delta lake.— Configuration et installation du cluster Spark.— Développement du DAG airflow déclenchant les jobs d’intégration de données Databricks.— Formation et support aux Développeurs BI sur l’utilisation des données avec Dbeaver.- Mettre à disposition des métiers un dashboard quasi interactif sur Power BI qui regroupe des infor- mations (KPI & scoring) sur les différents artistes dans l’objectif d’identifier les artistes promoteurs et prédire le potentiel de développement des artistes :
— Orchestration et suivi de l’ensemble du pipeline data via Data Factory.— Requêtage des données sources sur un cluster HDInsight.— Ingestion et chargement des résultats dans ADLS Gen 2.— Préparation et transformation des données en utilisant Databricks à l’aide des scripts pythonet chargement de données dans Azure Synapse Analytics.— Développement d’un cube Analysis services qui regroupe l’ensemble des indicateurs.— Requêtage de Power BI vers Analysis services pour la data visualisation.Environnement technique : Scala, Python, Azure Synapse Analytics, Airflow, Azure HDInsight, Hive, Databricks, Azure analysis services, Polybase, Azure DevOps.
Recommendations
Be the first to recommend Ousama
Help this freelancer shine by sharing your experience working together.
These freelancer profiles also match your criteria
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Education
- Master professionnel conception et développement des logiciels sûrsUniversité de Franche-Comté2013
- Master spécialisé Qualité du LogicielUniversité Hassan II Mohammedia2012
Certifications
- Databricks Certified Data Engineer ProfessionalDatabricks2024
- Microsoft Certified: Fabric Analytics Engineer AssociateMicrosoft2024