Shahul Mohamed

Contexte

Refonte complète du patrimoine data d’un acteur majeur de l’immobilier, avec pour objectif de centraliser des flux hétérogènes au sein d’une Data Platform Snowflake Cloud, sécurisée, scalable et optimisée en coûts, à destination des usages BI.

Migration progressive depuis des systèmes legacy (Business Objects, Oracle, SQL Server), avec de forts enjeux de qualité, performance et non-régression.

Équipe

Collaboration étroite avec les équipes Data, BI et métiers, dans un environnement hybride, orienté production.

Mon rôle

En tant que Senior Data Engineer, j’interviens sur l’ensemble du cycle de vie de la plateforme :

- Conception de l’architecture Snowflake multi-environnements (DEV / UAT / PROD)

- Mise en place de la gouvernance data (RBAC, principe du moindre privilège)

- Définition et implémentation d’une architecture Médaillon (Bronze / Silver / Gold)

- Développement de pipelines ELT modernes avec dbt (macros, tests, incrémental)

- Optimisation avancée des performances Snowflake (Cluster Keys, Query Profile, Search Optimization)

- Pilotage des coûts et pratiques FinOps (Resource Monitors, auto-suspend, sizing des warehouses)

- Implémentation des mécanismes de sécurité et conformité RGPD (Dynamic Masking, Row Access Policies)

Outils / Environnements

Snowflake, SQL avancé, Python (Snowpark), dbt, Airflow / Snowflake Tasks, AWS S3.

Résultats

- Conception et mise en production d’une Data Platform Snowflake from scratch, prête pour des usages BI à l’échelle

- Réduction moyenne de 25 % des coûts Snowflake grâce aux optimisations FinOps

- Amélioration de 30 % des temps de réponse sur les requêtes critiques

- Plateforme sécurisée, gouvernée et scalable, alignée avec les standards data modernes

Contexte

Modernisation du socle décisionnel gérant les données critiques de plus de 100 millions d’assurés, dans un cadre réglementaire strict impliquant des enjeux de souveraineté, performance et fiabilité.

Objectif : améliorer les temps de traitement et la robustesse des pipelines data à très forte volumétrie.

Équipe

Collaboration avec les équipes Data Engineering et architecture, dans un environnement exigeant orienté production.

Mon rôle

En tant que Senior Data Engineer, j’interviens sur des problématiques de volumétrie massive et d’optimisation des traitements :

- Mise en place d’une architecture de data virtualization sécurisée via Starburst / Trino

- Pilotage de la migration de données massives (CSV → Parquet)

- Optimisation avancée de jobs PySpark sur Databricks (tuning mémoire, parallélisme, partitionnement)

- Contribution à l’architecture cible et aux bonnes pratiques Data Engineering

- Amélioration de la fiabilité et de la performance des traitements réglementaires critiques

Outils / Environnements

Databricks, PySpark, Starburst (Trino), PostgreSQL, Python.

Résultats

- Migration de plus de 500 To de données vers des formats optimisés

- Réduction de 45 % des temps de traitement nocturnes

- Division par 2 du temps d’exécution des traitements réglementaires critiques

- Pipelines data plus robustes et adaptés à des contraintes de production à grande échelle

Contexte

Transformation Cloud d’un éditeur logiciel international via la mise en place d’une Landing Zone GCP industrialisée pour accélérer les projets Data.

Mon rôle

- Conception d’architectures cibles Cloud (HLD / LLD)

- Industrialisation complète via Terraform (IaC)

- Mise en place de pipelines CI/CD (Cloud Build, dbt)

- Sécurisation des environnements (IAM Least Privilege, KMS, conformité)

- Optimisation coûts et résilience (HA / DR, SRE, autoscaling)

Résultats

- Environnements Cloud reproductibles, sécurisés et scalables

- Réduction du time-to-market des projets data

- Meilleure maîtrise des coûts Cloud via pratiques FinOps / GreenOps