El Hizaz Moncif

Equipe FIRST - Projet Hypervision : conception et mise en oeuvre d'un systeme de supervision centralisee couvrant l'ensemble du parc Snowflake d'Enedis (plusieurs comptes, centaines de pipelines actifs). Objectif : garantir la continuite de service, detecter les anomalies en temps reel et fournir aux equipes une visibilite complete sur la sante de la plateforme data.

• • Architecture de supervision end-to-end : definition du schema de collecte des indicateurs systeme Snowflake (credits consommes, latences, echecs de taches, query profiles), normalisation des metriques, publication en streaming via Kafka deploye sur AWS MSK, consommation et stockage dans Snowflake, restitution temps reel sur Grafana et Power BI. Architecture entierement decouplee et scalable.

• • Zones d'ingestion

Disneyland Paris vit actuellement une transformation Data en se dotant d'une équipe Data centralisée, pour servir tous les départements de l'entreprise et d'une Data Platform sur AWS permettant ainsi à DLP de passer dans une nouvelle ère pour exploiter au mieux ses données riches et variées issues (digital, boutiques, restaurants, hôtels...),ma mission consistait à :

• Alimentation du Data Warehouse, Analyse et Traitement des données sources.

• Mettre en place la data pipeline : Collecter les données sur notre datalake (S3), développer et maintenir les flux d'entrée et de sortie de la DP sur des données internes et externes, en batch et real-time, jusqu'à l'activation des données (Snowflake / Python / Tableau, APIs…)

• Développer et maintenir un stack Data

• Transformer la donnée collectée. Enrichir et maintenir notre Data Warehouse (Snowflake) -> ETL - Assurer l'intégrité du cycle de vie de la donnée – Dessiner.

• Mettre en place et maintenir tout le pipeline de production

• échanger avec nos collègues The Walt Disney Company aux US par exemple pour mettre

• en place des data shares entre les instances Snowflake de l'US et Paris

• Proposer, mettre en place et accompagner sur les best practices au sein de l'organisation Data (Agile, code review, …)

• Gérer les enjeux de la gouvernance de données. Technologies clés AWS Glue / BATCH / S3 / CodeBuild / Lamda / Snowflake, Python, SQL, Git, SodaSQL, Apache

Programme de transformation Data de Disneyland Paris : construction from scratch d'une Data Platform centralisee sur AWS, capable d'integrer et d'unifier des donnees heterogenes issues de domaines metier multiples

conception et implementation du flux complet Source -> S3 (Data Lake : zones landing/raw/curated)-> AWS Glue (jobs ETL Apache Spark) -> AWS Batch (orchestration des traitements lourds) -> Snowflake (Data Warehouse). Separation claire des responsabilites par couche, gestion des retries et des erreurs a chaque etape du pipeline.

• • Patterns d'ingestion batch et near-real-time : conception de templates d'ingestion reusables (batch quotidien, micro-batch horaire) en Python/Spark sur AWS Glue. Integration de fichiers Parquet depuis les buckets S3 vers Snowflake via stages externes et commandes COPY INTO avec gestion des schemas

• • Data Warehouse Snowflake : modelisation en schema en etoile et Data Vault selon les domaines metier, ecriture des transformations ETL (SQL + Python), gestion du cycle de vie de la donnee, Mise en place du Snowflake Data Sharing US Paris pour la consolidation des reportings groupe.

• • Infrastructure as Code et CI/CD : provisionnement de l'ensemble des ressources AWS via Terraform. Pipelines de deploiement automatises avec AWS CodeBuild et GitLab CI/CD : tests unitaires, validation de schemas,

• • Qualite et observabilite des donnees : integration de SodaSQL dans les pipelines pour des controles automatiques a chaque chargement. Supervision des jobs AWS Glue et Batch via CloudWatch dashboards et alertes SNS. Rapports de qualite consultables dans Tableau.

• • Gouvernance et accompagnement : definition du Data Catalog, des regles de nommage et des standards de code. Animation des code reviews, mise en place de la methodologie Agile.

Technologies : AWS (S3, Glue, Batch, CodeBuild, IAM, CloudWatch, SNS), Snowflake, Apache Spark, Python, SQL, Terraform, SodaSQL, Automic, Docker, GitLab CI/CD, Tableau, Postman, Git