Wael Ben Msaad

Conception et développement d'une plateforme data de bout en bout sur Azure (Databricks, ADF, ADLS, Power BI). Mise en place d'une architecture Data Mesh. Ingestion, nettoyage et transformation de données structurées et semi-structurées (APIs REST, JSON, CSV) vers Delta Lake Développement de pipelines ETL PySpark sur Databricks. Orchestration et scheduling des flux de données avec ADF. Stack: Azure, Databricks, ADF, ADLS, Power BI, Azure DevOps.

Conception des ETL/ELT sur BigQuery avec dbt et Airflow. Provisionnement des ressources GCP avec Terraform. Création, Debugging et troubleshooting des DAGs. Monitoring et alerting sur les ressources cloud. Gestion des FinOps et création des Dashboards avec lookML. Définition et implémentation des stratégie IAM sur GCP. Stack : BigQuery, dbt, Composer, GCS, Cloud SQL, Cloud Function, Cloud Build, Looker, Terraform, Gitlab CI.

Conception d'une architecture de données sur GCP. Conception de pipelines de données avec Dataflow. Provisionnement des ressources GCP avec Terraform. Création des pipelines CI pour automatiser les tests et le déploiement avec GitLab CI. Stack : BigQuery, GCS, DataFlow, GCF, Terraform, Gitlab CI.