Lamiaa S.

Développement et industrialisation de pipelines de données sur Databricks pour

des cas d’usage de forecasting énergétique.

Traitement et transformation de données volumineuses avec PySpark / Spark

SQL dans une architecture Lakehouse.

Contribution à l’industrialisation de modèles de prévision avec MLflow et des

pratiques MLOps.

Mise en place de traitements robustes : validation des données, monitoring,

gestion des erreurs et historisation des runs.

Amélioration continue de la qualité de code : refactoring, tests, logs,

structuration des jobs et optimisation des performances.

Contribution aux déploiements et à l’automatisation via CI/CD, Terraform et Git.

Conception et orchestration de pipelines de données sur Azure Data Factory

pour automatiser et fiabiliser les flux métiers.

Transformation et intégration de larges volumes de données avec Azure

Synapse Analytics, Spark et SQL.

Mise en place d’une architecture de collecte via API basée sur Azure Queue

Storage, Azure Container Apps et Docker.

Développement de services web avec FastAPI pour exposer les données aux

applications et utilisateurs métiers.

Contribution aux pratiques DevOps : Azure DevOps, gestion du code source,

CI/CD et automatisation des déploiements.

Réalisation d’un POC Microsoft Fabric avec comparaison de l’architecture cible

et recommandations d’adoption.

• Extraction, transformation et chargement des données depuis les systèmes sources vers les services de stockage de données Azure en utilisant Azure Data Factory. Ingestion de données vers un ou plusieurs services Azure tels que Azure Data Lake, Azure SQL et Azure Databricks, puis traitement des données dans Azure Databricks.

• Création de pipelines dans ADF en utilisant des Linked Services/Datasets/Pipeline pour extraire, transformer et charger des données provenant de différentes sources telles qu'Azure SQL, le stockage Blob.

• Développement d'applications Spark dans Databricks avec Pyspark et Spark SQL pour la transformation et l'agrégation des données à partir de plusieurs formats de fichiers, en vue de les analyser et les transformer afin de

découvrir des insights sur les habitudes d'utilisation des clients.

• Estimation de la taille du cluster, de la surveillance et de la résolution des problèmes du cluster Spark pool.

• Repporting et visualisation de données avec Power BI. Environnement technique: PySpark, SQL, Azure Databricks, Azure data factory, Python, ADLS, Azure Devops, Unity Catalog, Qlik sense