Selmi S.

Projet : Conception et mise en place d’une Data Platform basée sur Databricks.

Rôles :

✔ Définition et implémentation d’une stratégie de gouvernance des données avec Unity Catalog (isolation par équipe/par domaine,data products...).

✔ Automatisation du provisioning (workspaces, catalogues, schémas, permissions,VNET injection ...) via Terraform.

✔ Mise en place d’une démarche FinOps permettant de suivre les coûts Databricks & Cloud par équipe.

✔ Définition d’un workflow de validation des data products via des PRs, incluant revue technique, validation de la documentation et conformité aux standards de la plateforme avant publication.

✔ Centralisation de la documentation des bonnes pratiques de développement et de déploiement (Asset Bundle) dans databricks.

✔ Organisation et animation de workshops techniques avec les équipes data pour accompagner l’adoption de la plateforme.

Projet : Rendement de réseau : Calculer le rendement de réseau d'eau par secteur hydraulique

Rôles :

✔ Cadrage et chiffrage du projet.

✔ Récupération des données de télémétrie et des données référentielles.

✔ Implémentation d'une solution de snapshot (SCD type 2) sur les données de patrimoine.

✔ Valider les données en entrée selon les règles de gestion.

✔ Imputation des valeurs manquantes.

✔ Calculer les features & imputer les valeurs manquantes par un modèle ML.

✔ Orchestration des traitements.

Projet : Wasteplatform : Solution edge computing qui permet le tri de déchets et la détection des indésirables à l'aide d'un algorithme d'IA

Rôles :

✔ Assurer la stabilité de l'infrastructure.

✔ Mise en place de pipelines de copie d'images depuis le edge pour les data scientists.

✔ Ajout d'un module pour monitorer les serveurs edge.

✔ Calcul des KPIs métiers dans Azure Data Explorer & Synapse.

✔ Mise en place d'un system de notification & d'alert.

✔ Implémentation d'une API qui expose les données waste pour un outil de dashboarding (Outsystems).

✔ Mise en place des pipelines CI/CD.

Projet : Facturation Interne (New FI) : Migration de RFI (ancienne application développée en Cobol) vers le Cloud Azure

Rôles :

✔ Implémentation des règles de gestion pour calculer la facturation interne.

✔ Mise à disposition des données du Datalake via un API REST (Azure Function).

✔ Développement d'une application de synchronisation entre le Datalake on prem & Azure Data Lake Storage.

✔ Développement d'un planificateur selon le calendrier comptable.

✔ Orchestration des différents traitements avec Azure Data Factory.

✔ Mettre en place un outil de comparaison automatique.

✔ Mise en place des pipelines CI/CD pour la partie Azure.

✔ Automatisation de la création de l’infrastructure OCS & l’installation des agents control M.

✔ Participer au découpage/chiffrage des US.

✔ Animation des workshops autour d'Azure dans le Bigdata Chapter.

✔ Gestion du run & support utilisateurs.

Environnement technique : Azure Databricks (Spark/Scala), Azure Data Factory,Azure Function (NodeJS),Azure Event Grid , Azure Data Lake Storage,Azure Storage Queue,Azure Logic App, Gitlab, Scrum,Jenkins,Ansible,Terraform,OCS(cloud privé SG).

Projet : Module d’ajustement générique (MAG)

Rôles :

✔ Effectuer les démarches nécessaires pour créer les environnements dans le datalake SG.

✔ Développement des jobs Spark/Scala.

✔ Participer au rédactions des scenarios de test BDD.

✔ Mise en place des pipelines CI/CD.

✔ Intégration des outils d’analyse de code statique.

✔ Orchestration des jobs avec Control-M.

Environnement technique : Datalake on-prem (CDP), Spark/Scala,Maven,Cucumber,BDD, Jenkins,AWX,SonarQube.

Membre de l’équipe R&D (Veille technologique, Benchmarking, Animer des formations).

Membre de l’équipe KNet :

✔ Intégration des nouvelles sources de données (BD NoSQL en particulier) :

o Ajouter Mongodb et Cassandra.

o Implémenter un Query Designer pour mongodb : permet d’écrire des requêtes Mongodb

graphiquement.

✔ Mise en place des pipelines d’ingestion de flux continu des données industrielles en utilisant

Spark/Scala sur Azure Databricks.

✔ Intégration de Apache Spark dans KNet Analytics : Ajouter la possibilité d’attacher un cluster Spark.

✔ Conception et implémentation d'une solution multi-utilisateur basée sur l'event sourcing en utilisant Kafka : permet à plusieurs utilisateurs de travailler en même temps sur le même projet

KNet.

✔ Automatisation de la création des infrastructures Azure (ARM, Terraform, Ansible),

✔ Mise en place des pipelines d’intégration continue avec Azure Devops,

✔ Préparer les environnements de test,

✔ Utilisation des outils d’analyse de code (SonarCloud,WhiteSource Bolt)

✔ Implémentation/Intégration des algorithmes d’auto-apprentissage.