Msellek Ahmed

IQera leader dans la gestion des créances et du recouvrement.

Mise en place d’un Lakehouse sur Azure et Databricks :

- Architecture des différentes couche de stockage (4 couche) selon un modèle en data mesh (data as a product)

- Créations et configurations des différents services Azure pour différents environnements (ADLS, ADF, AKV, Azure Databricks, logic App…etc)

- Migration des données métiers relationnelles vers un modèle en étoile pour chaque couche

- Création et Implémentation d’un catalogue de données sur UnityCatalog

- Création des pipelines ADF pour la collecte de données sources depuis différentes SGBD vers le DataLake en format parquet

- Conception et Implémentation des assets Bundle pyspark pour le traitement et la transformation des données de chaque couche

- Monitoring des applications et pipeline via Azure Logic app et l’API Graph de Microsoft pour l’envoie de mail automatique

- Automatisation des chaines de traitement des données avec des pipeline Azure Data Factory et les workflow databricks

- Industrialisation des Jobs Pyspark et pipeline Azure Data Factory : CICD sur Azure DevOps

- Analyse des données source, contrôle de qualité et détection des anomalies

- Mise en place d’un projet de transcription des audios des appels téléphoniques en texte en utilisant la bibliothèque open ai-whisper et utilisation d’azure open AI pour l’analyse des textes transcrits afin d’extraire des informations liées aux créances

- Mise en place d’un PoC pour l’envoie automatique des messages whatssap à des personnes spécifiques pour le recouvrement des créances en utilisation Azure Communication Service et Azure Logic App et databricks

- Mise en place d’un PoC pour la collecte des données en temps réel en utilisant le Change Data Capture avec Debezieum, Azure Events Hub, Kafka Connects, Spark Streaming

Projet Analytics:

Wx SOLUTIONS, concepteur d’IoT et Solution SaaS pour aider les organisations à optimiser leur empreinte immobilière et améliorer l’expérience au travail. J’ai participe au developpement d’une platforme d’analyse des usages et de l’occupation qui compile la data de differents capteurs

- Evolution et maintenance des Jobs de traitements Spark Scala existents

- Développement de nouveaux graphes sur le monitoring des éspaces

collabaratif et les postes de travail en Spark Scala

- Dévelopemet Back End des API REST pour la couche applicative

- Développement et livraison de scripts Databricks via Azure DevOps

- Développement et livraison de Pipeline sur Azure DataFactory

Technologies : Apache Spark, Scala, Azure Databricks, Gitlab, Java, Azure DevOps, Azure Data Factory, MariaDB, Jenkins, Spring Boot, API Rest

Consultant pour un client pharmaceutique en tant que Data Engineer, et travaillant sur un projet de migration du service Swift Object Storage vers le Service OpenIO.

- Evolution et maintenance des Jobs existants en Spark et Java

- Intégration de nouvelles données métiers

- Développement des scripts d’Orchestration des chaines de traintement des

données avec Airflow

- Migration de tous les traitement vers le service de stockage OpenIO

- Création et Tuning d’un nouveau cluster Spark

- Tuning de la performance des requêtes Tableau dans le Cluster Spark

Technologies : Apache Spark, Airflow, Kubernetes, Gitlab, Java, OVHCloud, PostgreSQL, Swift Object Storage, S3, python, Shell