Asma Radjai

- Récupération des données stream à partir d'un broker MQTT (Mosquitto) en scala (IntelliJ, sbt).

Consommation des données afin de les sauvegarder dans un topic Kafka (Akka, kafka stream, kafdrop) en scala.

- Parsing des messages (transformation et restructuration des données en format Json) / scala.

- Consommation des données kafka afin de les envoyer sur un bucket S3 AWS / scala.

- Récupération et agrégation des données depuis S3 (boto3 / python).

- Industrialisation des modèles de Data science (Industrialisation et optimisation du code, gestion des logs et des erreurs, variabilisation, versionning du code, déploiement en Prod).

- Configuration des serveurs applicatifs des différents envs (Dev, recette, Prod).

- Migration et montée de version d'HADOOP (tests et configurations des environnements de travail).

- Configuration des paramètres Spark (Allocation dynamique des ressources).

- Outillage : tester des nouveaux outils et faire des présentations aux différents

utilisateurs de la plateforme (jupytext, Pylint, mlflow, DVC,..).

- Alimentation du Datalake des envs hors prod.

- Faire du support pour les Data scientists.

Réalisation d'un système de recommandation à partir des données de navigation des clients (log). Établir des scores à partir de ces données mesurant l’intérêt du clients pour les produits d'HSBC.

Environnement : HADOOP distribution Hortonworks, Analyse des données avec Hive, prétraitements et Apprentissage sous Jupyter (Python) et R. Administration de la platforme HADOOP (Hortonworks).

Détection des anomalies (outliers) transactions frauduleuses. Anonysation sous HADOOP, Visualisation, dans un premier temps, sous Dataiku. Dans un second temps, partir sur un POC full GCP (Google Cloud Platform) : Analyse des données avec Big Query, Prétraitement et Apprentissage sous Cloud ML engine (Python), ETL Dataflow, Visualisation : Data Studio.