Karim Rebai

Au sein d'une équipe Scrum de 10 personnes, j'ai participé à la création d'un Datalake, sur un cluster Hadoop (HDP 2.5.3), centralisant les données échangées par une centaine d'applications de la direction Optimisation/Trading d'EDF:

● Développement d'un framework en Scala intégré à un job Spark Streaming

permettant le parsing de fichiers consommés par Kafka puis la persistance

de ces données dans HBase

● Refactoring des jobs Spark/Scala et mise en place de la stratégie de tests

(Scalatest / HBaseTestingUtility)

● Implémentation de l'offre DevOps du cluster Hadoop avec Jenkins et Ansible

● Refactoring global des services Spring-Boot et de la partie front Reprise de

10 années d'historique de données depuis Oracle vers HBase et

Elasticsearch avec Apache Nifi

● Garant de la qualité du code, mise en place des bonnes pratiques de

développement et du git flow

Au sein d'une feature team de 10 personnes et dans un contexte international, je construis un système anti-fraude grâce à un traitement quotidien de millions de transactions.

L’objectif du projet est de migrer une centaine de contrôles existants vers une solution Big Data dans le cloud Azure. L'autre ambition est de fournir l'autonomie au business afin qu'il puisse concevoir, tester et déployer ses propres contrôles.

- Migration des jobs Spark et des données on-premise vers Azure 

- Développement du moteur Spark Java de traduction des designs de contrôles saisis par le métier

- Développement de l’orchestration des jobs Spark avec Airflow

- Participation à la mise en place l’architecture et à la stratégie de gouvernance des données du datalake

- Coaching Agile, refonte complète de la méthodologie vers Scrum

Dans une start-up internationale apportant la blockchain dans l'industrie du gaming, j'ai pris le lead d’une équipe scrum de 10 personnes avec laquelle nous avons pu développer des fonctionnalités telles que l'achat d'un jeu, le paiement blockchain ou encore la création d'un compte blockchain.

- Réalisation d'une architecture microservices orientée événement robuste articulée autour de Kafka

- Fondation des piliers d'une plateforme analytique “cloud-agnostic”

- Mise en place des standards de qualité de code et de couverture de test