Amine El Farkh

Développement et support du socle applicatif big data SFDB autour de ses principales capacités : Ingestion batch, Ingestion streaming, Data processing et Data exposition..

● Développement d’une solution de génération des tickets mapR pour le cluster mapR-secure: ○ Définition du paramétrage des tickets des comptes applicatifs. ○ Développement d’une application java de génération des tickets mapR et publication des secrets sous Vault.

● Développement d’une librairie de tests de non régression (TNR) pour les composants du socle applicatif:

○ Définitions des scénarios de tests et les jeux de données avec les différentes squads

○ Développement des clients SSH, SFTP et Hive pour interagire avec le cluster mapR

○ Développement des features Cucumber et l'implémentation des Steps en Java

● Correction des vulnérabilités Xray des Api du socle applicatif

● Mise en place des évolutions sur les composants logiciels du socle.

● Support N3 des applications des squads en production.

● Développement d’une solution d’ingestion des balances comptables (format Excel) dans des tables Hive .

● Développement des briques transverses (Java API) pour la plateforme Big Data : hBase client, HDFS client ...

● Participation au développement du nouveau Framework (Ing-Core) d’ingestion et d’exposition des flux de données :

○ Définition du paramétrage des flux sous formes de tables hBase.

○ Développement des extracteurs des données pour les flux positionnels et délimités (java et Scala).

○ Ingestion des données par des jobs Spark.

○ Développement d’un module de data preparation a partir de requêtes Hive.

○ Exposition des données dans des tables Hive.

● Développement d’une API Rest avec Spring Boot de manipulation des données HBase en dehors de la suite Hortonworks.(Java, Spring Rest, Spring Boot)

● Ingestion dans le data Lake des différents flux du groupe BPCE en utilisant le framework propriétaire Ing-Core:

○ Flux des référentiels : RFI, RFT, RDS

○ Flux sur les normes financières : IFRS9, Bale 3 ...

○ Flux issus des moteurs de reporting de risques et de crise: CAPRC (risque de contrepartie) ALM (La gestion actif-passif) …

○ Flux journaliers sur les opérations commerciales et financières.

● Projet LCFT Lute Contre Financement du Terrorisme :

○ Définition des requêtes Hive de récupération des opérations bancaires des clients rattachés aux caisse d'épargne et banque populaire.

○ Développement d’une solution d’exportation des résultats des requêtes à l'extérieur de la plateforme HDP sous forme d’un fichier csv.(Spark, PySpark, Hive, script shel, Java)

● Profiling et optimisation des performances des jobs Spark.

● Participation à la modularisation et revue de code de l'application.

● Participation à la mise en place de l’intégration continue : Jenkins, Junit, Sonar

● Support niveau N3 de la production