Yven Mydi

Développement des pipelines streaming

09/2024 -

Contexte.

Au sein d'une équipe qui gère une application de lutte contre la fraude bancaire (application MOSAIC), l'ensemble des opérations (IP, SCT) sont traitées en temps réel puis scorer par un modèle de machine learning , qui détermine une probabilité que l'opération soit frauduleuse et remonte les alertes vers les services d'analyse de la fraude pour investigation auprès des clients.

Travaux réalisés.

• Récupérations de nouvelles données d'un topic Kafka, parsing et sauvegarde dans HBase.

• Migration de Spark 2 vers Spark 3

- Collecte des données liées à la vérification des noms bénéficiaires ( Vop)

Environnement Technique.

• Build du package (Jar) avec Maven, commit des modifications dans Git, deployment de la pipeline Jenkins Spark, Scala, Kafka, Maven, Nexus, SonarQube, Hive, Shell, Java, Jenkins,

Contexte.

En charge de la mise en place des flux d'ingestion et de transformation des données dans le data Lake. Migration application tenue de compte régionale vers la tenue de compte nationale. Mise en place des traitements d'ingestion et de transformation pour le Pilotage commercial

Travaux réalisés.

• Rédaction des spécifications techniques et analyse d'impact de L'existant.

• Développement des flux (scala + bash) permettant de remplacer les traitements régionaux COBOL

• Recette fonctionnelles et techniques et Mise à production de la nouvelle solution (Dataiku)

• Maintenance des traitements et évolutifs

• Développement et Maintenance flux de mise à disposition des fichiers de contrôle pour la Banque de France (Réglementation DSP2, PID, ACPR)

• Développement des flux Kafka (lecture topic, gestion offset et alimentation des tables dans le Data Lake) de traitement des notifications clients sur différents canaux

Environnement Technique.

• Build du package (Jar) avec Maven, commit des modifications dans Gitlab, déploiement de 2 packages (jar + scripts sh et hql) dans Artifactory à l'aide d'un code Gitlab CI , fichier .sh permettant de lancer la classe main et le package déployé Spark, Scala, Kafka, Maven, Artifactory, SonarQube, Hive, Shell, Java,Dataiku

Développement flux Big Data

09/2021- 08/2022

Contexte.

En charge des flux de données liés à une application Front de gestion des campagnes, j'ai réalisé une migration des flux existants vers une base de données MySQL ; et mise à disposition des KPI pour des Dashboard Marketing & Management.

Travaux réalisés.

• Rédaction des spécifications techniques liées au décommissionnement d'un flux existant.

• Revue et validation des solutions et charges proposées.

• Analyse et gestion de l'ensemble des impacts transverses du

projet : impacts métiers, organisation, process.

• Développement des flux (scala + airflow), récupération des données campagne

• Recette fonctionnelles et techniques et Mise à production de la nouvelle solution

• Ajout des nouveaux indicateurs sur l'application front (segmentation client)

• Mise en place flux de transfert des données vers SAP Marketing Cloud

Build du package (Jar) avec Maven, commit des modifications dans Gitlab, déploiement de 2 packages (jar + scripts sh et hql) dans Artifactory à l'aide d'un code Gitlab CI , fichier .sh permettant de lancer la classe main et le package déployé .

Spark, Scala, Kafka, Maven, Artifactory, SonarQube, Hive, Shell, Java