Oussama Elyoussefi

Création des flux Talend permettant la migration des objets Salesforce entre deux instances d’org : Group et France suivant les règles de mapping défini par le métier :

• Operation Bulk et API Call pour l’extraction et l’envoi de données à Salesforce

• Evolution Build & déploiement des Jobs Talends via Jenkins

• Scripting pour automatiser le transfert des artefacts depuis Nexus vers un bucket S3 sur AWS.

• Création d'une Step Function pour orchestrer le déploiement et l'exécution des jobs Talend

• Gestion des tickets via Mantis.

La mission consiste à la mise en place d’un ODP ( One data plateform) autour des sujets loyalty ( fidélisation des clients ) en alimentant des datamarts dédié dans une base de données cloud.

Travail en agilité avec les data managers et le product owner via des tickets JIRA attribué au développeur.

• Extraction des données de la base source ( SQL Server) et les déposer sur Amazon AWS en format fichier csv.

• Création de la structure et alimentation des tables via le DATAHUB

• Anonymisation des données protégé avec l’outil PRIVITAR

• Création des procédures stockées pour enrichir les tables de dimensions et de faits

• Création des Datamarts via l’outil Terraform et le déploiement via GITLAB

• Traçage de log avec l’outil SPLUNK

• 5 couches de données sont instanciés dans Snowflake à travers 4 Schémas de base de données:

DWH_STG : Données brutes issues du datalake

DWH_COR : Données modélisées dans un UBDM (Unified Business data model) DWH_DMT : Données modélisées dans un model dimensionnel et datamarts métiers DWH_PRS : Données sous formes de vues exploitables par les utilisateurs finaux.

• Utilisation de Terraform et des modules open source du provider « chanzuckerberg » pour le développement des composants snowflake (DataBases, Schémas, Table, vues, Streams, Tasks...)

Migration de son environnement technologique actuel SSIS SQL Server pour les passer sous Talend Snowflake pour un certain nombre de périmètres.

 Les périmètres applicatifs :

• Finances

• Exports

• SIRH

• Audit

• RefRestauProduits

• Comptabilité

• Monétique

 Contenu de la migration pour chacun des des périmètres :

• Analyse de la chaîne dans le détail et nettoyage des étapes non utilisées

• Refonte des package SQL Server Intégration Services à l’identique sous Talend.

• Création des scripts de création des tables pour Snowflake.

• Reprise du contenu des tables sous Snowflake.

• Conversion des procédure stockées et commandes SQL en jobs d’alimentation sous Talend.

• Refonte complète de l’intelligence de l’alimentation avec un mode ELT de Talend sous SnowFlake.

• Mise en place des bonnes pratiques et des règles de nommage des composants Talend.