Sara Hemmi

Support niveau 3 et administration des clusters Cloudera en production, hotline et astreintes.

Accompagnement et onboarding de nouveaux projets sur la plateforme Big Data, résolution rapide des tickets.

Déploiement et intégration de Starburst sur Openshift, intégration de Ranger pour gestion des permissions, optimisation des catalogues dynamiques et WarpZSpeed Caching.

Définition de l’architecture cible et conception de modèles de données optimisés pour performance et gouvernance.

Supervision des pipelines et plateformes, garantissant sécurité, conformité et qualité des données.

Accompagnement des équipes techniques et métiers dans la mise en œuvre des solutions.

Maintien et veille technique d'une plateforme Big Data utilisé par une équipe de data scientists. Assurer la conception et la maintenance des flux de données, le traitement, le stockage et la préparation des données en collaborant étroitement avec les data scientists et en automatisant les workflows pour améliorer l'efficacité opérationnelle.

• Maintien et support d'une plateforme Big Data composé de Spark, MinIO, Jupyter et Airflow déployé sur Openshift.

• Conception, développement et maintenance des pipelines de données : pour permettre l'acquisition, le traitement, le stockage et la mise à disposition efficaces des données provenant de différentes sources internes et externes.

• Intégration des données : assurer une centralisation des données cohérente en provenance de multiples sources, affin de permettre une vision unifiée des informations et faciliter les analyses transversales pour les équipes métier.

• Qualité et fiabilité des données : mise en place des contrôles de validation rigoureux et des mécanismes de nettoyage des données pour garantir la qualité, la cohérence et la fiabilité des données utilisées dans les rapports et les analyses.

• Surveillance et maintenance des pipelines en continu pour détecter et résoudre rapidement les incidents, minimisant ainsi les temps d'arrêt et assurant la disponibilité constante des données.

• Sécurité des données pour garantir la fiabilité des données sensibles conformément aux politiques de confidentialité et de conformité de l'entreprise.

• Automatisation des processus pour les tâches répétitives, afin d'augmenter l'efficacité opérationnelle.

• Mettre à disposition une documentation complète des pipelines de données, des schémas et des flux de travail, pour faciliter la collaboration et la communication au sein de l'équipe. ENVIRONNEMENT : Openshift, MinIO, Spark, PySpark, Jupyter, Airflow

Support niveau 3. Administration des clusters Hadoop et Elasticsearch Maintien des clusters Hadoop et Elasticsearch Mise en place d'un système de supervision centralisé pour les clusters Hadoop et Elasticsearch. Étude, proposition, mise en place et accompagnement des projets dans leur choix technologique : comprendre les enjeux métiers et les besoins en matière de données (utilisation et gestion) pour les intégrer aux infrastructures techniques existantes Chantier de migration et de sauvegarde HBase : proposition d'une nouvelle architecture plus performante qui répond le mieux aux besoins projet. Migration HDP 2.6 vers CDP Base 7.x

- Étude de la nouvelle plateforme : Benshmark des différents form factor(CDP Public et Private Cloud). Participation dans la mise en place du dossier d'architecture et de spécifications détaillées pour le déploiement de CDP 7.x (définition et répartition des composants par type de nœud, normalisation des configurations spécifiques : HA …)

- Participation dans la mise en place de la nouvelle plateforme( prérequis, installation et configuration post-install)

- Qualification technique des nouveaux composants (cloudera Manager…)

- Qualification technique des composant mise à jour (déprécation, nouveautés : Hive2 vs Hive3 …)

- Étude d'impact fonctionnelle et accompagnement des projets pour la migration de leur code applicatif. Data gouvernance

- Participation aux études mené pour le choix de la solution à mettre en place (Microsoft azure PurView, amazon EMR, Cloudera datacatalog …)

- Qualification et mise en place d'Apache ATLAS.

- Conception d'un modèle de « security by design » pour accéder au patrimoine de données de la banque :

- Définir le type et le rôle des profils Data catalogue.

- Sécuriser les accès pour le data Catalogue pour :

- Les accès à l'IHM ATLAS.

- Les accès aux données.

- Renforcer la sécurité pour l'accès aux IHM ci-dessus et en particulier pour les rôles à privilège en double authentification.