Description

Consultant Data Architect / DevOps / SRE avec plus de 10 ans d'expérience en MOE et MOA.

Spécialisé dans l'administration et la supervision des infrastructures techniques de vos offres Big Data (DATALAKE) basée sur des distributions Apache HADOOP (HDP, CDP, ODP).

Languages

English
Fluent
French
Native or bilingual

Workplace preferences

Can work on-site

Paris (up to 50km), Paris (up to 40km)

Société Générale
Data Architect / DevOps / SRE
BANKING AND INSURANCE
February 2021 - Today (5 years and 4 months)
Paris, France
Administration et supervision de l’offre de service BigData/LUCID de la Société Générale.

● AMOA
• Conception de cluster Hadoop (CDP 7.1.X) en prenant compte des contraintes de mutualisation, de sécurisation et de gouvernance ;
• Configuration d’Apache Knox pour l’utilisation de la solution SSO interne (SG Connect) ;
• Conception d’une solution de monitoring et d’alerting sur les environnements managés par l’équipe LUCID ;
• Conception d’un workflow Atlantis permettant l’application d’une mise à jour d’infrastructure via Git ;
• Evangélisation de l’équipe à l’utilisation d’Ansible et de Terragrunt ;

● MOE :
• Développement d’un playbook Ansible permettant de configurer Apache Knox pour l’utilisation de la solution SSO interne ;
• Développement d’un playbook Ansible permettant de déployer automatiquement des instances Prometheus au sein d’un cluster Kubernetes ;
• Développement de modules Terraform permettant la gestion des ressources du cloud privé ;
• Développement de services Terraform permettant la gestion d’applications via l’utilisation des modules;
• Développement d’un module Terragrunt permettant le déploiement des environnements de monitoring ;
• Développement d’une collection Ansible permettant de faciliter l’utilisation du cloud privé ;
• Développement d'un playbook et de rôles Ansible permettant l'installation et la gestion de l'éco-système de monitoring ;

● Résultats :
• Sécurisation des environnements Hadoop via l’utilisation du SSO interne ;
• Déploiement automatisé des environnements de monitoring et d’alerting ;

● Environnement technique :
• Hortonworks Data Platform (2.6) / Cloudera Data Platform (7.1);
• Grafana Server, Grafana OnCall, VictoriaMetrics, Telegraf, Jolokia ;
• Ansible (2.13), Terraform, Terragrunt, Atlantis, Kubernetes, Docker, Git, Airflow, Jenkins ;
• LDAP, Kerberos, SSL, TLS, HTTPs ;
Hortonworks Data Platform HDP Cloudera Data Platform CDP Grafana Server Grafana OnCall VictoriaMetrics telegraf Jolokia Ansible Terraform Terragrunt Atlantis Kubernetes Docker Git Airflow Jenkins LDAP Kerberos SSL/TLS HTTPS
Efrei Paris
Enseignant-Formateur
EDUCATION AND E-LEARNING
September 2020 - January 2022 (1 year and 5 months)
Paris, France
Formation des étudiants (Master) à l’écosystème Hadoop (Hadoop ecosystem).
Autorité des marchés financiers
Data Architect / DevOps
PUBLIC SECTOR
September 2020 - February 2021 (6 months)
Paris, France
Administration et supervision de l’infrastructure technique d’ICY (HADOOP,
KAFKA, AKKA, ELK).

● AMOA
• Conception de cluster Hadoop (Cloudera Data Platform – CDP 7.X) en prenant compte des
contraintes de mutualisation, de sécurisation et de gouvernance
• Refonte du système de gestion des dépendances (Nexus, Python, R, Java)
• Refonte de la gestion des ressources (Streaming, Batch, Utilisateurs) permettant d’améliorer
les performances et la multitenancy
• Accompagnement de l’équipe DataScience sur les différents frameworks de NLP sur des
machines GPU (Stanza)

● MOE
• Installation, paramétrage et configuration des composants et des ressources de la
plateforme
• Gestion des droits d’accès des serveurs et des applications en fonction des profils
• Exploitation de niveau trois (N3) des applications et solutions en production
• Mise à jour de la stack ELK (6.X vers 7.10)
• Mise à jour de la stack Atlassian (JIRA, Confluence)
• Mise à jour et mutualisation des bases de données PostgreSQL (9.2 vers 11)
• Contrôle et optimisation des environnements (capacité, disponibilité, sécurité, etc)
• Suivi de la qualité opérationnelle et participation à l’élaboration des tableaux de bord de
disponibilité
• Mise en place des outils et procédures nécessaires à l’exploitation et la surveillance
automatisée des applications (scripts, modules de supervision)
• Développement d’un playbook Ansible permettant d’installer les dépendances (Python,
R) de l’équipe DataScience

● Résultats
• Mise à jour des différents composants de la plateforme (ELK, Atlassian, PostgreSQL)
• Automatisation de la mise en place de machine GPUs via Jenkins
• Amélioration de la gestion des ressources de calculs (YARN, cgroup)

● Environnement
• Hortonworks Data Platform (2.6) / Apache Ambari (2.6)
• GitLab, JIRA, Confluence, Jenkins, ELK stack (7.X)
• Ansible (2.10)
• Python, Java / Groovy, Spark
• Git
• LDAP/Kerberos/SSL/HTTP
Hortonworks Data Platform HDP Git JIRA Confluence Jenkins Elastic Stack (ELK) Ansible Python Java Groovy Spark LDAP Kerberos SSL/TLS HTTPS