Description

Admin Hadoop (3 ans d’expérience) Société Générale

Plusieurs projets qui m'ont permis d'avoir une certaine expertise dans le milieu de l'administration de clusters Hadoop, que ce soit Hortonworks ou Cloudera.

Si je devais citer des mots clés et projets effectués durant ces 3 ans :

-Installation d'une architecture lambda (Parallélisation batch + streaming)

-Installation et tunning d'une plateforme ELK (Elasticsearch, logstash, Kibana)

-Build et MCO de plusieurs clusters HDP 2.6.X (environ 400 noeuds)

Mots clés qui se reposent sur une réelle expérience par ordre d'expertise :

Stack HDP (HDFS, Yarn, MapReduce, Ranger, Oozie, Zookeeper, etc...)

Spark Streaming, Kafka, Nifi

Système UNIX, RHEL, CentOS,Windows

Spotfire, Qlik, Kibana.

Ansible, shell, Python, Spark

Control-M

Github, Jira, Trello

Languages

French
Native or bilingual
English
Fluent

Workplace preferences

Can work on-site

Paris (up to 50km), Vernouillet (up to 50km)

STET
Administrateur DataOps
October 2020 - Today (5 years and 8 months)
Au sein d'une équipe infra :
• Installation from scratch de cluster CDP 7.1.7 & CDH 6.3.3 kerberisé + TLS.
• Installation d'un cluster de backup, disaster recovery avec comme solution distcp.
• Migration de cluster CDH 6.3.3 ➔ CDP 7.1.7 SP2
• Mise en place des prérequis cloudera système/réseau via ansible.
• Mise en place de middleware de lutte contre la fraude à des fins de machine learning. (C'est une couche composée d'un ensemble de middlewares, avec comme socle les cluster CDP, essentiellement pour entrainer des modèles via spark/python)
• Gestion de la sécurité des clusters Kerberos, Ldap, Ranger et Ranger KMS
• Optimisation des composants de clusters Big Data Yarn (préemption), Spark, NIFI
• Gestion des problèmes (Run, MCO)
• Analyser, Gérer, Piloter des changements
• Installation et gestion des services externes : Nexus, IDM, Hashicorp vault Environnement Technique : Ansible, Python, Jupyter Lab, Git, Jenkins, Docker, Nexus, HDP/HDF, Cloudera, Kerberos, Ldap, Ranger, Ranger KMS, Kubernetes, Yarn, Knox, Hive, Nifi,.
Société Générale
Administrateur DataOps
August 2018 - October 2020 (2 years and 2 months)
Au sein d'un centre de compétence Big Data
• Administration de clusters Big Data avec Ansible et Ambari HDP/HDF ou Cloudera
• Gestion de la sécurité des clusters Kerberos, Ldap, Ranger et Ranger KMS
• Mise en place d'une chaîne d'alimentation pour les outils BI à partir d'un cluster Big Data Knox, Hive, WebHCat, WebHDFS
• Optimisation des composants de clusters Big Data Yarn, Knox, Hive, NIFI
• Gestion des problèmes (incidents récurrents avec plan d'action sur du moyen/long terme)
• Analyser, Gérer, Piloter des changements
• Assurer la maintenance des plateformes applicatives : Création et administration des environnements, application des patchs, supervision, sauvegardes, ordonnancement des jobs, flux, métrologie, veille technologique.
• Rédiger les manuels d'exploitation : installation, procédures, architecture, DRP. Environnement Technique : Ansible, R, Rstudio Server, Shiny Server, Python, Anaconda, Jupyter Hub, Git, Jenkins, Gradle, Docker, Nexus, ML Flow, HDP/HDF, Cloudera, Kerberos, Ldap, Ranger, Ranger KMS, Kubernetes, Yarn, Knox, Hive, Nifi, Syslog, Audit.d
Société Générale
Ingénieur Intégration streaming
December 2017 - August 2018 (8 months)
Au sein de la Feature team streaming Big Data de la Société Générale
• Maintien en condition opérationnelle de clusters Elasticsearch, Logstash, Kibana
• Mise en place de supervision de l'infrastructure via Kibana, Nagios.
• Gestion des incidents (récurrents avec plan d'action sur du moyen/long terme)
• Analyser, Gérer, Piloter des changements.
• Assurer la maintenance des plateformes applicatives : Création et administration des environnements, application des patchs, supervision, sauvegardes, ordonnancement des jobs, flux, métrologie, veille technologique.
• Rédiger les manuels d'exploitation : installation, procédures, architecture. Environnement Technique : Shell, ansible.