Damien Picard

Sur le Datahub Covea (Hadoop/Spark/Kafka), mes missions consistent à identifier les problèmes et les axes d'amélioration sur :

- la configuration des composants de la stack Cloudera

- les jobs d'ingestion, de traitement et de restitution des données Je participe à la conception et à la réalisation d'un nouveau bus de traitement type ETL :

- ordonanceur Spring Boot / Spring Batch exécuté sur Kubernetes (OpenShift)

- Jobs d'ingestion et de transformations écrits en Java/Spark exécuté sur Hadoop Yarn

- Jobs d'échanges de données depuis/vers Salesforce et Microsoft Azure écrits en Spring Boot / Spring Batch et exécutés sur Hadoop Yarn J'ai également défini l'architecture technique de la nouvelle offre de service Kafka :

- Multi data-center

- Hautement disponible

- Basée uniquement sur des composants Open Source : Kafka / Cruise Control / Grafana / Prometheus / Spring Boot

- Sécurisé, en développant un plugin Kafka d'habilitations basé sur les rôles

Réalisation d'une solution d'extraction automatique de statistiques sportives à partir des vidéos des matchs de foot en salle. Deux composants ont été réalisés : 1 - Un composant d'extraction de données brutes (position des joueurs, position du ballon) à partir de flux vidéos RTSP en provenance des caméras de surveillances des terrains. Le prototype du logiciel a été réalisé en Python puis intégralement ré-écrit en C++ multithread, pour s'assurer des performances temps réel en s'appuyant sur les bibliothèques :

- OpenCV

- Tensorflow

- Nvidia CUDA J'ai extrait la méthode utilisée pour gérer le multithread dans un dépôt github : https://github.com/dapicard/opencv-parallelize-example 2 -Un composant de consolidation des données permettant de reconcilier les positions des joueurs et du ballon depuis plusieurs flux vidéos (plusieurs angles de vue) et de calculer des données de plus haut niveau (possession du ballon, passes, interceptions, couleurs des maillots des équipes, etc.). Ce composant a été écrit en Python, et s'appuie sur les algorithmes de machine learning fournis par Scikit-Learn.

Expert J2EE en charge de la réalisation technique des socles Data transverses. Ma première réalisation fut la mise en place d'une solution d'analyse de logs basée sur ElasticSearch, Logstash et Kibana (ELK) :

- Réalisation d'un comparatif entre Solr et ElasticSearch pour l'indexation des données

- Réalisation d'un POC sur Logstash permettant d'analyser une semaine de logs d'une application en production (essai sur 100 millions de lignes de logs)

- Réalisation de tableaux de bords Kibana

- Documentation du socle ; définition des procédures d'installation et d'exploitation du cluster.

- Industrialisation du déploiement avec Chef!

- Reversement auprès des équipes de production

- Evangélisation des différentes équipes de la DSI intéressées par le sujet.

- Résultat : cluster ELK "temps réel" accueillant 12 milliards de lignes de logs Expert J2EE affecté au support de niveau 3 sur le Big Data :

- Maintien en conditions opérationnelles des plateformes du groupe

- Conception et développement de l'outillage socle et de nouveaux composants se basant sur les technologies fournies par la distribution Cloudera (Hadoop, Spark, Solr, etc.)

- Support aux développeurs Big Data (résolution de bugs, optimisation)

- Support aux analyses de performances (tuning Java, Hadoop, Solr, etc.)

- Réalisation d'outils de surveillance et d'analyse du Big Data avec ELK Expert J2EE affecté au support de niveau 3 sur l'industrialisation et les développements :

- CMS Jahia - Documentation du socle technique Jahia ; définition des procédures d'installation et de maintenance.

- Support aux développeurs

- Appuie production sur l'audit des performances Java en général.